JP4099013B2 - バーチャルスタジオ映像生成装置およびその方法ならびにそのプログラム - Google Patents
バーチャルスタジオ映像生成装置およびその方法ならびにそのプログラム Download PDFInfo
- Publication number
- JP4099013B2 JP4099013B2 JP2002215301A JP2002215301A JP4099013B2 JP 4099013 B2 JP4099013 B2 JP 4099013B2 JP 2002215301 A JP2002215301 A JP 2002215301A JP 2002215301 A JP2002215301 A JP 2002215301A JP 4099013 B2 JP4099013 B2 JP 4099013B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- studio
- marker
- camera
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像制作において、実写を基に作成した全天周画像と、実写であるスタジオ画像とを違和感なく合成することができるバーチャルスタジオ映像生成装置およびその方法ならびにそのプログラムに関するものである。
【０００２】
【従来の技術】
従来、映像合成装置では、ブルーバックで撮影された人物映像から人物領域のみを抽出したキー信号として生成し、別に作成した電子映像とキー信号を基に合成する、クロマキー合成が一般に行われている。また、他の構成における映像合成装置では、カメラの動作に連動したコンピュータによる電子映像（＝ＣＧ）を生成してカメラ映像と合成したものを仮想スタジオもしくはバーチャルスタジオとして利用されていることが知られている。
【０００３】
このバーチャルスタジオと呼ばれるシステムでは、コンピュータ等でカメラに連動して生成した電子映像と、ブルーバックを使用して、切り出した人物の映像とを合成する手法が取られている。その際、シンセビジョン（ハイビジョンセット映像と人物映像を合成するもの）と呼ばれる手法を使用する場合があり、２次元平面の実写画像を電子映像として用いるものであった。
【０００４】
さらに、ブルーバックを用いない方法では、スタジオセットの実写画像に、コンピュータにより作成した、例えば３次元ＣＧのキャラクタや、３次元ＣＧ物体を合成することも一般的に行なわれている。
【０００５】
一方、テレビ放送におけるスタジオ番組は、一般にスタジオにセットを設営し、その中で出演者が演技し、カメラで撮影して番組制作を行うことが多い。さらに、近年ではコンピュータ技術が進み、様々な手法で特殊効果を加えることや、効率的な番組制作を行うことが可能になってきている。例えば、実際の映像とそのカメラワークに連動して生成したコンピュータグラフィックス（ＣＧ）を合成する仮想スタジオは、天気予報や子供番組などで頻繁に利用されている。
【０００６】
また、一般のスタジオセットを用いた番組制作の場合、映像合成する際であっても、ドラマのシーンを例にとると、椅子や机などが配置された部屋等を模したスタジオセットを組むことにより、出演者にとって演技を行いやすいものとなっている。
【０００７】
【発明が解決しようとする課題】
しかし、従来の映像合成を行なう装置、手法では、以下に示すような更なる改良が望まれていた。
スタジオセットを設営する際には、出演者やセットに照明を当てる目的でセットの上部から照明器具を下げるため、天井をつけられない場合や部分的にしかセットを組まない場合が多い。その結果、スタジオセットの見切れ部分にカメラを向けることが出来ず、撮影範囲が限定されるという問題があった。
【０００８】
そして、スタジオセットなどを使用して撮影する場合では、照明や大道具の配置あるいは出演者の立ち位置などを考慮しなければならず、また、スタジオを有効活用するために、撮影の度にスタジオセットを設営し、撤去することが多い。そのため、多いときは１シーンごとに照明や大道具の位置を移動する必要が生じて撮影に時間がかかることがあった。このスタジオセットの設営・撤去を繰り返すことは、時間やコストの面で効率的でない。
【０００９】
一方、バーチャルスタジオはブルーバックで演技する人物を撮影し、映像の青い領域にＣＧなどの映像を合成するクロマキー手法が用いられることが多い。このバーチャルスタジオでは、コンピュータで電子的なスタジオセットを作成するので、通常のスタジオセット設営を行う必要がなくブルーバックだけで良いので、効率的で自由度の高い番組制作が可能になるが、出演者にとってブルーの特殊な背景には映像あるいはセットの目印となるものがなく、演技しにくいという問題があった。
【００１０】
また、実スタジオセットにＣＧの小物やＣＧアクターなどを登場させる仮想スタジオ手法では、盛んに番組制作に使用されており、このＣＧアクターなどを用いる場合は、一般のカメラでは、実写の後ろにＣＧが回りこめないが、映像と画素毎の奥行き情報をリアルタイムに取得可能なアクシビジョンカメラが開発され、実写の後ろにＣＧが回りこむことができるようになった。しかし、その仮想スタジオ手法において、ＣＧと実写の合成だと気づかれないような自然な映像をリアルタイムに実現しようとすると、実写の品質のＣＧをリアルタイムに生成することは難しい。
【００１１】
そのため、ドラマやスペシャル番組などで自然な合成を行う場合、スタジオではワイヤフレームモデルのＣＧとの合成などで確認しながら撮影を行い、後に時間をかけてＣＧレンダリングを行い、実写と多重合成して違和感のないように合成を行う場合が多く、実写品質のＣＧをリアルタイムに実現するのは難しい。
【００１２】
また、スタジオ撮影のブルーの部分にＣＧをはめ込むクロマキー手法等により合成して映像を作成する場合や、あるいは、クロマキー手法ではなく、スタジオセットの実写画像に実写に模したスタジオＣＧを合成して映像を作成する場合では、実写画像とＣＧ映像との質感が異なることから合成した映像が、いかにも作り物として認識されてしまうため、更なる改良が望まれていた。
【００１３】
そして、実写を用いて合成画像を作成する場合は、パン、チルトなどの視野方向とズームあるいはフォーカスなどの光軸方向に対する画角などのカメラレンズの主点位置に対する差により合成画像を作成することが困難であった。
【００１４】
さらに、二つの実写画像を合成する場合では、一方の画像と他方の画像とを撮影したカメラレンズの歪に対する差から、合成位置にズレが生じてしまい映像に違和感を与えてしまうため、スムーズに実写画像を合成することについて更なる改良が望まれていた。
【００１５】
本発明は、前記の問題点に鑑み創案されたものであり、２つの実写画像を違和感なく合成するために、全天周画像を用いることで、３次元ＣＧで作成するよりも簡便でかつ違和感のない合成映像を得ることが可能で、リアルタイムに自然なバーチャルスタジオ映像を実現でき、スタジオにおいて照明等を最小限の移動で撮影が可能となるバーチャルスタジオ映像生成装置およびその方法ならびにそのプログラムを提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明に係るバーチャルスタジオ映像生成装置は、前記目的を達成するため、以下のような構成とした。すなわち、撮影カメラにより撮影した撮影セットに対する前記撮影カメラの少なくともパン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するカメラデータと、前記撮影セットおよびこの撮影セットの一部を取り去った撮影現場セットとの差を表わす差分情報と、前記撮影セットの区切れとなる位置に設けられた識別マーカーによる識別情報とに基づいて、前記撮影セットに対して作成された全天周画像を用いてバーチャルスタジオ映像を生成するバーチャルスタジオ映像生成装置である。
【００１７】
そして、このバーチャルスタジオ映像生成装置は、前記撮影現場セットを背景としてスタジオ撮影カメラにおいてスタジオ画像を撮影する際に、その撮影現場セットに対する少なくともパン、チルト、ズーム、フォーカスに伴う前記スタジオ撮影カメラのレンズの主点位置に関するスタジオカメラデータを収集するカメラデータ収集部と、前記カメラデータ収集部で収集したスタジオカメラデータと前記カメラデータとに基づいて、前記スタジオ撮影カメラのレンズ歪を計算するレンズ歪計算部と、前記レンズ歪計算部が計算したレンズ歪に基づいて、前記全天周画像を投影変換して前記レンズ歪に対応した表示用の電子画像を作成するレンズ歪補正対応画像作成部と、前記撮影現場セットの区切れとなる位置に設けた実マーカーの位置をスタジオ撮影カメラが撮影したスタジオ画像から認識する画像認識部と、前記識別マーカーによる識別情報に基づいて、投影変換された前記電子画像上に配置される変換マーカーの位置を認識する変換マーカー認識部と、前記変換マーカー認識部により認識された変換マーカーの位置、および、前記画像認識部により認識された実マーカーの位置を比較して、両マーカーにおける位置の差を示すマーカー位置情報を生成するマーカー位置比較部と、このマーカー位置比較部で生成したマーカー位置情報および前記差分情報に基づいて、前記レンズ歪補正対応画像作成部で作成した前記電子画像と、前記スタジオ撮影カメラで撮影したスタジオ画像とを、バーチャルスタジオ映像として合成する映像合成手段と、を備える構成とした。
【００１８】
このように構成されることにより、バーチャルスタジオ映像生成装置は、カメラデータ、差分情報、および、識別情報に基づいて、予め全天周画像を撮影している。なお、全天周画像が識別情報を含む場合は、撮影現場セットの区切れとなる位置にある画像で、所定の幅を備える画像区画を指定して合成時ののりしろとなり得るのりしろ画像の情報が、その全天周画像に含まれている。そして、バーチャルスタジオ映像生成装置は、撮影セットの一部を取り去った撮影現場セットの区切れとなる位置に実マーカーを設けてスタジオ撮影カメラで撮影して、画像認識部が実マーカーの位置を認識し、レンズ歪計算部が、スタジオカメラデータとカメラデータとに基づいてレンズ歪を計算して、レンズ歪補正対応画像作成部が、計算されたレンズ歪に基づいて全天周画像から電子画像を投影変換して作成する。このとき、バーチャルスタジオ映像生成装置では、変換マーカー認識部により全天周画像から投影変換した電子画像において識別マーカーから変換した変換マーカーの位置を認識して、マーカー位置比較部が、背景画像の実マーカーと、電子画像の変換マーカーとを比較して、両マーカーにおける位置の差を示すマーカー位置情報が生成される。そのため、バーチャルスタジオ映像生成装置では、マーカー位置情報および差分情報に基づいて、映像合成部が、電子画像の一部となるのりしろ画像を用いて、背景画像と電子画像とを合成することができる。
【００１９】
なお、全天周画像とスタジオ画像とをカメラデータが同一となる撮影カメラで撮影するか、また、カメラデータが何らかの処理をすることなく共通で使用できる主点一致型カメラ（雲台）である場合は都合がよい。そして、全天周画像は、画像フォーマットとして色（ＲＧＢ）に関する色情報チャネルと、この色情報チャネル以外の画像に対する制御に関する制御情報チャネルとにより構成されている。
【００２３】
さらに、前記バーチャルスタジオ映像生成装置は、前記マーカー位置比較部により比較されて生成された前記マーカー位置情報に基づいて、前記スタジオ画像と前記電子画像とのズレを補正するズレ補正手段とを備える構成とした。
【００２４】
このように構成されることにより、バーチャルスタジオ映像生成装置は、画像認識部が認識した実マーカーの位置と、この実マーカーの位置に対応する全天周画像の識別マーカーを投影変換した変換マーカーの位置とを、電子画像生成部のマーカー比較部が比較することで、生成される両マーカーのズレを示すマーカー位置情報を生成することができるため、ズレ補正手段によりマーカー位置情報に基づいて電子画像のズレを補正してつなぎ目をスムーズにすることが可能となる。なお、ズレ補正手段では、例えば、アフィン変換を用いることで全天周画像を実マーカー位置に対応するマーカ位置と合せるようにすることができる。
【００２５】
そして、バーチャルスタジオ映像生成方法として以下のようにした。すなわち、バーチャルスタジオ映像生成方法は、撮影カメラにより撮影した撮影セットに対する前記撮影カメラの少なくともパン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するカメラデータと、前記撮影セットおよびこの撮影セットの一部を取り去った撮影現場セットとの差を表わす差分情報と、前記撮影セットの区切れとなる位置に設けられた識別マーカーによる識別情報とに基づいて、前記撮影セットに対して作成された全天周画像を用いてバーチャルスタジオ映像を生成するバーチャルスタジオ映像生成方法であって、前記撮影現場セットを背景としてスタジオ撮影カメラにおいてスタジオ画像を撮影する際に、その撮影現場セットに対する少なくともパン、チルト、ズーム、フォーカスに伴う前記スタジオ撮影カメラのレンズの主点位置に関するスタジオカメラデータをカメラデータ収集部により収集するステップと、前記カメラデータ収集部により収集した前記スタジオカメラデータと前記カメラデータとに基づいて、前記スタジオ撮影カメラのレンズ歪をレンズ歪計算部により計算するステップと、前記レンズ歪計算部により計算したレンズ歪に基づいて、前記全天周画像を投影変換して前記レンズ歪に対応した表示用の電子画像をレンズ歪補正対応画像作成部により作成するステップと、前記撮影現場セットの区切れとなる位置に設けた実マーカーの位置をスタジオ撮影カメラが撮影したスタジオ画像から画像認識部を介して認識するステップと、前記識別マーカーによる識別情報に基づいて、投影変換された前記電子画像上に配置される変換マーカーの位置を変換マーカー認識部により認識するステップと、前記変換マーカー認識部により認識された変換マーカーの位置、および、前記画像認識部により認識された実マーカーの位置を比較して、両マーカーにおける位置の差を示すマーカー位置情報をマーカー位置比較部により生成するステップと、前記マーカー位置比較部により生成した前記マーカー位置情報および前記差分情報に基づいて、前記レンズ歪補正対応画像作成部で作成した前記電子画像と、前記スタジオ撮影カメラで撮影したスタジオ画像とを、バーチャルスタジオ映像として映像合成部により合成するステップとを、含むこととした。
【００２６】
このように構成されることにより、バーチャルスタジオ映像生成方法では、撮影セットを使用して予め全天周画像を撮影する。そして、カメラデータ、差分情報、および、識別情報に基づいて、予め全天周画像を撮影している。なお、全天周画像が識別情報を含む場合は、撮影現場セットの区切れとなる位置にある画像で、所定の幅を備える画像区画を指定して合成時ののりしろとなり得るのりしろ画像の情報が、その全天周画像に含まれている。そして、バーチャルスタジオ映像生成方法は、撮影セットの一部を取り去った撮影現場セットの区切れとなる位置に実マーカーを設けてスタジオ撮影カメラで撮影して、画像認識部が実マーカーの位置を認識し、レンズ歪計算部が、スタジオカメラデータとカメラデータとに基づいてレンズ歪を計算して、レンズ歪補正対応画像作成部が、計算されたレンズ歪に基づいて全天周画像から電子画像を投影変換して作成する。このとき、バーチャルスタジオ映像生成方法では、変換マーカー認識部により全天周画像から投影変換した電子画像において識別マーカーから変換した変換マーカーの位置を認識して、マーカー位置比較部が、背景画像の実マーカーと、電子画像の変換マーカーとを比較して、両マーカーにおける位置の差を示すマーカー位置情報が生成される。そのため、バーチャルスタジオ映像生成方法では、マーカー位置情報および差分情報に基づいて、映像合成部が、電子画像の一部となるのりしろ画像を用いて、背景画像と電子画像とを合成することができる。
【００２７】
さらに、バーチャルスタジオ映像合成プログラムとして、撮影カメラにより撮影した撮影セットに対する前記撮影カメラの少なくともパン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するカメラデータと、前記撮影セットおよびこの撮影セットの一部を取り去った撮影現場セットとの差を表わす差分情報と、前記撮影セットの区切れとなる位置に設けられた識別マーカーによる識別情報とに基づいて、前記撮影セットに対して作成された全天周画像を用いてバーチャルスタジオ映像を生成するためにコンピュータを、以下の各手段により、機能させる構成とした。
【００２８】
すなわち、前記各手段は、前記撮影現場セットを背景としてスタジオ撮影カメラにおいてスタジオ画像を撮影する際に、その撮影現場セットに対する少なくともパン、チルト、ズーム、フォーカスに伴う前記スタジオ撮影カメラのレンズの主点位置に関するスタジオカメラデータを収集するカメラデータ収集手段、前記カメラデータ収集手段で収集したスタジオカメラデータと前記カメラデータとに基づいて、前記スタジオ撮影カメラのレンズ歪を計算するレンズ歪計算手段、前記レンズ歪計算手段が計算したレンズ歪に基づいて、前記全天周画像を投影変換して前記レンズ歪に対応した表示用の電子画像を作成するレンズ歪補正対応画像作成手段、前記撮影現場セットの区切れとなる位置に設けた実マーカーの位置をスタジオ撮影カメラが撮影したスタジオ画像から認識する画像認識手段、前記識別マーカーによる識別情報に基づいて、投影変換された前記電子画像上に配置される変換マーカーの位置を認識する変換マーカー認識手段、前記変換マーカー認識手段により認識された変換マーカーの位置、および、前記画像認識手段により認識された実マーカーの位置を比較して、両マーカーにおける位置の差を示すマーカー位置情報を生成するマーカー位置比較手段、このマーカー位置比較手段で生成したマーカー位置情報および前記差分情報に基づいて、前記レンズ歪補正対応画像作成手段で作成した前記電子画像と、前記スタジオ撮影カメラで撮影したスタジオ画像とを、バーチャルスタジオ映像として合成する映像合成手段、とした。
【００２９】
このように構成されることで、バーチャルスタジオ映像生成プログラムは、全天周画像が識別情報を含む場合は、撮影現場セットの区切れとなる位置にある画像で、所定の幅を備える画像区画を指定して合成時ののりしろとなり得るのりしろ画像の情報が、その全天周画像に含まれている。そして、バーチャルスタジオ映像生成プログラムは、撮影セットの一部を取り去った撮影現場セットの区切れとなる位置に実マーカーを設けてスタジオ撮影カメラで撮影して、画像認識手段が実マーカーの位置を認識し、レンズ歪計算手段が、スタジオカメラデータとカメラデータとに基づいてレンズ歪を計算して、レンズ歪補正対応画像作成手段が、計算されたレンズ歪に基づいて全天周画像から電子画像を投影変換して作成する。このとき、バーチャルスタジオ映像生成プログラムでは、変換マーカー認識手段により全天周画像から投影変換した電子画像において識別マーカーから変換した変換マーカーの位置を認識して、マーカー位置比較手段が、背景画像の実マーカーと、電子画像の変換マーカーとを比較して、両マーカーにおける位置の差を示すマーカー位置情報が生成される。そのため、バーチャルスタジオ映像生成プログラムでは、マーカー位置情報および差分情報に基づいて、映像合成手段が、電子画像の一部となるのりしろ画像を用いて、背景画像と電子画像とを合成することができる。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
図１はバーチャルスタジオ映像生成装置の構成を示すブロック図、図２はバーチャルスタジオ映像生成装置の電子画像生成部について詳細な構成を示すブロック図である。
【００３１】
図１および図２に示すように、バーチャルスタジオ映像生成装置Ａは、予め作成された全天周画像Ｚｇを電子画像Ｅｇとする電子画像生成部９と、スタジオ撮影カメラ６によるスタジオカメラデータを検出するカメラデータ検出器７からカメラデータを収集するカメラデータ収集部８と、スタジオ撮影カメラ６が撮影した撮影現場セットＧｓ（図５参照）に実マーカーが存在しないときは、そのスタジオ画像Ｓｇを映像合成部１１に出力し、また、実マーカーが存在するときは認識した後に、そのスタジオ画像Ｓｇを映像合成部１１に出力する画像認識部１０と、この画像認識部１０からのスタジオ画像Ｓｇおよび電子画像生成部９からの電子画像Ｅｇを入力してバーチャルスタジオ映像Ｖｐとして合成する映像合成部１１と、を備えている。
【００３２】
図１および図４に示すように、全天周画像Ｚｇは、撮影カメラ１により、撮影セットＳｓを使用して、少なくともパン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するカメラデータと併せて、３６０度方向の画像を撮影して作成される。ここでは、全天周画像Ｚｇは、球面の上下半分あるいは左右半分の一方と他方を合成することで球状に作成されている。この全天周画像Ｚｇを作成するにあたって、例えば、図４（ａ）に示すように、はじめに、撮影セットの下側について撮影位置を特定位置に設定した撮影カメラ１により撮影する。このとき、照明、反射板などの撮影に必要な機材は、撮影されない上側あるいは撮影カメラ１の視野外に配置して３６０度方向について撮影を行う。つぎに、図４（ｂ）に示すように、前記と同様に今度は、撮影セットの上側について撮影カメラ１により３６０度方向の撮影を行う。なお、撮影カメラ１は、全天周画像Ｚｇを撮影する際に、あらかじめ決められた特定位置に設定された状態で撮影が行われていれば、時間的な連続性は必要としない。
【００３３】
なお、全天周画像Ｚｇは、カメラデータを利用して撮影カメラ１で撮影した各カメラ画像から球面画像につなぎ合わせるためには、以下のような簡単な式から行うことが可能となる。すなわち、球の式であるつぎの（１）式
【００３４】
Ｘ2＋Ｙ2＋Ｚ2＝ｒ2（ｒは球の半径） （１）式
と、平面の式であるつぎの（２）式
cosＴ・cosＰ・Ｘ＋sinＴ・Ｙ＋cosＴ・sinＰ・Ｚ＝Ｌ （２）式
（Ｌは平面までの距離、Ｐはパン角度、Ｔはチルト角度）
【００３５】
を用いて、平面上の座標Ｘ，Ｙと球面との交点を求めることで、撮影カメラ１により撮影した各カメラ画像から全天周画像Ｚｇを作成している。
その際、幾何学的なズレや色・明るさの変化などに対しては既に開発済みの手法（映像メディア学会誌Ｖｏｌ．５５，Ｎｏ１、ＰＰ１５９〜１６６（２００１））で軽減し、繋ぎ目の目立たない超高精細全天周画像として作成することができる。
【００３６】
そして、全天周画像Ｚｇを作成する場合において、照明の当て方が若干異なり、接続部分で色・明るさが微妙に異なっている場合、接続点でのレベル差が生じないように色調整を行うことで違和感なく作成することができる。もちろん同じ場所で撮影することにより色調整の処理を省くことができる。なお、全天周画像Ｚｇは、撮影時の撮影カメラ１の画角に収まる部分内において動画が存在する構成であれば対応することが可能となる。つまり全天周画像Ｚｇを作成するにあたり、貼り合わせて作成する部分に跨ることなく動画が存在していれば動画と静止画の組み合わせた状態を可能とすることができる。
【００３７】
全天周画像Ｚｇは、例えば、画像フォーマットとして、色情報に関する色情報チャネルであるＲ、Ｇ、Ｂチャネル、および、画像に対する制御情報に関する制御情報チャネルとしてのαチャネルにより構成されている。そして、ここでは、αチャネルを、複数の領域に分割して、ＲＧＢの三原色に伴う色情報以外の画像に対する制御情報を記憶させるものとする。なお、ここでは、αチャネルに「０」「１」の信号により、撮影セットＳｓと撮影現場セットＧｓの差を示す前記キー信号（差分情報）と、撮影セットＳｓの区切れとなる位置に設けた識別マーカーによる識別情報と、この識別情報に付帯するのりしろ画像の有無を少なくとも記憶させている。
【００３８】
次に、全天周画像Ｚｇが作成されると、撮影セットＳｓのなかで、不必要な部分を取り除き、演技に必要な最小限の撮影現場セットＧｓとして残し、それ以外を撤去する。そして、全天周画像Ｚｇ上には、残された撮影現場セットＧｓについての領域を示すキー信号を差分情報として前記したαチャネルに記憶させておく。
【００３９】
撮影カメラ１は、図３（ａ）に示すように、少なくとも、パン、チルト、ズーム、フォーカスに伴うレンズの主点位置が自動的に一致する主点一致型カメラ雲台２を備える構成であることが望ましい。そして、実際に出演者が出演して撮影するスタジオ撮影に使用されるスタジオ撮影カメラ６も同様に主点一致型カメラ雲台２を用いる構成とすると都合が良い。
【００４０】
撮影カメラ１により撮影された画像は、画像収録部４に収録され、その収録された画像に伴うパン、チルト、ズーム、フォーカスに伴う主点位置に関するカメラデータは、カメラデータ収集器３に収集されている。そして、全天周画像作成部５により、収集したカメラデータおよび収録された画像に基づいて全天周画像Ｚｇが前記したように作成される。
【００４１】
使用される撮影カメラ１およびスタジオ撮影カメラ６は、同画質の画像合成が行えるように同じハイビジョンカメラを使用すると都合が良い。そして、スタジオ撮影カメラ６は、前記したハイビジョンカメラに撮影する画像の距離（奥行き情報）を取得できるカメラがついたアクシビジョンカメラ（例えば、特開２００１−２５０１１１公報）であると都合が良い。
【００４２】
なお、撮影カメラ１あるいはスタジオ撮影カメラ６のどちらか一方あるいは両方は、図３（ｂ）に示すように、主点一致型カメラ雲台２を使用しないものであっても構わない。その場合は、撮影カメラ１のパン、チルト、ズーム、フォーカスなどに伴うレンズの主点位置に関するカメラデータと、スタジオ撮影カメラ６のパン、チルト、ズーム、フォーカスなどに伴うレンズの主点位置に関するスタジオカメラデータとの整合性がより求められる。
【００４３】
なお、ここでは、撮影現場セットＧｓを撮影するスタジオ撮影カメラ６は、全天周画像撮影時と同じ位置にカメラを設置することとなる。また、スタジオ撮影カメラ６には、撮影されたスタジオ画像Ｓｇ（図６参照）に伴うスタジオカメラデータ（パン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するデータ）を収集可能なカメラ雲台に設置できるアクシビジョンカメラを用いることにした。
【００４４】
そのため、全天周画像作成時は球の中心に視点があると想定しているが、撮影現場セットＧｓの撮影時は図３（ｂ）に示すように、全天周画像撮影時と異なり、視点の位置が高さ方向と光軸方向にずれており、カメラの回転中心に一致していない。そのため、主点の位置が、回転中心位置に対して高さ方向にｄｙ、光軸方向にｄｚずれていることと、ズーム・フォーカスによりｄｚは変動することを考慮して、全天周画像Ｚｇから投影変換した電子画像Ｅｇとスタジオ画像Ｓｇとを両カメラデータに基づいて合せるようにしている。
【００４５】
図１および図２に示すように、カメラデータ検出器７は、スタジオ撮影カメラの少なくともパン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するスタジオカメラデータを検出するものである。このカメラデータ検出器７は、パン、チルト、ズームおよびフォーカスに伴うレンズの主点位置に関するスタジオカメラデータについて、図３（ａ）に示すように、主点一致型カメラ雲台２が有するセンサ（図示せず）により検出して、スタジオカメラデータ収集器８に出力している。
【００４６】
スタジオカメラデータ収集器（カメラデータ収集部）８は、カメラデータ検出器７から送られてきたスタジオカメラデータを図示しないメモリなどの記憶手段に記憶して、撮影されたスタジオ画像Ｓｇと関連づけて記憶している。このスタジオカメラデータ収集器８は、電子画像生成部９にそのスタジオカメラデータを出力している。
【００４７】
電子画像生成部９は、図１および図２に示すように、レンズ歪計算部９ａと、レンズ歪補正対応画像作成部９ｂと、変換マーカー認識部としてのマーカー認識部９ｃと、マーカー位置比較部９ｄと、ズレ補正手段としてのアフィン変換部９ｅとを備えている。なお、レンズ歪計算部９ａと、レンズ歪補正対応画像作成部９ｂとを、ここでは、投影変換歪補正部９Ａとし一まとめにして説明することもある。
【００４８】
図１および図２に示すように、レンズ歪計算部９ａは、全天周画像Ｚｇのカメラデータと、スタジオ画像Ｓｇのスタジオカメラデータとに基づいて、スタジオ撮影カメラ６のレンズ歪を計算するものである。このレンズ歪計算部９ａは、あらかじめ、レンズ歪についての歪係数を求めておき、テーブル化してスタジオ撮影カメラ６のレンズ歪を求めるように構成されている。なお、レンズ歪を求める式を、簡単に示すと以下のようになる。
【００４９】
すなわち、ｒ2＝ｘ2＋ｙ2 （３）式
なお、式中ｘ，ｙは画像の中心からｘ座標、ｙ座標、ｒは中心からｘ，ｙへの距離である。
また、Ｒ・Ｒ＝ｋ１・ｒ2＋ｋ２・ｒ4＋… （４）式
なお、式中ｒはレンズ歪のないときの距離、Ｒはレンズ歪のあるときの距離、ｋ１、ｋ２…はレンズ歪係数である。
【００５０】
これらの（３）式、（４）式からズーム、フォーカスに伴って変化するｋ１、ｋ２…をあらかじめテーブル化して求めておき、全天周画像Ｚｇの画素ごとに計算することで、レンズ歪を算出している。なお、レンズ歪を計算する場合に、必要となる主点位置と画角比などの関係は、三次スプライン関数ｇ（ｚ、ｓ）、ｈ（ｚ、ｓ）を用いてつぎの（５）式のように表すことができる。
ｔａｎ（Ｗ／２）＝Ｈ／ｚ （Ｈ：撮影板幅／２） （なお、Ｗは画角）
ｔ１（主点位置）＝ｇ（ｚ、ｓ）
ｔａｎ（ｗ）／ｔａｎ（Ｗ）＝ｈ（ｚ、ｓ） （５）式
（式中ｚはズーム量、ｓはフォーカス量である）
【００５１】
また、主点位置ｔ１が予め分からず求める場合は、任意の数のズーム、フォーカス量を取り出し、（用意した奥行き方向に付された目盛りの位置から焦点位置を決める）それらのそれぞれについて、スタジオ撮影カメラ６をパンしたときの奥行き方向に重なった物体が見え隠れしない光軸方向上での主点位置ｔ１を探すことにより求めることができる。さらに、チルトである画角（水平画角）Ｗについては、それぞれのズーム、フォーカス量に対して、カメラを画面の左端から右端までパンし、重なった画像のマッチングを画角調整しながらとり、どれだけカメラの角度が動いたかを測定することによって求めることができる（特開２０００−１４７６４３公報参照）。
【００５２】
レンズ歪補正対応画像作成部９ｂは、レンズ歪計算部９ａにより計算したレンズ歪に基づいて全天周画像Ｚｇを投影変換してそのレンズ歪に対応した表示用の電子画像Ｅｇを作成するものである。このレンズ歪補正対応画像作成部９ｂは、全天周画像Ｚｇが含んでいるαチャネルのキー信号の有無にかかわらず、投影変換することで、球面状の画像を平面状の画像に変換している。
【００５３】
なお、レンズ歪補正対応画像作成部９ｂは、投影変換することで、電子画像Ｅｇを作成しているが、投影変換に特定されるものではなく、透視変換など、球面状の画像を表示用の平面状の画像に適切に変換できるものであれば、特に限定されるものではなく他の変換手段を用いて行っても構わない。
【００５４】
図１および図２に示すように、マーカー認識部９ｃは、レンズ歪補正対応画像作成部９ｂにより作成された電子画像Ｅｇにおいて、識別マーカーが投影変換されて変換マーカーとなる位置を認識するためのものである。このマーカー認識部９ｃは、全天周画像Ｚｇに含まれているαチャネルのうちで識別マーカーに対する識別情報により投影変換された変換マーカーの位置を認識してその情報をマーカー位置比較部９ｄに出力している。
【００５５】
図１および図２に示すように、マーカー位置比較部９ｄは、マーカー認識部９ｃおよび画像認識部１０からそれぞれ送られてくる変換マーカーの位置情報と、実マーカーの位置情報とを比較してマーカー位置情報を生成するものである。このマーカー位置比較部９ｄにより作成されたマーカー位置情報は、アフィン変換部９ｅに出力される。なお、マーカー位置情報は、座標上に示される座標点のずれ量として示されるものである。
【００５６】
図１および図２に示すように、ズレ補正手段としてのアフィン変換部９ｅは、マーカー位置比較部９ｄにより生成されたマーカー位置情報および全天周画像Ｚｇに含まれる変換マーカーによる識別情報に基づいて、電子画像に生じるズレをスタジオ画像Ｓｇに合せて補正するためのものである。このアフィン変換部９ｅは、撮影カメラ１とスタジオ撮影カメラ６とが主点一致型カメラ雲台２を共通して使用しない場合に有効に用いられることになる。
【００５７】
例えば、主点一致型カメラ雲台２をスタジオ撮影カメラ６（図１参照）で使用しない場合、主点位置はズーム、フォーカスによって移動するため、撮影現場セットＧｓの撮影時に、全天周撮影時と異なり、視点の位置が高さ方向と光軸方向にずれており、カメラの回転中心に一致していない。そのため、スタジオ撮影カメラ６のレンズの主点位置は、回転中心位置に対して高さ方向にｄｙ、光軸方向にｄｚずれていることと、ズーム・フォーカスによりｄｚは変動することを考慮して、すでに説明したレンズ歪計算部９ａが計算する必要がある。
【００５８】
このとき、主点一致型カメラ雲台２の主点位置を（０，０，０）とすると、スタジオ撮影カメラ６の主点位置（ｘ，ｙ，ｚ）は、以下、高さ方向ｄｙ、光軸方向ｄｚについて差分を生じることになる。このｄｙ、ｄｚを球面の中心からずらして、透視変換を行うようにしても、つまり、主点位置を合せても画像合成時に合わない部分がある。この合わない理由は、全ての奥行きをある数値Ｍで置き換えて球面にマッピングしているからである。主点位置が中心からずれている場合の画像上のズレは、被写体までの距離に応じているので、そのズレは以下の式で表される。
【００５９】
ｄｖ＝｛（ｄｚ／Ｍ）＋（ｄｙ／Ｍｔａｎ（ａ／２））｝・Ｖ／２ （６）式
ｄｈ＝（ｄｚ／Ｍ）・（Ｈ／２） （７）式
ここで、上式中において、Ｍは被写体までの距離、αは垂直画角、Ｖは垂直方向有効画素数、ｄｖは垂直方向誤差、Ｈは水平方向画素数、ｄｈは水平方向誤差である。
【００６０】
例えば、図５および図６に示すように、スタジオ撮影カメラ６を（図６の背景画に比較して図５の背景画がズームアウトしている状態）ズームアウトして使用した場合のデータを入力すると、スタジオ撮影カメラ６から障子の柱までの距離約３６０ｃｍ、垂直画角約６０度、全天周画像からカメラデータと高さ方向変位ｄｙ＝１８ｃｍ、光軸方向変位ｄｚ＝−１５ｃｍで、ｄｖ＝２２．４画素、ｄｈ＝４１．６画素程度のずれを生じる。
【００６１】
スタジオ撮影カメラ６から障子の柱までの距離と天井奥の境までの距離が異なり、上記（６）式、（７）式から奥行き方向の距離に応じてずれる量が変化する。天井奥の境までの距離は４２０ｃｍであり、ｄｖ′＝２０．７８画素、ｄｈ′＝３４．２画素となる。柱に合わせて球中心から視点をｄｙ，ｄｚ移動させて画像を再生する。そこで、天井奥の境ではｖ方向にｄｖ−ｄｖ′＝３．７画素、ｈ方向にｄｈ−ｄｈ′＝７．４画素分についてずれることになる。つまり、柱の位置で繋ぎ目を合わせても、奥の方に向かうに従い０〜７画素程度徐々にずれていくことを表している。
【００６２】
そこで、図９に示すように、電子画像Ｅｇと実際の映像の間にのりしろを設けると共に、（図５の柱部分や鴨居部分がのりしろに当たる）図９（ａ）、（ｂ）に示すように、撮影現場セットＧｓに実マーカーを付けておき、スタジオ撮影カメラ６で撮影するときに実マーカーおよび変換マーカーによるマーカー位置情報により、全天周画像Ｚｇから投影変換した電子画像Ｅｇのどの部分に対応するか比較する。
【００６３】
そして、図９（ｄ）、（ｅ）に示すように、両マーカーの部分をあわせるために電子画像Ｅｇについて画像変形を行う。このとき、変換マーカーで示される部分について三角形に分けて両マーカー部分が合うように画像を変形する。これは、アフィン変換で記述することができる。マーカーにより移動する三角形の頂点の座標（ｘｐ，ｙｐ）→（ＸＰ，ＹＰ)、（ｘｑ，ｙｑ）→（ＸＱ，ＹＱ）、（ｘｒ，ｙｒ）→（ＸＲ，ＹＲ)とすると、アフィン変換式は、以下の式となる。
【００６４】
ｘｐ＝ＡＸＰ＋ＢＹＰ＋Ｃ
ｘｑ＝ＡＸＱ＋ＢＹＱ＋Ｃ
ｘｒ＝ＡＸＲ＋ＢＹＲ＋Ｃ
ｙｐ＝ＤＸＰ＋ＥＹＰ＋Ｆ
ｙｑ＝ＤＸＱ＋ＥＹＱ＋Ｆ
ｙｒ＝ＤＸＲ＋ＥＹＲ＋Ｆ
そして、未知数Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆが上記方程式より求められる。これにより三角形内部の画素を補間してマッピングすることが可能になる。以上の変形を行うことにより、画像上境目が目立たなくなる。
【００６５】
ここで使用されるのりしろ画像としては、電子画像Ｅｇ（図１参照）の変換マーカーの位置と、スタジオ画像Ｓｇの実マーカーの位置とのズレ幅をカバーすることができる幅寸法の画像の一部としており、ここでは、一例として、図５に示すように、柱の部分としている。この柱の部分をのりしろ画像とする場合、スタジオ画像Ｓｇの柱よりやや幅を狭くした部分をのりしろとしている。そのため、電子画像Ｅｇとスタジオ画像Ｓｇとを合成する場合に、本来ならずれが生じてつなぎ目が目立つ部分を、その柱がのりしろとなって同系色で重なっていることでほとんど目立つことなく合成することができる。のりしろ画像は、画像上の区切れとなる部分として線で囲まれた部分の一部および全部（柱、ふすまの枠体の縦枠など）を含む画像であることが望ましい。
【００６６】
図１および図２に示すように、画像認識部１０は、撮影現場セットＧｓを撮影したスタジオ画像Ｓｇが入力され、撮影現場セットＧｓの区切れとなる位置に設けられた実マーカーの位置をスタジオ画像Ｓｇにおいて認識するものである。この画像認識部１０による実マーカーの認識は、ここでは貼り付けた位置が分かる色付の実マーカーにより行っており、その実マーカーの色認識について市販の画像処理ボード等で行うことが可能である。画像認識部１０では、実マーカーを認識しない場合は、入力されたスタジオ画像Ｓｇを映像合成部１１に出力し、実マーカーを認識した場合は、その実マーカーの位置情報をマーカー位置比較部９ｄに出力すると共に、スタジオ画像Ｓｇを映像合成部１１に出力している。
【００６７】
図１および図２に示すように、映像合成部１１は、画像認識部１０からのスタジオ画像Ｓｇと、電子画像生成部９からの電子画像Ｅｇとを入力してバーチャルスタジオ映像Ｖｐ（図６参照）を合成するためのものである。この映像合成部１１は、電子画像Ｅｇが含んでいるαチャネルののりしろ画像の有無を示す領域内の「０」「１」の信号に基づいて、のりしろ画像を含む場合と、のりしろ画像を含みかつアフィン変換された状態の画像である場合について対応してスタジオ画像Ｓｇと合成して違和感のないバーチャルスタジオ映像Ｖｐを作成している。なお、映像合成部１１は、のりしろ画像が電子画像Ｅｇにαチャネルにより含まれていることが分かると、そののりしろ画像とスタジオ画像Ｓｇの対応する部分とを違和感なくつなぎ合わせて合成することができる。
【００６８】
また、映像合成部１１により合成されて出力されるバーチャルスタジオ映像Ｖｐでは、出演者が実際に設営されている撮影現場セットＧｓから見切れる位置で演技しても、図４（ｅ）および図６に示すように、出力される映像上では撮影現場セットＧｓの前で演技している映像が映し出されることになる。
【００６９】
つぎに、バーチャルスタジオ映像生成装置Ａの動作状態について説明する。
はじめに、図１に示すように、スタジオに設営した撮影セットＳｓから３６０度方向の画像を撮影して全天周画像Ｚｇを作成する。この全天周画像Ｚｇは、ここでは、一例として、図４（ａ）、（ｂ）に示すように、天井なしのセット部分を撮影した全天周画像（半球状）と、天井ありのセット部分を撮影した全天周画像（半球状）を、重ね合わせて球状の全天周画像Ｚｇとして合成した。なお、この全天周画像Ｚｇは、画像フォーマットとして、Ｒ、Ｇ、Ｂチャネルおよびαチャネルにより構成され、αチャネルに差分情報、識別情報、のりしろ画像の有無が記憶されている。全天周画像Ｚｇが作成されると電子画像生成部９にその全天周画像Ｚｇが図示しない記憶手段に記憶されて蓄積される。
【００７０】
つぎに、撮影セットＳｓの中で、スタジオ撮影する場合に不必要となるセット部分を取り除き、スタジオで演技に必要な最小限の撮影現場セットＧｓとして残した状態とする。そして、撮影セットＳｓを撮影した同じ位置にスタジオ撮影カメラ６を設置してスタジオ画像Ｓｇを撮影する。
【００７１】
図１、図２および図７に示すように、電子画像生成部９では、スタジオ撮影カメラ６からのパン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するスタジオカメラデータを収集（Ｓ１）すると共に、収集したスタジオカメラデータおよび全天周画像Ｚｇのカメラデータに基づいて、レンズ歪計算部９ａがスタジオ撮影カメラ６のレンズ歪を計算（Ｓ２）して、レンズ歪補正対応画像作成部９ｂがそのレンズ歪に対応した表示用の電子画像Ｅｇを、全天周画像Ｚｇから投影変換して作成（Ｓ３）する。このとき、スタジオ撮影カメラ６と撮影カメラ１とが共に、主点一致型カメラ雲台２を使用しているとスタジオカメラデータおよびカメラデータに伴う画像の合成がし易く都合がよい。
【００７２】
スタジオ撮影カメラ６は、奥行き情報を取ることの出来るものを用いることにより、全天周画像Ｚｇを合成する部分にそのスタジオ撮影カメラ６からの距離に応じて被写体だけを抜き出すといったことも可能になる。この奥行き情報を取得できる方法として、本発明の出願人がすでに出願した立体情報検出方法及び装置（特願平１０−２９３８１７）を用いるか、５眼ステレオ視による奥行き情報抽出カメラ（Park他：Arbitrary View Generation from Multiple Cameras IEEE ICIP’97）を用いることで可能となる。これらの特殊なカメラをスタジオ撮影カメラ６として用いることにより奥行き情報に従ったキー信号を抽出できる。なお、各画像共、奥行き情報は、輝度値（０−２５５）が奥行き（Ｚｆａｒ〜Ｚｎｅａｒ）に対応しているものとする。
【００７３】
図１、図２および図７に示すように、バーチャルスタジオ映像生成装置Ａでは、電子画像生成部９により生成された電子画像Ｅｇを映像合成部１１に送り、かつ、画像認識部１０からスタジオ画像Ｓｇを映像合成部１１に送る。そして、映像合成部１１では、電子画像Ｅｇに含まれている差分情報に基づいて、その電子画像Ｅｇとスタジオ画像Ｓｇとを合成（Ｓ４）してバーチャルスタジオ映像Ｖｐ（図６参照）を作成して出力している。なお、電子画像Ｅｇにのりしろ画像がαチャネル上で指定されている場合については、その指定された画像範囲をのりしろ画像としてスタジオ画像Ｓｇの対応位置に合成した状態でバーチャルスタジオ映像Ｖｐを作成することになる。
【００７４】
つぎに、図１、図２および図８に示すように、スタジオ撮影カメラ６と撮影カメラ１とのいずれかが主点一致型カメラ雲台２を使用しないとき、バーチャルスタジオ映像生成装置Ａにおいて、あらかじめ作成された全天周画像Ｚｇが、変換マーカーの識別情報を含んでいる場合は、撮影セットＳｓの必要以外の部分を除去した撮影現場セットＧｓについて、区切れ部分に実マーカー（図９参照）を設けて、スタジオ撮影カメラ６で撮影する。
そして、バーチャルスタジオ映像生成装置Ａは、スタジオ撮影カメラ６により撮影したスタジオ画像Ｓｇに伴うスタジオカメラデータをスタジオカメラデータ収集器８により収集（Ｓ１１）すると共に、撮影したスタジオ画像は、画像認識部１０に受け取る。
【００７５】
さらに、バーチャルスタジオ映像生成装置Ａは、投影変換歪補正部９Ａによりスタジオ撮影カメラ６のレンズ歪を計算（Ｓ１２）して、そのレンズ歪に対応した表示用の電子画像Ｅｇを作成（Ｓ１３）する。そして、バーチャルスタジオ映像生成装置Ａは、電子画像Ｅｇに変換マーカーに対する位置情報がαチャネルに含まれている場合、マーカー認識部９ｃによりその変換マーカーの位置を認識する（Ｓ１５）と共に、その位置情報をマーカー位置比較部９ｄに送る。
【００７６】
マーカー認識部９ｃで変換マーカーが存在すると認識した場合（Ｓ１５で有）は、画像認識部１０で実マーカーの位置を認識（Ｓ１６）して、その実マーカーの位置情報をマーカー位置比較部９ｄに送る。そして、マーカー位置比較部９ｄでは、両マーカー位置を比較（Ｓ１７）してマーカー位置情報を作成する。
【００７７】
さらに、マーカー位置情報が規定の数値を超える場合には、アフィン変換部９ｅを介してアフィン変換（Ｓ１８）を行いスタジオ画像Ｓｇ側に合わせるように電子画像Ｅｇを変形する（図９参照）。一方、マーカー認識部９ｃで変換マーカーが存在しないと認識した場合（Ｓ１５で無）は、（Ｓ１９）へ進む。そして、映像合成部１１では、電子画像Ｅｇに含まれているαチャネルの信号により、のりしろ画像を付加した状態で電子画像Ｅｇとスタジオ画像Ｓｇとからバーチャルスタジオ映像Ｖｐを合成（Ｓ１９）して作成する。
【００７８】
このように、全天周画像Ｚｇと撮影現場セットＧｓの境目は、図５および図６に示すように、手前の障子左の柱と天井の部分で、障子と天井にかけて全天周画像Ｚｇから投影変換された電子画像Ｅｇで構成されている。撮影現場セットＧｓのスタジオ画像Ｓｇと全天周画像Ｚｇの電子画像Ｅｇとの合成が違和感なく自然に接続されていることが確認できた。また、スタジオ撮影カメラ６をパン、チルトしても、撮影現場セットＧｓと電子画像Ｅｇの端面にのりしろ部分（ここでは柱）があり、多少のずれを生じても目立たなかった。
【００７９】
図６に示すように、スタジオ撮影カメラ６（アクシビジョンカメラ）で撮影を行った場合、実際のセットには障子や天井が存在しないが、全天周画像の障子や天井が合成されていることがわかる。また、アクシビジョンカメラを用いることにより、実際のセットがない部分でも奥行き情報で人物を切り出すことができ、電子画像Ｅｇの障子の背景映像に人物を合成させることができる。この結果、出演者が撮影現場セットＧｓの見切れを気にせずに動くことができるようになり、また、スタジオ撮影カメラ６の操作についても見切れ部分に自由にカメラを向けることができる。
【００８０】
なお、バーチャルスタジオ映像生成装置Ａでは、全天周画像Ｚｇを用いて、ずれが大きい分部にはのりしろあるいはアフィン変換した画像を使用することで、合成時の違和感を緩和させることができ、このときののりしろは一箇所でも複数箇所でも、連続する位置、間欠的な位置であっても構わない。また、出演者が演技を行うときに、出演者の立位置、背景画像に対する演技位置について、最低限の目安となる撮影現場セットがあれば、大きな設営をする必要がない。
【００８１】
また、ここでは、バーチャルスタジオ映像生成装置として説明したが、各構成部分について、コンピュータにおいて各手段として機能する機能プログラムで実現することも可能であり、各機能プログラムを結合してバーチャルスタジオ映像生成プログラムとして構成、動作させることも可能である。
さらに、全天周画像Ｚｇは、ここでは３６０度の球状全部について撮影して作成したが、例えば、２７０度（任意）の球状部分について撮影して残りの部分を空白とした状態の画像であっても良い。
【００８２】
【発明の効果】
以上説明したように、本発明に係るバーチャルスタジオ映像生成装置、バーチャルスタジオ映像生成方法、バーチャルスタジオ映像生成プログラムでは、以下に示すような優れた効果を奏する。
バーチャルスタジオ映像生成装置は、スタジオに設営されている本物の撮影現場セットと実写をベースに作成した全天周画像を自由に合成でき、実空間ベースのバーチャルスタジオ映像あるいはバーチャルスタジオとして提案することができる。
【００８３】
バーチャルスタジオ映像生成装置は、撮影カメラおよびスタジオ撮影カメラの主点位置が少しずれていても、主点位置を全天周画像の中心からずらすことにより、全天周画像とスタジオ画像とを自然に合成できる。また、全天周画像の端面にのりしろを持たせることにより、距離によって変化する合成時のずれ量を目立たなくすることが可能になった。さらに、ズーム率によってレンズ歪が影響して接続面の誤差が大きくなる部分があっても、ズレ補正手段により誤差を吸収することができる。
【００８４】
バーチャルスタジオ映像生成装置は、主点一致型カメラ雲台を使用して撮影することにより、ズーム・フォーカスなどを変更しても主点が常に回転中心に一致するため、バーチャルスタジオで撮影するスタジオカメラデータに従って全天周画像を投影変換し、画角によって変化するレンズ歪を計算し、レンズ歪を入れた電子画像とスタジオ画像を合成してバーチャルスタジオ映像を違和感なく接続して作成できる。
【００８５】
バーチャルスタジオ映像生成装置は、全天周画像を用いることにより、３次元ＣＧを作成するよりも簡易にかつ自然な映像を作成できるようになり、スタジオ撮影カメラに映る見切れ部分に全天周画像を合成することにより、違和感のない出力画像を得られる。このバーチャルスタジオ映像生成装置は、これまで映すことのできなかったスタジオにおいて撮影現場セットの見切れる部分の方向にカメラを向けることができるようになる。
【００８６】
バーチャルスタジオ映像生成装置では、演技に必要な最低限のセットは実際に設営し、セット以外の部分は実写を基に作成した撮影現場セットで補完することのできるので、見切れを気にしないでカメラを操作することができ、出演者は実セットで演技しやすく、また、繰り返し撮影現場セットを移動することがないため、スペース・コスト面で効率的な番組制作が可能になると考えられる。
【００８７】
バーチャルスタジオ映像生成方法では、はじめに全天周画像を作成して、その全天周画像を投影変換して電子画像を作成し、その電子画像に含まれる差分情報に基づいてスタジオ画像と合成するため、出力画像となるバーチャルスタジオ映像が違和感なく作成することができると共に、出演者は目印となる撮影現場セットのある状態で演技ができるため演技しやすく、また、出演者およびスタジオ撮影カメラは、撮影現場セットの見切れを気にしないで撮影することが可能となる。
【００８８】
バーチャルスタジオ映像生成プログラムでは、実空間ベースのバーチャルスタジオ映像として提案することができる。また、スタジオ撮影カメラのレンズ歪に対応する電子画像をスタジオ画像に合成することが可能であることから、任意のスタジオ撮影カメラであっても違和感なく合成したバーチャルスタジオ映像を作成することが可能となる。
【図面の簡単な説明】
【図１】本発明に係るバーチャルスタジオ映像生成装置の構成を示すブロック図である。
【図２】本発明に係るバーチャルスタジオ映像生成装置の電子画像生成部について詳細な構成を示すブロック図である。
【図３】（ａ）、（ｂ）は本発明に係るバーチャルスタジオ映像生成装置に使用される撮影カメラおよびスタジオ撮影カメラの模式図である。
【図４】（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）は、本発明に係るバーチャルスタジオ映像生成装置においてバーチャルスタジオ映像を作成する状態を模式的に示す模式図である。
【図５】本発明に係るバーチャルスタジオ映像生成装置により作成したバーチャルスタジオ映像の状態を示す模式図である。
【図６】本発明に係るバーチャルスタジオ映像生成装置により作成したバーチャルスタジオ映像と撮影現場セットを示す模式図である。
【図７】本発明に係るバーチャルスタジオ映像生成方法を示すフローチャートである。
【図８】本発明に係るバーチャルスタジオ映像生成方法における他の形態を示すフローチャートである。
【図９】（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）は、本発明に係るバーチャルスタジオ映像生成装置においてアフィン変化を行いバーチャルスタジオ映像を作成する例を示す模式図である。
【符号の説明】
Ａ バーチャルスタジオ映像生成装置
Ｅｇ 電子画像
Ｇｓ 撮影現場セット
Ｓｇ スタジオ画像
Ｓｓ 撮影セット
Ｖｐ バーチャルスタジオ映像
Ｚｇ 全天周画像
１ 撮影カメラ
２ 主点一致型カメラ雲台
３ カメラデータ収集器
４ 画像収録部
５ 全天周画像作成部
６ スタジオ撮影カメラ
７ カメラデータ検出器
８ スタジオカメラデータ収集器（カメラデータ収集部）
９ 電子画像生成部
９Ａ 投影変換歪補正部
９ａ レンズ歪計算部
９ｂ レンズ歪補正対応画像作成部
９ｃ マーカー認識部（変換マーカー認識部）
９ｄ マーカー位置比較部
９ｅ アフィン変換部（ズレ補正手段）
１０ 画像認識部
１１ 映像合成部
【発明の属する技術分野】
本発明は、映像制作において、実写を基に作成した全天周画像と、実写であるスタジオ画像とを違和感なく合成することができるバーチャルスタジオ映像生成装置およびその方法ならびにそのプログラムに関するものである。
【０００２】
【従来の技術】
従来、映像合成装置では、ブルーバックで撮影された人物映像から人物領域のみを抽出したキー信号として生成し、別に作成した電子映像とキー信号を基に合成する、クロマキー合成が一般に行われている。また、他の構成における映像合成装置では、カメラの動作に連動したコンピュータによる電子映像（＝ＣＧ）を生成してカメラ映像と合成したものを仮想スタジオもしくはバーチャルスタジオとして利用されていることが知られている。
【０００３】
このバーチャルスタジオと呼ばれるシステムでは、コンピュータ等でカメラに連動して生成した電子映像と、ブルーバックを使用して、切り出した人物の映像とを合成する手法が取られている。その際、シンセビジョン（ハイビジョンセット映像と人物映像を合成するもの）と呼ばれる手法を使用する場合があり、２次元平面の実写画像を電子映像として用いるものであった。
【０００４】
さらに、ブルーバックを用いない方法では、スタジオセットの実写画像に、コンピュータにより作成した、例えば３次元ＣＧのキャラクタや、３次元ＣＧ物体を合成することも一般的に行なわれている。
【０００５】
一方、テレビ放送におけるスタジオ番組は、一般にスタジオにセットを設営し、その中で出演者が演技し、カメラで撮影して番組制作を行うことが多い。さらに、近年ではコンピュータ技術が進み、様々な手法で特殊効果を加えることや、効率的な番組制作を行うことが可能になってきている。例えば、実際の映像とそのカメラワークに連動して生成したコンピュータグラフィックス（ＣＧ）を合成する仮想スタジオは、天気予報や子供番組などで頻繁に利用されている。
【０００６】
また、一般のスタジオセットを用いた番組制作の場合、映像合成する際であっても、ドラマのシーンを例にとると、椅子や机などが配置された部屋等を模したスタジオセットを組むことにより、出演者にとって演技を行いやすいものとなっている。
【０００７】
【発明が解決しようとする課題】
しかし、従来の映像合成を行なう装置、手法では、以下に示すような更なる改良が望まれていた。
スタジオセットを設営する際には、出演者やセットに照明を当てる目的でセットの上部から照明器具を下げるため、天井をつけられない場合や部分的にしかセットを組まない場合が多い。その結果、スタジオセットの見切れ部分にカメラを向けることが出来ず、撮影範囲が限定されるという問題があった。
【０００８】
そして、スタジオセットなどを使用して撮影する場合では、照明や大道具の配置あるいは出演者の立ち位置などを考慮しなければならず、また、スタジオを有効活用するために、撮影の度にスタジオセットを設営し、撤去することが多い。そのため、多いときは１シーンごとに照明や大道具の位置を移動する必要が生じて撮影に時間がかかることがあった。このスタジオセットの設営・撤去を繰り返すことは、時間やコストの面で効率的でない。
【０００９】
一方、バーチャルスタジオはブルーバックで演技する人物を撮影し、映像の青い領域にＣＧなどの映像を合成するクロマキー手法が用いられることが多い。このバーチャルスタジオでは、コンピュータで電子的なスタジオセットを作成するので、通常のスタジオセット設営を行う必要がなくブルーバックだけで良いので、効率的で自由度の高い番組制作が可能になるが、出演者にとってブルーの特殊な背景には映像あるいはセットの目印となるものがなく、演技しにくいという問題があった。
【００１０】
また、実スタジオセットにＣＧの小物やＣＧアクターなどを登場させる仮想スタジオ手法では、盛んに番組制作に使用されており、このＣＧアクターなどを用いる場合は、一般のカメラでは、実写の後ろにＣＧが回りこめないが、映像と画素毎の奥行き情報をリアルタイムに取得可能なアクシビジョンカメラが開発され、実写の後ろにＣＧが回りこむことができるようになった。しかし、その仮想スタジオ手法において、ＣＧと実写の合成だと気づかれないような自然な映像をリアルタイムに実現しようとすると、実写の品質のＣＧをリアルタイムに生成することは難しい。
【００１１】
そのため、ドラマやスペシャル番組などで自然な合成を行う場合、スタジオではワイヤフレームモデルのＣＧとの合成などで確認しながら撮影を行い、後に時間をかけてＣＧレンダリングを行い、実写と多重合成して違和感のないように合成を行う場合が多く、実写品質のＣＧをリアルタイムに実現するのは難しい。
【００１２】
また、スタジオ撮影のブルーの部分にＣＧをはめ込むクロマキー手法等により合成して映像を作成する場合や、あるいは、クロマキー手法ではなく、スタジオセットの実写画像に実写に模したスタジオＣＧを合成して映像を作成する場合では、実写画像とＣＧ映像との質感が異なることから合成した映像が、いかにも作り物として認識されてしまうため、更なる改良が望まれていた。
【００１３】
そして、実写を用いて合成画像を作成する場合は、パン、チルトなどの視野方向とズームあるいはフォーカスなどの光軸方向に対する画角などのカメラレンズの主点位置に対する差により合成画像を作成することが困難であった。
【００１４】
さらに、二つの実写画像を合成する場合では、一方の画像と他方の画像とを撮影したカメラレンズの歪に対する差から、合成位置にズレが生じてしまい映像に違和感を与えてしまうため、スムーズに実写画像を合成することについて更なる改良が望まれていた。
【００１５】
本発明は、前記の問題点に鑑み創案されたものであり、２つの実写画像を違和感なく合成するために、全天周画像を用いることで、３次元ＣＧで作成するよりも簡便でかつ違和感のない合成映像を得ることが可能で、リアルタイムに自然なバーチャルスタジオ映像を実現でき、スタジオにおいて照明等を最小限の移動で撮影が可能となるバーチャルスタジオ映像生成装置およびその方法ならびにそのプログラムを提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明に係るバーチャルスタジオ映像生成装置は、前記目的を達成するため、以下のような構成とした。すなわち、撮影カメラにより撮影した撮影セットに対する前記撮影カメラの少なくともパン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するカメラデータと、前記撮影セットおよびこの撮影セットの一部を取り去った撮影現場セットとの差を表わす差分情報と、前記撮影セットの区切れとなる位置に設けられた識別マーカーによる識別情報とに基づいて、前記撮影セットに対して作成された全天周画像を用いてバーチャルスタジオ映像を生成するバーチャルスタジオ映像生成装置である。
【００１７】
そして、このバーチャルスタジオ映像生成装置は、前記撮影現場セットを背景としてスタジオ撮影カメラにおいてスタジオ画像を撮影する際に、その撮影現場セットに対する少なくともパン、チルト、ズーム、フォーカスに伴う前記スタジオ撮影カメラのレンズの主点位置に関するスタジオカメラデータを収集するカメラデータ収集部と、前記カメラデータ収集部で収集したスタジオカメラデータと前記カメラデータとに基づいて、前記スタジオ撮影カメラのレンズ歪を計算するレンズ歪計算部と、前記レンズ歪計算部が計算したレンズ歪に基づいて、前記全天周画像を投影変換して前記レンズ歪に対応した表示用の電子画像を作成するレンズ歪補正対応画像作成部と、前記撮影現場セットの区切れとなる位置に設けた実マーカーの位置をスタジオ撮影カメラが撮影したスタジオ画像から認識する画像認識部と、前記識別マーカーによる識別情報に基づいて、投影変換された前記電子画像上に配置される変換マーカーの位置を認識する変換マーカー認識部と、前記変換マーカー認識部により認識された変換マーカーの位置、および、前記画像認識部により認識された実マーカーの位置を比較して、両マーカーにおける位置の差を示すマーカー位置情報を生成するマーカー位置比較部と、このマーカー位置比較部で生成したマーカー位置情報および前記差分情報に基づいて、前記レンズ歪補正対応画像作成部で作成した前記電子画像と、前記スタジオ撮影カメラで撮影したスタジオ画像とを、バーチャルスタジオ映像として合成する映像合成手段と、を備える構成とした。
【００１８】
このように構成されることにより、バーチャルスタジオ映像生成装置は、カメラデータ、差分情報、および、識別情報に基づいて、予め全天周画像を撮影している。なお、全天周画像が識別情報を含む場合は、撮影現場セットの区切れとなる位置にある画像で、所定の幅を備える画像区画を指定して合成時ののりしろとなり得るのりしろ画像の情報が、その全天周画像に含まれている。そして、バーチャルスタジオ映像生成装置は、撮影セットの一部を取り去った撮影現場セットの区切れとなる位置に実マーカーを設けてスタジオ撮影カメラで撮影して、画像認識部が実マーカーの位置を認識し、レンズ歪計算部が、スタジオカメラデータとカメラデータとに基づいてレンズ歪を計算して、レンズ歪補正対応画像作成部が、計算されたレンズ歪に基づいて全天周画像から電子画像を投影変換して作成する。このとき、バーチャルスタジオ映像生成装置では、変換マーカー認識部により全天周画像から投影変換した電子画像において識別マーカーから変換した変換マーカーの位置を認識して、マーカー位置比較部が、背景画像の実マーカーと、電子画像の変換マーカーとを比較して、両マーカーにおける位置の差を示すマーカー位置情報が生成される。そのため、バーチャルスタジオ映像生成装置では、マーカー位置情報および差分情報に基づいて、映像合成部が、電子画像の一部となるのりしろ画像を用いて、背景画像と電子画像とを合成することができる。
【００１９】
なお、全天周画像とスタジオ画像とをカメラデータが同一となる撮影カメラで撮影するか、また、カメラデータが何らかの処理をすることなく共通で使用できる主点一致型カメラ（雲台）である場合は都合がよい。そして、全天周画像は、画像フォーマットとして色（ＲＧＢ）に関する色情報チャネルと、この色情報チャネル以外の画像に対する制御に関する制御情報チャネルとにより構成されている。
【００２３】
さらに、前記バーチャルスタジオ映像生成装置は、前記マーカー位置比較部により比較されて生成された前記マーカー位置情報に基づいて、前記スタジオ画像と前記電子画像とのズレを補正するズレ補正手段とを備える構成とした。
【００２４】
このように構成されることにより、バーチャルスタジオ映像生成装置は、画像認識部が認識した実マーカーの位置と、この実マーカーの位置に対応する全天周画像の識別マーカーを投影変換した変換マーカーの位置とを、電子画像生成部のマーカー比較部が比較することで、生成される両マーカーのズレを示すマーカー位置情報を生成することができるため、ズレ補正手段によりマーカー位置情報に基づいて電子画像のズレを補正してつなぎ目をスムーズにすることが可能となる。なお、ズレ補正手段では、例えば、アフィン変換を用いることで全天周画像を実マーカー位置に対応するマーカ位置と合せるようにすることができる。
【００２５】
そして、バーチャルスタジオ映像生成方法として以下のようにした。すなわち、バーチャルスタジオ映像生成方法は、撮影カメラにより撮影した撮影セットに対する前記撮影カメラの少なくともパン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するカメラデータと、前記撮影セットおよびこの撮影セットの一部を取り去った撮影現場セットとの差を表わす差分情報と、前記撮影セットの区切れとなる位置に設けられた識別マーカーによる識別情報とに基づいて、前記撮影セットに対して作成された全天周画像を用いてバーチャルスタジオ映像を生成するバーチャルスタジオ映像生成方法であって、前記撮影現場セットを背景としてスタジオ撮影カメラにおいてスタジオ画像を撮影する際に、その撮影現場セットに対する少なくともパン、チルト、ズーム、フォーカスに伴う前記スタジオ撮影カメラのレンズの主点位置に関するスタジオカメラデータをカメラデータ収集部により収集するステップと、前記カメラデータ収集部により収集した前記スタジオカメラデータと前記カメラデータとに基づいて、前記スタジオ撮影カメラのレンズ歪をレンズ歪計算部により計算するステップと、前記レンズ歪計算部により計算したレンズ歪に基づいて、前記全天周画像を投影変換して前記レンズ歪に対応した表示用の電子画像をレンズ歪補正対応画像作成部により作成するステップと、前記撮影現場セットの区切れとなる位置に設けた実マーカーの位置をスタジオ撮影カメラが撮影したスタジオ画像から画像認識部を介して認識するステップと、前記識別マーカーによる識別情報に基づいて、投影変換された前記電子画像上に配置される変換マーカーの位置を変換マーカー認識部により認識するステップと、前記変換マーカー認識部により認識された変換マーカーの位置、および、前記画像認識部により認識された実マーカーの位置を比較して、両マーカーにおける位置の差を示すマーカー位置情報をマーカー位置比較部により生成するステップと、前記マーカー位置比較部により生成した前記マーカー位置情報および前記差分情報に基づいて、前記レンズ歪補正対応画像作成部で作成した前記電子画像と、前記スタジオ撮影カメラで撮影したスタジオ画像とを、バーチャルスタジオ映像として映像合成部により合成するステップとを、含むこととした。
【００２６】
このように構成されることにより、バーチャルスタジオ映像生成方法では、撮影セットを使用して予め全天周画像を撮影する。そして、カメラデータ、差分情報、および、識別情報に基づいて、予め全天周画像を撮影している。なお、全天周画像が識別情報を含む場合は、撮影現場セットの区切れとなる位置にある画像で、所定の幅を備える画像区画を指定して合成時ののりしろとなり得るのりしろ画像の情報が、その全天周画像に含まれている。そして、バーチャルスタジオ映像生成方法は、撮影セットの一部を取り去った撮影現場セットの区切れとなる位置に実マーカーを設けてスタジオ撮影カメラで撮影して、画像認識部が実マーカーの位置を認識し、レンズ歪計算部が、スタジオカメラデータとカメラデータとに基づいてレンズ歪を計算して、レンズ歪補正対応画像作成部が、計算されたレンズ歪に基づいて全天周画像から電子画像を投影変換して作成する。このとき、バーチャルスタジオ映像生成方法では、変換マーカー認識部により全天周画像から投影変換した電子画像において識別マーカーから変換した変換マーカーの位置を認識して、マーカー位置比較部が、背景画像の実マーカーと、電子画像の変換マーカーとを比較して、両マーカーにおける位置の差を示すマーカー位置情報が生成される。そのため、バーチャルスタジオ映像生成方法では、マーカー位置情報および差分情報に基づいて、映像合成部が、電子画像の一部となるのりしろ画像を用いて、背景画像と電子画像とを合成することができる。
【００２７】
さらに、バーチャルスタジオ映像合成プログラムとして、撮影カメラにより撮影した撮影セットに対する前記撮影カメラの少なくともパン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するカメラデータと、前記撮影セットおよびこの撮影セットの一部を取り去った撮影現場セットとの差を表わす差分情報と、前記撮影セットの区切れとなる位置に設けられた識別マーカーによる識別情報とに基づいて、前記撮影セットに対して作成された全天周画像を用いてバーチャルスタジオ映像を生成するためにコンピュータを、以下の各手段により、機能させる構成とした。
【００２８】
すなわち、前記各手段は、前記撮影現場セットを背景としてスタジオ撮影カメラにおいてスタジオ画像を撮影する際に、その撮影現場セットに対する少なくともパン、チルト、ズーム、フォーカスに伴う前記スタジオ撮影カメラのレンズの主点位置に関するスタジオカメラデータを収集するカメラデータ収集手段、前記カメラデータ収集手段で収集したスタジオカメラデータと前記カメラデータとに基づいて、前記スタジオ撮影カメラのレンズ歪を計算するレンズ歪計算手段、前記レンズ歪計算手段が計算したレンズ歪に基づいて、前記全天周画像を投影変換して前記レンズ歪に対応した表示用の電子画像を作成するレンズ歪補正対応画像作成手段、前記撮影現場セットの区切れとなる位置に設けた実マーカーの位置をスタジオ撮影カメラが撮影したスタジオ画像から認識する画像認識手段、前記識別マーカーによる識別情報に基づいて、投影変換された前記電子画像上に配置される変換マーカーの位置を認識する変換マーカー認識手段、前記変換マーカー認識手段により認識された変換マーカーの位置、および、前記画像認識手段により認識された実マーカーの位置を比較して、両マーカーにおける位置の差を示すマーカー位置情報を生成するマーカー位置比較手段、このマーカー位置比較手段で生成したマーカー位置情報および前記差分情報に基づいて、前記レンズ歪補正対応画像作成手段で作成した前記電子画像と、前記スタジオ撮影カメラで撮影したスタジオ画像とを、バーチャルスタジオ映像として合成する映像合成手段、とした。
【００２９】
このように構成されることで、バーチャルスタジオ映像生成プログラムは、全天周画像が識別情報を含む場合は、撮影現場セットの区切れとなる位置にある画像で、所定の幅を備える画像区画を指定して合成時ののりしろとなり得るのりしろ画像の情報が、その全天周画像に含まれている。そして、バーチャルスタジオ映像生成プログラムは、撮影セットの一部を取り去った撮影現場セットの区切れとなる位置に実マーカーを設けてスタジオ撮影カメラで撮影して、画像認識手段が実マーカーの位置を認識し、レンズ歪計算手段が、スタジオカメラデータとカメラデータとに基づいてレンズ歪を計算して、レンズ歪補正対応画像作成手段が、計算されたレンズ歪に基づいて全天周画像から電子画像を投影変換して作成する。このとき、バーチャルスタジオ映像生成プログラムでは、変換マーカー認識手段により全天周画像から投影変換した電子画像において識別マーカーから変換した変換マーカーの位置を認識して、マーカー位置比較手段が、背景画像の実マーカーと、電子画像の変換マーカーとを比較して、両マーカーにおける位置の差を示すマーカー位置情報が生成される。そのため、バーチャルスタジオ映像生成プログラムでは、マーカー位置情報および差分情報に基づいて、映像合成手段が、電子画像の一部となるのりしろ画像を用いて、背景画像と電子画像とを合成することができる。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
図１はバーチャルスタジオ映像生成装置の構成を示すブロック図、図２はバーチャルスタジオ映像生成装置の電子画像生成部について詳細な構成を示すブロック図である。
【００３１】
図１および図２に示すように、バーチャルスタジオ映像生成装置Ａは、予め作成された全天周画像Ｚｇを電子画像Ｅｇとする電子画像生成部９と、スタジオ撮影カメラ６によるスタジオカメラデータを検出するカメラデータ検出器７からカメラデータを収集するカメラデータ収集部８と、スタジオ撮影カメラ６が撮影した撮影現場セットＧｓ（図５参照）に実マーカーが存在しないときは、そのスタジオ画像Ｓｇを映像合成部１１に出力し、また、実マーカーが存在するときは認識した後に、そのスタジオ画像Ｓｇを映像合成部１１に出力する画像認識部１０と、この画像認識部１０からのスタジオ画像Ｓｇおよび電子画像生成部９からの電子画像Ｅｇを入力してバーチャルスタジオ映像Ｖｐとして合成する映像合成部１１と、を備えている。
【００３２】
図１および図４に示すように、全天周画像Ｚｇは、撮影カメラ１により、撮影セットＳｓを使用して、少なくともパン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するカメラデータと併せて、３６０度方向の画像を撮影して作成される。ここでは、全天周画像Ｚｇは、球面の上下半分あるいは左右半分の一方と他方を合成することで球状に作成されている。この全天周画像Ｚｇを作成するにあたって、例えば、図４（ａ）に示すように、はじめに、撮影セットの下側について撮影位置を特定位置に設定した撮影カメラ１により撮影する。このとき、照明、反射板などの撮影に必要な機材は、撮影されない上側あるいは撮影カメラ１の視野外に配置して３６０度方向について撮影を行う。つぎに、図４（ｂ）に示すように、前記と同様に今度は、撮影セットの上側について撮影カメラ１により３６０度方向の撮影を行う。なお、撮影カメラ１は、全天周画像Ｚｇを撮影する際に、あらかじめ決められた特定位置に設定された状態で撮影が行われていれば、時間的な連続性は必要としない。
【００３３】
なお、全天周画像Ｚｇは、カメラデータを利用して撮影カメラ１で撮影した各カメラ画像から球面画像につなぎ合わせるためには、以下のような簡単な式から行うことが可能となる。すなわち、球の式であるつぎの（１）式
【００３４】
Ｘ2＋Ｙ2＋Ｚ2＝ｒ2（ｒは球の半径） （１）式
と、平面の式であるつぎの（２）式
cosＴ・cosＰ・Ｘ＋sinＴ・Ｙ＋cosＴ・sinＰ・Ｚ＝Ｌ （２）式
（Ｌは平面までの距離、Ｐはパン角度、Ｔはチルト角度）
【００３５】
を用いて、平面上の座標Ｘ，Ｙと球面との交点を求めることで、撮影カメラ１により撮影した各カメラ画像から全天周画像Ｚｇを作成している。
その際、幾何学的なズレや色・明るさの変化などに対しては既に開発済みの手法（映像メディア学会誌Ｖｏｌ．５５，Ｎｏ１、ＰＰ１５９〜１６６（２００１））で軽減し、繋ぎ目の目立たない超高精細全天周画像として作成することができる。
【００３６】
そして、全天周画像Ｚｇを作成する場合において、照明の当て方が若干異なり、接続部分で色・明るさが微妙に異なっている場合、接続点でのレベル差が生じないように色調整を行うことで違和感なく作成することができる。もちろん同じ場所で撮影することにより色調整の処理を省くことができる。なお、全天周画像Ｚｇは、撮影時の撮影カメラ１の画角に収まる部分内において動画が存在する構成であれば対応することが可能となる。つまり全天周画像Ｚｇを作成するにあたり、貼り合わせて作成する部分に跨ることなく動画が存在していれば動画と静止画の組み合わせた状態を可能とすることができる。
【００３７】
全天周画像Ｚｇは、例えば、画像フォーマットとして、色情報に関する色情報チャネルであるＲ、Ｇ、Ｂチャネル、および、画像に対する制御情報に関する制御情報チャネルとしてのαチャネルにより構成されている。そして、ここでは、αチャネルを、複数の領域に分割して、ＲＧＢの三原色に伴う色情報以外の画像に対する制御情報を記憶させるものとする。なお、ここでは、αチャネルに「０」「１」の信号により、撮影セットＳｓと撮影現場セットＧｓの差を示す前記キー信号（差分情報）と、撮影セットＳｓの区切れとなる位置に設けた識別マーカーによる識別情報と、この識別情報に付帯するのりしろ画像の有無を少なくとも記憶させている。
【００３８】
次に、全天周画像Ｚｇが作成されると、撮影セットＳｓのなかで、不必要な部分を取り除き、演技に必要な最小限の撮影現場セットＧｓとして残し、それ以外を撤去する。そして、全天周画像Ｚｇ上には、残された撮影現場セットＧｓについての領域を示すキー信号を差分情報として前記したαチャネルに記憶させておく。
【００３９】
撮影カメラ１は、図３（ａ）に示すように、少なくとも、パン、チルト、ズーム、フォーカスに伴うレンズの主点位置が自動的に一致する主点一致型カメラ雲台２を備える構成であることが望ましい。そして、実際に出演者が出演して撮影するスタジオ撮影に使用されるスタジオ撮影カメラ６も同様に主点一致型カメラ雲台２を用いる構成とすると都合が良い。
【００４０】
撮影カメラ１により撮影された画像は、画像収録部４に収録され、その収録された画像に伴うパン、チルト、ズーム、フォーカスに伴う主点位置に関するカメラデータは、カメラデータ収集器３に収集されている。そして、全天周画像作成部５により、収集したカメラデータおよび収録された画像に基づいて全天周画像Ｚｇが前記したように作成される。
【００４１】
使用される撮影カメラ１およびスタジオ撮影カメラ６は、同画質の画像合成が行えるように同じハイビジョンカメラを使用すると都合が良い。そして、スタジオ撮影カメラ６は、前記したハイビジョンカメラに撮影する画像の距離（奥行き情報）を取得できるカメラがついたアクシビジョンカメラ（例えば、特開２００１−２５０１１１公報）であると都合が良い。
【００４２】
なお、撮影カメラ１あるいはスタジオ撮影カメラ６のどちらか一方あるいは両方は、図３（ｂ）に示すように、主点一致型カメラ雲台２を使用しないものであっても構わない。その場合は、撮影カメラ１のパン、チルト、ズーム、フォーカスなどに伴うレンズの主点位置に関するカメラデータと、スタジオ撮影カメラ６のパン、チルト、ズーム、フォーカスなどに伴うレンズの主点位置に関するスタジオカメラデータとの整合性がより求められる。
【００４３】
なお、ここでは、撮影現場セットＧｓを撮影するスタジオ撮影カメラ６は、全天周画像撮影時と同じ位置にカメラを設置することとなる。また、スタジオ撮影カメラ６には、撮影されたスタジオ画像Ｓｇ（図６参照）に伴うスタジオカメラデータ（パン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するデータ）を収集可能なカメラ雲台に設置できるアクシビジョンカメラを用いることにした。
【００４４】
そのため、全天周画像作成時は球の中心に視点があると想定しているが、撮影現場セットＧｓの撮影時は図３（ｂ）に示すように、全天周画像撮影時と異なり、視点の位置が高さ方向と光軸方向にずれており、カメラの回転中心に一致していない。そのため、主点の位置が、回転中心位置に対して高さ方向にｄｙ、光軸方向にｄｚずれていることと、ズーム・フォーカスによりｄｚは変動することを考慮して、全天周画像Ｚｇから投影変換した電子画像Ｅｇとスタジオ画像Ｓｇとを両カメラデータに基づいて合せるようにしている。
【００４５】
図１および図２に示すように、カメラデータ検出器７は、スタジオ撮影カメラの少なくともパン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するスタジオカメラデータを検出するものである。このカメラデータ検出器７は、パン、チルト、ズームおよびフォーカスに伴うレンズの主点位置に関するスタジオカメラデータについて、図３（ａ）に示すように、主点一致型カメラ雲台２が有するセンサ（図示せず）により検出して、スタジオカメラデータ収集器８に出力している。
【００４６】
スタジオカメラデータ収集器（カメラデータ収集部）８は、カメラデータ検出器７から送られてきたスタジオカメラデータを図示しないメモリなどの記憶手段に記憶して、撮影されたスタジオ画像Ｓｇと関連づけて記憶している。このスタジオカメラデータ収集器８は、電子画像生成部９にそのスタジオカメラデータを出力している。
【００４７】
電子画像生成部９は、図１および図２に示すように、レンズ歪計算部９ａと、レンズ歪補正対応画像作成部９ｂと、変換マーカー認識部としてのマーカー認識部９ｃと、マーカー位置比較部９ｄと、ズレ補正手段としてのアフィン変換部９ｅとを備えている。なお、レンズ歪計算部９ａと、レンズ歪補正対応画像作成部９ｂとを、ここでは、投影変換歪補正部９Ａとし一まとめにして説明することもある。
【００４８】
図１および図２に示すように、レンズ歪計算部９ａは、全天周画像Ｚｇのカメラデータと、スタジオ画像Ｓｇのスタジオカメラデータとに基づいて、スタジオ撮影カメラ６のレンズ歪を計算するものである。このレンズ歪計算部９ａは、あらかじめ、レンズ歪についての歪係数を求めておき、テーブル化してスタジオ撮影カメラ６のレンズ歪を求めるように構成されている。なお、レンズ歪を求める式を、簡単に示すと以下のようになる。
【００４９】
すなわち、ｒ2＝ｘ2＋ｙ2 （３）式
なお、式中ｘ，ｙは画像の中心からｘ座標、ｙ座標、ｒは中心からｘ，ｙへの距離である。
また、Ｒ・Ｒ＝ｋ１・ｒ2＋ｋ２・ｒ4＋… （４）式
なお、式中ｒはレンズ歪のないときの距離、Ｒはレンズ歪のあるときの距離、ｋ１、ｋ２…はレンズ歪係数である。
【００５０】
これらの（３）式、（４）式からズーム、フォーカスに伴って変化するｋ１、ｋ２…をあらかじめテーブル化して求めておき、全天周画像Ｚｇの画素ごとに計算することで、レンズ歪を算出している。なお、レンズ歪を計算する場合に、必要となる主点位置と画角比などの関係は、三次スプライン関数ｇ（ｚ、ｓ）、ｈ（ｚ、ｓ）を用いてつぎの（５）式のように表すことができる。
ｔａｎ（Ｗ／２）＝Ｈ／ｚ （Ｈ：撮影板幅／２） （なお、Ｗは画角）
ｔ１（主点位置）＝ｇ（ｚ、ｓ）
ｔａｎ（ｗ）／ｔａｎ（Ｗ）＝ｈ（ｚ、ｓ） （５）式
（式中ｚはズーム量、ｓはフォーカス量である）
【００５１】
また、主点位置ｔ１が予め分からず求める場合は、任意の数のズーム、フォーカス量を取り出し、（用意した奥行き方向に付された目盛りの位置から焦点位置を決める）それらのそれぞれについて、スタジオ撮影カメラ６をパンしたときの奥行き方向に重なった物体が見え隠れしない光軸方向上での主点位置ｔ１を探すことにより求めることができる。さらに、チルトである画角（水平画角）Ｗについては、それぞれのズーム、フォーカス量に対して、カメラを画面の左端から右端までパンし、重なった画像のマッチングを画角調整しながらとり、どれだけカメラの角度が動いたかを測定することによって求めることができる（特開２０００−１４７６４３公報参照）。
【００５２】
レンズ歪補正対応画像作成部９ｂは、レンズ歪計算部９ａにより計算したレンズ歪に基づいて全天周画像Ｚｇを投影変換してそのレンズ歪に対応した表示用の電子画像Ｅｇを作成するものである。このレンズ歪補正対応画像作成部９ｂは、全天周画像Ｚｇが含んでいるαチャネルのキー信号の有無にかかわらず、投影変換することで、球面状の画像を平面状の画像に変換している。
【００５３】
なお、レンズ歪補正対応画像作成部９ｂは、投影変換することで、電子画像Ｅｇを作成しているが、投影変換に特定されるものではなく、透視変換など、球面状の画像を表示用の平面状の画像に適切に変換できるものであれば、特に限定されるものではなく他の変換手段を用いて行っても構わない。
【００５４】
図１および図２に示すように、マーカー認識部９ｃは、レンズ歪補正対応画像作成部９ｂにより作成された電子画像Ｅｇにおいて、識別マーカーが投影変換されて変換マーカーとなる位置を認識するためのものである。このマーカー認識部９ｃは、全天周画像Ｚｇに含まれているαチャネルのうちで識別マーカーに対する識別情報により投影変換された変換マーカーの位置を認識してその情報をマーカー位置比較部９ｄに出力している。
【００５５】
図１および図２に示すように、マーカー位置比較部９ｄは、マーカー認識部９ｃおよび画像認識部１０からそれぞれ送られてくる変換マーカーの位置情報と、実マーカーの位置情報とを比較してマーカー位置情報を生成するものである。このマーカー位置比較部９ｄにより作成されたマーカー位置情報は、アフィン変換部９ｅに出力される。なお、マーカー位置情報は、座標上に示される座標点のずれ量として示されるものである。
【００５６】
図１および図２に示すように、ズレ補正手段としてのアフィン変換部９ｅは、マーカー位置比較部９ｄにより生成されたマーカー位置情報および全天周画像Ｚｇに含まれる変換マーカーによる識別情報に基づいて、電子画像に生じるズレをスタジオ画像Ｓｇに合せて補正するためのものである。このアフィン変換部９ｅは、撮影カメラ１とスタジオ撮影カメラ６とが主点一致型カメラ雲台２を共通して使用しない場合に有効に用いられることになる。
【００５７】
例えば、主点一致型カメラ雲台２をスタジオ撮影カメラ６（図１参照）で使用しない場合、主点位置はズーム、フォーカスによって移動するため、撮影現場セットＧｓの撮影時に、全天周撮影時と異なり、視点の位置が高さ方向と光軸方向にずれており、カメラの回転中心に一致していない。そのため、スタジオ撮影カメラ６のレンズの主点位置は、回転中心位置に対して高さ方向にｄｙ、光軸方向にｄｚずれていることと、ズーム・フォーカスによりｄｚは変動することを考慮して、すでに説明したレンズ歪計算部９ａが計算する必要がある。
【００５８】
このとき、主点一致型カメラ雲台２の主点位置を（０，０，０）とすると、スタジオ撮影カメラ６の主点位置（ｘ，ｙ，ｚ）は、以下、高さ方向ｄｙ、光軸方向ｄｚについて差分を生じることになる。このｄｙ、ｄｚを球面の中心からずらして、透視変換を行うようにしても、つまり、主点位置を合せても画像合成時に合わない部分がある。この合わない理由は、全ての奥行きをある数値Ｍで置き換えて球面にマッピングしているからである。主点位置が中心からずれている場合の画像上のズレは、被写体までの距離に応じているので、そのズレは以下の式で表される。
【００５９】
ｄｖ＝｛（ｄｚ／Ｍ）＋（ｄｙ／Ｍｔａｎ（ａ／２））｝・Ｖ／２ （６）式
ｄｈ＝（ｄｚ／Ｍ）・（Ｈ／２） （７）式
ここで、上式中において、Ｍは被写体までの距離、αは垂直画角、Ｖは垂直方向有効画素数、ｄｖは垂直方向誤差、Ｈは水平方向画素数、ｄｈは水平方向誤差である。
【００６０】
例えば、図５および図６に示すように、スタジオ撮影カメラ６を（図６の背景画に比較して図５の背景画がズームアウトしている状態）ズームアウトして使用した場合のデータを入力すると、スタジオ撮影カメラ６から障子の柱までの距離約３６０ｃｍ、垂直画角約６０度、全天周画像からカメラデータと高さ方向変位ｄｙ＝１８ｃｍ、光軸方向変位ｄｚ＝−１５ｃｍで、ｄｖ＝２２．４画素、ｄｈ＝４１．６画素程度のずれを生じる。
【００６１】
スタジオ撮影カメラ６から障子の柱までの距離と天井奥の境までの距離が異なり、上記（６）式、（７）式から奥行き方向の距離に応じてずれる量が変化する。天井奥の境までの距離は４２０ｃｍであり、ｄｖ′＝２０．７８画素、ｄｈ′＝３４．２画素となる。柱に合わせて球中心から視点をｄｙ，ｄｚ移動させて画像を再生する。そこで、天井奥の境ではｖ方向にｄｖ−ｄｖ′＝３．７画素、ｈ方向にｄｈ−ｄｈ′＝７．４画素分についてずれることになる。つまり、柱の位置で繋ぎ目を合わせても、奥の方に向かうに従い０〜７画素程度徐々にずれていくことを表している。
【００６２】
そこで、図９に示すように、電子画像Ｅｇと実際の映像の間にのりしろを設けると共に、（図５の柱部分や鴨居部分がのりしろに当たる）図９（ａ）、（ｂ）に示すように、撮影現場セットＧｓに実マーカーを付けておき、スタジオ撮影カメラ６で撮影するときに実マーカーおよび変換マーカーによるマーカー位置情報により、全天周画像Ｚｇから投影変換した電子画像Ｅｇのどの部分に対応するか比較する。
【００６３】
そして、図９（ｄ）、（ｅ）に示すように、両マーカーの部分をあわせるために電子画像Ｅｇについて画像変形を行う。このとき、変換マーカーで示される部分について三角形に分けて両マーカー部分が合うように画像を変形する。これは、アフィン変換で記述することができる。マーカーにより移動する三角形の頂点の座標（ｘｐ，ｙｐ）→（ＸＰ，ＹＰ)、（ｘｑ，ｙｑ）→（ＸＱ，ＹＱ）、（ｘｒ，ｙｒ）→（ＸＲ，ＹＲ)とすると、アフィン変換式は、以下の式となる。
【００６４】
ｘｐ＝ＡＸＰ＋ＢＹＰ＋Ｃ
ｘｑ＝ＡＸＱ＋ＢＹＱ＋Ｃ
ｘｒ＝ＡＸＲ＋ＢＹＲ＋Ｃ
ｙｐ＝ＤＸＰ＋ＥＹＰ＋Ｆ
ｙｑ＝ＤＸＱ＋ＥＹＱ＋Ｆ
ｙｒ＝ＤＸＲ＋ＥＹＲ＋Ｆ
そして、未知数Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆが上記方程式より求められる。これにより三角形内部の画素を補間してマッピングすることが可能になる。以上の変形を行うことにより、画像上境目が目立たなくなる。
【００６５】
ここで使用されるのりしろ画像としては、電子画像Ｅｇ（図１参照）の変換マーカーの位置と、スタジオ画像Ｓｇの実マーカーの位置とのズレ幅をカバーすることができる幅寸法の画像の一部としており、ここでは、一例として、図５に示すように、柱の部分としている。この柱の部分をのりしろ画像とする場合、スタジオ画像Ｓｇの柱よりやや幅を狭くした部分をのりしろとしている。そのため、電子画像Ｅｇとスタジオ画像Ｓｇとを合成する場合に、本来ならずれが生じてつなぎ目が目立つ部分を、その柱がのりしろとなって同系色で重なっていることでほとんど目立つことなく合成することができる。のりしろ画像は、画像上の区切れとなる部分として線で囲まれた部分の一部および全部（柱、ふすまの枠体の縦枠など）を含む画像であることが望ましい。
【００６６】
図１および図２に示すように、画像認識部１０は、撮影現場セットＧｓを撮影したスタジオ画像Ｓｇが入力され、撮影現場セットＧｓの区切れとなる位置に設けられた実マーカーの位置をスタジオ画像Ｓｇにおいて認識するものである。この画像認識部１０による実マーカーの認識は、ここでは貼り付けた位置が分かる色付の実マーカーにより行っており、その実マーカーの色認識について市販の画像処理ボード等で行うことが可能である。画像認識部１０では、実マーカーを認識しない場合は、入力されたスタジオ画像Ｓｇを映像合成部１１に出力し、実マーカーを認識した場合は、その実マーカーの位置情報をマーカー位置比較部９ｄに出力すると共に、スタジオ画像Ｓｇを映像合成部１１に出力している。
【００６７】
図１および図２に示すように、映像合成部１１は、画像認識部１０からのスタジオ画像Ｓｇと、電子画像生成部９からの電子画像Ｅｇとを入力してバーチャルスタジオ映像Ｖｐ（図６参照）を合成するためのものである。この映像合成部１１は、電子画像Ｅｇが含んでいるαチャネルののりしろ画像の有無を示す領域内の「０」「１」の信号に基づいて、のりしろ画像を含む場合と、のりしろ画像を含みかつアフィン変換された状態の画像である場合について対応してスタジオ画像Ｓｇと合成して違和感のないバーチャルスタジオ映像Ｖｐを作成している。なお、映像合成部１１は、のりしろ画像が電子画像Ｅｇにαチャネルにより含まれていることが分かると、そののりしろ画像とスタジオ画像Ｓｇの対応する部分とを違和感なくつなぎ合わせて合成することができる。
【００６８】
また、映像合成部１１により合成されて出力されるバーチャルスタジオ映像Ｖｐでは、出演者が実際に設営されている撮影現場セットＧｓから見切れる位置で演技しても、図４（ｅ）および図６に示すように、出力される映像上では撮影現場セットＧｓの前で演技している映像が映し出されることになる。
【００６９】
つぎに、バーチャルスタジオ映像生成装置Ａの動作状態について説明する。
はじめに、図１に示すように、スタジオに設営した撮影セットＳｓから３６０度方向の画像を撮影して全天周画像Ｚｇを作成する。この全天周画像Ｚｇは、ここでは、一例として、図４（ａ）、（ｂ）に示すように、天井なしのセット部分を撮影した全天周画像（半球状）と、天井ありのセット部分を撮影した全天周画像（半球状）を、重ね合わせて球状の全天周画像Ｚｇとして合成した。なお、この全天周画像Ｚｇは、画像フォーマットとして、Ｒ、Ｇ、Ｂチャネルおよびαチャネルにより構成され、αチャネルに差分情報、識別情報、のりしろ画像の有無が記憶されている。全天周画像Ｚｇが作成されると電子画像生成部９にその全天周画像Ｚｇが図示しない記憶手段に記憶されて蓄積される。
【００７０】
つぎに、撮影セットＳｓの中で、スタジオ撮影する場合に不必要となるセット部分を取り除き、スタジオで演技に必要な最小限の撮影現場セットＧｓとして残した状態とする。そして、撮影セットＳｓを撮影した同じ位置にスタジオ撮影カメラ６を設置してスタジオ画像Ｓｇを撮影する。
【００７１】
図１、図２および図７に示すように、電子画像生成部９では、スタジオ撮影カメラ６からのパン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するスタジオカメラデータを収集（Ｓ１）すると共に、収集したスタジオカメラデータおよび全天周画像Ｚｇのカメラデータに基づいて、レンズ歪計算部９ａがスタジオ撮影カメラ６のレンズ歪を計算（Ｓ２）して、レンズ歪補正対応画像作成部９ｂがそのレンズ歪に対応した表示用の電子画像Ｅｇを、全天周画像Ｚｇから投影変換して作成（Ｓ３）する。このとき、スタジオ撮影カメラ６と撮影カメラ１とが共に、主点一致型カメラ雲台２を使用しているとスタジオカメラデータおよびカメラデータに伴う画像の合成がし易く都合がよい。
【００７２】
スタジオ撮影カメラ６は、奥行き情報を取ることの出来るものを用いることにより、全天周画像Ｚｇを合成する部分にそのスタジオ撮影カメラ６からの距離に応じて被写体だけを抜き出すといったことも可能になる。この奥行き情報を取得できる方法として、本発明の出願人がすでに出願した立体情報検出方法及び装置（特願平１０−２９３８１７）を用いるか、５眼ステレオ視による奥行き情報抽出カメラ（Park他：Arbitrary View Generation from Multiple Cameras IEEE ICIP’97）を用いることで可能となる。これらの特殊なカメラをスタジオ撮影カメラ６として用いることにより奥行き情報に従ったキー信号を抽出できる。なお、各画像共、奥行き情報は、輝度値（０−２５５）が奥行き（Ｚｆａｒ〜Ｚｎｅａｒ）に対応しているものとする。
【００７３】
図１、図２および図７に示すように、バーチャルスタジオ映像生成装置Ａでは、電子画像生成部９により生成された電子画像Ｅｇを映像合成部１１に送り、かつ、画像認識部１０からスタジオ画像Ｓｇを映像合成部１１に送る。そして、映像合成部１１では、電子画像Ｅｇに含まれている差分情報に基づいて、その電子画像Ｅｇとスタジオ画像Ｓｇとを合成（Ｓ４）してバーチャルスタジオ映像Ｖｐ（図６参照）を作成して出力している。なお、電子画像Ｅｇにのりしろ画像がαチャネル上で指定されている場合については、その指定された画像範囲をのりしろ画像としてスタジオ画像Ｓｇの対応位置に合成した状態でバーチャルスタジオ映像Ｖｐを作成することになる。
【００７４】
つぎに、図１、図２および図８に示すように、スタジオ撮影カメラ６と撮影カメラ１とのいずれかが主点一致型カメラ雲台２を使用しないとき、バーチャルスタジオ映像生成装置Ａにおいて、あらかじめ作成された全天周画像Ｚｇが、変換マーカーの識別情報を含んでいる場合は、撮影セットＳｓの必要以外の部分を除去した撮影現場セットＧｓについて、区切れ部分に実マーカー（図９参照）を設けて、スタジオ撮影カメラ６で撮影する。
そして、バーチャルスタジオ映像生成装置Ａは、スタジオ撮影カメラ６により撮影したスタジオ画像Ｓｇに伴うスタジオカメラデータをスタジオカメラデータ収集器８により収集（Ｓ１１）すると共に、撮影したスタジオ画像は、画像認識部１０に受け取る。
【００７５】
さらに、バーチャルスタジオ映像生成装置Ａは、投影変換歪補正部９Ａによりスタジオ撮影カメラ６のレンズ歪を計算（Ｓ１２）して、そのレンズ歪に対応した表示用の電子画像Ｅｇを作成（Ｓ１３）する。そして、バーチャルスタジオ映像生成装置Ａは、電子画像Ｅｇに変換マーカーに対する位置情報がαチャネルに含まれている場合、マーカー認識部９ｃによりその変換マーカーの位置を認識する（Ｓ１５）と共に、その位置情報をマーカー位置比較部９ｄに送る。
【００７６】
マーカー認識部９ｃで変換マーカーが存在すると認識した場合（Ｓ１５で有）は、画像認識部１０で実マーカーの位置を認識（Ｓ１６）して、その実マーカーの位置情報をマーカー位置比較部９ｄに送る。そして、マーカー位置比較部９ｄでは、両マーカー位置を比較（Ｓ１７）してマーカー位置情報を作成する。
【００７７】
さらに、マーカー位置情報が規定の数値を超える場合には、アフィン変換部９ｅを介してアフィン変換（Ｓ１８）を行いスタジオ画像Ｓｇ側に合わせるように電子画像Ｅｇを変形する（図９参照）。一方、マーカー認識部９ｃで変換マーカーが存在しないと認識した場合（Ｓ１５で無）は、（Ｓ１９）へ進む。そして、映像合成部１１では、電子画像Ｅｇに含まれているαチャネルの信号により、のりしろ画像を付加した状態で電子画像Ｅｇとスタジオ画像Ｓｇとからバーチャルスタジオ映像Ｖｐを合成（Ｓ１９）して作成する。
【００７８】
このように、全天周画像Ｚｇと撮影現場セットＧｓの境目は、図５および図６に示すように、手前の障子左の柱と天井の部分で、障子と天井にかけて全天周画像Ｚｇから投影変換された電子画像Ｅｇで構成されている。撮影現場セットＧｓのスタジオ画像Ｓｇと全天周画像Ｚｇの電子画像Ｅｇとの合成が違和感なく自然に接続されていることが確認できた。また、スタジオ撮影カメラ６をパン、チルトしても、撮影現場セットＧｓと電子画像Ｅｇの端面にのりしろ部分（ここでは柱）があり、多少のずれを生じても目立たなかった。
【００７９】
図６に示すように、スタジオ撮影カメラ６（アクシビジョンカメラ）で撮影を行った場合、実際のセットには障子や天井が存在しないが、全天周画像の障子や天井が合成されていることがわかる。また、アクシビジョンカメラを用いることにより、実際のセットがない部分でも奥行き情報で人物を切り出すことができ、電子画像Ｅｇの障子の背景映像に人物を合成させることができる。この結果、出演者が撮影現場セットＧｓの見切れを気にせずに動くことができるようになり、また、スタジオ撮影カメラ６の操作についても見切れ部分に自由にカメラを向けることができる。
【００８０】
なお、バーチャルスタジオ映像生成装置Ａでは、全天周画像Ｚｇを用いて、ずれが大きい分部にはのりしろあるいはアフィン変換した画像を使用することで、合成時の違和感を緩和させることができ、このときののりしろは一箇所でも複数箇所でも、連続する位置、間欠的な位置であっても構わない。また、出演者が演技を行うときに、出演者の立位置、背景画像に対する演技位置について、最低限の目安となる撮影現場セットがあれば、大きな設営をする必要がない。
【００８１】
また、ここでは、バーチャルスタジオ映像生成装置として説明したが、各構成部分について、コンピュータにおいて各手段として機能する機能プログラムで実現することも可能であり、各機能プログラムを結合してバーチャルスタジオ映像生成プログラムとして構成、動作させることも可能である。
さらに、全天周画像Ｚｇは、ここでは３６０度の球状全部について撮影して作成したが、例えば、２７０度（任意）の球状部分について撮影して残りの部分を空白とした状態の画像であっても良い。
【００８２】
【発明の効果】
以上説明したように、本発明に係るバーチャルスタジオ映像生成装置、バーチャルスタジオ映像生成方法、バーチャルスタジオ映像生成プログラムでは、以下に示すような優れた効果を奏する。
バーチャルスタジオ映像生成装置は、スタジオに設営されている本物の撮影現場セットと実写をベースに作成した全天周画像を自由に合成でき、実空間ベースのバーチャルスタジオ映像あるいはバーチャルスタジオとして提案することができる。
【００８３】
バーチャルスタジオ映像生成装置は、撮影カメラおよびスタジオ撮影カメラの主点位置が少しずれていても、主点位置を全天周画像の中心からずらすことにより、全天周画像とスタジオ画像とを自然に合成できる。また、全天周画像の端面にのりしろを持たせることにより、距離によって変化する合成時のずれ量を目立たなくすることが可能になった。さらに、ズーム率によってレンズ歪が影響して接続面の誤差が大きくなる部分があっても、ズレ補正手段により誤差を吸収することができる。
【００８４】
バーチャルスタジオ映像生成装置は、主点一致型カメラ雲台を使用して撮影することにより、ズーム・フォーカスなどを変更しても主点が常に回転中心に一致するため、バーチャルスタジオで撮影するスタジオカメラデータに従って全天周画像を投影変換し、画角によって変化するレンズ歪を計算し、レンズ歪を入れた電子画像とスタジオ画像を合成してバーチャルスタジオ映像を違和感なく接続して作成できる。
【００８５】
バーチャルスタジオ映像生成装置は、全天周画像を用いることにより、３次元ＣＧを作成するよりも簡易にかつ自然な映像を作成できるようになり、スタジオ撮影カメラに映る見切れ部分に全天周画像を合成することにより、違和感のない出力画像を得られる。このバーチャルスタジオ映像生成装置は、これまで映すことのできなかったスタジオにおいて撮影現場セットの見切れる部分の方向にカメラを向けることができるようになる。
【００８６】
バーチャルスタジオ映像生成装置では、演技に必要な最低限のセットは実際に設営し、セット以外の部分は実写を基に作成した撮影現場セットで補完することのできるので、見切れを気にしないでカメラを操作することができ、出演者は実セットで演技しやすく、また、繰り返し撮影現場セットを移動することがないため、スペース・コスト面で効率的な番組制作が可能になると考えられる。
【００８７】
バーチャルスタジオ映像生成方法では、はじめに全天周画像を作成して、その全天周画像を投影変換して電子画像を作成し、その電子画像に含まれる差分情報に基づいてスタジオ画像と合成するため、出力画像となるバーチャルスタジオ映像が違和感なく作成することができると共に、出演者は目印となる撮影現場セットのある状態で演技ができるため演技しやすく、また、出演者およびスタジオ撮影カメラは、撮影現場セットの見切れを気にしないで撮影することが可能となる。
【００８８】
バーチャルスタジオ映像生成プログラムでは、実空間ベースのバーチャルスタジオ映像として提案することができる。また、スタジオ撮影カメラのレンズ歪に対応する電子画像をスタジオ画像に合成することが可能であることから、任意のスタジオ撮影カメラであっても違和感なく合成したバーチャルスタジオ映像を作成することが可能となる。
【図面の簡単な説明】
【図１】本発明に係るバーチャルスタジオ映像生成装置の構成を示すブロック図である。
【図２】本発明に係るバーチャルスタジオ映像生成装置の電子画像生成部について詳細な構成を示すブロック図である。
【図３】（ａ）、（ｂ）は本発明に係るバーチャルスタジオ映像生成装置に使用される撮影カメラおよびスタジオ撮影カメラの模式図である。
【図４】（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）は、本発明に係るバーチャルスタジオ映像生成装置においてバーチャルスタジオ映像を作成する状態を模式的に示す模式図である。
【図５】本発明に係るバーチャルスタジオ映像生成装置により作成したバーチャルスタジオ映像の状態を示す模式図である。
【図６】本発明に係るバーチャルスタジオ映像生成装置により作成したバーチャルスタジオ映像と撮影現場セットを示す模式図である。
【図７】本発明に係るバーチャルスタジオ映像生成方法を示すフローチャートである。
【図８】本発明に係るバーチャルスタジオ映像生成方法における他の形態を示すフローチャートである。
【図９】（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）は、本発明に係るバーチャルスタジオ映像生成装置においてアフィン変化を行いバーチャルスタジオ映像を作成する例を示す模式図である。
【符号の説明】
Ａ バーチャルスタジオ映像生成装置
Ｅｇ 電子画像
Ｇｓ 撮影現場セット
Ｓｇ スタジオ画像
Ｓｓ 撮影セット
Ｖｐ バーチャルスタジオ映像
Ｚｇ 全天周画像
１ 撮影カメラ
２ 主点一致型カメラ雲台
３ カメラデータ収集器
４ 画像収録部
５ 全天周画像作成部
６ スタジオ撮影カメラ
７ カメラデータ検出器
８ スタジオカメラデータ収集器（カメラデータ収集部）
９ 電子画像生成部
９Ａ 投影変換歪補正部
９ａ レンズ歪計算部
９ｂ レンズ歪補正対応画像作成部
９ｃ マーカー認識部（変換マーカー認識部）
９ｄ マーカー位置比較部
９ｅ アフィン変換部（ズレ補正手段）
１０ 画像認識部
１１ 映像合成部
Claims (4)
- 撮影カメラにより撮影した撮影セットに対する前記撮影カメラの少なくともパン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するカメラデータと、前記撮影セットおよびこの撮影セットの一部を取り去った撮影現場セットとの差を表わす差分情報と、前記撮影セットの区切れとなる位置に設けられた識別マーカーによる識別情報とに基づいて、前記撮影セットに対して作成された全天周画像を用いてバーチャルスタジオ映像を生成するバーチャルスタジオ映像生成装置であって、
前記撮影現場セットを背景としてスタジオ撮影カメラにおいてスタジオ画像を撮影する際に、その撮影現場セットに対する少なくともパン、チルト、ズーム、フォーカスに伴う前記スタジオ撮影カメラのレンズの主点位置に関するスタジオカメラデータを収集するカメラデータ収集部と、
このカメラデータ収集部で収集したスタジオカメラデータと前記カメラデータとに基づいて、前記スタジオ撮影カメラのレンズ歪を計算するレンズ歪計算部と、
このレンズ歪計算部が計算したレンズ歪に基づいて、前記全天周画像を投影変換して前記レンズ歪に対応した表示用の電子画像を作成するレンズ歪補正対応画像作成部と、
前記撮影現場セットの区切れとなる位置に設けた実マーカーの位置をスタジオ撮影カメラが撮影したスタジオ画像から認識する画像認識部と、
前記識別マーカーによる識別情報に基づいて、投影変換された前記電子画像上に配置される変換マーカーの位置を認識する変換マーカー認識部と、
この変換マーカー認識部により認識された変換マーカーの位置、および、前記画像認識部により認識された実マーカーの位置を比較して、両マーカーにおける位置の差を示すマーカー位置情報を生成するマーカー位置比較部と、
このマーカー位置比較部で生成したマーカー位置情報および前記差分情報に基づいて、前記レンズ歪補正対応画像作成部で作成した前記電子画像と、前記スタジオ撮影カメラで撮影したスタジオ画像とを、バーチャルスタジオ映像として合成する映像合成部とを備えることを特徴とするバーチャルスタジオ映像生成装置。 - 前記マーカー位置比較部により比較されて生成された前記マーカー位置情報に基づいて、前記スタジオ画像と前記電子画像とのズレを補正するズレ補正手段とを備えることを特徴とする請求項１に記載のバーチャルスタジオ映像生成装置。
- 撮影カメラにより撮影した撮影セットに対する前記撮影カメラの少なくともパン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するカメラデータと、前記撮影セットおよびこの撮影セットの一部を取り去った撮影現場セットとの差を表わす差分情報と、前記撮影セットの区切れとなる位置に設けられた識別マーカーによる識別情報とに基づいて、前記撮影セットに対して作成された全天周画像を用いてバーチャルスタジオ映像を生成するバーチャルスタジオ映像生成方法であって、
前記撮影現場セットを背景としてスタジオ撮影カメラにおいてスタジオ画像を撮影する際に、その撮影現場セットに対する少なくともパン、チルト、ズーム、フォーカスに伴う前記スタジオ撮影カメラのレンズの主点位置に関するスタジオカメラデータをカメラデータ収集部により収集するステップと、
前記カメラデータ収集部により収集した前記スタジオカメラデータと前記カメラデータとに基づいて、前記スタジオ撮影カメラのレンズ歪をレンズ歪計算部により計算するステップと、
前記レンズ歪計算部により計算したレンズ歪に基づいて、前記全天周画像を投影変換して前記レンズ歪に対応した表示用の電子画像をレンズ歪補正対応画像作成部により作成するステップと、
前記撮影現場セットの区切れとなる位置に設けた実マーカーの位置をスタジオ撮影カメラが撮影したスタジオ画像から画像認識部を介して認識するステップと、
前記識別マーカーによる識別情報に基づいて、投影変換された前記電子画像上に配置される変換マーカーの位置を変換マーカー認識部により認識するステップと、
前記変換マーカー認識部により認識された変換マーカーの位置、および、前記画像認識部により認識された実マーカーの位置を比較して、両マーカーにおける位置の差を示すマーカー位置情報をマーカー位置比較部により生成するステップと、
前記マーカー位置比較部により生成した前記マーカー位置情報および前記差分情報に基づいて、前記レンズ歪補正対応画像作成部で作成した前記電子画像と、前記スタジオ撮影カメラで撮影したスタジオ画像とを、バーチャルスタジオ映像として映像合成部により合成するステップと、を含むことを特徴とするバーチャルスタジオ映像生成方法。 - 撮影カメラにより撮影した撮影セットに対する前記撮影カメラの少なくともパン、チルト、ズーム、フォーカスに伴うレンズの主点位置に関するカメラデータと、前記撮影セットおよびこの撮影セットの一部を取り去った撮影現場セットとの差を表わす差分情報と、前記撮影セットの区切れとなる位置に設けられた識別マーカーによる識別情報とに基づいて、前記撮影セットに対して作成された全天周画像を用いてバーチャルスタジオ映像を生成するためにコンピュータを、
前記撮影現場セットを背景としてスタジオ撮影カメラにおいてスタジオ画像を撮影する際に、その撮影現場セットに対する少なくともパン、チルト、ズーム、フォーカスに伴う前記スタジオ撮影カメラのレンズの主点位置に関するスタジオカメラデータを収集するカメラデータ収集手段、
前記カメラデータ収集手段で収集したスタジオカメラデータと前記カメラデータとに基づいて、前記スタジオ撮影カメラのレンズ歪を計算するレンズ歪計算手段、
前記レンズ歪計算手段が計算したレンズ歪に基づいて、前記全天周画像を投影変換して前記レンズ歪に対応した表示用の電子画像を作成するレンズ歪補正対応画像作成手段、
前記撮影現場セットの区切れとなる位置に設けた実マーカーの位置をスタジオ撮影カメラが撮影したスタジオ画像から認識する画像認識手段、
前記識別マーカーによる識別情報に基づいて、投影変換された前記電子画像上に配置される変換マーカーの位置を認識する変換マーカー認識手段、
前記変換マーカー認識手段により認識された変換マーカーの位置、および、前記画像認識手段により認識された実マーカーの位置を比較して、両マーカーにおける位置の差を示すマーカー位置情報を生成するマーカー位置比較手段、
このマーカー位置比較手段で生成したマーカー位置情報および前記差分情報に基づいて、前記レンズ歪補正対応画像作成手段で作成した前記電子画像と、前記スタジオ撮影カメラで撮影したスタジオ画像とを、バーチャルスタジオ映像として合成する映像合成手段、
として機能させることを特徴とするバーチャルスタジオ映像生成プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002215301A JP4099013B2 (ja) | 2002-07-24 | 2002-07-24 | バーチャルスタジオ映像生成装置およびその方法ならびにそのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002215301A JP4099013B2 (ja) | 2002-07-24 | 2002-07-24 | バーチャルスタジオ映像生成装置およびその方法ならびにそのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004056742A JP2004056742A (ja) | 2004-02-19 |
| JP4099013B2 true JP4099013B2 (ja) | 2008-06-11 |
Family
ID=31937368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002215301A Expired - Lifetime JP4099013B2 (ja) | 2002-07-24 | 2002-07-24 | バーチャルスタジオ映像生成装置およびその方法ならびにそのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4099013B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107851300A (zh) * | 2015-08-04 | 2018-03-27 | 株式会社电装 | 向驾驶员提示辅助图像的装置及其方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7145737B2 (en) | 2004-04-12 | 2006-12-05 | Canon Kabushiki Kaisha | Lens apparatus and virtual system |
| JP2006030656A (ja) | 2004-07-16 | 2006-02-02 | Canon Inc | レンズ装置 |
| GB2456802A (en) * | 2008-01-24 | 2009-07-29 | Areograph Ltd | Image capture and motion picture generation using both motion camera and scene scanning imaging systems |
| JP5557043B2 (ja) * | 2011-03-29 | 2014-07-23 | ブラザー工業株式会社 | 仮想ラベル表示処理プログラム |
-
2002
- 2002-07-24 JP JP2002215301A patent/JP4099013B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107851300A (zh) * | 2015-08-04 | 2018-03-27 | 株式会社电装 | 向驾驶员提示辅助图像的装置及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004056742A (ja) | 2004-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10425638B2 (en) | Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device | |
| US8243123B1 (en) | Three-dimensional camera adjunct | |
| US9160938B2 (en) | System and method for generating three dimensional presentations | |
| US20060165310A1 (en) | Method and apparatus for a virtual scene previewing system | |
| JP4153146B2 (ja) | カメラアレイの画像制御方法、及びカメラアレイ | |
| US5963247A (en) | Visual display systems and a system for producing recordings for visualization thereon and methods therefor | |
| US6141034A (en) | Immersive imaging method and apparatus | |
| US10154194B2 (en) | Video capturing and formatting system | |
| JP5214826B2 (ja) | 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体 | |
| US8395711B2 (en) | Method and system for fusing video streams | |
| CN105072314A (zh) | 一种可自动跟踪目标的虚拟演播室实现方法 | |
| US20120013711A1 (en) | Method and system for creating three-dimensional viewable video from a single video stream | |
| US20070248283A1 (en) | Method and apparatus for a wide area virtual scene preview system | |
| WO1995007590A1 (fr) | Processeur d'images variant dans le temps et dispositif d'affichage | |
| US20070247518A1 (en) | System and method for video processing and display | |
| CN111866523B (zh) | 全景视频合成方法、装置、电子设备和计算机存储介质 | |
| KR101725024B1 (ko) | 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법 | |
| KR100328397B1 (ko) | 고해상도 파노라마 동영상의 획득 및 디스플레이 방법 | |
| CA2244467C (en) | Chroma keying studio system | |
| CN114845147B (zh) | 屏幕渲染方法、显示画面合成方法装置及智能终端 | |
| CN115118880A (zh) | 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统 | |
| JP7424076B2 (ja) | 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム | |
| JP2003179800A (ja) | 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム | |
| KR101704362B1 (ko) | 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법 | |
| JP4099013B2 (ja) | バーチャルスタジオ映像生成装置およびその方法ならびにそのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070601 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071212 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080311 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080314 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110321 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120321 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130321 Year of fee payment: 5 |