WO2023223759A1

WO2023223759A1 - 情報処理装置、情報処理方法、撮影システム

Info

Publication number: WO2023223759A1
Application number: PCT/JP2023/015648
Authority: WO
Inventors: 正樹広瀬; 桐山　宏志
Original assignee: ソニーグループ株式会社
Priority date: 2022-05-20
Filing date: 2023-04-19
Publication date: 2023-11-23

Abstract

情報処理装置は、複数のカメラのうちの一のカメラに対応して生成された対応映像と特定映像を時分割的に表示するディスプレイの表示映像と、ディスプレイとは別体のオブジェクトとをカメラで撮影した映像のうちで、オブジェクトと特定映像を含む第１撮影映像について、特定映像を、その第１撮影映像を撮影したカメラに対応して生成された対応映像に置き換える映像処理を行うようにする。

Description

情報処理装置、情報処理方法、撮影システム

　本技術は情報処理装置、情報処理方法、撮影システムに関し、特に撮影のモニタ映像の処理に関する。

　映画等の映像コンテンツの制作のための撮影手法として、いわゆるグリーンバックにより演者が演技を行い、後に背景映像を合成する技術が知られている。
　また近年はグリーンバック撮影に代わって、大型のディスプレイを設置したスタジオにおいて、ディスプレイに背景映像を表示させ、その前で演者が演技を行うことで、演者と背景を撮影できる撮影システムも開発され、いわゆるバーチャルプロダクション（Virtual Production）、インカメラＶＦＸ（In-Camera VFX）、またはＬＥＤ（Light Emitting Diode）ウォールバーチャルプロダクション（LED Wall Virtual Production）として知られている。
　下記特許文献１には、背景映像の前で演技する演者を撮影するシステムの技術が開示されている。

米国特許出願公開第２０２０／０１４５６４４号明細書

　大型のディスプレイに背景映像を表示させたうえで、演者及び背景映像をカメラで撮影することによれば、撮影後に背景映像を別途合成しなくてもよいことや、演者やスタッフがシーンを視覚的に理解して演技や演技良否の判断ができるなど、グリーンバック撮影に比べて利点が多い。

　ただしディスプレイに対するカメラの位置や撮影方向によって、背景の見え方が異なるべきである。単純に背景映像を映すのみでは、カメラの位置や撮影方向などが異なっても背景が変わらず、かえって不自然な映像となってしまう。そこでカメラの位置や撮影方向などに応じて、実際の見え方と同等となるように、背景映像（少なくともディスプレイ内でカメラの画角内となる範囲の映像）を変化させることで、実際のロケ地で撮影した場合と同等の映像が撮影できるようにする。

　ところが、複数台のカメラを用いる場合に、各カメラの位置は物理的に異なる位置となるため、ディスプレイ上で、それぞれのカメラに適した背景が重なってしまったり、他のカメラの背景が撮影されてしまったりすることがある。これにより、各カメラのモニタ映像の背景が正しくない状態になることがある。

　そこで本開示では、ディスプレイに表示された映像を複数のカメラで撮影する場合に各カメラについて適切な背景のモニタ映像が得られるようにする技術を提案する。

　本技術に係る情報処理装置は、複数のカメラのうちの一のカメラに対応して生成された対応映像と特定映像を時分割的に表示するディスプレイの表示映像と、前記ディスプレイとは別体のオブジェクトとをカメラで撮影した映像のうちで、前記オブジェクトと前記特定映像を含む第１撮影映像について、前記特定映像を、その第１撮影映像を撮影したカメラに対応して生成された対応映像に置き換える映像処理を行う映像処理部を備える。
　例えば背景等の対応映像をディスプレイに表示させて複数カメラで撮影を行う場合において、特定映像を表示させ、特定映像とオブジェクトを撮影するタイミングを設ける。そしてその場合の第１撮影映像については、特定映像部分をカメラ毎に対応する対応映像に置き換える処理を行う。

本技術の実施の形態の撮影システムの説明図である。実施の形態の撮影システムのカメラ位置に応じた背景映像の説明図である。実施の形態の撮影システムのカメラ位置に応じた背景映像の説明図である。実施の形態の映像コンテンツ制作工程の説明図である。実施の形態の撮影システムのブロック図である。実施の形態の撮影システムの背景映像生成のフローチャートである。実施の形態の複数カメラを用いた撮影システムのブロック図である。実施の形態の情報処理装置のブロック図である。カメラ毎のインナーフラスタムの重なりの説明図である。スイッチャーを含む構成例ブロック図である。スイッチャーの切り替え制御のフローチャートである。切り替え遅延時間に影響する処理の例の説明図である。第１の実施の形態の構成例のブロック図である。実施の形態における撮影映像と黒背景撮影映像の説明図である。第１の実施の形態の背景映像のレンダリング処理のフローチャートである。第１の実施の形態の映像処理部の構成の説明図である。第１の実施の形態の映像処理部の処理のフローチャートである。第２の実施の形態の構成例のブロック図である。第２の実施の形態の映像処理部の構成の説明図である。第２の実施の形態の映像処理部の処理のフローチャートである。第３の実施の形態の構成例のブロック図である。第４の実施の形態の構成例のブロック図である。第４の実施の形態の映像処理部の処理のフローチャートである。第５の実施の形態の構成例のブロック図である。第５の実施の形態の映像処理部の構成の説明図である。第５の実施の形態の映像処理部の処理のフローチャートである。

　以下、実施の形態を次の順序で説明する。
＜１．撮影システム及びコンテンツ制作＞
＜２．情報処理装置の構成＞
＜３．複数カメラ及びスイッチャーを用いた撮影システム＞
＜４．第１の実施の形態＞
＜５．第２の実施の形態＞
＜６．第３の実施の形態＞
＜７．第４の実施の形態＞
＜８．第５の実施の形態＞
＜９．まとめ及び変型例＞

　なお、本開示において「映像」或いは「画像」とは静止画、動画のいずれをも含む。また「映像」とはディスプレイに表示されている状態を指すだけでなく、ディスプレイに表示されていない状態の映像データについても包括的に「映像」と表記する場合がある。
　例えば実施の形態において、ディスプレイでの表示に至る前における背景映像、カメラによる撮影映像、スイッチャーで切り替えられる背景映像や撮影映像は、実際に表示されている映像ではなく映像データであるが、便宜上、「背景映像」「撮影映像」等と表記する。

　また複数のカメラについて符号に「ａ」「ｂ」「ｃ」・・・を付して「カメラ５０２ａ」「カメラ５０２ｂ」のように表記するが、総称するときは「カメラ５０２」とする。また各カメラに対応する回路部、機能、信号などについても、符号とする数字又は文字に「ａ」「ｂ」「ｃ」・・・を付して区別するが、総称する場合は、「ａ」「ｂ」「ｃ」を除く符号のみとする。

＜１．撮影システム及び映像コンテンツ制作＞
　本開示の技術を適用できる撮影システム及び映像コンテンツの制作について説明する。
　図１は撮影システム５００を模式的に示している。この撮影システム５００はバーチャルプロダクションとしての撮影を行うシステムで、図では撮影スタジオに配置される機材の一部を示している。

　撮影スタジオにおいては演者５１０が演技その他のパフォーマンスを行うパフォーマンスエリア５０１が設けられる。このパフォーマンスエリア５０１の少なくとも背面、さらには左右側面や上面には、大型の表示装置が配置される。表示装置のデバイス種別は限定されないが、図では大型の表示装置の一例としてＬＥＤウォール５０５を用いる例を示している。

　１つのＬＥＤウォール５０５は、複数のＬＥＤパネル５０６を縦横に連結して配置することで、大型のパネルを形成する。ここでいうＬＥＤウォール５０５のサイズは特に限定されないが、演者５１０の撮影を行うときに背景を表示するサイズとして必要な大きさ、或いは十分な大きさであればよい。

　パフォーマンスエリア５０１の上方、或いは側方などの必要な位置に、必要な数のライト５８０が配置され、パフォーマンスエリア５０１に対して照明を行う。

　パフォーマンスエリア５０１の付近には、例えば映画その他の映像コンテンツの撮影のためのカメラ５０２が配置される。カメラ５０２は、カメラマン５１２が位置を移動させることができ、また撮影方向や、画角等の操作を行うことができる。もちろんリモート操作によってカメラ５０２の移動や画角操作等が行われるものも考えられる。またカメラ５０２が自動的もしくは自律的に移動や画角変更を行うものであってもよい。このためにカメラ５０２が雲台や移動体に搭載される場合もある。

　カメラ５０２によっては、パフォーマンスエリア５０１における演者５１０と、ＬＥＤウォール５０５に表示されている映像がまとめて撮影される。例えばＬＥＤウォール５０５に背景映像ｖＢとして風景が表示されることで、演者５１０が実際にその風景の場所に居て演技をしている場合と同様の映像を撮影できることになる。

　パフォーマンスエリア５０１の付近にはアウトプットモニタ５０３が配置される。このアウトプットモニタ５０３にはカメラ５０２で撮影されている映像がモニタ映像ｖＭとしてリアルタイム表示される。これにより映像コンテンツの制作を行う監督やスタッフが、撮影されている映像を確認することができる。

　このように、撮影スタジオにおいてＬＥＤウォール５０５を背景にした演者５１０のパフォーマンスを撮影する撮影システム５００では、グリーンバック撮影に比較して各種の利点がある。

　例えば、グリーンバック撮影の場合、演者が背景やシーンの状況を想像しにくく、それが演技に影響するということがある。これに対して背景映像ｖＢを表示させることで、演者５１０が演技しやすくなり、演技の質が向上する。また監督その他のスタッフにとっても、演者５１０の演技が、背景やシーンの状況とマッチしているか否かを判断しやすい。

　またグリーンバック撮影の場合よりも撮影後のポストプロダクションが効率化される。これは、いわゆるクロマキー合成が不要とすることができる場合や、色の補正や映り込みの合成が不要とすることができる場合があるためである。また、撮影時にクロマキー合成が必要とされた場合においても、背景用スクリーンを追加不要とされることも効率化の一助となっている。

　グリーンバック撮影の場合、演者の身体、衣装、物にグリーンの色合いが増してしまうため、その修正が必要となる。またグリーンバック撮影の場合、ガラス、鏡、スノードームなどの周囲の光景が映り込む物が存在する場合、その映り込みの画像を生成し、合成する必要があるが、これは手間のかかる作業となっている。

　これに対し、図１の撮影システム５００で撮影する場合、グリーンの色合いが増すことはないため、その補正は不要である。また背景映像ｖＢを表示させることで、ガラス等の実際の物品への映り込みも自然に得られて撮影されているため、映り込み映像の合成も不要である。

　ここで、背景映像ｖＢについて図２、図３で説明する。背景映像ｖＢを、ＬＥＤウォール５０５に表示させて、演者５１０とともに撮影を行うにしても、単純に背景映像ｖＢを表示させるのみでは、撮影された映像は背景が不自然になる。実際には立体で奥行きもある背景を平面的に背景映像ｖＢとしているためである。

　例えばカメラ５０２は、パフォーマンスエリア５０１の演者５１０に対して、多様な方向から撮影することができ、またズーム操作も行うことができる。演者５１０も一カ所に立ち止まっているわけではない。するとカメラ５０２の位置、撮影方向、画角などに応じて、演者５１０の背景の実際の見え方は変化するはずであるが、平面映像としての背景映像ｖＢではそのような変化が得られない。そこで背景が、視差を含めて、実際の見え方と同様になるように背景映像ｖＢを変化させる。

　図２はカメラ５０２が図の左側の位置から演者５１０を撮影している様子を示し、また図３はカメラ５０２が図の右側の位置から演者５１０を撮影している様子を示している。各図において、背景映像ｖＢ内に撮影領域映像ｖＢＣを示している。
　なお背景映像ｖＢのうちで撮影領域映像ｖＢＣを除いた部分は「アウターフラスタム」と呼ばれ、撮影領域映像ｖＢＣは「インナーフラスタム」と呼ばれる。
　ここで説明している背景映像ｖＢとは、撮影領域映像ｖＢＣ（インナーフラスタム）を含んで背景として表示される映像全体を指す。

　この撮影領域映像ｖＢＣ（インナーフラスタム）の範囲は、ＬＥＤウォール５０５の表示面内で、カメラ５０２によって実際に撮影される範囲に相当する。そして撮影領域映像ｖＢＣは、カメラ５０２の位置、撮影方向、画角等に応じて、実際にそのカメラ５０２の位置を視点としたときに見える光景を表現するように変形されたような映像となっている。

　具体的には、撮影領域映像ｖＢＣは、背景としての３Ｄ（three dimensions）モデルである３Ｄ背景データを用意し、その３Ｄ背景データに対して、リアルタイムで逐次、カメラ５０２の視点位置に基づいてレンダリングする。
　なお、実際には撮影領域映像ｖＢＣの範囲は、その時点でカメラ５０２によって撮影される範囲よりも少し広い範囲とされる。これはカメラ５０２のパン、チルトやズームなどにより撮影される範囲が若干変化したときに、描画遅延によってアウターフラスタムの映像が映り込んでしまうことを防止するためや、アウターフラスタムの映像からの回折光による影響を避けるためである。
　このようにリアルタイムでレンダリングされた撮影領域映像ｖＢＣの映像は、アウターフラスタムの映像と合成される。背景映像ｖＢで用いられるアウターフラスタムの映像は、予め３Ｄ背景データに基づいてレンダリングしたものであるが、そのアウターフラスタムの映像の一部に、リアルタイムでレンダリングした撮影領域映像ｖＢＣとして映像を組み込むことで、全体の背景映像ｖＢを生成している。

　これにより、カメラ５０２を前後左右に移動させたり、ズーム操作を行ったりしても、演者５１０とともに撮影される範囲の背景は、実際のカメラ５０２の移動に伴う視点位置変化に応じた映像として撮影されることになる。

　図２、図３に示すように、アウトプットモニタ５０３には、演者５１０と背景を含むモニタ映像ｖＭが表示されるが、これが撮影された映像である。このモニタ映像ｖＭにおける背景は、撮影領域映像ｖＢＣである。つまり撮影された映像に含まれる背景は、リアルタイムレンダリングされた映像となる。

　このように実施の形態の撮影システム５００においては、単に背景映像ｖＢを平面的に表示させるだけではなく、実際にロケを行った場合と同様の映像を撮影することができるように、撮影領域映像ｖＢＣを含む背景映像ｖＢをリアルタイムに変化させるようにしている。

　なお、ＬＥＤウォール５０５に表示させた背景映像ｖＢの全体ではなく、カメラ５０２によって映り込む範囲としての撮影領域映像ｖＢＣのみをリアルタイムにレンダリングすることで、システムの処理負担も軽減される。

　ここで、撮影システム５００で撮影を行うバーチャルプロダクションとしての映像コンテンツの制作工程を説明しておく。図４に示すように、映像コンテンツ制作工程は３つの段階に大別される。アセットクリエイションＳＴ１、プロダクションＳＴ２、ポストプロダクションＳＴ３である。

　アセットクリエイションＳＴ１は、背景映像ｖＢを表示するための３Ｄ背景データを制作する工程である。上述のように背景映像ｖＢは、撮影の際に３Ｄ背景データを用いてリアルタイムでレンダリングを行って生成する。そのために予め３Ｄモデルとしての３Ｄ背景データを制作しておく。

　３Ｄ背景データの制作手法の例として、フルＣＧ（Full Computer Graphics）、点群データ（Point Cloud）スキャン、フォトグラメトリ（Photogrammetry）という例がある。

　フルＣＧは、３Ｄモデルをコンピュータグラフィックスで制作する手法である。３つの手法の中で最も工数や時間を要する手法となるが、非現実的な映像や、実際には撮影が困難な映像などを背景映像ｖＢとしたい場合に用いられることが好適となる。

　点群データスキャンは、ある位置から例えばライダー（LiDAR）を用いて距離測定を行うとともに、同じ位置からカメラで３６０度の画像を撮影し、ライダーで測距した点の上にカメラで撮影した色データを載せることで点群データによる３Ｄモデルを生成する手法である。フルＣＧに比較して、短い時間で３Ｄモデル制作ができる。またフォトグラメトリより高精細の３Ｄモデルを制作しやすい。

　フォトグラメトリは、物体を複数視点から撮影して得た２次元画像から、視差情報を解析して寸法・形状を求める写真測量の技術である。３Ｄモデル制作を短時間で行うことができる。
　なお、フォトグラメトリによる３Ｄデータ生成において、ライダーで取得した点群情報を用いても良い。

　アセットクリエイションＳＴ１では、例えばこれらの手法を用いて３Ｄ背景データとなる３Ｄモデルを制作する。もちろん上記手法を複合的に用いてもよい。例えば点群データスキャンやフォトグラメトリで制作した３Ｄモデルの一部をＣＧで制作し、合成するなどである。

　プロダクションＳＴ２は、図１に示したような撮影スタジオにおいて撮影を行う工程である。この場合の要素技術として、リアルタイムレンダリング、背景表示、カメラトラッキング、照明コントロールなどがある。

　リアルタイムレンダリングは、図２、図３で説明したように各時点（背景映像ｖＢの各フレーム）で撮影領域映像ｖＢＣを得るためのレンダリング処理である。これはアセットクリエイションＳＴ１で制作した３Ｄ背景データに対して、各時点のカメラ５０２の位置等に応じた視点でレンダリングを行うものである。

　このようにリアルタイムレンダリングを行って撮影領域映像ｖＢＣを含む各フレームの背景映像ｖＢを生成し、ＬＥＤウォール５０５に表示させる。

　カメラトラッキングは、カメラ５０２による撮影情報を得るために行われ、カメラ５０２の各時点の位置情報、撮影方向、画角などをトラッキングする。これらを含む撮影情報を各フレームに対応させてレンダリングエンジンに提供することで、カメラ５０２の視点位置等に応じたリアルタイムレンダリングが実行できる。

　撮影情報はメタデータとして映像と紐づけられたり対応づけられたりする情報である。
　撮影情報としては各フレームタイミングでのカメラ５０２の位置情報、カメラの向き、画角、焦点距離、Ｆ値（絞り値）、シャッタースピード、レンズ情報などを含むことが想定される。

　照明コントロールとは、撮影システム５００における照明の状態をコントロールすることで、具体的にはライト５８０の光量、発光色、照明方向などの制御を行う。例えば撮影するシーンの時刻設定や場所の設定などに応じた照明コントロールが行われる。

　ポストプロダクションＳＴ３は、撮影後に行われる各種処理を示している。例えば映像の補正、映像の調整、クリップ編集、映像エフェクトなどが行われる。

　映像の補正としては、色域変換や、カメラや素材間の色合わせなどが行われる場合がある。
　映像の調整として色調整、輝度調整、コントラスト調整などが行われる場合がある。
　クリップ編集として、クリップのカット、順番の調整、時間長の調整などが行われる場合がある。
　映像エフェクトとして、ＣＧ映像や特殊効果映像の合成などが行われる場合がある。

　続いてプロダクションＳＴ２で用いられる撮影システム５００の構成を説明する。
　図５は、図１、図２、図３で概要を説明した撮影システム５００の構成を示すブロック図である。

　図５に示す撮影システム５００は、上述した、複数のＬＥＤパネル５０６によるＬＥＤウォール５０５、カメラ５０２、アウトプットモニタ５０３、ライト５８０を備える。そしてさらに撮影システム５００は、図５に示すように、レンダリングエンジン５２０、アセットサーバ５３０、シンクジェネレータ５４０、オペレーションモニタ５５０、カメラトラッカー５６０、ＬＥＤプロセッサ５７０、ライティングコントローラ５８１、ディスプレイコントローラ５９０を備える。

　ＬＥＤプロセッサ５７０のそれぞれは、１又は複数のＬＥＤパネル５０６に対応して設けられ、それぞれ対応する１又は複数のＬＥＤパネル５０６の映像表示駆動を行う。

　シンクジェネレータ５４０は、ＬＥＤパネル５０６による表示映像のフレームタイミングと、カメラ５０２による撮像のフレームタイミングの同期をとるための同期信号を発生し、各ＬＥＤプロセッサ５７０及びカメラ５０２に供給する。但し、シンクジェネレータ５４０からの出力をレンダリングエンジン５２０に供給することを妨げるものではない。

　カメラトラッカー５６０は、各フレームタイミングでのカメラ５０２による撮影情報を生成し、レンダリングエンジン５２０に供給する。例えばカメラトラッカー５６０は撮影情報の１つとして、ＬＥＤウォール５０５の位置或いは所定の基準位置に対する相対的なカメラ５０２の位置情報や、カメラ５０２の撮影方向を検出し、これらをレンダリングエンジン５２０に供給する。
　カメラトラッカー５６０による具体的な検出手法としては、天井にランダムに反射板を配置して、それらに対してカメラ５０２に組み付けられたカメラトラッカー５６０から照射された赤外光の反射光から位置を検出する方法がある。また検出手法としては、カメラ５０２の雲台やカメラ５０２の本体に搭載されたジャイロ情報や、カメラ５０２の撮影映像の画像認識によりカメラ５０２の自己位置推定する方法もある。

　またカメラ５０２からレンダリングエンジン５２０に対しては、撮影情報として画角、焦点距離、Ｆ値、シャッタースピード、レンズ情報などが供給される場合もある。

　アセットサーバ５３０は、アセットクリエイションＳＴ１で制作された３Ｄモデル、即ち３Ｄ背景データを記録媒体に格納し、必要に応じて３Ｄモデルを読み出すことができるサーバである。即ち３Ｄ背景データのＤＢ（data Base）として機能する。

　レンダリングエンジン５２０は、ＬＥＤウォール５０５に表示させる背景映像ｖＢを生成する処理を行う。このためレンダリングエンジン５２０は、アセットサーバ５３０から必要な３Ｄ背景データを読み出す。そしてレンダリングエンジン５２０は、３Ｄ背景データをあらかじめ指定された空間座標から眺めた形でレンダリングしたものとして背景映像ｖＢで用いるアウターフラスタムの映像を生成する。
　またレンダリングエンジン５２０は、１フレーム毎の処理として、カメラトラッカー５６０やカメラ５０２から供給された撮影情報を用いて３Ｄ背景データに対する視点位置等を特定して撮影領域映像ｖＢＣ（インナーフラスタム）のレンダリングを行う。

　さらにレンダリングエンジン５２０は、予め生成したアウターフラスタムに対し、フレーム毎にレンダリングした撮影領域映像ｖＢＣを合成して１フレームの映像データとしての背景映像ｖＢを生成する。そしてレンダリングエンジン５２０は、生成した１フレームの映像データをディスプレイコントローラ５９０に送信する。

　ディスプレイコントローラ５９０は、１フレームの映像データを、各ＬＥＤパネル５０６で表示させる映像部分に分割した分割映像信号ｎＤを生成し、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行う。このときディスプレイコントローラ５９０は、表示部間の発色などの個体差／製造誤差などに応じたキャリブレーションを行っても良い。
　なお、ディスプレイコントローラ５９０を設けず、これらの処理をレンダリングエンジン５２０が行うようにしてもよい。つまりレンダリングエンジン５２０が分割映像信号ｎＤを生成し、キャリブレーションを行い、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行うようにしてもよい。

　各ＬＥＤプロセッサ５７０が、それぞれ受信した分割映像信号ｎＤに基づいてＬＥＤパネル５０６を駆動することで、ＬＥＤウォール５０５において全体の背景映像ｖＢが表示される。その背景映像ｖＢには、その時点のカメラ５０２の位置等に応じてレンダリングされた撮影領域映像ｖＢＣが含まれている。

　カメラ５０２は、このようにＬＥＤウォール５０５に表示された背景映像ｖＢを含めて演者５１０のパフォーマンスを撮影することができる。カメラ５０２の撮影によって得られた映像は、カメラ５０２の内部又は図示しない外部の記録装置において記録媒体に記録されるほか、リアルタイムでアウトプットモニタ５０３に供給され、モニタ映像ｖＭとして表示される。

　オペレーションモニタ５５０では、レンダリングエンジン５２０の制御のためのオペレーション画像ｖＯＰが表示される。エンジニア５１１はオペレーション画像ｖＯＰを見ながら背景映像ｖＢのレンダリングに関する必要な設定や操作を行うことができる。

　ライティングコントローラ５８１は、ライト５８０の発光強度、発光色、照射方向などを制御する。ライティングコントローラ５８１は、例えばレンダリングエンジン５２０とは非同期でライト５８０の制御を行うものとしてもよいし、或いは撮影情報やレンダリング処理と同期して制御を行うようにしてもよい。そのためレンダリングエンジン５２０或いは図示しないマスターコントローラ等からの指示によりライティングコントローラ５８１が発光制御を行うようにしてもよい。

　このような構成の撮影システム５００におけるレンダリングエンジン５２０の処理例を図６に示す。

　レンダリングエンジン５２０は、ステップＳ１０でアセットサーバ５３０から、今回使用する３Ｄ背景データを読み出し、内部のワークエリアに展開する。
　そしてアウターフラスタムとして用いる映像を生成する。

　その後レンダリングエンジン５２０は、ステップＳ２０で、読み出した３Ｄ背景データに基づく背景映像ｖＢの表示終了と判定するまで、ステップＳ３０からステップＳ６０の処理を、背景映像ｖＢのフレームタイミング毎に繰り返す。

　ステップＳ３０でレンダリングエンジン５２０は、カメラトラッカー５６０やカメラ５０２からの撮影情報を取得する。これにより、現フレームで反映させるカメラ５０２の位置や状態を確認する。

　ステップＳ４０でレンダリングエンジン５２０は、撮影情報に基づいてレンダリングを行う。即ち現在のフレームに反映させるカメラ５０２の位置、撮影方向、或いは画角等に基づいて３Ｄ背景データに対する視点位置を特定してレンダリングを行う。このとき、焦点距離、Ｆ値、シャッタースピード、レンズ情報などを反映した映像処理を行うこともできる。このレンダリングによって撮影領域映像ｖＢＣとしての映像データを得ることができる。

　ステップＳ５０でレンダリングエンジン５２０は、全体の背景映像であるアウターフラスタムと、カメラ５０２の視点位置を反映した映像、即ち撮影領域映像ｖＢＣを合成する処理を行う。例えばある特定の基準視点でレンダリングした背景全体の映像に対して、カメラ５０２の視点を反映して生成した映像を合成する処理である。これにより、ＬＥＤウォール５０５で表示される１フレームの背景映像ｖＢ、つまり撮影領域映像ｖＢＣを含む背景映像ｖＢが生成される。

　ステップＳ６０の処理は、レンダリングエンジン５２０又はディスプレイコントローラ５９０で行う。ステップＳ６０でレンダリングエンジン５２０又はディスプレイコントローラ５９０は、１フレームの背景映像ｖＢについて、個別のＬＥＤパネル５０６に表示される映像に分割した分割映像信号ｎＤを生成する。キャリブレーションを行う場合もある。そして各分割映像信号ｎＤを各ＬＥＤプロセッサ５７０に送信する。

　以上の処理により、各フレームタイミングで、カメラ５０２で撮像される撮影領域映像ｖＢＣを含む背景映像ｖＢがＬＥＤウォール５０５に表示されることになる。

　ところで図５では１台のカメラ５０２のみを示したが、複数台のカメラ５０２で撮影を行うこともできる。図７は複数のカメラ５０２ａ，５０２ｂを使用する場合の構成例を示している。カメラ５０２ａ，５０２ｂは、それぞれ独立してパフォーマンスエリア５０１における撮影を行うことができるようにされる。また各カメラ５０２ａ，５０２ｂ及び各ＬＥＤプロセッサ５７０は、シンクジェネレータ５４０により同期が維持される。

　カメラ５０２ａ，５０２ｂに対応して、アウトプットモニタ５０３ａ，５０３ｂが設けられ、それぞれ対応するカメラ５０２ａ，５０２ｂによって撮影された映像を、モニタ映像ｖＭａ，ｖＭｂとして表示するように構成される。

　またカメラ５０２ａ，５０２ｂに対応して、カメラトラッカー５６０ａ，５６０ｂが設けられ、それぞれ対応するカメラ５０２ａ，５０２ｂの位置や撮影方向を検出する。カメラ５０２ａ及びカメラトラッカー５６０ａからの撮影情報や、カメラ５０２ｂ及びカメラトラッカー５６０ｂからの撮影情報は、レンダリングエンジン５２０に送信される。

　レンダリングエンジン５２０は、カメラ５０２ａ側、或いはカメラ５０２ｂ側のいずれか一方の撮影情報を用いて、各フレームの背景映像ｖＢを得るためのレンダリングを行うことができる。

　なお図７では２台のカメラ５０２ａ、５０２ｂを用いる例を示したが、３台以上のカメラ５０２を用いて撮影を行うことも可能である。
　但し、複数のカメラ５０２を用いる場合、それぞれのカメラ５０２に対応する撮影領域映像ｖＢＣが干渉するという事情がある。例えば図７のように２台のカメラ５０２ａ、５０２ｂを用いる例では、カメラ５０２ａに対応する撮影領域映像ｖＢＣを示しているが、カメラ５０２ｂの映像を用いる場合、カメラ５０２ｂに対応する撮影領域映像ｖＢＣも必要になる。単純に各カメラ５０２ａ、５０２ｂに対応するそれぞれの撮影領域映像ｖＢＣを表示させると、それらが互いに干渉する。このため撮影領域映像ｖＢＣの表示に関する工夫が必要とされる。

＜２．情報処理装置の構成＞
　次に、アセットクリエイションＳＴ１、プロダクションＳＴ２、ポストプロダクションＳＴ３で用いることができる情報処理装置７０の構成例を図８で説明する。
　情報処理装置７０は、コンピュータ機器など、情報処理、特に映像処理が可能な機器である。この情報処理装置７０としては、具体的には、パーソナルコンピュータ、ワークステーション、スマートフォンやタブレット等の携帯端末装置、ビデオ編集装置等が想定される。また情報処理装置７０は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。

　本実施の形態の場合、具体的には情報処理装置７０は、アセットクリエイションＳＴ１において３Ｄモデルを制作する３Ｄモデル制作装置として機能できる。
　また情報処理装置７０は、プロダクションＳＴ２で用いる撮影システム５００を構成するレンダリングエンジン５２０やアセットサーバ５３０としても機能できる。
　また情報処理装置７０は、ポストプロダクションＳＴ３における各種映像処理を行う映像編集装置としても機能できる。

　また情報処理装置７０は、図１０等で後述するスイッチャー６００としても用いられる。スイッチャー６００は、ハードウェアによる信号のスイッチング回路を備えることに加え、制御や演算を行うために情報処理装置７０の機能を有することになる。
　特に図１３，図２２の例ではスイッチャー６００内に映像処理部１８を備えるが、映像処理部１８は情報処理装置７０により構成される。

　また情報処理装置７０は、図１８、図２１、図２４における映像処理部２４（２４ａ，２４ｂ，２４ｃ）はレンダリングエンジン５２０のようにレンダリングを行う装置としているが、この映像処理部２４も情報処理装置７０により構成できる。

　図８に示す情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　映像処理部８５は各種の映像処理を行うプロセッサとして構成される。例えば３Ｄモデル生成処理、レンダリング、ＤＢ処理、映像編集処理、映像解析・検出処理、映像の抽出、合成等の映像処理などのいずれか、或いは複数の処理を行うことができるプロセッサとされる。

　この映像処理部８５は例えば、ＣＰＵ７１とは別体のＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＡＩ（artificial intelligence）プロセッサ等により実現できる。
　なお映像処理部８５はＣＰＵ７１内の機能として設けられてもよい。

　ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４、映像処理部８５は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。

　入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
　入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。

　また入出力インタフェース７５には、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（electro-luminescence）パネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
　表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
　表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像、操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

　入出力インタフェース７５には、ＨＤＤ（Hard Disk Drive）や固体メモリなどより構成される記憶部７９や通信部８０が接続される場合もある。

　記憶部７９は、各種のデータやプログラムを記憶することができる。記憶部７９においてＤＢを構成することもできる。
　例えば情報処理装置７０がアセットサーバ５３０として機能する場合、記憶部７９を利用して３Ｄ背景データ群を格納するＤＢを構築できる。

　通信部８０は、インターネット等の伝送路を介しての通信処理や、外部のＤＢ、編集装置、情報処理装置等の各種機器との有線／無線通信、バス通信などによる通信を行う。
　例えば情報処理装置７０がレンダリングエンジン５２０や後述の映像処理部２４として機能する場合、通信部８０によりアセットサーバ５３０としてのＤＢにアクセスしたり、カメラ５０２やカメラトラッカー５６０からの撮影情報を受信したりすることができる。
　またポストプロダクションＳＴ３に用いる情報処理装置７０の場合も、通信部８０によりアセットサーバ５３０としてのＤＢにアクセスすることなども可能である。

　入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８２が適宜装着される。
　ドライブ８１により、リムーバブル記録媒体８２からは映像データや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータは記憶部７９に記憶されたり、データに含まれる映像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

　この情報処理装置７０では、例えば本実施の形態の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

＜３．複数カメラ及びスイッチャーを用いた撮影システム＞
　実施の形態では、例えば図７で述べたように複数のカメラ５０２（５０２ａ，５０２ｂ・・・）を用いて撮影を行う場合を想定する。
　複数のカメラ５０２でＬＥＤウォール５０５や演者５１０等を撮影した複数系統の撮影映像ｖＣは、後述するスイッチャー６００によって択一的に切り替えられていわゆる本線映像として出力される。なお、もちろん本線映像とは別に、各撮影映像ｖＣのそれぞれが記録や送信されるようにすることもできる。

　ここでバーチャルプロダクションにおいて、２台以上のカメラ５０２を用いて撮影を行う場合に生じる事情について説明しておく。

　上述したように、カメラ５０２で撮影される背景映像ｖＢは、ＬＥＤウォール５０５に表示される背景映像ｖＢの全体ではなく、撮影領域映像ｖＢＣ（以下「インナーフラスタムｖＢＣ」とも表記する）の範囲である。
　そしてインナーフラスタムｖＢＣの映像内容は、フレーム毎に、カメラ５０２の位置や撮影方向に応じてレンダリングエンジン５２０でレンダリングされ、背景映像ｖＢの全体内に組み込まれてＬＥＤウォール５０５に表示される。従って背景映像ｖＢのうちのインナーフラスタムｖＢＣの範囲や内容は図２，図３で説明したようにフレーム毎のカメラ位置等に応じて異なるものとなる。また個々のカメラ５０２に対応した表示となる。
　つまりインナーフラスタムｖＢＣは、各カメラ５０２のそれぞれに対応して生成されるもので、本開示でいう対応映像の例となる。

　ここで２台のカメラ５０２ａ，５０２ｂで撮影を行うことを考えると、ＬＥＤウォール５０５には、それぞれのカメラ５０２ａ，５０２ｂに対応したインナーフラスタムｖＢＣａ，ｖＢＣｂが表示されることになる。カメラ５０２ａ，５０２ｂのそれぞれの位置などによっては、図９Ａのように、インナーフラスタムｖＢＣａ，ｖＢＣｂが重なってしまうことも生ずる。

　インナーフラスタムｖＢＣａ，ｖＢＣｂが重なっていなければ、カメラ５０２ａ，５０２ｂのそれぞれの撮影映像ｖＣは、適切な背景を含む映像となるが、図９のように重なると、背景の映像内容が正しい状態ではなくなってしまう。

　そこで複数台のカメラ５０２を用いて撮影を行う場合に、それぞれのインナーフラスタムｖＢＣを含む複数系統の背景映像ｖＢを選択的にＬＥＤウォール５０５に表示させるようにする。
　本線映像を切り替えるときは、背景映像ｖＢの切り替えタイミングと、本線映像の切り替えタイミングを制御して、或るカメラ５０２による撮影映像ｖＣに他のカメラ５０２の背景映像ｖＢが含まれる状態が、本線映像として出力されないようにする。

　このための構成例を図１０に示す。
　図１０は図７のような構成を前提として、撮影映像ｖＣの切り替えを行うスイッチャー６００や出力装置６１０を追加したものである。図５又は図７で説明した構成部位は、同一符号を付しており、重複説明は避ける。

　カメラ５０２ａ，５０２ｂに対しては撮像映像信号の信号処理を行うカメラ信号処理部５１５ａ，５１５ｂを示している。図５，図７では省略したが、このカメラ信号処理部５１５ａ，５１５ｂは、カメラ５０２ａ，５０２ｂ内のプロセッサ等により形成されてもよいし、カメラ５０２ａ，５０２ｂとは別体ユニットの装置として設けられても良い。
　カメラ５０２ａで撮影された映像信号はカメラ信号処理部５１５ａで現像処理、リサイズ処理などされて、撮影映像ｖＣａとしてスイッチャー６００に入力される。カメラ５０２ｂで撮影された映像信号はカメラ信号処理部５１５ｂで現像処理、リサイズ処理などされて、撮影映像ｖＣｂとしてスイッチャー６００に入力される。

　またカメラトラッカー５６０ａ、５６０ｂによるカメラ位置や撮影方向などを含む撮影情報ＩＦａ，ＩＦｂは、それぞれレンダリングエンジン５２０に供給される。図示していないが、カメラ５０２ａ，５０２ｂの画角、焦点距離、Ｆ値、シャッタースピード、レンズ情報なども、撮影情報ＩＦａ，ＩＦｂに含まれ、それぞれレンダリングエンジン５２０に供給される。

　レンダリングエンジン５２０は、１又は複数の情報処理装置７０により構成される。この場合、レンダリングエンジン５２０は、レンダリング部２１，２２として複数のレンダリング機能を備えるように構成され、少なくともカメラ５０２ａ，５０２ｂのそれぞれに対応したレンダリングを同時に実行できる構成とされている。

　レンダリング部２１は、カメラ５０２ａに関する撮影情報ＩＦａに基づいて、カメラ５０２ａに対応するインナーフラスタムｖＢＣａのレンダリングを行い、全体の背景に組み込み、カメラ５０２ａに合致した背景映像ｖＢａを出力する。
　またレンダリング部２２は、カメラ５０２ｂに関する撮影情報ＩＦｂに基づいて、カメラ５０２ｂに対応するインナーフラスタムｖＢＣｂのレンダリングを行い、全体の背景に組み込み、カメラ５０２ｂに合致した背景映像ｖＢｂを出力する。

　スイッチャー６００にはスイッチ部１１が設けられており、背景映像ｖＢａ、ｖＢｂを入力し、択一的に選択して出力する。このスイッチ部１１で選択された背景映像ｖＢａ又はｖＢｂが、ＬＥＤウォール５０５に供給される背景映像ｖＢとなる。

　先に図５，図７で説明したように、背景映像ｖＢは、ディスプレイコントローラ５９０で処理されて複数のＬＥＤプロセッサ５７０に分配され、ＬＥＤプロセッサ５７０によってＬＥＤウォール５０５を構成する各ＬＥＤパネル５０６（図１０では図示省略）が駆動される。これによりＬＥＤウォール５０５で背景映像ｖＢが表示される。

　カメラ５０２ａ，５０２ｂは、このようなＬＥＤウォール５０５の背景映像ｖＢや演者５１０を撮影する。
　上述のようにカメラ５０２ａ，５０２ｂによる撮影映像ｖＣａ，ｖＣｂは、スイッチャー６００に入力される。スイッチャー６００には撮影映像ｖＣａ，ｖＣｂを入力するスイッチ部１２が設けられている。スイッチ部１２は、撮影映像ｖＣａ，ｖＣｂの一方を択一的に選択し、選択した方を本線映像ｖＣｍとして出力する。

　本線映像ｖＣｍは、出力装置６１０に供給される。
　ここで出力装置６１０は、記録媒体に本線映像ｖＣｍを記録する記録装置であってもよいし、本線映像ｖＣｍを放送・送信する映像送信装置であってもよい。また出力装置６１０は、本線映像ｖＣｍを配信するＷｅｂサーバ等であってもよい。

　スイッチャー６００は、上記のように背景映像ｖＢを選択するスイッチ部１１と、本線映像ｖＣｍを選択するスイッチ部１２を有するとともに、これらを制御する制御部としてスイッチャーコントローラ（以下「ＳＷコントローラ」とする）１０を備える。
　ＳＷコントローラ１０は、図８のような情報処理装置７０により構成可能である。ＳＷコントローラ１０は、少なくとも図８のＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４、入出力インタフェース７５を備えた構成であればよい。

　このＳＷコントローラ１０は、切り替えトリガＫＰの発生に応じて、スイッチ部１１、１２の切り替え制御を行う。ＳＷコントローラ１０は制御信号Ｃ１を発生させてスイッチ部１１の切り替えを指示する。またＳＷコントローラ１０は制御信号Ｃ２によりスイッチ部１２の切り替えを指示する。

　切り替えトリガＫＰとは、例えばオペレータによる本線映像ｖＣｍの切り替え操作（本線映像ｖＣｍ用とするカメラ５０２の切り替え操作）によって発生されるトリガである。
　例えばオペレータはスイッチャーパネル６１１を用いて本線映像ｖＣｍの切り替え操作を含む各種の操作を行うことができる。

　なお、オペレータの操作に限らず、自動的な切り替えトリガＫＰが発生される場合もある。例えば予め決められたシーケンスによる自動切り替え制御によって切り替えトリガＫＰが発生されることが想定できる。さらにはオペレータを代行するようなＡＩ制御により切り替えトリガＫＰが発生されることも想定できる。

　図１０ではマルチビューワ６１２を示している。マルチビューワ６１２は、各カメラ５０２の撮影映像ｖＣのモニタ映像ｖＭ（ｖＭａ，ｖＭｂ）を、例えば一画面内で分割して表示させるモニタ装置である。
　スイッチャー６００のオペレータ等は、マルチビューワ６１２により、各カメラ５０２の撮影内容を確認できる。

　ＳＷコントローラ１０によるスイッチ部１１、１２の切り替え制御を図１１に示す。
　上記のような本線映像ｖＣｍの切り替えトリガＫＰが発生したら、ＳＷコントローラ１０はステップＳ１０１からステップＳ１０２に進み、制御信号Ｃ１によりスイッチ部１１の切り替え制御を行う。すなわち、切り替えトリガＫＰの発生に応じて即座にスイッチ部１１を切り替えさせることになる。

　続いてＳＷコントローラ１０はステップＳ１０３で切り替え遅延時間Ｔｄｌとして設定した所定時間の待機を行う。
　切り替え遅延時間Ｔｄｌとしての時間が経過したら、ＳＷコントローラ１０はステップＳ１０４で、制御信号Ｃ２によりスイッチ部１２の切り替え制御を行う。即ちＳＷコントローラ１０は、ステップＳ１０２においてスイッチ部１１に背景映像ｖＢａを選択させた場合は、ステップＳ１０４でスイッチ部１２に撮影映像ｖＣａを選択させる。同様にステップＳ１０２でスイッチ部１１に背景映像ｖＢｂを選択させた場合は、ステップＳ１０４でスイッチ部１２に撮影映像ｖＣｂを選択させる。

　以上のようにＳＷコントローラ１０は、切り替えトリガＫＰに応じて、先ずスイッチ部１１の切り替えを実行させ、切り替え遅延時間Ｔｄｌを経た後にスイッチ部１２の切り替えを実行させることになる。

　切り替え遅延時間Ｔｄｌについて説明する。
　例えばカメラ５０２ａからカメラ５０２ｂに選択状態を切り替える場合を想定する。
　この場合、切り替え遅延時間Ｔｄｌは、スイッチ部１１で例えばカメラ５０２ｂ用の背景映像ｖＢｂが選択された時点から、カメラ５０２ｂで背景映像ｖＢｂを撮影した撮影映像ｖＣｂがスイッチ部１２に入力されるまでのタイムラグに相当する時間である。

　スイッチ部１１で背景映像ｖＢａから背景映像ｖＢｂに切り替えられたとしても、その瞬間にＬＥＤウォール５０５の表示が背景映像ｖＢｂに切り替わるわけではなく、表示切り替えまでの遅延がある。

　すなわちＬＥＤパネル５０６側の動作モード（以下「ＬＥＤ側動作モード」ともいう）の設定として、フレームレートや、ディスプレイコントローラ５９０やＬＥＤプロセッサ５７０で行われる各種の信号処理があり、これらのＬＥＤ側動作モードに応じて、表示上の切り替わりまでの遅延時間が生ずる。信号処理に関して言えば、例えばＬＥＤウォール５０５（ＬＥＤパネル５０６）側に合わせた映像のリサイズ処理等によって、スイッチ部１２の切り替えから表示の切り替えまでの遅延時間が異なることになる。

　また、カメラの撮影に関する動作モードの設定もタイムラグに関連する。カメラの撮影に関する動作モードとは、カメラ５０２やカメラ信号処理部５１５における動作モードである。以下、カメラの撮影に関する動作モードのことを「カメラ側動作モード」ともいう。例えばカメラ５０２の設定としてのフレームレート、シャッタースピード、イメージセンサからの読み出し領域、カメラ信号処理部５１５の処理内容などによって遅延が生ずる。
　例えば図１２にイメージセンサ３０からの読み出し範囲の例を示している。実線がイメージセンサ３０の全画素領域であるとする。イメージセンサ３０からの光電変換信号の読み出しは、実線の全画素領域とされる場合もあるし、点線の範囲、破線の範囲、一点鎖線の範囲など、読み出しモードによって各種の場合がある。これらの読み出し範囲の差によって遅延時間が異なる。また撮影映像ｖＣについての信号処理や、リサイズ処理による遅延もある。

　これらのカメラ側動作モードによって、ＬＥＤウォール５０５に表示された背景映像ｖＢｂを、カメラ５０２ｂで撮影（露光）してから撮影映像ｖＣｂがスイッチ部１２に入力されるまでのタイムラグが生ずる。

　そこで、これらＬＥＤ側動作モードや、カメラ側動作モードに応じて、切り替え遅延時間Ｔｄｌを設定する。これにより、スイッチ部１１で例えばカメラ５０２ｂ用の背景映像ｖＢｂに切り替えられた場合に、その背景映像ｖＢｂをカメラ５０２ｂで撮影した撮影映像ｖＣｂがスイッチ部１２に入力されるタイミングで、スイッチ部１２の切り替えを行い、本線映像ｖＣｍを、カメラ５０２ｂによる撮影映像ｖＣｂ側にすることができる。

　もしスイッチ部１２の切り替えタイミングが早いと、背景映像ｖＢａが表示されている時点でカメラ５０２ｂにより撮影した撮影映像ｖＣｂが本線映像ｖＣｍとなってしまう。これは正しくない背景による映像が本線映像ｖＣｍに含まれることになる。これを避けるために、適切な切り替え遅延時間Ｔｄｌを設定し、図１１のように切り替えのタイミングを制御することとしている。

　以上の処理により、最短時間で、本線映像ｖＣｍの撮影に用いるカメラ５０２の切り替えが可能となる。特に撮影中は、レンダリング部２１，２２で常時、背景映像ｖＢａ、ｖＢｂのレンダリングを実行しているようにすることで、切り替えトリガＫＰの発生時点で、スイッチ部１１からすぐに切り替え先の背景映像ｖＢを出力できる。つまりレンダリング遅延がない。
　そして、その切り替えた後の背景映像ｖＢがスイッチ部１２に入力されるタイミングでスイッチ部１２を切り替えることで、本線映像ｖＣｍが正しくない背景の映像となることもない。

　図１０では２台のカメラ５０２ａ，５０２ｂで撮影を行う場合を例示したが、３台以上のカメラ５０２による撮影の際も、図１１の処理を同様に行うことで、適切な背景の映像を本線映像ｖＣｍとすることができる。

　ただし、以上のようにしても、モニタ映像ｖＭが正しくなくなることがある。
　例えばカメラ５０２ａが本線映像ｖＣｍとして選択されているとする。ＬＥＤウォール５０５には図９Ｂのように、カメラ５０２ａの対応映像としてのインナーフラスタムｖＢＣａを含む背景映像ｖＢが表示されていることになる。

　この場合、非選択状態のカメラ５０２ｂを考えると、そのカメラ５０２ｂの対応映像としてのインナーフラスタムｖＢＣｂは表示されていない。このため、カメラマンやスイッチャー６００のオペレータ等が視認するカメラ５０２ｂのモニタ映像ｖＭは、背景が正しくない映像となっている。

　例えばカメラ５０２ｂの撮影映像ｖＣｂにカメラ５０２ａのインナーフラスタムｖＢＣａが映り込んでしまう。或いはカメラ５０２ｂの撮影映像ｖＣｂにインナーフラスタムｖＢＣａが映り込まなくとも、カメラ５０２ｂの位置に応じた視差を反映しない背景の映像となってしまう。

　カメラマンは、自分が操作しているカメラ５０２のビューファインダーやモニタパネルなどにより、そのカメラの撮影映像をモニタリングしながらカメラ５０２を操作する。そしてカメラマンの操作としては、自分のカメラ５０２が本線映像ｖＣｍとして選択されていないときに、ズーム操作により画角を調整したり、位置、撮影方向を変更したりすることが多い。その際に、正しい背景がモニタ映像で視認できないことは、カメラマンにとって不都合である。

　またスイッチャー６００のオペレータ等は、例えばマルチビューワ６１２により本線映像ｖＣｍとともに他のカメラ５０２の映像も見ながら、スイッチング操作を行う。このときに、本線映像ｖＣｍとしての選択中のカメラ５０２以外のカメラ５０２の映像が正しい背景でないことは不都合である。

　そこでこれらのモニタ映像ｖＭに関する事情に鑑みて、本実施の形態では、本線映像ｖＣｍとするカメラ５０２のインナーフラスタムｖＢＣのみをＬＥＤウォール５０５に表示させる場合でも、他のカメラのモニタ映像ｖＭが正しい背景となるようにする。

＜４．第１の実施の形態＞
　第１の実施の形態のシステム構成例を図１３に示す。なお図５、図７、図１０と同一部分は同一符号を付して重複説明を避ける。

　図１３は３台のカメラ５０２ａ，５０２ｂ，５０２ｃで撮影を行う場合を示している。この場合、各カメラ５０２による撮影映像ｖＣａ，ｖＣｂ，ｖＣｃがスイッチャー６００のスイッチ部１２に入力される。
　３台のカメラ５０２ａ，５０２ｂ，５０２ｃで撮影することに応じて、レンダリングエンジン５２０では、レンダリング部２１，２２，２３によって、それぞれに対応する背景映像ｖＢａ，ｖＢｂ，ｖＢｃを生成する。そして背景映像ｖＢａ，ｖＢｂ，ｖＢｃがスイッチ部１１で選択される構成となる。
　この場合もＳＷコントローラ１０は、例えば図１１の処理により、スイッチ部１１を切り替えた場合は、切り替え遅延時間Ｔｄｌを経過してからスイッチ部１２の切り替えを実行させるようにする。

　ＳＷコントローラ１０は、ステップＳ１０２においてスイッチ部１１に背景映像ｖＢａを選択させた場合は、ステップＳ１０４でスイッチ部１２に撮影映像ｖＣａを選択させる。同様にステップＳ１０２でスイッチ部１１に背景映像ｖＢｂを選択させた場合は、ステップＳ１０４でスイッチ部１２に撮影映像ｖＣｂを選択させる。同様にステップＳ１０２でスイッチ部１１に背景映像ｖＢｃを選択させた場合は、ステップＳ１０４でスイッチ部１２に撮影映像ｖＣｃを選択させる。
　このように、ステップＳ１０４でＳＷコントローラ１０は、スイッチ部１２に、スイッチ部１１での切り替え後の背景映像ｖＢに対応するカメラ５０２による撮影映像ｖＣへの切り替えを実行させる制御を行うことになる。

　なお、図１０，図１３では、１つのスイッチャー６００内にスイッチ部１１、１２が構成されるものとしているが、スイッチ部１１を有するスイッチャーと、スイッチ部１２を有するスイッチャーとが別体の装置であってもよい。どのような構成であっても、いずれかのスイッチャー内又は別体機器に設けられたＳＷコントローラ１０が、図１１の制御を行って、スイッチ部１１、１２の切り替えタイミングを制御できるようにしていればよい。

　図１３の例では図１０の構成に加えてスイッチャー６００内に映像処理部１８を設けている。なお、この図では一例として映像処理部１８をスイッチャー６００内としているが、スイッチャー６００とは別体の機器として映像処理部１８を構成してもよい。

　映像処理部１８には、レンダリング部２１，２２，２３から、各カメラ５０２ａ，５０２ｂ，５０２ｃのそれぞれの対応映像であるインナーフラスタムｖＢＣａ，ｖＢＣｂ，ｖＢＣｃが入力される。
　映像処理部１８は、これらのインナーフラスタムｖＢＣａ，ｖＢＣｂ，ｖＢＣｃの入力に応じてモニタ映像ｖＭ（ｖＭａ，ｖＭｂ，ｖＭｃ）を生成し、マルチビューワ６１２やカメラ信号処理部５１５ａ，５１５ｂ，５１５ｃに対して出力する。

　この図１３の構成においては、背景映像ｖＢの表示やカメラ５０２の動作については次のようにする。

　レンダリング部２１，２２，２３による背景映像ｖＢａ，ｖＢｂ，ｖＢｃの出力は、例えば１秒間に６０フレーム（６０ｆｐｓ）のフレームレートとする。
　一方、ＬＥＤウォール５０５上には、入力された背景映像ｖＢ（６０ｆｐｓ）と、同じく６０ｆｐｓの黒映像を交互に１２０ｆｐｓで表示させるようにする。黒映像とは、画面全体が黒の映像である。
　例えばＬＥＤプロセッサ５７０は、スイッチャー６００から入力される背景映像ｖＢを１２０ｆｐｓでの１フレームの周期でＬＥＤパネル５０６に表示させ、続いて内部で発生させた黒映像を同じく１２０ｆｐｓでの１フレームの周期でＬＥＤパネル５０６に表示させることを繰り返す。
　これによりＬＥＤウォール５０５では図１４に示すように、１２０ｆｐｓでの１フレームの周期Ｔ１で、背景映像ｖＢと黒映像ＢＫが交互に表示される。

　各カメラ５０２では、このＬＥＤウォール５０５側の映像を、同期させて１２０ｆｐｓで撮影する。
　これにより背景映像ｖＢと演者５１０等のオブジェクトを含むフレームと、黒映像ＢＫと演者５１０等のオブジェクトを含むフレームとが、交互に撮影されることになる。この場合にカメラ信号処理部５１５（５１５ａ，５１５ｂ，５１５ｃ）では、この１２０ｆｐｓのフレームを、奇数フレームと偶数フレームで分離して２系統で出力する。

　一方の系統は、図１４に示す撮影映像ｖＣとして、６０ｆｐｓでの周期Ｔ２で各フレームが連続する映像となる。これは、背景映像ｖＢにおけるインナーフラスタムｖＢＣａと演者５１０等が映された映像となる。

　もう一方の系統は、黒背景撮影映像ｖＣｂｋとして、６０ｆｐｓでの周期Ｔ２で各フレームが連続する映像となる。これは、黒映像ＢＫと演者５１０等が映された映像となる。

　従って図１３のように、カメラ信号処理部５１５ａからは、撮影映像ｖＣａと黒背景撮影映像ｖＣｂｋａが出力される。同様にカメラ信号処理部５１５ｂからは、撮影映像ｖＣｂと黒背景撮影映像ｖＣｂｋｂが出力され、カメラ信号処理部５１５ｃからは、撮影映像ｖＣｃと黒背景撮影映像ｖＣｂｋｃが出力される。

　撮影映像ｖＣａ，ｖＣｂ，ｖＣｃは、スイッチ部１２に入力され、１つが本線映像ｖＣｍとして選択されることになる。
　この場合、本線映像ｖＣｍとして選択される撮影映像ｖＣは正しい背景の映像であるが、他の撮影映像ｖＣは、背景（インナーフラスタムｖＢＣ）が正しくない映像であるため、モニタ映像ｖＭとして使用しない。

　黒背景撮影映像ｖＣｂｋａ，ｖＣｂｋａ，ｖＣｂｋｃは、映像処理部１８に入力される。映像処理部１８は、黒背景撮影映像ｖＣｂｋａ，ｖＣｂｋｂ，ｖＣｂｋｃと、上述のようにレンダリング部２１，２２，２３からのインナーフラスタムｖＢＣａ，ｖＢＣｂ，ｖＢＣｃを用いて、モニタ映像ｖＭａ，ｖＭｂ，ｖＭｃを生成する。

　レンダリング部２１，２２，２３のそれぞれは、インナーフラスタムｖＢＣａ，ｖＢＣｂ，ｖＢＣｃを出力するために図１５の処理を行う。
　なお図１５の処理例は、図６で説明した処理にステップＳ７０を加えたものである。ステップＳ１０からステップＳ６０までの処理は図６と同様である。

　ステップＳ７０でレンダリング部２１，２２，２３は、インナーフラスタムｖＢＣ（ｖＢＣａ，ｖＢＣｂ，ｖＢＣｃ）の出力を行う。
　即ちこのステップＳ７０では、ステップＳ４０で生成したインナーフラスタムｖＢＣを、全体の背景映像と合成していない状態で出力する。

　以上により、背景映像ｖＢａ，ｖＢｂ，ｖＢｃではなく、そのうちのインナーフラスタムｖＢＣａ，ｖＢＣｂ，ｖＢＣｃのみが、フレーム毎に映像処理部１８に入力されることになる。
　なおインナーフラスタムｖＢＣａ，ｖＢＣｂ，ｖＢＣｃのみを映像処理部１８に入力するのは、カメラ５０２で撮影される画角内の背景の映像はインナーフラスタムｖＢＣの部分のみであるからである。

　映像処理部１８は、図１６のような機能構成を備える。
　カメラ５０２ａ，５０２ｂ，５０２ｃの３台に対応して、映像処理部１８には、映像処理部１８ａ，１８ｂ，１８ｃとしての機能が並列的に設けられる。

　各映像処理部１８ａ，１８ｂ，１８ｃは、オブジェクト抽出部４１，合成部４２としての処理機能を有する。

　映像処理部１８ａには、カメラ５０２ａで撮影した黒背景撮影映像ｖＣｂｋａと、カメラ５０２ａの対応映像であるインナーフラスタムｖＢＣａが入力される。

　オブジェクト抽出部４１は入力される黒背景撮影映像ｖＣｂｋａについて、ルミナンスキーを用いて黒映像を除き、オブジェクトの映像のみを抽出する。
　合成部４２は、抽出されたオブジェクトの映像と、入力されたインナーフラスタムｖＢＣａを合成する。つまり黒背景撮影映像ｖＣｂｋａにおける黒映像部分をインナーフラスタムｖＢＣａに置き換える処理を行うことになる。
　そして合成部４２の出力が、カメラ５０２ａについてのモニタ映像ｖＭａとなる。

　また映像処理部１８ｂには、カメラ５０２ｂで撮影した黒背景撮影映像ｖＣｂｋｂと、カメラ５０２ｂの対応映像であるインナーフラスタムｖＢＣｂが入力される。
　オブジェクト抽出部４１は入力される黒背景撮影映像ｖＣｂｋｂについて、ルミナンスキーを用いて黒映像を除き、オブジェクトの映像のみを抽出する。
　合成部４２は、抽出されたオブジェクトの映像と、入力されたインナーフラスタムｖＢＣｂを合成し、黒背景撮影映像ｖＣｂｋｂにおける黒映像部分をインナーフラスタムｖＢＣｂに置き換える。この出力が、カメラ５０２ｂについてのモニタ映像ｖＭｂとなる。

　また映像処理部１８ｃには、カメラ５０２ｃで撮影した黒背景撮影映像ｖＣｂｋｃと、カメラ５０２ｃの対応映像であるインナーフラスタムｖＢＣｃが入力される。
　オブジェクト抽出部４１は入力される黒背景撮影映像ｖＣｂｋｃについて、ルミナンスキーを用いて黒映像を除き、オブジェクトの映像のみを抽出する。
　合成部４２は、抽出されたオブジェクトの映像と、入力されたインナーフラスタムｖＢＣｃを合成し、黒背景撮影映像ｖＣｂｋｃにおける黒映像部分をインナーフラスタムｖＢＣｃに置き換える。この出力が、カメラ５０２ｃについてのモニタ映像ｖＭｃとなる。

　以上の映像処理部１８ａ，１８ｂ，１８ｃの処理を図１７にフローチャートで示す。
　映像処理部１８ａ，１８ｂ，１８ｃはステップＳ２００でモニタ出力の終了と判定されるまで、フレームタイミング毎にステップＳ２０１からステップＳ２０５の処理を繰り返す。
　ステップＳ２０１で映像処理部１８（１８ａ，１８ｂ，１８ｃ）は黒背景撮影映像ｖＣｂｋ（ｖＣｂｋａ，ｖＣｂｋｂ，ｖＣｂｋｃ）を入力する。
　ステップＳ２０２で映像処理部１８は、インナーフラスタムｖＢＣ（ｖＢＣａ，ｖＢＣｂ，ｖＢＣｃ）を入力する。
　ステップＳ２０３で映像処理部１８は、黒背景撮影映像ｖＣｂｋからオブジェクトの映像を抽出する。
　ステップＳ２０４で映像処理部１８は、オブジェクトの映像とインナーフラスタムｖＢＣを合成する。
　ステップＳ２０５で映像処理部１８は、合成処理により背景を置き換えた映像をモニタ映像ｖＭ（ｖＭａ，ｖＭｂ，ｖＭｃ）として出力する。

　図１３に示したように、モニタ映像ｖＭａ，ｖＭｂ，ｖＭｃはマルチビューワ６１２に供給され、それぞれ表示される。
　このモニタ映像ｖＭａ，ｖＭｂ，ｖＭｃは、演者５１０等のオブジェクトの背景が、それぞれ撮影したカメラ５０２に対応するインナーフラスタムｖＢＣに置き換えられている。従ってオペレータ等は、各カメラ５０２ａ，５０２ｂ，５０２ｃについて正しい背景の映像をモニタリングすることができる。

　またモニタ映像ｖＭａ，ｖＭｂ，ｖＭｃは、それぞれカメラ信号処理部５１５ａ，５１５ｂ，５１５ｃに供給され、カメラ信号処理部５１５ａ，５１５ｂ，５１５ｃからカメラ５０２ａ，５０２ｂ，５０２ｃに供給されてビューファインダー等に表示される。
　カメラ５０２ａ，５０２ｂ，５０２ｃを操作する各カメラマンは、それぞれ自分のカメラで撮影している映像を、実際に撮影した正しくない背景の状態ではなく、そのカメラの位置や撮影方向に応じた正しい背景の状態で見ることができる。

　なお、以上の例では、ＬＥＤウォール５０５において背景映像ｖＢと黒映像を交互に表示させるものとしたが、黒映像は、オブジェクト抽出部４１でのオブジェクトの映像の抽出という映像処理を行うために用いる特定映像である。つまり１フレーム内でオブジェクトの映像を分離するための特定映像である。

　このような特定映像は、黒映像に限られない。例えばクロマキーによる映像分離に用いることができるものであればよく、全体が緑のグリーン映像や、全体が青のブルー映像などでもよい。
　グリーン映像をクロマキーで合成したほうが映像品質は上がるが、グリーン映像やブルー映像を時分割的に高いフレームレートで表示させると、その明滅により演者５１０に対する視覚的或いは心理的な負担が大きくなる恐れがある。一方、黒映像の場合は、そのような演者５１０に対する負担を小さくできると考えられる。

　なお、黒背景撮影映像ｖＣｂｋを用い、黒をルミナンスキーで抜いた場合は、例えば演者５１０の黒髪も除去されてしまうことがあるが、あくまで映像処理部１８で生成するのはモニタ映像ｖＭであって、本線映像ｖＣｍに使用するものではないので、大きな問題とはならないと考えられる。その点で特定映像は黒映像とすることが好ましい。

　以上の特定映像についての事情は、以降説明する第２から第５の実施の形態でも同様である。

＜５．第２の実施の形態＞
　第２の実施の形態の構成例を図１８に示す。
　先の図１３の例と異なる点は、映像処理部２４（２４ａ，２４ｂ，２４ｃ）をスイッチャー６００とは別に設け、かつ映像処理部２４ａ，２４ｂ，２４ｃは、それぞれレンダリング機能を有するものとする点である。

　図１８のように、カメラ信号処理部５１５ａ，５１５ｂ，５１５ｃから出力される黒背景撮影映像ｖＣｂｋａ，ｖＣｂｋｂ，ｖＣｂｋｃは、それぞれスイッチャー６００を介して、映像処理部２４ａ，２４ｂ，２４ｃに入力される。
　なお、黒背景撮影映像ｖＣｂｋａ，ｖＣｂｋｂ，ｖＣｂｋｃは、スイッチャー６００を介さずに直接、映像処理部２４ａ，２４ｂ，２４ｃに入力されるようにしてもよい。

　また図１８では、カメラトラッカー５６０ａ，５６０ｂ，５６０ｃからレンダリングエンジン５２０に供給される撮影情報ＩＦａ，ＩＦｂ，ＩＦｃは、それぞれ映像処理部２４ａ，２４ｂ，２４ｃにも供給される。

　図１９に映像処理部２４ａ，２４ｂ，２４ｃの機能構成を示している。
　カメラ５０２ａ，５０２ｂ，５０２ｃの３台に対応する映像処理部２４ａ，２４ｂ，２４ｃは、それぞれ、オブジェクト抽出部４１、合成部４２、レンダリング部４３としての処理機能を有する。

　オブジェクト抽出部４１、合成部４２は図１６で説明した機能である。
　レンダリング部４３は、レンダリングエンジン５２０におけるレンダリング部２１，２２，２３と同様に、インナーフラスタムｖＢＣの映像を生成するレンダリング機能を有する。但しレンダリング部４３は、インナーフラスタムｖＢＣの生成のみでよく、インナーフラスタムｖＢＣの周囲の背景映像との合成は不要である点が、レンダリングエンジン５２０のレンダリング部２１，２２，２３とは異なる。

　映像処理部２４ａのレンダリング部４３は、カメラ５０２ａに関する撮影情報ＩＦａを入力し、撮影情報ＩＦａに基づいた視点位置の背景映像として、カメラ５０２ａの対応映像となるインナーフラスタムｖＢＣａを生成する。
　そして、映像処理部２４ａではオブジェクト抽出部４１で抽出したオブジェクトの映像と、インナーフラスタムｖＢＣａを合成部４２で合成する。つまり黒背景撮影映像ｖＣｂｋａにおける黒映像部分をインナーフラスタムｖＢＣａに置き換える。そして合成部４２の出力が、カメラ５０２ａについてのモニタ映像ｖＭａとなる。

　映像処理部２４ｂのレンダリング部４３は、カメラ５０２ｂに関する撮影情報ＩＦｂを入力し、撮影情報ＩＦｂに基づいた視点位置の背景映像として、カメラ５０２ｂの対応映像となるインナーフラスタムｖＢＣｂを生成する。
　そして、映像処理部２４ｂではオブジェクト抽出部４１で抽出したオブジェクトの映像と、インナーフラスタムｖＢＣｂを合成部４２で合成し、黒背景撮影映像ｖＣｂｋｂにおける黒映像部分をインナーフラスタムｖＢＣｂに置き換える。合成部４２の出力が、カメラ５０２ｂについてのモニタ映像ｖＭｂとなる。

　映像処理部２４ｃのレンダリング部４３は、カメラ５０２ｃに関する撮影情報ＩＦｃを入力し、撮影情報ＩＦｃに基づいた視点位置の背景映像として、カメラ５０２ｃの対応映像となるインナーフラスタムｖＢＣｃを生成する。
　そして、映像処理部２４ｃではオブジェクト抽出部４１で抽出したオブジェクトの映像と、インナーフラスタムｖＢＣｃを合成部４２で合成し、黒背景撮影映像ｖＣｂｋｃにおける黒映像部分をインナーフラスタムｖＢＣｃに置き換える。合成部４２の出力が、カメラ５０２ｃについてのモニタ映像ｖＭｃとなる。

　以上の映像処理部２４ａ，２４ｂ，２４ｃの処理を図２０にフローチャートで示す。
　映像処理部２４ａ，２４ｂ，２４ｃはステップＳ３００でモニタ出力の終了と判定されるまで、フレームタイミング毎にステップＳ３０１からステップＳ３０６の処理を繰り返す。
　ステップＳ３０１で映像処理部２４（２４ａ，２４ｂ，２４ｃ）は撮影情報ＩＦ（ＩＦａ，ＩＦｂ，ＩＦｃ）を入力する。
　ステップＳ３０２で映像処理部２４は、撮影情報ＩＦに基づいてインナーフラスタムｖＢＣ（ｖＢＣａ，ｖＢＣｂ，ｖＢＣｃ）を生成する。
　ステップＳ３０３で映像処理部２４は、黒背景撮影映像ｖＣｂｋ（ｖＣｂｋａ，ｖＣｂｋｂ，ｖＣｂｋｃ）を入力する。
　ステップＳ３０４で映像処理部２４は、黒背景撮影映像ｖＣｂｋからオブジェクトの映像を抽出する。
　ステップＳ３０５で映像処理部２４は、オブジェクトの映像と、レンダリング部４３で生成したインナーフラスタムｖＢＣを合成する。
　ステップＳ３０６で映像処理部２４は、合成処理により背景を置き換えた映像をモニタ映像ｖＭ（ｖＭａ，ｖＭｂ，ｖＭｃ）として出力する。

　図１８に示したように、モニタ映像ｖＭａ，ｖＭｂ，ｖＭｃはマルチビューワ６１２に供給され、それぞれ表示される。
　またモニタ映像ｖＭａ，ｖＭｂ，ｖＭｃは、それぞれカメラ信号処理部５１５ａ，５１５ｂ，５１５ｃに供給され、カメラ信号処理部５１５ａ，５１５ｂ，５１５ｃからカメラ５０２ａ，５０２ｂ，５０２ｃに供給されてビューファインダー等に表示される。なおモニタ映像ｖＭａ，ｖＭｂ，ｖＭｃは、スイッチャー６００を介してカメラ信号処理部５１５ａ，５１５ｂ，５１５ｃに供給されるようにしてもよい。

　以上により、オペレータや各カメラ５０２のカメラマンは、それぞれ正しい背景の映像をモニタリングすることができる。

＜６．第３の実施の形態＞
　第３の実施の形態の構成例を図２１に示す。
　これはレンダリングエンジン５２０が、複数のカメラ５０２のうちで本線映像ｖＣｍとして選択されているカメラ５０２についての背景映像ｖＢのみをレンダリングする構成である。

　カメラトラッカー５６０ａ，５６０ｂ，５６０ｃからの撮影情報ＩＦａ，ＩＦｂ，ＩＦｃは、セレクタ２８を介して択一的にレンダリングエンジン５２０に供給される。
　セレクタ２８は、スイッチャー６００のＳＷコントローラ１０からの制御信号Ｃ３によって、撮影情報ＩＦａ，ＩＦｂ，ＩＦｃのいずれかを選択し、レンダリングエンジン５２０に供給する。
　レンダリングエンジン５２０は、入力された撮影情報ＩＦに基づいてインナーフラスタムｖＢＣの生成を行い、インナーフラスタムｖＢＣを含む背景映像ｖＢを生成して、ディスプレイコントローラ５９０に出力する。

　この例のスイッチャー６００はスイッチ部１２とＳＷコントローラ１０を有する。
　ＳＷコントローラ１０は、スイッチ部１２での本線映像ｖＣｍの選択に応じてセレクタ２８の切り替え制御を行う。即ちＳＷコントローラ１０は、スイッチ部１２でカメラ５０２ａの撮影映像ｖＣａが本線映像ｖＣｍとして選択される期間は、セレクタ２８で撮影情報ＩＦａが選択されるようにする。同様にＳＷコントローラ１０は、カメラ５０２ｂの撮影映像ｖＣｂが本線映像ｖＣｍとして選択される期間は、セレクタ２８で撮影情報ＩＦｂが選択されるようにし、カメラ５０２ｃの撮影映像ｖＣｃが本線映像ｖＣｍとして選択される期間はセレクタ２８で撮影情報ＩＦｃが選択されるようにする。

　これにより本線映像ｖＣｍは、いずれのカメラ５０２を選択しても正しい背景の映像となる。また、レンダリングエンジン５２０は、１つのカメラ５０２に対応するインナーフラスタムｖＢＣの合成を行えば良いので、例えば図１８の構成に比較して、処理負担が少ない。

　このような図２１の構成においても、図１８と同様に、カメラトラッカー５６０ａ，５６０ｂ，５６０ｃからの撮影情報ＩＦａ，ＩＦｂ，ＩＦｃを映像処理部２４ａ，２４ｂ，２４ｃにも供給している。映像処理部２４ａ，２４ｂ，２４ｃの機能構成及び処理は図１９、図２０と同様である。
　これによりカメラ５０２ａ，５０２ｂ，５０２ｃの３台に対応するモニタ映像ｖＭａ，ｖＭｂ，ｖＭｃが生成され、マルチビューワ６１２に供給される。またモニタ映像ｖＭａ，ｖＭｂ，ｖＭｃはカメラ信号処理部５１５ａ，５１５ｂ，５１５ｃを介してカメラ５０２ａ，５０２ｂ，５０２ｃに供給されてビューファインダー等に表示される。

＜７．第４の実施の形態＞
　第４の実施の形態の構成例を図２２に示す。図２２の構成例は図１３の構成例に近いが、レンダリングエンジン５２０におけるレンダリング部２１，２２，２３の処理が異なる。

　レンダリング部２１，２２，２３には、それぞれ撮影情報ＩＦａ，ＩＦｂ，ＩＦｃが入力されるとともにカメラ信号処理部５１５ａ，５１５ｂ，５１５ｃから、それぞれパラメータＰＭＴａ，ＰＭＴｂ，ＰＭＴｃが入力される。
　ここでいうパラメータＰＭＴ（ＰＭＴａ，ＰＭＴｂ，ＰＭＴｃ）とは、カメラの映像に関するパラメータであり、特には映像としての輝度や色に影響するパラメータである。具体的な例としてはカメラマンが操作を行う露出やホワイトバランスなどの値である。或いは色合い（カラートーン）の調整や映像エフェクトの値などであってもよい。

　図１３の第１の実施の形態の場合、モニタ映像ｖＭａ，ｖＭｂ，ｖＭｃは、映像処理部１８でインナーフラスタムｖＢＣａ，ｖＢＣｂ，ｖＢＣｃが合成されたものであるが、そのインナーフラスタムｖＢＣａ，ｖＢＣｂ，ｖＢＣｃは、カメラ５０２ａ，５０２ｂ，５０２ｃにおける露出調整やホワイトバランス調整が反映されていない映像である。従ってカメラマンがカメラ５０２で露出やホワイトバランスの調整操作を行っても、モニタ映像ｖＭａ，ｖＭｂ，ｖＭｃにおける背景部分には、その調整は反映されない。またそのため、モニタ映像ｖＭａ，ｖＭｂ，ｖＭｃは背景部分とオブジェクト部分の明るさや色合いが異なることも発生する。これらのことからカメラマンにとっては露出調整やホワイトバランス調整の操作に不便となる。

　そこで第４の実施の形態では、カメラマンの操作をモニタ映像ｖＭにも反映させるため、パラメータＰＭＴａ，ＰＭＴｂ，ＰＭＴｃをレンダリング部２１，２２，２３に供給する。そしてレンダリング部２１，２２，２３は図２３のような処理を行う。

　図２３の処理例は、図６で説明した処理にステップＳ７１，Ｓ７２を加えたものである。ステップＳ１０からステップＳ６０までの処理は図６と同様である。

　ステップＳ７１でレンダリング部２１，２２，２３は、ステップＳ４０で生成したインナーフラスタムｖＢＣ（ｖＢＣａ，ｖＢＣｂ，ｖＢＣｃ）について、パラメータＰＭＴａ，ＰＭＴｂ，ＰＭＴｃを用いた信号処理を行う。つまり露出やホワイトバランスが調整された状態の映像とする処理を行う。
　そしてステップＳ７２でレンダリング部２１，２２，２３は、ステップＳ７１で信号処理した後のインナーフラスタムｖＢＣ’を出力する。

　以上により、レンダリング部２１，２２，２３からは、背景映像ｖＢａ，ｖＢｂ，ｖＢｃとは別に、パラメータＰＭＴａ，ＰＭＴｂ，ＰＭＴｃを反映した映像信号処理が施されたインナーフラスタムｖＢＣａ’，ｖＢＣｂ’，ｖＢＣｃ’が、それぞれ出力される。
　なお、ＬＥＤウォール５０５に供給される背景映像ｖＢａ，ｖＢｂ，ｖＢｃについては、パラメータＰＭＴａ，ＰＭＴｂ，ＰＭＴｃを反映した映像処理は施されない。その後、カメラ５０２の撮影の際に調整された露出やホワイトバランスが反映されるためである。

　映像処理部１８は図１６で説明した機能構成により、図１７で説明した処理を行う。但し入力されるのはパラメータＰＭＴａ，ＰＭＴｂ，ＰＭＴｃを反映した映像処理が施されたインナーフラスタムｖＢＣａ’，ｖＢＣｂ’，ｖＢＣｃ’となる。
　従って、生成されるモニタ映像ｖＭａ，ｖＭｂ，ｖＭｃは、カメラマンが調整操作した露出やホワイトバランスを反映した背景の映像となる。これにより、モニタ映像ｖＭａ，ｖＭｂ，ｖＭｃは、より適切な映像となる。

　なお図２２にはリモートコントローラ６１５を示しており、操作信号ＲＣを例えばカメラ信号処理部５１５ａ，５１５ｂ，５１５ｃに出力する。カメラマンやオペレータ等は、カメラ５０２自体の操作や、リモートコントローラ６１５により、露出調整、ホワイトバランス調整、カラートーン調整、映像エフェクトなどを行うことができる。
　このような場合に、その操作に応じたパラメータＰＭＴによってレンダリングエンジン５２０の処理が行われることが好適である。

＜８．第５の実施の形態＞
　第５の実施の形態の構成例を図２４に示す。これは図２１の構成例に近いが、映像処理部２４ａ，２４ｂ，２４ｃでパラメータＰＭＴａ，ＰＭＴｂ，ＰＭＴｃを反映させる例である。

　図２４の場合、カメラ信号処理部５１５ａ，５１５ｂ，５１５ｃからのパラメータＰＭＴａ，ＰＭＴｂ，ＰＭＴｃが、それぞれ映像処理部２４ａ，２４ｂ，２４ｃに入力される。

　映像処理部２４ａ，２４ｂ，２４ｃの機能構成を図２５に示している。
　カメラ５０２ａ，５０２ｂ，５０２ｃの３台に対応する映像処理部２４ａ，２４ｂ，２４ｃは、それぞれ、オブジェクト抽出部４１、合成部４２、レンダリング部４３、信号処理部４４としての処理機能を有する。

　オブジェクト抽出部４１、合成部４２、レンダリング部４３は図１９で説明した機能である。
　信号処理部４４は、レンダリング部４３で生成したインナーフラスタムｖＢＣについて、パラメータＰＭＴに応じた信号処理を施す。

　映像処理部２４ａのレンダリング部４３は、カメラ５０２ａに関する撮影情報ＩＦａを入力し、撮影情報ＩＦａに基づいた視点位置の背景映像として、カメラ５０２ａの対応映像となるインナーフラスタムｖＢＣａを生成する。このインナーフラスタムｖＢＣａについては、信号処理部４４でパラメータＰＭＴａに応じた信号処理が行われ、インナーフラスタムｖＢＣａ’が合成部４２に供給される。そして、オブジェクト抽出部４１で抽出したオブジェクトの映像と、インナーフラスタムｖＢＣａ’が合成部４２で合成され、カメラ５０２ａについてのモニタ映像ｖＭａとして出力される。

　映像処理部２４ｂのレンダリング部４３は、カメラ５０２ｂに関する撮影情報ＩＦｂを入力し、撮影情報ＩＦｂに基づいた視点位置の背景映像として、カメラ５０２ｂの対応映像となるインナーフラスタムｖＢＣｂを生成する。このインナーフラスタムｖＢＣｂについては、信号処理部４４でパラメータＰＭＴｂに応じた信号処理が行われ、インナーフラスタムｖＢＣｂ’が合成部４２に供給される。そして、オブジェクト抽出部４１で抽出したオブジェクトの映像と、インナーフラスタムｖＢＣｂ’が合成部４２で合成され、カメラ５０２ａについてのモニタ映像ｖＭｂとして出力される。

　映像処理部２４ｃのレンダリング部４３は、カメラ５０２ｃに関する撮影情報ＩＦｃを入力し、撮影情報ＩＦｃに基づいた視点位置の背景映像として、カメラ５０２ｃの対応映像となるインナーフラスタムｖＢＣｃを生成する。このインナーフラスタムｖＢＣｃについては、信号処理部４４でパラメータＰＭＴｃに応じた信号処理が行われ、インナーフラスタムｖＢＣｃ’が合成部４２に供給される。そして、オブジェクト抽出部４１で抽出したオブジェクトの映像と、インナーフラスタムｖＢＣｃ’が合成部４２で合成され、カメラ５０２ｃについてのモニタ映像ｖＭｃとして出力される。

　以上の映像処理部２４ａ，２４ｂ，２４ｃの処理を図２６にフローチャートで示す。
　映像処理部２４ａ，２４ｂ，２４ｃはステップＳ３００でモニタ出力の終了と判定されるまで、フレームタイミング毎にステップＳ３０１ＡからステップＳ３０６の処理を繰り返す。
　ステップＳ３０１Ａで映像処理部２４（２４ａ，２４ｂ，２４ｃ）は撮影情報ＩＦ（ＩＦａ，ＩＦｂ，ＩＦｃ）、及びパラメータＰＭＴ（ＰＭＴａ，ＰＭＴｂ，ＰＭＴｃ）を入力する。
　ステップＳ３０２で映像処理部２４は、撮影情報ＩＦに基づいてインナーフラスタムｖＢＣ（ｖＢＣａ，ｖＢＣｂ，ｖＢＣｃ）を生成する。
　ステップＳ３１０で映像処理部２４は、インナーフラスタムｖＢＣについてパラメータＰＭＴに応じた信号処理を施す。
　ステップＳ３０５以降は図２０と同様である。但し合成処理対象となるのはインナーフラスタムｖＢＣａ’，ｖＢＣｂ’，ｖＢＣｃ’である。

　以上の処理で得られたモニタ映像ｖＭが表示されることで、オペレータや各カメラ５０２のカメラマンは、それぞれ正しい背景の映像であり、かつカメラ５０２の露出調整やホワイトバランス調整を反映した映像をモニタリングすることができる。

＜９．まとめ及び変型例＞
　以上の実施の形態によれば次のような効果が得られる。
　実施の形態では情報処理装置７０の例として、映像処理部１８（１８ａ，１８ｂ，１８ｃ）や映像処理部２４（２４ａ，２４ｂ，２４ｃ）を説明した。
　これらの情報処理装置７０は、複数のカメラ５０２のうちの一のカメラ５０２に対応して生成されたインナーフラスタムｖＢＣ（対応映像）と、黒映像（特定映像）を時分割的に表示するＬＥＤウォール５０５の表示映像と、オブジェクトとをカメラ５０２で撮影した映像のうちで、黒背景撮影映像ｖＣｂｋ（第１撮影映像）を入力する。そして入力した黒背景撮影映像ｖＣｂｋに含まれる黒映像を、その映像を撮影したカメラ５０２に対応して生成されたインナーフラスタムｖＢＣに置き換える映像処理を行うものとした。
　一つのカメラに対応する対応映像としてのインナーフラスタムｖＢＣを含む背景映像ｖＢを複数のカメラ５０２で撮影する場合には、そのインナーフラスタムｖＢＣに対応しないカメラ５０２の撮影映像ｖＣは、正しい背景ではない。そこで黒背景撮影映像ｖＣｂｋを入力し、黒映像部分をカメラ５０２毎に対応するインナーフラスタムｖＢＣに置き換える。これにより全てのカメラ５０２について正しい背景の映像を得ることができる。

　なお、上述の第１から第５の実施の形態において、本線映像ｖＣｍとされている映像については、映像処理部１８又は映像処理部２４で生成されたモニタ映像ｖＭではなく、その本線映像ｖＣｍをモニタ映像ｖＭとして用いるようにしてもよい。つまり撮影映像ｖＣが本線映像ｖＣｍとされていないカメラ５０２について、モニタ映像ｖＭを映像処理部１８又は映像処理部２４で生成するようにしてもよい。

　第１から第５の実施の形態では、ＬＥＤウォール５０５の表示映像と、演者５１０等のオブジェクトとをカメラ５０２で撮影した映像のうちで、オブジェクトとインナーフラスタムｖＢＣを含む撮影映像ｖＣ（第２撮影映像）が、コンテンツを構成する本線映像ｖＣｍとして選択されうる映像であるとした。
　本線映像ｖＣｍは、ＬＥＤウォール５０５に表示されたインナーフラスタムｖＢＣを各カメラ５０２で撮影した映像のうちで、スイッチャー６００で選択された映像である。つまり本線映像ｖＣｍとしては、バーチャルプロダクションとしての本来の映像が出力される。

　第１から第５の実施の形態では、映像処理部１８又は映像処理部２４の映像処理で生成した映像をモニタ表示に用いるモニタ映像ｖＭとして出力するものとした。
　例えば背景の黒映像をインナーフラスタムｖＢＣに置き換えてモニタ映像ｖＭ（ｖＮａ，ｖＭｂ，ｖＭｃ）とすることで、各カメラ５０２のモニタ映像ｖＭは、それぞれのカメラ５０２にとって正しい背景とオブジェクトを含む映像となる。

　第１から第５の実施の形態では、映像処理部１８又は映像処理部２４の映像処理で生成したモニタ映像ｖＭは、カメラ５０２におけるモニタ表示に用いる映像として出力するものとした。
　背景の黒映像をインナーフラスタムｖＢＣに置き換えた映像をモニタ映像ｖＭ（ｖＮａ，ｖＭｂ，ｖＭｃ）としてカメラ５０２にフィードバックされるように構成することで、全てのカメラ５０２のカメラマンは、ＬＥＤウォール５０５の表示にかかわらず、そのカメラ５０２にとって正しい背景とオブジェクトを含む映像となる。
　従ってカメラマンは、画角調整や撮影位置、撮影方向の移動などを、正しい背景状態を確認しながら適切に実行できる。特にカメラマンが、自分が操作するカメラ５０２の撮影映像ｖＣが本線映像ｖＣｍとされていない状態で、画角調整やアングル調整などを行う場合に極めて好適である。

　第１から第５の実施の形態では、映像処理部１８又は映像処理部２４の映像処理で生成したモニタ映像ｖＭは、一画面で複数映像を分割表示するマルチビューワ６１２におけるモニタ表示に用いる映像として出力するものとした。
　背景の黒映像をインナーフラスタムｖＢＣに置き換えたモニタ映像ｖＭ（ｖＮａ，ｖＭｂ，ｖＭｃ）をマルチビューワ６１２に供給し、表示させる。これによりスイッチャー６００を操作するオペレータ等が、各カメラ５０２の撮影映像を適切な背景で視認することができるため、各撮影映像ｖＣの状態を適切に判断しながらスイッチング操作を行うことができる。

　第１、第４の実施の形態では、映像処理部１８は、黒背景撮影映像ｖＣｂｋの各フレームについて、黒映像の部分を、入力されたインナーフラスタムｖＢＣに置き換える処理を行う例とした（図１３から図１７、図２２及び図２３参照）。
　例えば図１３から図１７で説明した例のように、映像処理部１８では、レンダリングエンジン５２０から供給されるインナーフラスタムｖＢＣを入力し、これを黒背景撮影映像ｖＣｂｋから抽出したオブジェクト映像と合成する。これにより黒背景をインナーフラスタムｖＢＣに置き換えた映像を生成することができる。

　第１、第４の実施の形態では、各カメラ５０２についてのインナーフラスタムｖＢＣがレンダリングエンジン５２０によって生成され、生成された複数のインナーフラスタムｖＢＣが選択的にＬＥＤウォール５０５に表示される。その構成において映像処理部１８は、黒背景撮影映像ｖＣｂｋの各フレームについて、黒映像の部分を、レンダリングエンジン５２０から供給されたインナーフラスタムｖＢＣ（又はｖＢＣ’）に置き換える処理を行う例とした（図１３から図１７、図２２及び図２３参照）。
　例えば図１３から図１７で説明した例のように、レンダリングエンジン５２０のレンダリング部２１，２２，２３は、それぞれカメラに対応するインナーフラスタムｖＢＣを含む背景映像ｖＢａ，ｖＢｂ，ｖＢｃを生成する。これらはスイッチャー６００で選択されてＬＥＤウォール５０５で表示される。
　この構成の場合に、映像処理部１８では、レンダリングエンジン５２０から供給されるインナーフラスタムｖＢＣを入力し、これを黒背景撮影映像ｖＣｂｋから抽出したオブジェクト映像と合成する。
　このようなシステム構成の場合、常時各カメラに対応するスイッチャー６００でスイッチングされてから、選択されたカメラに対応する背景映像ｖＢａ，ｖＢｂ，ｖＢｃを生成しているため、スイッチャー６００による切り替えがあったときに、すぐに新たな背景映像ｖＢをＬＥＤウォール５０５に表示できる。スイッチャー６００の切り替え指示に応じて、別のカメラの背景映像ｖＢの生成を開始するものではないためである。従ってスイッチャー６００の切り替え時の背景映像ｖＢの生成のための遅延をなくすことができ、スムースな切り替えが可能になる。
　加えて、レンダリング部２１，２２，２３で各カメラについて生成したインナーフラスタムｖＢＣは、スイッチャー６００で選択されていない期間でも無駄にならずモニタ用に活用されることになる。

　第２，第３，第５の実施の形態では、映像処理部２４は、黒背景撮影映像ｖＣｂｋを撮影したカメラ５０２に対応するインナーフラスタムｖＢＣを生成する処理と、黒背景撮影映像ｖＣｂｋの各フレームについて黒映像部分を、生成したインナーフラスタムｖＢＣに置き換える処理を行うものとした（図１８から図２０，図２１，図２４から図２６参照）。
　例えば図１８から図２０で説明した例のように、映像処理部２４では、それぞれ対応するカメラ５０２のインナーフラスタムｖＢＣをレンダリング部４３で生成し、これを黒背景撮影映像ｖＣｂｋから抽出したオブジェクトの映像と合成する。これにより黒背景をインナーフラスタムｖＢＣに置き換えた映像を生成することができる。
　この場合、映像処理部２４は、レンダリング部４３において、あくまでモニタ映像ｖＭの生成のためのインナーフラスタムｖＢＣのレンダリングができればよい。つまり本線映像ｖＣｍとしては使用しない映像であるため、本線映像ｖＣｍに求められる映像品質は要求されず、モニタ映像ｖＭとして必要な映像品質でよい。従ってレンダリング部４３としては、比較的負荷の軽い映像処理を行えばよく、レンダリングエンジン５２０のレンダリング部２１，２２，２３ほどの処理能力は要求されない。このためレンダリング部４３を含む映像処理部２４は比較的安価な情報処理装置で構成できる。

　第３、第５の実施の形態では、撮影を行う複数のカメラ５０２のうちで、択一的に選択されたカメラ５０２についてのインナーフラスタムｖＢＣのみがレンダリングエンジン５２０によって生成され、生成されたインナーフラスタムｖＢＣを含む背景映像ｖＢがＬＥＤウォール５０５に表示されるシステム構成とした。そして映像処理部２４は、黒背景撮影映像ｖＣｂｋを撮影したカメラ５０２に対応するインナーフラスタムｖＢＣを生成する処理と、黒背景撮影映像ｖＣｂｋの各フレームについて、黒映像部分を、生成したインナーフラスタムｖＢＣ（又はｖＢＣ’）に置き換える処理を行うものとした（図２１，図２４から図２６参照）
　例えば図２１の例のように、レンダリングエンジン５２０は、スイッチャー６００のスイッチ部１２で選択されるカメラ５０２についての背景映像ｖＢを生成する。
　このような構成により、レンダリングエンジン５２０は、本線映像ｖＣｍに含まれることになる高精細な背景映像ｖＢを生成する処理の負担が軽減される。例えば図１８の例のように複数のカメラ５０２に対応する背景映像ｖＢａ，ｖＢｂ，ｖＢｃを生成しなくてもよいためである。
　またこのようなシステム構成の場合でも、レンダリング部４３を含む映像処理部２４を備えることで、各カメラ５０２について正しい背景のモニタ映像ｖＭを生成できる。

　第４，第５の実施の形態では映像処理部１８又は映像処理部２４では、黒背景撮影映像ｖＣｂｋの各フレームについて、黒映像部分を、その黒背景撮影映像ｖＣｂｋを撮影したカメラ５０２の映像に関するパラメータＰＭＴに応じた信号処理が加えられたインナーフラスタムｖＢＣ（ｖＢＣａ’，ｖＢＣｂ’，ｖＢＣｃ’）に置き換える処理を行うものとした（図２２から図２６参照）。
これにより、カメラマンの操作、自動調整等によりカメラ５０２側の露出、ホワイトバランス等が変化される場合において、モニタ映像ｖＭにも、その変更が反映されるため、現状のパラメータに応じた正しいモニタ表示を実現できる。

　第４の実施の形態では、各カメラ５０２についてのインナーフラスタムｖＢＣがレンダリングエンジン５２０によって生成され、生成された複数のインナーフラスタムｖＢＣが選択的にＬＥＤウォール５０５に表示される。そして映像処理部１８では、黒背景撮影映像ｖＣｂｋの各フレームの黒映像部分を、レンダリングエンジン５２０でパラメータＰＭＴに応じた信号処理が加えられたインナーフラスタムｖＢＣ（ｖＢＣａ’，ｖＢＣｂ’，ｖＢＣｃ’）に置き換える処理を行う例とした（図２２、図２３参照）。
　レンダリングエンジン５２０のレンダリング部２１，２２，２３において、インナーフラスタムｖＢＣの映像データに露出、ホワイトバランス等のパラメータＰＭＴに応じた映像信号処理を施すようにすることで、カメラ５０２の調整操作等に応じた背景となる正しいモニタ表示を実現できる。

　第５の実施の形態では、映像処理部２４は、黒背景撮影映像ｖＣｂｋを撮影したカメラ５０２に対応するインナーフラスタムｖＢＣを生成し、パラメータＰＭＴに応じた信号処理を施したうえで、黒背景撮影映像ｖＣｂｋの黒映像部分に置き換えるものとした（図２４から図２６参照）。
　映像処理部２４において、インナーフラスタムｖＢＣに対して、パラメータＰＭＴに応じた信号処理が行われるようにする。この処理後のインナーフラスタムｖＢＣ（ｖＢＣａ’，ｖＢＣｂ’，ｖＢＣｃ’）をオブジェクト映像と合成することで、カメラ５０２の調整操作等に応じた背景となる正しいモニタ表示を実現できる。パラメータＰＭＴに応じた背景となる正しいモニタ表示を実現できる。

　実施の形態の撮影システム５００では、ＬＥＤウォール５０５の表示映像は、特定映像である黒映像と、対応映像であるインナーフラスタムｖＢＣ（インナーフラスタムｖＢＣを含む背景映像ｖＢ）がフレーム毎に交互に表示される映像であるとした。そして各カメラ５０２は表示に同期して各フレームの撮影を行い、黒映像を含むフレームが連続する黒背景撮影映像ｖＣｂｋと、インナーフラスタムｖＢＣを含むフレームが連続する撮影映像ｖＣを並列的に出力する。このような撮影システム５００においては、映像処理部１８や映像処理部２４は、黒背景撮影映像ｖＣｂｋを入力して、その各フレームについて、カメラ５０２に対応するインナーフラスタムｖＢＣに置き換えるようにすればよい。

　実施の形態における特定映像は映像分離処理に用いる映像である。
　特定映像として黒映像、グリーン映像、ブルー映像など、クロマキーなどにより映像分離を行うことができる映像を用いることで、モニタ映像ｖＭを生成する映像処理が容易となる。

　また実施の形態では映像分離処理に用いる特定映像は黒映像であり、黒背景撮影映像ｖＣｂｋは黒映像を背景としてオブジェクトが撮影された映像である例を挙げた。
　特定映像として黒映像を用いることで、ブルー映像、グリーン映像に比べて、ＬＥＤウォール５０５の高周波周期の映像変化が演者５１０に与える影響を少なくできる。

　実施の形態における対応映像とは、カメラ５０２の位置又は撮影方向に応じて生成された背景映像であるとした。つまり対応映像とは、ＬＥＤウォール５０５に対するカメラ５０２の位置や撮影方向を含む撮影情報に基づいてレンダリングされるインナーフラスタムｖＢＣである。各カメラのモニタ映像ｖＭは、インナーフラスタムｖＢＣが適正化された映像となる。

　実施の形態のプログラムは、上述の図１７，図２０，図２６のような処理を、例えばＣＰＵ、ＤＳＰ等のプロセッサ、或いはこれらを含むデバイスに実行させるプログラムである。
　即ち実施の形態のプログラムは、複数のカメラ５０２のうちの一のカメラ５０２に対応して生成されたインナーフラスタムｖＢＣと黒映像等の特定映像を時分割的に表示するＬＥＤウォール５０５の表示映像と、演者５１０等のオブジェクトとを、カメラ５０２で撮影した映像のうちで、オブジェクトと特定映像を含む黒背景撮影映像ｖＣｂｋ（第１撮影映像）を入力する映像処理部１８、２４等の情報処理装置７０に映像処理を実行させる。その映像処理は、黒背景撮影映像ｖＣｂｋに含まれる特定映像を、その黒背景撮影映像ｖＣｂｋを撮影したカメラ５０２に対応して生成されたインナーフラスタムｖＢＣに置き換える映像処理である。

　このようなプログラムにより、上述した映像処理を実行する情報処理装置７０を、各種のコンピュータ装置により実現できる。

　このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。また、このようなプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

　またこのようなプログラムによれば、実施の形態の情報処理装置７０の広範な提供に適している。例えばパーソナルコンピュータ、通信機器、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、これらの装置を本開示の情報処理装置７０として機能させることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

　なお本技術は以下のような構成も採ることができる。
　（１）
　複数のカメラのうちの一のカメラに対応して生成された対応映像と特定映像を時分割的に表示するディスプレイの表示映像と、前記ディスプレイとは別体のオブジェクトとをカメラで撮影した映像のうちで、前記オブジェクトと前記特定映像を含む第１撮影映像について、前記特定映像を、その第１撮影映像を撮影したカメラに対応して生成された対応映像に置き換える映像処理を行う映像処理部を備える
　情報処理装置。
　（２）
　前記ディスプレイの表示映像と、前記オブジェクトとをカメラで撮影した映像のうちで、前記オブジェクトと前記一のカメラに対応して生成された対応映像を含む第２撮影映像が本線映像として選択されうる映像とされる
　上記（１）に記載の情報処理装置。
　（３）
　前記映像処理で生成した映像をモニタ表示に用いる映像として出力する
　上記（１）又は（２）に記載の情報処理装置。
　（４）
　前記映像処理で生成した映像は、カメラにおけるモニタ表示に用いる映像として出力する
　上記（１）から（３）のいずれかに記載の情報処理装置。
　（５）
　前記映像処理で生成した映像は、一画面で複数映像を分割表示するモニタ表示に用いる映像として出力する
　上記（１）から（４）のいずれかに記載の情報処理装置。
　（６）
　前記映像処理では、前記第１撮影映像の各フレームについて、前記特定映像の部分を、入力された対応映像に置き換える処理を行う
　上記（１）から（５）のいずれかに記載の情報処理装置。
　（７）
　各カメラについての対応映像がレンダリングエンジンによって生成され、生成された複数の対応映像が選択的に前記ディスプレイに表示されるとともに、
　前記映像処理では、前記第１撮影映像の各フレームの前記特定映像の部分を、前記レンダリングエンジンから供給された対応映像に置き換える処理を行う
　上記（１）から（６）のいずれかに記載の情報処理装置。
　（８）
　前記映像処理では、
　前記第１撮影映像を撮影したカメラに対応する対応映像を生成する処理と、
前記第１撮影映像の各フレームについて、前記特定映像の部分を、生成した対応映像に置き換える処理を行う
　上記（１）から（５）のいずれかに記載の情報処理装置。
　（９）
　撮影を行う複数のカメラのうちで、択一的に選択されたカメラについての対応映像のみがレンダリングエンジンによって生成され、生成された対応映像が前記ディスプレイに表示されるシステム構成において、
　前記映像処理では、
　前記第１撮影映像を撮影したカメラに対応する対応映像を生成する処理と、
前記第１撮影映像の各フレームについて、前記特定映像の部分を、生成した対応映像に置き換える処理を行う
　上記（１）から（５）のいずれかに記載の情報処理装置。
　（１０）
　前記映像処理では、前記第１撮影映像の各フレームについて、前記特定映像の部分を、前記第１撮影映像を撮影したカメラの映像に関するパラメータに応じた信号処理が加えられた対応映像に置き換える処理を行う
　上記（１）から（９）のいずれかに記載の情報処理装置。
　（１１）
　各カメラについての対応映像がレンダリングエンジンによって生成され、生成された複数の対応映像が選択的に前記ディスプレイに表示されるとともに、
　前記映像処理では、前記第１撮影映像の各フレームの前記特定映像の部分を、前記レンダリングエンジンで、前記第１撮影映像を撮影したカメラの映像に関するパラメータに応じた信号処理が加えられた対応映像に置き換える処理を行う
　上記（１）（２）（３）（４）（５）（６）（７）（１０）のいずれかに記載の情報処理装置。
　（１２）
　前記映像処理では、
　前記第１撮影映像を撮影したカメラに対応する対応映像を生成し、生成した対応映像に対して前記第１撮影映像を撮影したカメラの映像に関するパラメータに応じた信号処理を施したうえで、前記第１撮影映像の前記特定映像の部分を対応映像に置き換える
　上記（１）（２）（３）（４）（５）（８）（９）（１０）のいずれかに記載の情報処理装置。
　（１３）
　前記ディスプレイの表示映像は、前記特定映像と前記対応映像がフレーム毎に交互に表示される映像であり、
　各カメラは、前記特定映像を含むフレームが連続する前記第１撮影映像と、前記対応映像を含むフレームが連続する前記第２撮影映像を並列的に出力する撮影システムにおいて、
　前記第１撮影映像を入力して前記映像処理を行う
　上記（２）に記載の情報処理装置。
　（１４）
　前記特定映像は映像分離処理に用いる映像である
　上記（１）から（１３）のいずれかに記載の情報処理装置。
　（１５）
　前記特定映像は黒映像であり、
　前記第１撮影映像は黒映像を背景としてオブジェクトが撮影された映像である
　上記（１）から（１３）のいずれかに記載の情報処理装置。
　（１６）
　前記対応映像とは、カメラの位置又は撮影方向に応じて生成された背景映像である
　上記（１）から（１５）のいずれかに記載の情報処理装置。
　（１７）
　複数のカメラのうちの一のカメラに対応して生成された対応映像と特定映像を時分割的に表示するディスプレイの表示映像と、前記ディスプレイとは別体のオブジェクトとをカメラで撮影した映像のうちで、前記オブジェクトと前記特定映像を含む第１撮影映像について、前記特定映像を、その第１撮影映像を撮影したカメラに対応して生成された対応映像に置き換える映像処理を行う
　情報処理方法。
　（１８）
　ディスプレイと、
　前記ディスプレイに表示された映像を撮影する複数のカメラと、
　前記複数のカメラにより撮影される映像の処理を行う情報処理装置と、
　を備え、
　前記ディスプレイでは、前記複数のカメラのうちの一のカメラに対応して生成された対応映像と特定映像を時分割的に表示し、
　前記情報処理装置は、前記ディスプレイの表示映像と前記ディスプレイとは別体のオブジェクトとをカメラで撮影した映像のうちで、前記オブジェクトと前記特定映像を含む第１撮影映像について、前記特定映像を、その第１撮影映像を撮影したカメラに対応して生成された対応映像に置き換える映像処理を行う映像処理部を備える
　撮影システム。

１０　スイッチャーコントローラ（ＳＷコントローラ）
１１　スイッチ部
１２　スイッチ部
１８，１８ａ，１８ｂ，１８ｃ　映像処理部
２１，２２，２３　レンダリング部
２４，２４ａ，２４ｂ，２４ｃ　映像処理部
２８　セレクタ
４１　オブジェクト抽出部
４２　合成部
４３　レンダリング部
４４　信号処理部
７０　情報処理装置、
７１　ＣＰＵ
８５　映像処理部
５０２　カメラ
５０５　ＬＥＤウォール
５１０　演者
５１５ａ，５１５ｂ　カメラ信号処理部
５２０　レンダリングエンジン
６００　スイッチャー
６１２　マルチビューワ
ｖＢ　背景映像
ｖＢＣ　撮影領域映像（インナーフラスタム）
ｖＣ，ｖＣａ，ｖＣｂ，ｖＣｃ　撮影映像
ｖＣｂｋ　黒背景撮影映像
ｖＣｍ　本線映像
ｖＭ，ｖＭａ，ｖＭｂ，ｖＭｃ　モニタ映像

Claims

　複数のカメラのうちの一のカメラに対応して生成された対応映像と特定映像を時分割的に表示するディスプレイの表示映像と、前記ディスプレイとは別体のオブジェクトとをカメラで撮影した映像のうちで、前記オブジェクトと前記特定映像を含む第１撮影映像について、前記特定映像を、その第１撮影映像を撮影したカメラに対応して生成された対応映像に置き換える映像処理を行う映像処理部を備える
　情報処理装置。
　前記ディスプレイの表示映像と、前記オブジェクトとをカメラで撮影した映像のうちで、前記オブジェクトと前記一のカメラに対応して生成された対応映像を含む第２撮影映像が本線映像として選択されうる映像とされる
　請求項１に記載の情報処理装置。
　前記映像処理で生成した映像をモニタ表示に用いる映像として出力する
　請求項１に記載の情報処理装置。
　前記映像処理で生成した映像は、カメラにおけるモニタ表示に用いる映像として出力する
　請求項１に記載の情報処理装置。
　前記映像処理で生成した映像は、一画面で複数映像を分割表示するモニタ表示に用いる映像として出力する
　請求項１に記載の情報処理装置。
　前記映像処理では、前記第１撮影映像の各フレームについて、前記特定映像の部分を、入力された対応映像に置き換える処理を行う
　請求項１に記載の情報処理装置。
　各カメラについての対応映像がレンダリングエンジンによって生成され、生成された複数の対応映像が選択的に前記ディスプレイに表示されるとともに、
　前記映像処理では、前記第１撮影映像の各フレームの前記特定映像の部分を、前記レンダリングエンジンから供給された対応映像に置き換える処理を行う
　請求項１に記載の情報処理装置。
　前記映像処理では、
　前記第１撮影映像を撮影したカメラに対応する対応映像を生成する処理と、
前記第１撮影映像の各フレームについて、前記特定映像の部分を、生成した対応映像に置き換える処理を行う
　請求項１に記載の情報処理装置。
　撮影を行う複数のカメラのうちで、択一的に選択されたカメラについての対応映像のみがレンダリングエンジンによって生成され、生成された対応映像が前記ディスプレイに表示されるシステム構成において、
　前記映像処理では、
　前記第１撮影映像を撮影したカメラに対応する対応映像を生成する処理と、
前記第１撮影映像の各フレームについて、前記特定映像の部分を、生成した対応映像に置き換える処理を行う
　請求項１に記載の情報処理装置。
　前記映像処理では、前記第１撮影映像の各フレームについて、前記特定映像の部分を、前記第１撮影映像を撮影したカメラの映像に関するパラメータに応じた信号処理が加えられた対応映像に置き換える処理を行う
　請求項１に記載の情報処理装置。
　各カメラについての対応映像がレンダリングエンジンによって生成され、生成された複数の対応映像が選択的に前記ディスプレイに表示されるとともに、
　前記映像処理では、前記第１撮影映像の各フレームの前記特定映像の部分を、前記レンダリングエンジンで、前記第１撮影映像を撮影したカメラの映像に関するパラメータに応じた信号処理が加えられた対応映像に置き換える処理を行う
　請求項１に記載の情報処理装置。
　前記映像処理では、
　前記第１撮影映像を撮影したカメラに対応する対応映像を生成し、生成した対応映像に対して前記第１撮影映像を撮影したカメラの映像に関するパラメータに応じた信号処理を施したうえで、前記第１撮影映像の前記特定映像の部分を対応映像に置き換える
　請求項１に記載の情報処理装置。
　前記ディスプレイの表示映像は、前記特定映像と前記対応映像がフレーム毎に交互に表示される映像であり、
　各カメラは、前記特定映像を含むフレームが連続する前記第１撮影映像と、前記対応映像を含むフレームが連続する前記第２撮影映像を並列的に出力する撮影システムにおいて、
　前記第１撮影映像を入力して前記映像処理を行う
　請求項２に記載の情報処理装置。
　前記特定映像は映像分離処理に用いる映像である
　請求項１に記載の情報処理装置。
　前記特定映像は黒映像であり、
　前記第１撮影映像は黒映像を背景としてオブジェクトが撮影された映像である
　請求項１に記載の情報処理装置。
　前記対応映像とは、カメラの位置又は撮影方向に応じて生成された背景映像である
　請求項１に記載の情報処理装置。
　複数のカメラのうちの一のカメラに対応して生成された対応映像と特定映像を時分割的に表示するディスプレイの表示映像と、前記ディスプレイとは別体のオブジェクトとをカメラで撮影した映像のうちで、前記オブジェクトと前記特定映像を含む第１撮影映像について、前記特定映像を、その第１撮影映像を撮影したカメラに対応して生成された対応映像に置き換える映像処理を行う
　情報処理方法。
　ディスプレイと、
　前記ディスプレイに表示された映像を撮影する複数のカメラと、
　前記複数のカメラにより撮影される映像の処理を行う情報処理装置と、
　を備え、
　前記ディスプレイでは、前記複数のカメラのうちの一のカメラに対応して生成された対応映像と特定映像を時分割的に表示し、
　前記情報処理装置は、前記ディスプレイの表示映像と前記ディスプレイとは別体のオブジェクトとをカメラで撮影した映像のうちで、前記オブジェクトと前記特定映像を含む第１撮影映像について、前記特定映像を、その第１撮影映像を撮影したカメラに対応して生成された対応映像に置き換える映像処理を行う映像処理部を備える
　撮影システム。