WO2023176269A1

WO2023176269A1 - 情報処理装置、情報処理方法、プログラム

Info

Publication number: WO2023176269A1
Application number: PCT/JP2023/005312
Authority: WO
Inventors: 隆史土屋
Original assignee: ソニーグループ株式会社
Priority date: 2022-03-15
Filing date: 2023-02-15
Publication date: 2023-09-21

Abstract

情報処理装置は、ディスプレイに表示される映像を撮影するカメラとディスプレイとの相対角度と、ディスプレイの視野角特性と、に基づいて生成した補正係数を用いて映像の補正を行う補正部を備えるようにする。

Description

情報処理装置、情報処理方法、プログラム

　本技術は、情報処理装置、情報処理方法、プログラムに関し、特には情報処理装置で行われる映像処理技術に関する。

　映画等の映像コンテンツの制作のための撮影手法として、いわゆるグリーンバックにより演者が演技を行い、後に背景映像を合成する技術が知られている。
　また近年はグリーンバック撮影に代わって、大型のディスプレイを設置したスタジオにおいて、ディスプレイに背景映像を表示させ、その前で演者が演技を行うことで、演者と背景を撮影できる撮影システムも開発され、いわゆるバーチャルプロダクション（Virtual Production）、インカメラＶＦＸ（In-Camera VFX）、またはＬＥＤ（Light Emitting Diode）ウォールバーチャルプロダクション（LED Wall Virtual Production）として知られている。
　下記特許文献１には、背景映像の前で演技する演者を撮影するシステムの技術が開示されている。

米国特許出願公開第２０２０／０１４５６４４号明細書

　大型のディスプレイに背景映像を表示させたうえで、演者及び背景映像をカメラで撮影することによれば、別途合成する背景映像を用意しなくてもよいことや、演者やスタッフがシーンを視覚的に理解して演技や演技良否の判断をおこなうことができるなど、グリーンバック撮影に比べて利点が多い。

　ところがこれらの映像と演者等のオブジェクトを撮影した映像では、元の背景映像の映像データと色が異なることが発生する。これは背景映像の色や輝度が、カメラとディスプレイの相対角度によって変化してしまうためである。
　例えばＬＥＤパネルによるディスプレイの場合、ＬＥＤには見る角度によって色・輝度がシフトする視野角特性がある。このため、ディスプレイに対するカメラの位置（撮影角度）によって、色や輝度が本来の色や輝度からシフトした映像が撮影されてしまう。またこの場合、ポストプロダクションで色の補正を行うことで映像制作効率が低下する。

　そこで本開示では、ディスプレイに表示された映像をカメラで撮影する場合に、本来の色や輝度の映像が得られるようにする技術を提案する。

　本技術に係る情報処理装置は、ディスプレイに表示される映像を撮影するカメラと前記ディスプレイとの相対角度と、前記ディスプレイの視野角特性と、に基づいて生成した補正係数を用いて映像の補正を行う補正部を備える。
　ディスプレイに表示された映像をカメラで撮影する場合、カメラとディスプレイの相対角度に応じて輝度や色がシフトする視野角特性の影響を受ける。そこで、実際の撮影時の相対角度に応じて視野角特性に対応する補正を行う。

本技術の実施の形態の撮影システムの説明図である。実施の形態の撮影システムのカメラ位置に応じた背景映像の説明図である。実施の形態の撮影システムのカメラ位置に応じた背景映像の説明図である。実施の形態の映像コンテンツ制作工程の説明図である。実施の形態の撮影システムのブロック図である。実施の形態の撮影システムの背景映像生成のフローチャートである。実施の形態の複数カメラを用いた撮影システムのブロック図である。実施の形態の情報処理装置のブロック図である。背景映像の色や輝度のシフトの説明図である。実施の形態の視野角特性の測定処理のフローチャートである。実施の形態の視野角特性の測定の説明図である。実施の形態の視野角特性の測定処理のフローチャートである。第１の実施の形態の構成例のブロック図である。第１，第２，第３の実施の形態の補正部の構成のブロック図である。実施の形態の相対角度の求め方の説明図である。実施の形態の相対角度の求め方の説明図である。実施の形態の補正係数の説明図である。実施の形態の補正処理のフローチャートである。第２の実施の形態の構成例のブロック図である。第３の実施の形態の構成例のブロック図である。第４の実施の形態の構成例のブロック図である。第５の実施の形態の構成例のブロック図である。実施の形態の撮影映像の説明図である。実施の形態で用いるマスクの説明図である。実施の形態で用いるカメラの波長域の説明図である。実施の形態のカメラの構成例の説明図である。実施の形態でディスプレイが曲面の場合の説明図である。

　以下、実施の形態を次の順序で説明する。
＜１．撮影システム及びコンテンツ制作＞
＜２．情報処理装置の構成＞
＜３．色及び輝度のシフトと視野角特性の測定＞
＜４．第１の実施の形態＞
＜５．第２の実施の形態＞
＜６．第３の実施の形態＞
＜７．第４の実施の形態＞
＜８．第５の実施の形態＞
＜９．曲面パネルへの対応＞
＜１０．まとめ及び変型例＞

　なお、本開示において「映像」或いは「画像」とは静止画、動画のいずれをも含む。また「映像」とはディスプレイに表示されている状態を指すだけでなく、ディスプレイに表示されていない状態の映像データについても包括的に「映像」と表記する場合がある。例えば撮影システム及びコンテンツ制作の説明においては包括的に「映像」と表記する。但し映像の補正処理に関して説明上、表示されている映像ではなく映像データを指す場合は「映像データ」の表記を用いて区別する。

＜１．撮影システム及び映像コンテンツ制作＞
　本開示の技術を適用できる撮影システム及び映像コンテンツの制作について説明する。
　図１は撮影システム５００を模式的に示している。この撮影システム５００はバーチャルプロダクションとしての撮影を行うシステムで、図では撮影スタジオに配置される機材の一部を示している。

　撮影スタジオにおいては演者５１０が演技その他のパフォーマンスを行うパフォーマンスエリア５０１が設けられる。このパフォーマンスエリア５０１の少なくとも背面、さらには左右側面や上面には、大型の表示装置が配置される。表示装置のデバイス種別は限定されないが、図では大型の表示装置の一例としてＬＥＤウォール５０５を用いる例を示している。

　１つのＬＥＤウォール５０５は、複数のＬＥＤパネル５０６を縦横に連結して配置することで、大型のパネルを形成する。ここでいうＬＥＤウォール５０５のサイズは特に限定されないが、演者５１０の撮影を行うときに背景を表示するサイズとして必要な大きさ、或いは十分な大きさであればよい。

　パフォーマンスエリア５０１の上方、或いは側方などの必要な位置に、必要な数のライト５８０が配置され、パフォーマンスエリア５０１に対して照明を行う。

　パフォーマンスエリア５０１の付近には、例えば映画その他の映像コンテンツの撮影のためのカメラ５０２が配置される。カメラ５０２は、カメラマン５１２が位置を移動させることができ、また撮影方向や、画角等の操作を行うことができる。もちろんリモート操作によってカメラ５０２の移動や画角操作等が行われるものも考えられる。またカメラ５０２が自動的もしくは自律的に移動や画角変更を行うものであってもよい。このためにカメラ５０２が雲台や移動体に搭載される場合もある。

　カメラ５０２によっては、パフォーマンスエリア５０１における演者５１０と、ＬＥＤウォール５０５に表示されている映像がまとめて撮影される。例えばＬＥＤウォール５０５に背景映像ｖＢとして風景が表示されることで、演者５１０が実際にその風景の場所に居て演技をしている場合と同様の映像を撮影できることになる。

　パフォーマンスエリア５０１の付近にはアウトプットモニタ５０３が配置される。このアウトプットモニタ５０３にはカメラ５０２で撮影されている映像がモニタ映像ｖＭとしてリアルタイム表示される。これにより映像コンテンツの制作を行う監督やスタッフが、撮影されている映像を確認することができる。

　このように、撮影スタジオにおいてＬＥＤウォール５０５を背景にした演者５１０のパフォーマンスを撮影する撮影システム５００では、グリーンバック撮影に比較して各種の利点がある。

　例えば、グリーンバック撮影の場合、演者が背景やシーンの状況を想像しにくく、それが演技に影響するということがある。これに対して背景映像ｖＢを表示させることで、演者５１０が演技しやすくなり、演技の質が向上する。また監督その他のスタッフにとっても、演者５１０の演技が、背景やシーンの状況とマッチしているか否かを判断しやすい。

　またグリーンバック撮影の場合よりも撮影後のポストプロダクションが効率化される。これは、いわゆるクロマキー合成が不要とすることができる場合や、色の補正や映り込みの合成が不要とすることができる場合があるためである。また、撮影時にクロマキー合成が必要とされた場合においても、背景用スクリーンを追加不要とされることも効率化の一助となっている。

　グリーンバック撮影の場合、演者の身体、衣装、物にグリーンの色合いが増してしまうため、その修正が必要となる。またグリーンバック撮影の場合、ガラス、鏡、スノードームなどの周囲の光景が映り込む物が存在する場合、その映り込みの画像を生成し、合成する必要があるが、これは手間のかかる作業となっている。

　これに対し、図１の撮影システム５００で撮影する場合、グリーンの色合いが増すことはないため、その補正は不要である。また背景映像ｖＢを表示させることで、ガラス等の実際の物品への映り込みも自然に得られて撮影されているため、映り込み映像の合成も不要である。

　ここで、背景映像ｖＢについて図２、図３で説明する。背景映像ｖＢを、ＬＥＤウォール５０５に表示させて、演者５１０とともに撮影を行うにしても、単純に背景映像ｖＢを表示させるのみでは、撮影された映像は背景が不自然になる。実際には立体で奥行きもある背景を平面的に背景映像ｖＢとしているためである。

　例えばカメラ５０２は、パフォーマンスエリア５０１の演者５１０に対して、多様な方向から撮影することができ、またズーム操作も行うことができる。演者５１０も一カ所に立ち止まっているわけではない。するとカメラ５０２の位置、撮影方向、画角などに応じて、演者５１０の背景の実際の見え方は変化するはずであるが、平面映像としての背景映像ｖＢではそのような変化が得られない。そこで背景が、視差を含めて、実際の見え方と同様になるように背景映像ｖＢを変化させる。

　図２はカメラ５０２が図の左側の位置から演者５１０を撮影している様子を示し、また図３はカメラ５０２が図の右側の位置から演者５１０を撮影している様子を示している。各図において、背景映像ｖＢ内に撮影領域映像ｖＢＣを示している。
　なお背景映像ｖＢのうちで撮影領域映像ｖＢＣを除いた部分は「アウターフラスタム」と呼ばれ、撮影領域映像ｖＢＣは「インナーフラスタム」と呼ばれる。
　ここで説明している背景映像ｖＢとは、撮影領域映像ｖＢＣ（インナーフラスタム）を含んで背景として表示される映像全体を指す。

　この撮影領域映像ｖＢＣ（インナーフラスタム）の範囲は、ＬＥＤウォール５０５の表示面内で、カメラ５０２によって実際に撮影される範囲に相当する。そして撮影領域映像ｖＢＣは、カメラ５０２の位置、撮影方向、画角等に応じて、実際にそのカメラ５０２の位置を視点としたときに見える光景を表現するように変形されたような映像となっている。

　具体的には、撮影領域映像ｖＢＣは、背景としての３Ｄ（three dimensions）モデルである３Ｄ背景データを用意し、その３Ｄ背景データに対して、リアルタイムで逐次、カメラ５０２の視点位置に基づいてレンダリングする。
　なお、実際には撮影領域映像ｖＢＣの範囲は、その時点でカメラ５０２によって撮影される範囲よりも少し広い範囲とされる。これはカメラ５０２のパン、チルトやズームなどにより撮影される範囲が若干変化したときに、描画遅延によってアウターフラスタムの映像が映り込んでしまうことを防止するためや、アウターフラスタムの映像からの回折光による影響を避けるためである。
　このようにリアルタイムでレンダリングされた撮影領域映像ｖＢＣの映像は、アウターフラスタムの映像と合成される。背景映像ｖＢで用いられるアウターフラスタムの映像は、予め３Ｄ背景データに基づいてレンダリングしたものであるが、そのアウターフラスタムの映像の一部に、リアルタイムでレンダリングした撮影領域映像ｖＢＣとして映像を組み込むことで、全体の背景映像ｖＢを生成している。

　これにより、カメラ５０２を前後左右に移動させたり、ズーム操作を行ったりしても、演者５１０とともに撮影される範囲の背景は、実際のカメラ５０２の移動に伴う視点位置変化に応じた映像として撮影されることになる。

　図２、図３に示すように、アウトプットモニタ５０３には、演者５１０と背景を含むモニタ映像ｖＭが表示されるが、これが撮影された映像である。このモニタ映像ｖＭにおける背景は、撮影領域映像ｖＢＣである。つまり撮影された映像に含まれる背景は、リアルタイムレンダリングされた映像となる。

　このように実施の形態の撮影システム５００においては、単に背景映像ｖＢを平面的に表示させるだけではなく、実際にロケを行った場合と同様の映像を撮影することができるように、撮影領域映像ｖＢＣを含む背景映像ｖＢをリアルタイムに変化させるようにしている。

　なお、ＬＥＤウォール５０５に表示させた背景映像ｖＢの全体ではなく、カメラ５０２によって映り込む範囲としての撮影領域映像ｖＢＣのみをリアルタイムにレンダリングすることで、システムの処理負担も軽減される。

　ここで、撮影システム５００で撮影を行うバーチャルプロダクションとしての映像コンテンツの制作工程を説明しておく。図４に示すように、映像コンテンツ制作工程は３つの段階に大別される。アセットクリエイションＳＴ１、プロダクションＳＴ２、ポストプロダクションＳＴ３である。

　アセットクリエイションＳＴ１は、背景映像ｖＢを表示するための３Ｄ背景データを制作する工程である。上述のように背景映像ｖＢは、撮影の際に３Ｄ背景データを用いてリアルタイムでレンダリングを行って生成する。そのために予め３Ｄモデルとしての３Ｄ背景データを制作しておく。

　３Ｄ背景データの制作手法の例として、フルＣＧ（Full Computer Graphics）、点群データ（Point Cloud）スキャン、フォトグラメトリ（Photogrammetry）という例がある。

　フルＣＧは、３Ｄモデルをコンピュータグラフィックスで制作する手法である。３つの手法の中で最も工数や時間を要する手法となるが、非現実的な映像や、実際には撮影が困難な映像などを背景映像ｖＢとしたい場合に用いられることが好適となる。

　点群データスキャンは、ある位置から例えばライダー（LiDAR）を用いて距離測定を行うとともに、同じ位置からカメラで３６０度の画像を撮影し、ライダーで測距した点の上にカメラで撮影した色データを載せることで点群データによる３Ｄモデルを生成する手法である。フルＣＧに比較して、短い時間で３Ｄモデル制作ができる。またフォトグラメトリより高精細の３Ｄモデルを制作しやすい。

　フォトグラメトリは、物体を複数視点から撮影して得た２次元画像から、視差情報を解析して寸法・形状を求める写真測量の技術である。３Ｄモデル制作を短時間で行うことができる。
　なお、フォトグラメトリによる３Ｄデータ生成において、ライダーで取得した点群情報を用いても良い。

　アセットクリエイションＳＴ１では、例えばこれらの手法を用いて３Ｄ背景データとなる３Ｄモデルを制作する。もちろん上記手法を複合的に用いてもよい。例えば点群データスキャンやフォトグラメトリで制作した３Ｄモデルの一部をＣＧで制作し、合成するなどである。

　プロダクションＳＴ２は、図１に示したような撮影スタジオにおいて撮影を行う工程である。この場合の要素技術として、リアルタイムレンダリング、背景表示、カメラトラッキング、照明コントロールなどがある。

　リアルタイムレンダリングは、図２、図３で説明したように各時点（背景映像ｖＢの各フレーム）で撮影領域映像ｖＢＣを得るためのレンダリング処理である。これはアセットクリエイションＳＴ１で制作した３Ｄ背景データに対して、各時点のカメラ５０２の位置等に応じた視点でレンダリングを行うものである。

　このようにリアルタイムレンダリングを行って撮影領域映像ｖＢＣを含む各フレームの背景映像ｖＢを生成し、ＬＥＤウォール５０５に表示させる。

　カメラトラッキングは、カメラ５０２による撮影情報を得るために行われ、カメラ５０２の各時点の位置情報、撮影方向、画角などをトラッキングする。これらを含む撮影情報を各フレームに対応させてレンダリングエンジンに提供することで、カメラ５０２の視点位置等に応じたリアルタイムレンダリングが実行できる。

　撮影情報はメタデータとして映像と紐づけられたり対応づけられたりする情報である。
　撮影情報としては各フレームタイミングでのカメラ５０２の位置情報、カメラの向き、画角、焦点距離、Ｆ値（絞り値）、シャッタースピード、レンズ情報などを含むことが想定される。

　照明コントロールとは、撮影システム５００における照明の状態をコントロールすることで、具体的にはライト５８０の光量、発光色、照明方向などの制御を行う。例えば撮影するシーンの時刻設定や場所の設定などに応じた照明コントロールが行われる。

　ポストプロダクションＳＴ３は、撮影後に行われる各種処理を示している。例えば映像の補正、映像の調整、クリップ編集、映像エフェクトなどが行われる。

　映像の補正としては、色域変換や、カメラや素材間の色合わせなどが行われる場合がある。
　映像の調整として色調整、輝度調整、コントラスト調整などが行われる場合がある。
　クリップ編集として、クリップのカット、順番の調整、時間長の調整などが行われる場合がある。
　映像エフェクトとして、ＣＧ映像や特殊効果映像の合成などが行われる場合がある。

　続いてプロダクションＳＴ２で用いられる撮影システム５００の構成を説明する。
　図５は、図１、図２、図３で概要を説明した撮影システム５００の構成を示すブロック図である。

　図５に示す撮影システム５００は、上述した、複数のＬＥＤパネル５０６によるＬＥＤウォール５０５、カメラ５０２、アウトプットモニタ５０３、ライト５８０を備える。そしてさらに撮影システム５００は、図５に示すように、レンダリングエンジン５２０、アセットサーバ５３０、シンクジェネレータ５４０、オペレーションモニタ５５０、カメラトラッカー５６０、ＬＥＤプロセッサ５７０、ライティングコントローラ５８１、ディスプレイコントローラ５９０を備える。

　ＬＥＤプロセッサ５７０は、各ＬＥＤパネル５０６に対応して設けられ、それぞれ対応するＬＥＤパネル５０６の映像表示駆動を行う。

　シンクジェネレータ５４０は、ＬＥＤパネル５０６による表示映像のフレームタイミングと、カメラ５０２による撮像のフレームタイミングの同期をとるための同期信号を発生し、各ＬＥＤプロセッサ５７０及びカメラ５０２に供給する。但し、シンクジェネレータ５４０からの出力をレンダリングエンジン５２０に供給することを妨げるものではない。

　カメラトラッカー５６０は、各フレームタイミングでのカメラ５０２による撮影情報を生成し、レンダリングエンジン５２０に供給する。例えばカメラトラッカー５６０は撮影情報の１つとして、ＬＥＤウォール５０５の位置或いは所定の基準位置に対する相対的なカメラ５０２の位置情報や、カメラ５０２の撮影方向を検出し、これらをレンダリングエンジン５２０に供給する。
　カメラトラッカー５６０による具体的な検出手法としては、天井にランダムに反射板を配置して、それらに対してカメラ５０２側から照射された赤外光の反射光から位置を検出する方法がある。また検出手法としては、カメラ５０２の雲台やカメラ５０２の本体に搭載されたジャイロ情報や、カメラ５０２の撮影映像の画像認識によりカメラ５０２の自己位置推定する方法もある。

　またカメラ５０２からレンダリングエンジン５２０に対しては、撮影情報として画角、焦点距離、Ｆ値、シャッタースピード、レンズ情報などが供給される場合もある。

　アセットサーバ５３０は、アセットクリエイションＳＴ１で制作された３Ｄモデル、即ち３Ｄ背景データを記録媒体に格納し、必要に応じて３Ｄモデルを読み出すことができるサーバである。即ち３Ｄ背景データのＤＢ（data Base）として機能する。

　レンダリングエンジン５２０は、ＬＥＤウォール５０５に表示させる背景映像ｖＢを生成する処理を行う。このためレンダリングエンジン５２０は、アセットサーバ５３０から必要な３Ｄ背景データを読み出す。そしてレンダリングエンジン５２０は、３Ｄ背景データをあらかじめ指定された空間座標から眺めた形でレンダリングしたものとして背景映像ｖＢで用いるアウターフラスタムの映像を生成する。
　またレンダリングエンジン５２０は、１フレーム毎の処理として、カメラトラッカー５６０やカメラ５０２から供給された撮影情報を用いて３Ｄ背景データに対する視点位置等を特定して撮影領域映像ｖＢＣ（インナーフラスタム）のレンダリングを行う。

　さらにレンダリングエンジン５２０は、予め生成したアウターフラスタムに対し、フレーム毎にレンダリングした撮影領域映像ｖＢＣを合成して１フレームの映像データとしての背景映像ｖＢを生成する。そしてレンダリングエンジン５２０は、生成した１フレームの映像データをディスプレイコントローラ５９０に送信する。

　ディスプレイコントローラ５９０は、１フレームの映像データを、各ＬＥＤパネル５０６で表示させる映像部分に分割した分割映像信号ｎＤを生成し、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行う。このときディスプレイコントローラ５９０は、表示部間の発色などの個体差／製造誤差などに応じたキャリブレーションを行っても良い。
　なお、ディスプレイコントローラ５９０を設けず、これらの処理をレンダリングエンジン５２０が行うようにしてもよい。つまりレンダリングエンジン５２０が分割映像信号ｎＤを生成し、キャリブレーションを行い、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行うようにしてもよい。

　各ＬＥＤプロセッサ５７０が、それぞれ受信した分割映像信号ｎＤに基づいてＬＥＤパネル５０６を駆動することで、ＬＥＤウォール５０５において全体の背景映像ｖＢが表示される。その背景映像ｖＢには、その時点のカメラ５０２の位置等に応じてレンダリングされた撮影領域映像ｖＢＣが含まれている。

　カメラ５０２は、このようにＬＥＤウォール５０５に表示された背景映像ｖＢを含めて演者５１０のパフォーマンスを撮影することができる。カメラ５０２の撮影によって得られた映像は、カメラ５０２の内部又は図示しない外部の記録装置において記録媒体に記録されるほか、リアルタイムでアウトプットモニタ５０３に供給され、モニタ映像ｖＭとして表示される。

　オペレーションモニタ５５０では、レンダリングエンジン５２０の制御のためのオペレーション画像ｖＯＰが表示される。エンジニア５１１はオペレーション画像ｖＯＰを見ながら背景映像ｖＢのレンダリングに関する必要な設定や操作を行うことができる。

　ライティングコントローラ５８１は、ライト５８０の発光強度、発光色、照射方向などを制御する。ライティングコントローラ５８１は、例えばレンダリングエンジン５２０とは非同期でライト５８０の制御を行うものとしてもよいし、或いは撮影情報やレンダリング処理と同期して制御を行うようにしてもよい。そのためレンダリングエンジン５２０或いは図示しないマスターコントローラ等からの指示によりライティングコントローラ５８１が発光制御を行うようにしてもよい。

　このような構成の撮影システム５００におけるレンダリングエンジン５２０の処理例を図６に示す。

　レンダリングエンジン５２０は、ステップＳ１０でアセットサーバ５３０から、今回使用する３Ｄ背景データを読み出し、内部のワークエリアに展開する。
　そしてアウターフラスタムとして用いる映像を生成する。

　その後レンダリングエンジン５２０は、ステップＳ２０で、読み出した３Ｄ背景データに基づく背景映像ｖＢの表示終了と判定するまで、ステップＳ３０からステップＳ６０の処理を、背景映像ｖＢのフレームタイミング毎に繰り返す。

　ステップＳ３０でレンダリングエンジン５２０は、カメラトラッカー５６０やカメラ５０２からの撮影情報を取得する。これにより、現フレームで反映させるカメラ５０２の位置や状態を確認する。

　ステップＳ４０でレンダリングエンジン５２０は、撮影情報に基づいてレンダリングを行う。即ち現在のフレームに反映させるカメラ５０２の位置、撮影方向、或いは画角等に基づいて３Ｄ背景データに対する視点位置を特定してレンダリングを行う。このとき、焦点距離、Ｆ値、シャッタースピード、レンズ情報などを反映した映像処理を行うこともできる。このレンダリングによって撮影領域映像ｖＢＣとしての映像データを得ることができる。

　ステップＳ５０でレンダリングエンジン５２０は、全体の背景映像であるアウターフラスタムと、カメラ５０２の視点位置を反映した映像、即ち撮影領域映像ｖＢＣを合成する処理を行う。例えばある特定の基準視点でレンダリングした背景全体の映像に対して、カメラ５０２の視点を反映して生成した映像を合成する処理である。これにより、ＬＥＤウォール５０５で表示される１フレームの背景映像ｖＢ、つまり撮影領域映像ｖＢＣを含む背景映像ｖＢが生成される。

　ステップＳ６０の処理は、レンダリングエンジン５２０又はディスプレイコントローラ５９０で行う。ステップＳ６０でレンダリングエンジン５２０又はディスプレイコントローラ５９０は、１フレームの背景映像ｖＢについて、個別のＬＥＤパネル５０６に表示される映像に分割した分割映像信号ｎＤを生成する。キャリブレーションを行う場合もある。そして各分割映像信号ｎＤを各ＬＥＤプロセッサ５７０に送信する。

　以上の処理により、各フレームタイミングで、カメラ５０２で撮像される撮影領域映像ｖＢＣを含む背景映像ｖＢがＬＥＤウォール５０５に表示されることになる。

　ところで図５では１台のカメラ５０２のみを示したが、複数台のカメラ５０２で撮影を行うこともできる。図７は複数のカメラ５０２ａ，５０２ｂを使用する場合の構成例を示している。カメラ５０２ａ，５０２ｂは、それぞれ独立してパフォーマンスエリア５０１における撮影を行うことができるようにされる。また各カメラ５０２ａ，５０２ｂ及び各ＬＥＤプロセッサ５７０は、シンクジェネレータ５４０により同期が維持される。

　カメラ５０２ａ，５０２ｂに対応して、アウトプットモニタ５０３ａ，５０３ｂが設けられ、それぞれ対応するカメラ５０２ａ，５０２ｂによって撮影された映像を、モニタ映像ｖＭａ，ｖＭｂとして表示するように構成される。

　またカメラ５０２ａ，５０２ｂに対応して、カメラトラッカー５６０ａ，５６０ｂが設けられ、それぞれ対応するカメラ５０２ａ，５０２ｂの位置や撮影方向を検出する。カメラ５０２ａ及びカメラトラッカー５６０ａからの撮影情報や、カメラ５０２ｂ及びカメラトラッカー５６０ｂからの撮影情報は、レンダリングエンジン５２０に送信される。

　レンダリングエンジン５２０は、カメラ５０２ａ側、或いはカメラ５０２ｂ側のいずれか一方の撮影情報を用いて、各フレームの背景映像ｖＢを得るためのレンダリングを行うことができる。

　なお図７では２台のカメラ５０２ａ、５０２ｂを用いる例を示したが、３台以上のカメラ５０２を用いて撮影を行うことも可能である。
　但し、複数のカメラ５０２を用いる場合、それぞれのカメラ５０２に対応する撮影領域映像ｖＢＣが干渉するという事情がある。例えば図７のように２台のカメラ５０２ａ、５０２ｂを用いる例では、カメラ５０２ａに対応する撮影領域映像ｖＢＣを示しているが、カメラ５０２ｂの映像を用いる場合、カメラ５０２ｂに対応する撮影領域映像ｖＢＣも必要になる。単純に各カメラ５０２ａ、５０２ｂに対応するそれぞれの撮影領域映像ｖＢＣを表示させると、それらが互いに干渉する。このため撮影領域映像ｖＢＣの表示に関する工夫が必要とされる。

＜２．情報処理装置の構成＞
　次に、アセットクリエイションＳＴ１、プロダクションＳＴ２、ポストプロダクションＳＴ３で用いることができる情報処理装置７０の構成例を図８で説明する。
　情報処理装置７０は、コンピュータ機器など、情報処理、特に映像処理が可能な機器である。この情報処理装置７０としては、具体的には、パーソナルコンピュータ、ワークステーション、スマートフォンやタブレット等の携帯端末装置、ビデオ編集装置等が想定される。また情報処理装置７０は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。

　本実施の形態の場合、具体的には情報処理装置７０は、アセットクリエイションＳＴ１において３Ｄモデルを制作する３Ｄモデル制作装置として機能できる。
　また情報処理装置７０は、プロダクションＳＴ２で用いる撮影システム５００を構成するレンダリングエンジン５２０として機能できる。
　さらに情報処理装置７０はアセットサーバ５３０としても機能できる。
　また情報処理装置７０は、ポストプロダクションＳＴ３における各種映像処理を行う映像編集装置としても機能できる。

　また情報処理装置７０は、後述する補正部１１としての機能を有するレンダリングエンジン５２０として機能できる。さらにレンダリングエンジン５２０とは別体の機器として補正部１１を備えた情報処理装置７０ともなり得る。

　図８に示す情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　映像処理部８５は各種の映像処理を行うプロセッサとして構成される。例えば３Ｄモデル生成処理、レンダリング、ＤＢ処理、映像編集処理、後述する補正部１１としての補正処理などのいずれか、或いは複数の処理を行うことができるプロセッサとされる。

　この映像処理部８５は例えば、ＣＰＵ７１とは別体のＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＡＩ（artificial intelligence）プロセッサ等により実現できる。
　なお映像処理部８５はＣＰＵ７１内の機能として設けられてもよい。

　ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４、映像処理部８５は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。

　入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
　入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。

　また入出力インタフェース７５には、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（electro-luminescence）パネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
　表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
　表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像、操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

　入出力インタフェース７５には、ＨＤＤ（Hard Disk Drive）や固体メモリなどより構成される記憶部７９や通信部８０が接続される場合もある。

　記憶部７９は、各種のデータやプログラムを記憶することができる。記憶部７９においてＤＢを構成することもできる。
　例えば情報処理装置７０がアセットサーバ５３０として機能する場合、記憶部７９を利用して３Ｄ背景データ群を格納するＤＢを構築できる。

　通信部８０は、インターネット等の伝送路を介しての通信処理や、外部のＤＢ、編集装置、情報処理装置等の各種機器との有線／無線通信、バス通信などによる通信を行う。
　例えば情報処理装置７０がレンダリングエンジン５２０として機能する場合、通信部８０によりアセットサーバ５３０としてのＤＢにアクセスしたり、カメラ５０２やカメラトラッカー５６０からの撮影情報を受信したりすることができる。
　またポストプロダクションＳＴ３に用いる情報処理装置７０の場合も、通信部８０によりアセットサーバ５３０としてのＤＢにアクセスすることなども可能である。

　入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８２が適宜装着される。
　ドライブ８１により、リムーバブル記録媒体８２からは映像データや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータは記憶部７９に記憶されたり、データに含まれる映像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

　この情報処理装置７０では、例えば本実施の形態の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

＜３．色及び輝度のシフトと視野角特性の測定＞
　図９により、複数のＬＥＤパネル５０６で構成されるＬＥＤウォール５０５の視野角特性による色及び輝度のシフトについて説明する。

　図９では、背景映像ｖＢをＬＥＤウォール５０５に表示させた状態を示している。このときカメラ５０２は、ＬＥＤウォール５０５に対して相対角度θを持つような斜め方向から撮影しているとする。

　なお図示する正面方向とは、ＬＥＤウォール５０５のパネル平面に対する垂直方向であり、この正面方向にカメラ５０２がある状態、つまりカメラ５０２の光軸とパネル平面の角度が９０度の場合が、相対角度が０度であるとしている。
　カメラ５０２の位置は、例えば水平方向に、相対角度θ＝０度を中心として、－９０度から＋９０度の範囲をとり得る。相対角度θ＝－９０度、及び相対角度θ＝＋９０度は、例えばＬＥＤウォール５０５の左右の真横から撮影している状態である。

　このようにカメラ５０２で、相対角度θを持った位置及び方向で撮影を行うと、撮影映像ｖＣにおいては、その映像が、元々の背景映像ｖＢより色や輝度がずれ、制作者が本来の意図したとおりの映像にならない。

　これは、ＬＥＤには見る角度によって色・輝度がシフトする視野角特性があるためである。すなわちＬＥＤパネル５０６における各ＬＥＤの輝度が、垂直方向（つまり真正面）から見るときと、斜め方向から見るときとで変化する。これにより撮影位置を真正面から変化させると、撮影映像ｖＣに映される背景映像ｖＢは、本来の輝度からシフトしてしまう。

　またカラーＬＥＤパネルの場合、Ｒ（赤）のＬＥＤ、Ｇ（緑）のＬＥＤ、Ｂ（青）のＬＥＤのそれぞれが発光されるが、Ｒ、Ｇ、Ｂの色毎にシフト特性が異なる。例えば或る相対角度θにおけるＲのＬＥＤの輝度シフト量と、ＧのＬＥＤの輝度シフト量と、ＢのＬＥＤの輝度シフト量はそれぞれ異なる。すると正面から撮影したときと、斜め方向から撮影したときとでは、各色の輝度レベルの比率が変化するため色合いも異なってしまうことになる。

　結果、図９に模式的に示すように、本来の背景映像ｖＢと、カメラ５０２で撮影した背景映像ｖＢの撮影映像ｖＣは、色や輝度が、相対角度θに応じて変化したものとなる。

　そこで本実施の形態では、カメラ５０２でＬＥＤウォール５０５に表示される背景映像ｖＢを撮影する場合に、カメラ５０２とＬＥＤウォール５０５（ＬＥＤパネル５０６）の相対角度と、ＬＥＤウォール５０５（ＬＥＤパネル５０６）の視野角特性と、に基づいて生成した補正係数を用いて映像の補正を行うようにする。これにより撮影映像ｖＣにおいて、本来の背景映像ｖＢと同じ色や輝度の映像が得られるようにする。

　このような補正を行うために、本実施の形態では、予め、ＬＥＤウォール５０５の視野角特性を測定しておく。
　ここでいう視野角特性とは、ＬＥＤウォール５０５に対するカメラ５０２の相対角度に対する色と輝度のシフト量の関係の特性であり、より具体的には、ＬＥＤパネル５０６のＲ、Ｇ、Ｂ各色の相対角度毎の輝度レベルの変化特性と考えれば良い。

　なお、図９は説明の簡略化のため、パネル面の正面方向に対して水平方向の角度θを示したが、実際には垂直方向の角度φによる視野角特性もある。
　従って、視野角と色、輝度のシフト量の関係を、水平方向、垂直方向の各種の位置から、あらかじめ測定しておく。例えばＬＥＤウォール５０５やＬＥＤパネル５０６の製品設計時に測定しておいてもよいし、図４のプロダクション（ＳＴ２）の撮影準備段階で行うようにしてもよい。

　視野角特性の測定の手順を図１０に示す。図１０はＬＥＤパネル５０６としてカラーＬＥＤパネルを想定した場合の処理例である。例えば撮影準備段階で、ＬＥＤウォール５０５の前のパフォーマンスエリア５０１に配置されたカメラ５０２を使用して測定を行う。なお、測定のためのＬＥＤウォール５０５の制御やカメラ５０２による撮影映像ｖＣに対する処理は各種の情報処理装置で可能である。例えばスタッフが操作するパーソナルコンピュータなどによっても可能であるが、以下ではレンダリングエンジン５２０が制御するものとして説明する。

　ステップＳ１０１でレンダリングエンジン５２０は、ＬＥＤウォール５０５における各ＬＥＤパネル５０６の全画素を全て消灯させた状態に制御する。

　ステップＳ１０２で、スタッフによる手動又は自動制御により、カメラ５０２の位置を順次変更しながら撮影を実行させる。このときにレンダリングエンジン５２０はカメラ５０２のそれぞれの位置での撮影映像ｖＣを取り込む。
　例えば図１１に示すように、ＬＥＤウォール５０５に対してカメラ５０２を各位置に変更させながら、それぞれの位置での撮影映像ｖＣを取り込む。つまり多様な相対角度の状態で撮影を実行させ、レンダリングエンジン５２０は、各相対角度に応じた撮影映像ｖＣの映像データを記憶する。図１１では５カ所のカメラ位置を示しているが、これは模式図であり、より多数の位置（多数の相対角度の状態）で撮影を実行させるとよい。
このステップＳ１０２の動作によって、レンダリングエンジン５２０は、ＬＥＤウォール５０５が全消灯状態での、映像データの１フレームの各画素の信号レベル（画素値）を相対角度毎に記憶することができる。

　ステップＳ１０３でレンダリングエンジン５２０は、ＬＥＤウォール５０５における各ＬＥＤパネル５０６のＲ画素を全灯させ、Ｇ画素、Ｂ画素を消灯させた状態に制御する。
　そしてステップＳ１０４でカメラ５０２の位置を順次変更しながら撮影を実行させ、レンダリングエンジン５２０は、ステップＳ１０２と同様に各相対角度でのカメラ５０２の撮影映像ｖＣの映像データを記憶する。

　ステップＳ１０５でレンダリングエンジン５２０は、ＬＥＤウォール５０５のＲ画素についての視野角特性を算出し、記憶する。
この場合、レンダリングエンジン５２０は、ステップＳ１０２，Ｓ１０３で得た映像データを用い、相対角度θ毎に、画素毎のＲ光の、（全灯時のレベル）－（消灯時のレベル）を計算する。
　例えばＲ全灯時の相対角度θ＝＋４５度における映像データのフレームと、全消灯時の映像データのフレームにおいて、画素毎に、上記の差分を求め、その結果を相対角度θ＝＋４５度におけるＲ輝度として記憶する。
　これを図１１のように撮影した位置毎に行うことで、位置（相対角度）毎のＲ輝度が記憶されることになる。
　そして各相対角度におけるθ＝０度の場合とのＲ輝度レベルの差が、その相対角度におけるＲ輝度のシフト量となる。

なお、フレーム内の画素毎に差分を求めるのは、画素毎でも相対角度差が生じ輝度のシフト量が異なることを考慮して精密にシフト量を検出するためである。
但し必ずしも画素毎に計算しなければならないわけではない。最も大まかには、例えば１つの相対角度θについて、１フレーム内の輝度平均値を用いて（全灯時のレベル）－（消灯時のレベル）を計算するものでもよいし、１フレームをいくつかの画素ブロックに分け、画素ブロック毎に計算するものでもよい。画素ブロックのサイズを細かくするほど精密にシフト量が求められる。
このように相対角度θ毎のＲ輝度レベルを求め、記憶していくことで、Ｒ画素についての視野角特性が測定できることになる。

　ステップＳ１０６、Ｓ１０７、Ｓ１０８ではＧ画素について同様の処理を行う。
　レンダリングエンジン５２０はステップＳ１０６でＬＥＤウォール５０５における各ＬＥＤパネル５０６のＧ画素を全灯させ、Ｒ画素、Ｂ画素を消灯させた状態に制御する。そしてステップＳ１０７でカメラ５０２の位置を順次変更しながら撮影を実行させ、レンダリングエンジン５２０は、ステップＳ１０２と同様に各相対角度でのカメラ５０２の撮影映像ｖＣの画素データを記憶する。そしてステップＳ１０８でレンダリングエンジン５２０は、ステップＳ１０２，Ｓ１０７で得た映像データを用い、Ｇ画素についての（全灯時のレベル）－（消灯時のレベル）を相対角度毎に計算し、Ｇ画素についての視野角特性を求める情報として記憶する。

　ステップＳ１０９、Ｓ１１０、Ｓ１１１ではＢ画素について同様の処理を行う。
　レンダリングエンジン５２０はステップＳ１０９でＬＥＤウォール５０５における各ＬＥＤパネル５０６のＢ画素を全灯させ、Ｒ画素、Ｇ画素を消灯させた状態に制御する。そしてステップＳ１１０でカメラ５０２の位置を順次変更しながら撮影を実行させ、レンダリングエンジン５２０は、ステップＳ１０２と同様に各相対角度でのカメラ５０２の撮影映像ｖＣの映像データを記憶する。そしてステップＳ１１１でレンダリングエンジン５２０は、ステップＳ１０２，Ｓ１１０で得た映像データを用い、Ｂ画素についての（全灯時のレベル）－（消灯時のレベル）を相対角度毎に計算し、Ｂ画素についての視野角特性を求める情報として記憶する。

　以上により、ＬＥＤウォール５０５とカメラ５０２を用いて、Ｒ、Ｇ、Ｂの画素毎に、相対角度θ毎の輝度シフト量、つまり視野角特性が測定されたことになる。

　なお、ステップＳ１０３，Ｓ１０６，Ｓ１０９でそれぞれＲ画素、Ｇ画素、Ｂ画素を全灯とするが、カメラ５０２側で信号レベルが飽和してしまうと正しい測定にならないので、飽和しない適切な発光輝度での測定が必要となる。
また発光輝度によって視野角特性が非線形に変わる場合は、必要に応じて全灯時の明るさを変えながら複数回の測定をすることが望ましい。

　またステップＳ１０２，Ｓ１０４，Ｓ１０７，Ｓ１１０では、カメラ位置を変更しながら撮影を行うが、ＬＥＤの視野角特性が、画面の縦方向、横方向で違う場合は、水平方向の相対角度θ毎だけでなく、画面の垂直方向にも位置を変えて、垂直方向の相対角度（後に図１６で説明する相対角度φ）毎に撮影を行って視野角特性を求めるようにする。つまり画面の縦方向及び横方向に、全ての相対角度を網羅して、視野角特性を記憶するようにする。
　なお換言すれば、ＬＥＤウォール５０５におけるＬＥＤの視野角特性が、水平、垂直方向で同じであれば、水平又は垂直の一方の相対角度（例えば相対角度θ）のみ考えればよい。

　ところで図１０はカラーＬＥＤパネルについての測定処理であるが、白黒ＬＥＤパネルの場合は図１２のように測定を行えばよい。

　レンダリングエンジン５２０はステップＳ１２１でＬＥＤウォール５０５における全画素を全灯させる。そしてステップＳ１２２でカメラ５０２の位置を順次変更しながら撮影を実行させ、レンダリングエンジン５２０は各相対角度でのカメラ５０２の撮影映像ｖＣの映像データを記憶する。

またレンダリングエンジン５２０はステップＳ１２３でＬＥＤウォール５０５における全画素を消灯させる。そしてステップＳ１２４でカメラ５０２の位置を順次変更しながら撮影を実行させ、レンダリングエンジン５２０は各相対角度でのカメラ５０２の撮影映像ｖＣの映像データを記憶する。

ステップＳ１２５でレンダリングエンジン５２０は、ステップＳ１２２，Ｓ１２４で得た映像データを用い、相対角度毎に、各画素（或いは各画素ブロック、或いはフレーム）についての（全灯時のレベル）－（消灯時のレベル）を計算し、記憶する。これにより視野角特性を求める情報が記憶できたことになる。

＜４．第１の実施の形態＞
以下、視野角特性に応じた補正を行う例として、各種の実施の形態を説明していく。
まず第１の実施の形態として、補正処理を行う補正部がレンダリングエンジン５２０に設けられる例を説明する。

　なお各実施の形態では、前提として、カメラ５０２側の角度依存性、すなわちレンズ歪、レンズ収差、レンズのシェイディング、イメージセンサの感度ムラ等は適切に補正されているものとする。付言すれば、ＬＥＤウォール５０５の視野角特性が十分に把握できていれば、上述の測定手法は、カメラ５０２の諸特性の補正のための測定にも使用することができる。

第１の実施の形態では、レンダリングエンジン５２０は、カメラ５０２の位置と角度をリアルタイムに取得し、上述のように予め測定したＬＥＤの視野角特性から、カメラ位置の視野角によって生じる色・輝度のシフト量をリアルタイムに算出して、シフト分をキャンセルした背景映像ｖＢを出力する構成である。

　図１３に第１の実施の形態の構成例を示す。これは図５の構成におけるレンダリングエンジン５２０とディスプレイコントローラ５９０を抽出して示しているものである。

　レンダリングエンジン５２０は、レンダリング部１０、補正部１１、合成部１２を備える。
　レンダリングエンジン５２０は背景映像ｖＢのレンダリングを行うが、図５で説明したように、ステップＳ１０でアウターフラスタムとしての映像のレンダリングを行うとともに、撮影中にはフレーム毎にステップＳ４０で、撮影情報から判定した視点位置によるインナーフラスタムの映像（撮影領域映像ｖＢＣ）のレンダリングを行う。そしてフレーム毎に、ステップＳ５０でアウターフラスタムとインナーフラスタムの映像を合成する。
　図１３では、合成前のアウターフラスタムの映像を背景映像ｖＢ（ｄｆ）として示している。

　図１３におけるレンダリング部１０は、以上の図５のステップＳ１０，Ｓ３０，Ｓ４０の処理としてのレンダリングを行う。

　補正部１１は、フレーム毎にレンダリングされた撮影領域映像ｖＢＣ（インナーフラスタム）について、カメラ位置・角度情報ＣＰを用いて、視野角特性に対する補正処理を行う。なおカメラ位置・角度情報ＣＰは、カメラ５０２やカメラトラッカー５６０からの撮影情報に含まれる情報である。補正部１１は、カメラ位置・角度情報ＣＰにより、ＬＥＤウォール５０５に対する相対角度を判定することができる。
　そして補正部１１は、視野角特性に対する補正処理を施した撮影領域映像ｖＢＣａを出力する。

　合成部１２は、図５のステップＳ５０，Ｓ６０の処理として、背景映像ｖＢ（ｄｆ）と、補正後の撮影領域映像ｖＢＣを合成して、これを背景映像ｖＢとしてディスプレイコントローラ５９０に出力する。

　このようなレンダリングエンジン５２０における補正部１１の構成及び処理を説明する。図１４に補正部１１の構成例を示す。図１４の各ブロックはソフトウェア処理により実現される機能ブロックであるとするが、ハードウェアにより構成されてもよい。

　補正部１１は相対角度計算部２０，係数設定部２１、記憶部２２、ＷＢ（ホワイトバランス）調整部２３、補正演算部２４が設けられる。

　相対角度計算部２０は、フレームタイミング毎に、カメラ位置・角度情報ＣＰに基づいて、現在のフレームの撮影におけるカメラ５０２とＬＥＤウォール５０５の相対角度を求める。即ち水平方向の相対角度θ及び垂直方向の相対角度φを求める。

　相対角度の算出手法を図１５，図１６で説明する。
　図１５は説明のため水平方向について示した。図１５ではＬＥＤウォール５０５を情報から見た状態を示している。
カメラ５０２の位置を「Ｃ」、ＬＥＤウォール５０５の右端を「Ｒ」、同左端を「Ｌ」、カメラ５０２からＬＥＤウォール５０５におろした垂線の足を「Ｈ」とする。各位置を結ぶ線分の距離は、線分の両端の位置の符号の組み合わせで示す。例えば「ＣＲ」はカメラ５０２の位置「Ｃ」とＬＥＤウォール５０５の右端「Ｒ」の線分の距離である。「ＣＨ」「ＣＬ」「ＬＲ」なども同様に考えられたい。
三平方の定理から以下が導かれる。

　以上の（数１）から、垂線の足の位置「Ｈ」の左端「Ｌ」からの長さ「ＬＨ」と、垂線の長さ「ＣＨ」を、ＬＥＤウォール５０５の長さ「ＬＲ」、及びカメラ５０２とＬＥＤウォール５０５の両端までの距離「ＣＲ」「ＣＬ」で表わすと次の（数２）のようになる。

画面に表示している背景映像ｖＢから、ＬＥＤウォール５０５上の任意の位置Ｘの座標は判定できるので、見込む相対角度θは次の（数３）で計算できる。

なおＬＥＤウォール５０５の長さ「ＬＲ」は予め測定しておくことで既知である。
カメラ５０２とＬＥＤウォール５０５の両端までの距離「ＣＲ」「ＣＬ」は、カメラ５０２は固定する場合は、予め測定しておけばよいし、移動させる場合も逐次、測距センサで測定することや、或いはカメラトラッカー５６０からの情報（カメラ位置・角度情報ＣＰ）等により求めることができる。

以上の相対角度θは、映像におけるフレームの各画素の座標位置を「Ｘ」としたときに、その画素についての相対角度θを上記（数３）で求めることができるという意味である。これにより映像の１フレームの全ての画素について、それぞれ相対角度θを求めることができる。
１フレームにつき１つの相対角度θを求める場合は、画面中央となる画素についての相対角度θとしてもよいし、各画素の相対角度θの平均値などの代表値でもよい。
１フレーム内で所定画素数のブロック毎に相対角度θを求める場合は、ブロックの中央となる画素についての相対角度θとしてもよいし、ブロック内の各画素の相対角度θの平均値などの代表値でもよい。

　但し、実際にはＬＥＤウォール５０５とカメラ５０２の位置関係は三次元で生じているので、図１５の考え方を三次元に拡張する。
図１６はＬＥＤウォール５０５とカメラ５０２を三次元的な関係で示したものである。

　ＬＥＤウォール５０５の四隅の位置をそれぞれ「Ｐ」「Ｑ」「Ｓ」「Ｒ」とする。カメラ５０２の位置を「Ｃ」、カメラ５０２からＬＥＤウォール５０５におろした垂線の足を「Ｈ」とする。また位置「Ｈ」から水平・垂直方向に伸ばしたＬＥＤウォール５０５の端辺の位置を「Ｔ」「Ｕ」「Ｖ」「Ｗ」としている。各線分の距離（長さ）は、図１５の場合と同様に、線分の両端の位置の符号の組み合わせで示す。

　ＬＥＤウォール５０５は長方形なので、以下の（数４）により、カメラ５０２からＬＥＤウォール５０５上におろした垂線の足「Ｈ」の座標と、垂線の長さ「ＣＨ」は、カメラ５０２からＬＥＤウォール５０５の四隅までの距離「ＣＳ」「ＣＲ」「ＣＱ」「ＣＰ」と、ＬＥＤウォール５０５の縦横の辺の長さ「ＰＱ」「ＳＰ」から計算できる。
　ＰＱ＝ＳＲ＝ＷＵ，ＰＴ＝ＳＶ＝ＷＨ，ＳＰ＝ＲＱ＝ＶＴ，ＳＷ＝ＲＵ＝ＶＨであるので、次の通りとなる。

画面に表示している背景映像ｖＢからＬＥＤウォール５０５上の任意の位置Ｚの座標は判定できるので、見込む角度θは次の（数５）で求められる。

　ＬＥＤウォール５０５におけるＬＥＤの視野角特性が、水平、垂直方向で同じであれば、以上の相対角度θを考えればよい。但し、ＬＥＤの視野角特性が、水平、垂直方向で異なる場合は、次の（数６）で相対角度φも求める。

　図１４の相対角度計算部２０は、以上のように相対角度θ、或いは相対角度θ、φを求め、係数設定部２１に供給する。
　係数設定部２１は、相対角度の情報と、記憶部２２の記憶情報を用いて補正係数ＨＫを設定する。

　記憶部２２には、図１０，図１２で説明した測定による相対角度毎の（全灯時のレベル）－（消灯時のレベル）の値が記憶されている。例えば図１７Ａのように相対角度θ毎の輝度レベルの情報が記憶されている。
　なお、水平、垂直の両方向の相対角度θ、φに応じた補正を行う場合は、図１７Ａのような水平方向に＋９０度から－９０度までの相対角度θに応じた輝度レベルの情報が、垂直方向の＋９０度から－９０度までの相対角度φのそれぞれに対応して記憶されていればよい。
或いは記憶部２２には、これらの視野角特性に応じた情報に代えて、視野角特性から求めた、相対角度θ（又は相対角度θ及びφ）毎の補正係数ＨＫが記憶されていてもよい。

　なお、Ｒ、Ｇ、Ｂ各画素について、相対角度毎の（全灯時のレベル）－（消灯時のレベル）の値自体を、視野角特性と呼んでもよい。相対角度毎のＲ、Ｇ、Ｂの輝度レベルの変化を示すためである。
　また、例えばこの（全灯時のレベル）－（消灯時のレベル）の値を、－９０度から＋９０度までの全角度で平均して、その平均値で除したものなどを視野角特性と呼んでもよい。つまり視野角（カメラ５０２とＬＥＤウォール５０５の相対角度）毎の輝度レベル変動を表すものは、視野角特性の情報と呼ぶことができる。

　補正係数は、例えばこの（全灯時のレベル）－（消灯時のレベル）の値を、－９０度から＋９０度までの全角度で平均して、その平均値で除したものの逆数とする。これを図１７Ｂに示している。
　つまり視野角特性による輝度レベル変動の逆数をとることで、輝度レベル変動をキャンセルする補正係数ＨＫが得られる。

なお図１７Ｂの例では、平均値を「１倍」つまり補正係数＝１．０としているため、補正係数の値は、相対角度＝０度の場合に「１．０」ではなく、０度から±９０度の中央付近の角度で「１．０」となっている。
　平均値で除するのは、なるべく補正処理時のレベル変動を抑えるためである。つまり補正後の輝度のダイナミックレンジの変動を抑える。但し、必ずしも補正値の平均値は「１．０」にはならないので、Ｒ、Ｇ、Ｂで特性が違えばホワイトバランスがずれてしまう。そこでホワイトバランスを調整する必要も生じる。

　また必ずしも平均値で除するのではなく、例えば相対角度＝０度のときの（全灯時のレベル）－（消灯時のレベル）の値を基準にして、相対角度毎の補正係数を求めるようにしてもよい。

　記憶部２２に、（全灯時のレベル）－（消灯時のレベル）の値が記憶されている場合は、係数設定部２１は以上のように、そのレベル差の値を用いて、相対角度毎の補正係数を求め、相対角度計算部２０からの相対角度θ、φに応じて、補正係数を決定すればよい。
　また、記憶部２２に、（全灯時のレベル）－（消灯時のレベル）の値に基づいて計算された相対角度毎の補正係数が記憶されている場合は、係数設定部２１は、相対角度計算部２０からの相対角度θ、φに応じて、補正係数を記憶部２２から読み出せばよい。

　以上の処理で、係数設定部２１は補正係数ＨＫを設定する。この場合、現在のフレームの画素毎に補正係数ＨＫを設定してもよいし、画素ブロック毎に補正係数ＨＫを設定してもよい。或いは１フレーム全体で１つの補正係数ＨＫを設定してもよい。これらは補正処理に求められる精度に応じて決められればよい。

　図１４の係数設定部２１で設定された補正係数ＨＫは、ＷＢ調整部２３でホワイトバランスのずれが生じないように調整された上で、補正演算部２４に供給される。

　補正演算部２４には、レンダリング部１０から撮影領域映像ｖＢＣが入力される。補正演算部２４は、この撮影領域映像ｖＢＣに対して補正係数ＨＫを用いて補正演算を行う。即ちフレームの画素値に補正係数ＨＫを乗算する。そして補正後の撮影領域映像ｖＢＣａを出力する。この補正後の撮影領域映像ｖＢＣａが合成部１２に供給される。

　以上の図１４のような補正部１１の補正処理例を図１８に示す。補正部１１は、図１８の処理を、カメラ５０２で撮影期間において、撮影領域映像ｖＢＣとしての１フレーム毎に実行する。

　補正部１１は、ステップＳ２０１で補正対象となる１フレームを入力する。
　そしてステップＳ２０２からステップＳ２０７を、その１フレームの処理が完了するまで繰り返す。

　ステップＳ２０２で補正部１１は、１フレーム内における対象の画素又は画素ブロックを決定する。
　ステップＳ２０３で補正部１１は、カメラ位置・角度情報ＣＰを入力する。つまり現在のフレームのレンダリングの時点で、カメラ５０２又はカメラトラッカー５６０からの撮影情報に含まれるカメラ位置や向き（撮影角度）の情報を得る。

　ステップＳ２０４で補正部１１は、相対角度計算部２０の機能により、ステップＳ２０２で決定した画素又は画素ブロックについて、相対角度θ（又はθ及びφ）を算出する。
　ステップＳ２０５で補正部１１は、係数設定部２１の機能により、相対角度に応じて補正係数ＨＫを算出する。
　なお図１４で説明したように補正係数ＨＫについてホワイトバランス調整のための調整を行う場合もある。

　ステップＳ２０６で補正部１１は、補正係数ＨＫを用いて、今回のフレームの対象とする画素又は画素ブロックの画素値を補正する処理を行う。

　ステップＳ２０７で補正部１１は、今回のフレームの全画素について、以上の処理を終えたか否かを判定する。終えていなければステップＳ２０２に戻り、未処理の画素又は画素ブロックを処理対象として、ステップＳ２０３以降の同様の処理を実行する。
　１フレームの全ての画素について処理を終えた時点で、１フレームについての図１８の処理を終える。

　なお、以上は、１フレーム内で画素毎、又は画素ブロック毎に補正係数ＨＫを求めて補正を行う例としたが、１フレーム内の全画素について同じ補正係数ＨＫで補正する場合は、ステップＳ２０３からステップＳ２０５の処理を１回行い、ステップＳ２０６で、全画素についてその補正係数ＨＫで補正演算を行えばよい。

　以上の補正が行われることで、図１３のレンダリングエンジン５２０から出力される背景映像ｖＢは、予め視野角特性によるレベル変動の逆特性が与えられたものとなる。
　従って、ＬＥＤウォール５０５に表示された背景映像ｖＢをカメラ５０２で撮影した撮影映像ｖＣ（つまり撮影領域映像ｖＢＣの撮影映像）は、視野角特性による色や輝度の変化が加わることで、逆に視野角特性による色や輝度の変化がキャンセルされることになる。つまり撮影映像ｖＣとして、レンダリング部１０が元々生成した撮影領域映像ｖＢＣと同じ色や輝度の映像が得られることになる。

＜５．第２の実施の形態＞
　第２の実施の形態は、補正処理を行う補正部１１がレンダリングエンジン５２０とは別体の装置として設けられる例である。

　図１９に構成例を示す。これは図５の構成におけるレンダリングエンジン５２０とディスプレイコントローラ５９０とともに、これらと別体の機器としての補正部１１，合成部１２を示しているものである。なお補正部１１と合成部１２は一体の機器として設けられてもよいし、別体の機器とされてもよい。

　レンダリングエンジン５２０は、アウターフラスタムを構成する背景映像ｖＢ（ｄｆ）を生成し、アウターフラスタムの映像として合成部１２を供給する。またレンダリングエンジン５２０は、フレーム毎に撮影情報から判定される視点位置に応じた撮影領域映像ｖＢＣを生成する。そしてレンダリングエンジン５２０は補正部１１に対して撮影領域映像ｖＢＣと、撮影情報に含まれるカメラ位置・角度情報ＣＰを出力する。

　補正部１１は、図１４で説明した構成により、図１８の処理例のような補正処理を行い、撮影領域映像ｖＢＣを補正する。そして補正後の撮影領域映像ｖＢＣａを合成部１２に出力する。

　合成部１２は、フレーム毎に、撮影領域映像ｖＢＣａを背景映像ｖＢ（ｄｆ）に合成し、背景映像ｖＢを生成する。この際、合成部１２は、背景映像ｖＢ（ｄｆ）内のどの領域に撮影領域映像ｖＢＣａを合成するかは、カメラ位置・角度情報ＣＰを含む撮影情報から判定することができる。

　合成された背景映像ｖＢはディスプレイコントローラ５９０に供給され、その後、図５で説明したようにＬＥＤウォール５０５に背景映像ｖＢが表示される。

この場合も、第１の実施の形態と同様に、ＬＥＤウォール５０５に表示された背景映像ｖＢをカメラ５０２で撮影した撮影映像ｖＣは、視野角特性による色や輝度の変化がキャンセルされたものとなる。つまり撮影映像ｖＣとして、レンダリング部１０が元々生成した撮影領域映像ｖＢＣと同じ色や輝度の映像が得られる。

＜６．第３の実施の形態＞
　第３の実施の形態は、補正処理を行う補正部１１がディスプレイコントローラ５９０に設けられる構成例である。

図２０に構成例を示す。これは図５の構成におけるレンダリングエンジン５２０とディスプレイコントローラ５９０において、ディスプレイコントローラ５９０内に補正部１１が設けられているものである。

レンダリングエンジン５２０は、アウターフラスタムと、インナーフラスタムである撮影領域映像ｖＢＣを合成した背景映像ｖＢ、及び撮影情報をディスプレイコントローラ５９０に供給する。

ディスプレイコントローラ５９０は、１フレームの映像データを、各ＬＥＤパネル５０６で表示させる映像部分に分割した分割映像信号ｎＤを生成し、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行う。この場合に、分割映像信号ｎＤは、補正部１１で補正された背景映像ｖＢから生成されるものとする。

補正部１１は図１４の構成を備える。特にこの場合、補正部１１はレンダリングエンジン５２０から供給される背景映像ｖＢの各フレームについて、撮影情報を参照して、インナーフラスタムの領域（撮影領域映像ｖＢＣの範囲）を判定する。
そして撮影領域映像ｖＢＣについて、撮影情報に含まれるカメラ位置・角度情報ＣＰを用いて、図１８の処理例のような補正処理を行うことで、撮影領域映像ｖＢＣａの範囲が補正された背景映像ｖＢを生成する。

　ディスプレイコントローラ５９０は、このような補正後の背景映像ｖＢを、各ＬＥＤパネル５０６で表示させる映像部分に分割して分割映像信号ｎＤを生成し、出力する。

この場合も、第１の実施の形態と同様に、ＬＥＤウォール５０５に表示される背景映像ｖＢは視野角特性の逆特性が与えたものとなるため、それをカメラ５０２で撮影した撮影映像ｖＣは、視野角特性による色や輝度の変化がキャンセルされたものとなる。

＜７．第４の実施の形態＞
　第４の実施の形態は、補正処理を行う補正部１１がＬＥＤプロセッサ５７０に設けられる構成例である。

図２１に構成例を示す。これは図５の構成におけるＬＥＤプロセッサ５７０とＬＥＤパネル５０６を示したもので、ＬＥＤプロセッサ５７０内に補正部１１が設けられている。

この場合補正部１１として、相対角度計算部２０、係数設定部２１、記憶部２２が設けられる。また発光制御部３０において補正演算部２４が設けられる。
相対角度計算部２０、係数設定部２１、記憶部２２の機能は図１４と同様であり、カメラ位置・角度情報ＣＰに基づいて相対角度を求め、相対角度に応じた補正係数ＨＫを設定する。

ＬＥＤプロセッサ５７０には、ＬＥＤパネル５０６のＬＥＤに対して発光駆動電流を流すＬＥＤドライバ３１と、ＬＥＤドライバ３１による発光駆動電流のレベル又は発光期間長を制御し、各ＬＥＤの輝度を制御する発光制御部３０が備えられる。

　この図２１の例では、補正演算部２４は、発光制御部３０による各ＬＥＤの発光輝度の制御値を補正する。制御値とは、背景映像ｖＢに基づいて設定された値であり、例えば画素毎のＬＥＤ発光レベルの値、又はＬＥＤ発光期間をＰＷＭ制御するパルスのパルスデューティの値などである。
　補正演算部２４は、これらの制御値に対して補正係数ＨＫを用いた演算を行い、視野角特性に応じた逆特性の背景映像ｖＢが得られるようにする。
　これによってＬＥＤパネル５０６の各ＬＥＤの発光輝度が、視野角特性の逆特性を反映した状態となるように制御され、ＬＥＤウォール５０５における背景映像ｖＢをカメラ５０２で撮影した撮影映像ｖＣは、撮影時の視野角特性によつ色や輝度の変化がキャンセルされた状態となる。

　なお、この場合も、補正演算部２４による補正はインナーフラスタムの領域のみにおいて行われればよい。従って各ＬＥＤプロセッサ５７０は、撮影情報に基づいて、入力される分割映像信号ｎＤにインナーフラスタム（撮影領域映像ｖＢＣ）の映像が含まれているか否かを判定し、含まれている場合に、そのインナーフラスタムを構成する画素に対してのみ、補正演算を行うようにすればよい。

＜８．第５の実施の形態＞
第５の実施の形態は、カメラ５０２による撮影映像ｖＣに対して補正を行う例である。
ＬＥＤウォール５０５に表示される背景映像ｖＢについては補正しない場合、カメラ５０２で撮影される撮影映像ｖＣには、視野角特性による色や輝度の変化が生じているものとなる。

　この撮影映像ｖＣに対して図２２のような補正部１１が設けられるようにする。
　なお、この補正部１１は、カメラ５０２に内蔵されてもよいし、例えばセットトップボックスのような態様で、カメラ５０２とは別体に構成されてもよい。
　いずれにしても撮影映像ｖＣが補正部１１に入力される。

　補正部１１は図１４と同様に、相対角度計算部２０、係数設定部２１、記憶部２２、ＷＢ調整部２３、補正演算部２４が設けられ、これらは図１４で説明した処理を行う。

　なお位置検出部４５を示しているが、これはカメラ位置・角度情報ＣＰを検出する装置部である。位置検出部４５は例えばカメラトラッカー５６０としてもよいし、カメラ５０２内で自己位置及び撮影角度を検出する装置部としてもよい。位置検出部４５によりカメラ位置・角度情報ＣＰを得ることで、相対角度計算部２０は、相対角度θ（又はθ及びφ）を求めることができる。

　図２２の例の場合、補正部１１には、背景分離部４１、合成部４２が設けられる。
　背景分離部４１は、撮影映像ｖＣについて、背景エリアＡＲｂと前景エリアＡＲｆを分離する処理を行う。前景エリアＡＲｆとは、撮影映像ｖＣ内で、例えば図１のパフォーマンスエリア５０１におけるオブジェクト、つまり演者５１０や物体等が映されている画素領域である。背景エリアＡＲｂとは、撮影映像ｖＣ内で、ＬＥＤウォール５０５の背景映像ｖＢが映されている画素領域である。

　背景分離部４１は、入力された撮影映像ｖＣのフレーム毎に、背景エリアＡＲｂと前景エリアＡＲｆを分離し、背景エリアＡＲｂの画素データを補正演算部２４に供給し、前景エリアＡＲｆの画素データを合成部４２に供給する。

　この分離のためには、例えばマスクＭＫを用いる。
　例えば図２３のような演者５１０が映された前景エリアＡＲｆと背景映像ｖＢが映された背景エリアＡＲｂを含む撮影映像ｖＣの１フレームについて、図２４のようなマスクＭＫを生成する。マスクＭＫは撮影映像ｖＣの１フレーム内において、撮影されたオブジェクトの領域とＬＥＤウォール５０５の映像の領域とを分離する情報となる。
　フレーム毎にこのようなマスクＭＫを生成し、分離処理に適用することで、フレーム毎に背景エリアＡＲｂと前景エリアＡＲｆを分離できる。

　ここでマスクＭＫの生成のための構成例を述べる。
　一例として、マスクＭＫの生成のために、ＳＷＩＲ（Short Wavelength Infra-Red）カメラ（赤外線短波長カメラ）を用いる手法がある。ＳＷＩＲカメラを用いることによって、光源変化の激しいＬＥＤウォール５０５の映像と前景となる被写体の映像の分離ができる。

　図２５Ａに、ＲＧＢカメラ、ＳＷＩＲカメラ、ＩＲカメラ（赤外光カメラ）のそれぞれについて撮影できる波長帯を示している、
　ＲＧＢカメラは例えば３８０ｎｍから７８０ｎｍの波長帯で可視光を撮影するカメラである。通常、撮影映像ｖＣを得るためのカメラ５０２としてはＲＧＢカメラが用いられる。ＩＲカメラは８００ｎｍから９００ｎｍの近赤外光を撮影するカメラである。

　ＳＷＩＲカメラとしては例えば次の（ａ）（ｂ）（ｃ）のような種類がある。
（ａ）９００ｎｍから２５００ｎｍの波長帯域を撮影できるカメラ
（ｂ）９００ｎｍから１７００ｎｍの波長帯域を撮影できるカメラ
（ｃ）１１５０ｎｍ付近（前後許容誤差あり）の波長帯域を撮影できるカメラ
　これらは一例であるが、例えばＳＷＩＲカメラは、ＩＲカメラより広い波長帯域をカバーするもので、例えば４００ｎｍから１７００ｎｍなどの波長帯域で撮影を行うことができるカメラが市販されている。図２５Ｂに市販のＳＷＩＲカメラの波長毎の量子効率を示した。図示のとおり、４００ｎｍから１７００ｎｍの範囲で高い量子効率を実現している。すなわち上記（ｂ）や（ｃ）の波長帯域をカバーできているため図２５Ｂのような特性のＳＷＩＲカメラであれば適用可能である。

　図５の撮影システム５００では、例えばライト５８０の一部を用いて、演者５１０等のオブジェクトに対して赤外線を照射し、ＳＷＩＲカメラで撮影する。近赤外線帯では、ＬＥＤウォール５０５の映像は反射せずに黒映像となり、演者５１０等は赤外光を反射してある程度の輝度が観測される。従ってＳＷＩＲカメラの撮影映像においてフレーム内の輝度差分を判定することで、オブジェクトのみを高精度で抽出するマスクＭＫを生成できる。

　このようなＳＷＩＲカメラを利用するために、例えばカメラ５０２を図２６のように構成する。
　１台のカメラ５０２としてのユニット内に、ＲＧＢカメラ５１とＳＷＩＲカメラ５２を配置する。そしてビームスプリッタ５０により入射光を分離し、それぞれ同一の光軸の状態で入射光がＲＧＢカメラ５１とＳＷＩＲカメラ５２に入射されるようにする。
　ＲＧＢカメラ５１からは撮影映像ｖＣとして用いられる映像Ｐｒｇｂが出力される。ＳＷＩＲカメラ５２からは、マスクＭＫの生成のための映像Ｐｓｗｉｒが出力される。

　このようにカメラ５０２を、ＲＧＢカメラ５１とＳＷＩＲカメラ５２を備えた同軸カメラとして構成することで、ＲＧＢカメラ５１とＳＷＩＲカメラ５２は、視差が発生せず、映像Ｐｒｇｂと映像Ｐｓｗｉｒは、互いに同一のタイミング及び同一の画角、視野範囲の映像となるようにすることができる。

　光軸が一致するように予めカメラ５０２としてのユニット内で機械的な位置調整とともにキャリブレーション用の映像を用いた光軸位置合わせが行われる。例えばキャリブレーション用の映像を撮影し、特徴点を検出して位置合わせを行う処理を事前に行うようにする。
　なお高精細な映像コンテンツ制作のためにＲＧＢカメラ５１は高解像度のカメラを用いる場合でも、ＳＷＩＲカメラ５２も同様に高解像度とする必要はない。ＳＷＩＲカメラ５２は撮影範囲がＲＧＢカメラ５１と一致する映像を抽出できるものであればよい。従ってセンササイズや画サイズはＲＧＢカメラ５１と一致するものに限定されない。

　また撮影時に、ＲＧＢカメラ５１とＳＷＩＲカメラ５２は、フレームタイミングの同期がとられるようにする。
　またＲＧＢカメラ５１のズーム操作に応じて、ＳＷＩＲカメラ５２もズームが行われたり画像の切り出し範囲が調整されたりするようにするとよい。

　なおＳＷＩＲカメラ５２とＲＧＢカメラ５１はステレオ配置でも構わない。被写体が奥行方向に移動しない場合は、視差は問題にならないためである。
　またＳＷＩＲカメラ５２は複数台でも構わない。

　図２６の構成では、ＲＧＢカメラ５１とＳＷＩＲカメラ５２による映像Ｐｒｇｂ、映像Ｐｓｗｉｒをマスク生成部５３に入力する。マスク生成部５３は、例えば映像処理プロセッサで構成できる。マスク生成部５３はＳＷＩＲカメラ５２からの映像Ｐｓｗｉｒを入力してマスクＭＫの生成を行う。なおマスクＭＫの生成の際に映像Ｐｓｗｉｒからの切り出し範囲を調整する場合は、マスク生成部５３は、ＲＧＢカメラ５１からの映像Ｐｒｇｂも入力して参照することになる。

　このようにカメラ５０２から得られる映像Ｐｒｇｂ（即ち撮影映像ｖＣ）とマスクＭＫが図２２の補正部１１における背景分離部４１に供給される。これによりマスクＭＫを用いて背景エリアＡＲｂと前景エリアＡＲｆを分離することができる。

　補正部１１における補正演算部２４は、背景エリアＡＲｂの画素データに対して、補正係数ＨＫを乗算する補正演算を行う。
　例えば相対角度計算部２０、係数設定部２１が画素毎に補正係数ＨＫを設定する場合は、補正演算部２４は画素毎に設定された補正係数ＨＫにより補正演算を行う。

　そして補正演算部２４は、補正演算後の画素データを合成部４２に供給する。
　合成部４３では、前景エリアＡＲｆの画素データと、補正演算後の画素データを合成して１フレームの映像データを生成する。これが補正後の１フレームの撮影映像ｖＣａとなる。
　この撮影映像ｖＣａは、背景映像ｖＢの部分について視野角特性による色や輝度の変化が生じた撮影映像ｖＣを、元の背景映像ｖＢのとおりに色や輝度に戻した映像となる。

＜９．曲面パネルへの対応＞
　ここまでの第１から第５の実施の形態について、平面的なＬＥＤウォール５０５又はＬＥＤパネル５０６を前提に説明してきたが、ＬＥＤウォール５０５が曲面に構成される場合でも各実施の形態の技術は適用可能である。

　図２７ＡはＬＥＤウォール５０５を上方から見た模式図であり、ＬＥＤウォール５０５がパフォーマンスエリア５０１を囲うような曲面で構成されている例である。
　但しこのような場合も、実際には図２７Ｂのように１又は複数の平面状のＬＥＤパネル５０６によるパネルユニット６００を組み合わせて曲面を形成している。
　従ってパネルユニット６００毎に、視野角特性を測定しておき、撮影時にはパネルユニット６００毎に補正係数ＨＫを求めて補正演算を行うようにすればよい。

　これにより第１から第４の実施の形態では、ＬＥＤウォール５０５に表示される背景映像ｖＢが、視野角特性の逆特性を有する映像として、撮影映像ｖＣにおいて本来の色や輝度の映像が得られるようになる。
　或いは第５の実施の形態の場合、撮影映像ｖＣを補正して、本来の色や輝度の背景エリアの映像が得られるようになる。

　なお、平面状のＬＥＤパネル５０６によるパネルユニット６００を組み合わせではなく、パネル自体が曲面のディスプレイを用いる場合もあり得る。そのような場合は、カメラ５０２の光軸と、パネル上の撮影範囲の中心との関係が９０度の場合を相対角度＝０度とした場合の相対角度と、視野角特性に応じて補正演算を行うようにすることが考えられる。

＜１０．まとめ及び変型例＞
　以上の実施の形態によれば次のような効果が得られる。
　第１から第５の実施の形態では、情報処理装置７０は、カメラ５０２とＬＥＤパネル５０６（ＬＥＤパネル５０６）の相対角度と、ＬＥＤウォール５０５（ＬＥＤパネル５０６）の視野角特性とに基づいて生成した補正係数ＨＫを用いて映像の補正を行う補正部１１を備えている。
　ここでいう情報処理装置７０とは、第１の実施の形態ではレンダリングエンジン５２０、第２の実施の形態では補正部１１を構成するプロセッサ等、第３の実施の形態ではディスプレイコントローラ５９０、第４の実施の形態ではＬＥＤプロセッサ５７０、第５の実施の形態ではカメラ５０２又はセットトップボックス等の情報処理装置である。
　これらの情報処理装置７０を備える撮影システムでは、ＬＥＤパネル５０６（ＬＥＤウォール５０５）に対してカメラ５０２を各種の視点方向において撮影を行っても、補正部１１の処理で映像を補正することで、本来意図する輝度や色合いの映像を得ることができる。つまりＬＥＤパネル５０６の視野角特性による色や輝度のシフトの影響を解消できる。

　第１，第２，第３，第４の実施の形態における補正部１１は、ＬＥＤウォール５０５（ＬＥＤパネル５０６）に補正された背景映像ｖＢが表示されるように補正を行うものとした。
　ＬＥＤパネル５０６で表示される背景映像ｖＢ（撮影領域映像ｖＢＣを含む）を補正しておくことで、ＬＥＤパネル５０６には、カメラとディスプレイの相対角度に応じてシフトする視野角特性の逆の特性をもった映像が表示される。これにより視野角特性によってシフトされた撮影映像ｖＣが、本来の輝度や色合いの映像となる。

　第１の実施の形態では、補正部１１は、背景映像ｖＢをレンダリングするレンダリングエンジン５２０に設けられ、レンダリングエンジン５２０は、レンダリングした撮影領域映像ｖＢＣを補正部１１で補正して出力するものとした。
　図１３のように、レンダリングエンジン５２０において補正部１１で補正して出力することで、ディスプレイコントローラ５９０に供給される背景映像ｖＢ（撮影領域映像ｖＢＣ）は、既に補正された映像データとなっている。このような構成によりＬＥＤパネル５０６に補正された映像を表示させ、撮影映像ｖＣにおいて視野角特性による色や輝度の変化をキャンセルできる。

　なおレンダリングにより生成する映像データであって、補正部１１の補正対象となる映像データは、「背景」となる映像データに限らない。また必ずしもオブジェクトと共に撮影される目的のものでなくてもよい。つまり、撮影対象としてディスプレイに表示される映像の映像データであれば、本技術を適用できる。

　第２の実施の形態では、補正部１１は、レンダリングエンジン５２０から出力された映像データを補正するものとした。
　図１９のように、レンダリングエンジン５２０とは別体の補正部１１で備え、レンダリングエンジン５２０から出力された映像データを補正部１１が補正して出力することで、ディスプレイコントローラ５９０に供給される背景映像ｖＢ（撮影領域映像ｖＢＣ）は、既に補正された映像データとなっている。このような構成によっても、ＬＥＤパネル５０６に補正された映像を表示させ、撮影映像ｖＣにおいて視野角特性による色や輝度の変化をキャンセルできる。

　第３の実施の形態では、補正部１１は、ディスプレイコントローラ５９０において、複数のＬＥＤパネル５０６に分配供給する映像データを補正するものとした。
　図２０のように、ディスプレイコントローラ５９０内に補正部１１を設け、補正した分割映像信号ｎＤを出力することで、ＬＥＤパネル５０６で補正された映像を表示させることができる。このような構成によっても、ＬＥＤパネル５０６に補正された映像を表示させ、撮影映像ｖＣにおいて視野角特性による色や輝度の変化をキャンセルできる。

　第４の実施の形態では、補正部１１は、ＬＥＤパネル５０６の画素の輝度制御を行う表示制御部であるＬＥＤプロセッサ５７０に設けられ、補正係数ＨＫに応じて画素の輝度の制御値を補正する構成とした。
　図２１のように、ＬＥＤプロセッサ５７０内に補正部１１を設け、補正係数ＨＫが反映されたＬＥＤ発光駆動制御を行い、ＬＥＤ発光輝度を制御することで、ＬＥＤパネル５０６で補正された映像を表示させることができる。このような構成によっても、ＬＥＤパネル５０６に補正された映像を表示させ、撮影映像ｖＣにおいて視野角特性による色や輝度の変化をキャンセルできる。

　第１，第２，第３，第４の実施の形態では、補正部１１は、ＬＥＤウォール５０５に表示させる映像における、カメラ５０２の撮影情報に基づいて判定される撮影領域映像ｖＢＣに対して補正を行うものとした。
　撮影映像ｖＣは、背景映像ｖＢの全体ではなく、カメラ５０２で撮影される撮影領域映像ｖＢＣ（インナーフラスタム）の範囲である。従って、少なくとも撮影領域映像ｖＢＣについて補正が行われていればよい。このため、図１３，図１９，図２０，図２１の各構成では、撮影領域映像ｖＢＣの範囲において補正を行う。これにより背景映像ｖＢの全体を補正するよりも処理負担を軽減でき、特にリアルタイム処理に有利となる。

　なお実際には、正確に撮影領域映像ｖＢＣの範囲のみではなく、撮影領域映像ｖＢＣを四方に若干広げた領域で補正を行うようにすることが適切である。描画遅延によるタイミング誤差によりカメラ５０２で撮影される範囲が若干ずれて、撮影映像ｖＣにアウターフラスタムの映像が映り込んでしまうこともあるためである。

　第５の実施の形態では、補正部１１は、カメラ５０２により撮影された撮影映像ｖＣの補正を行うものとした（図２２参照）。
　ＬＥＤパネル５０６で表示される背景映像ｖＢ（撮影領域映像ｖＢＣを含む）を撮影することで視野角特性による輝度や色のシフトが生じた映像が撮影されることに対しては、その撮影映像ｖＣを補正するようにしてもよい。撮影映像ｖＣに対して視野角特性による輝度や色のシフトをキャンセルすることで、本来の輝度や色合いの撮影映像ｖＣａを得ることができる。

　第５の実施の形態では、補正部１１は、カメラ５０２により撮影された撮影映像ｖＣのうちで、背景エリアＡＲｂと前景エリアＡＲｆを分離し、背景エリアＡＲｂに対して補正を行い、前景エリアＡＲｆと補正後の背景エリアＡＲｂとを合成するものとした。
　撮影映像ｖＣは、ＬＥＤパネル５０６で表示された背景映像ｖＢ（撮影領域映像ｖＢＣ）と、前景映像を被写体としている。色や輝度のシフトが生じるのは背景映像ｖＢの部分である。そこで、前景と背景を分離し、背景映像ｖＢが映されている部分のみ補正を行う。そして補正後に前景映像と合成することで、本来の輝度や色合いの映像を得ることができる。換言すれば、視野角特性の影響のない前景エリアＡＲｆについてまで補正されることがないようにできる。

　実施の形態では、視野角特性の測定処理として、カメラ５０２によりＬＥＤウォール５０５に対する複数の視野角で、ＬＥＤパネル５０６の表示状態と非表示状態のそれぞれについて行った撮影による情報に基づいて、視野角特性を求め、記憶処理を行うものとした。例えば図１０，図１２の処理により、予め視野角特性の測定を行い、視野角特性の情報を記憶しておく。これにより補正部１１が実際の撮影の際に、視野角特性を用いて補正を行うことができる。特に実際に撮影に使用するＬＥＤウォール５０５とカメラ５０２の組み合わせで測定を行っておくことで、撮影時に最適な視野角特性を用いて補正を行うことができる。

　実施の形態では補正部１１が、カメラ位置・角度情報ＣＰに基づいて、ＬＥＤウォール５０５に対するカメラ５０２の相対角度を求め、相対角度に応じた視野角特性の逆数値を補正係数ＨＫとするものとした。
　ＬＥＤウォール５０５に対するカメラ５０２の相対角度（角度θ、φ）を求めたら、その相対角度に応じた視野角特性の逆数値を得ることで補正係数ＨＫが求められる。これにより、そのときのカメラ５０２の位置及び撮影角度に応じた補正を行うことができる。

　実施の形態では、記憶部２２は補正係数ＨＫを記憶する場合もあるとした。補正部１１では、記憶部２２から相対角度に応じた前記補正係数を読み出すようにする。
　例えばＬＥＤウォール５０５とカメラ５０２の組み合わせで視野角特性の測定を行っておき、相対角度に応じた視野角特性の逆数値を記憶部２２に記憶しておく。その場合、リアルタイムにＬＥＤウォール５０５に対するカメラ５０２の相対角度θを求めたら、記憶部２２から相対角度θに応じた補正係数ＨＫを読み出すことができる。これにより演算負担の少ない処理で補正係数ＨＫを得ることができる。

　実施の形態では、補正部１１は、カメラ５０２によりＬＥＤウォール５０５に表示される背景映像ｖＢを撮影している期間に、ＬＥＤウォール５０５に表示させる背景映像ｖＢのフレーム毎に補正を行うものとした。
　例えば撮影を行っている期間にリアルタイムで、ディスプレイに表示させる映像のフレーム毎に補正を行う。或いは撮影を行っている期間にリアルタイムで、撮影映像ｖＣのフレーム毎に補正を行う。
　このように撮影実行中にリアルタイムで補正を行うことで、ポストプロダクション等で視野角特性に応じた補正を行う必要をなくし、全体の映像制作効率を向上させることができる。

　なお、第５の実施の形態の構成を採る場合、必ずしもリアルタイムで補正を行わなくとも、カメラ位置・角度情報ＣＰから求めた相対角度やマスクＭＫを、撮影映像ｖＣのフレームに対応させてメタデータとして記憶してもよい。これによりポストプロダクションで、マスクＭＫを使って背景映像ｖＢの部分を分離し、さらに相対角度を用いて補正係数ＨＫを求めて、色や輝度のシフトをキャンセルする補正を行うことができる。

　また実施の形態で説明した補正部１１の処理をクラウドコンピューティングにより実施することもできる。
　例えば背景映像ｖＢ或いは撮影映像ｖＣ、及び撮影情報をクラウドサーバに送信する。クラウドサーバ側で補正部１１の構成を備え、補正処理を実行する。そしてクラウドサーバが補正後の背景映像ｖＢ或いは撮影映像ｖＣを撮影システム５００の装置に送信することが考えられる。

　実施の形態のプログラムは、上述の図１８のような補正部１１の処理を、例えばＣＰＵ、ＤＳＰ等のプロセッサ、或いはこれらを含むデバイスに実行させるプログラムである。
　即ち実施の形態のプログラムは、ＬＥＤウォール５０５等のディスプレイに表示される背景映像ｖＢを撮影するカメラ５０２とＬＥＤウォール５０５の相対角度と、ＬＥＤウォール５０５の視野角特性と、に基づいて生成した補正係数ＨＫを用いた映像の補正処理を情報処理装置７０に実行させるプログラムである。

　このようなプログラムにより、上述した補正処理を実行する情報処理装置７０を、各種のコンピュータ装置により実現できる。

　このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。また、このようなプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

　またこのようなプログラムによれば、実施の形態の情報処理装置７０の広範な提供に適している。例えばパーソナルコンピュータ、通信機器、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、これらの装置を本開示の情報処理装置７０として機能させることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

　なお本技術は以下のような構成も採ることができる。
　（１）
　ディスプレイに表示される映像を撮影するカメラと前記ディスプレイとの相対角度と、前記ディスプレイの視野角特性と、に基づいて生成した補正係数を用いて映像の補正を行う補正部を備えた
　情報処理装置。
　（２）
　前記補正部は、前記ディスプレイに補正された映像が表示されるように補正を行う
　上記（１）に記載の情報処理装置。
　（３）
　前記ディスプレイに供給する映像データのレンダリングを行うレンダリング機能を有し、レンダリングした映像データを前記補正部で補正して出力する
　上記（１）又は（２）に記載の情報処理装置。
　（４）
　前記補正部は、前記ディスプレイに供給する映像データをレンダリングするレンダリングエンジンから出力された映像データを補正する
　上記（１）又は（２）に記載の情報処理装置。
　（５）
　複数のディスプレイパネルにより構成される前記ディスプレイに対して、映像データを前記ディスプレイパネルのそれぞれに分配供給する処理を行う機能を有し、
　前記補正部は、前記ディスプレイパネルに分配供給する映像データを補正する
　上記（１）又は（２）に記載の情報処理装置。
　（６）
　前記ディスプレイの画素の輝度制御機能を有し、
　前記補正部は、前記ディスプレイの画素の輝度の制御値を補正する
　上記（１）又は（２）に記載の情報処理装置。
　（７）
　前記補正部は、前記ディスプレイに表示させる映像における、前記カメラの撮影情報に基づいて判定される撮影領域の映像が補正されるようにする
　上記（１）から（６）のいずれかに記載の情報処理装置。
　（８）
　前記補正部は、前記カメラにより撮影された映像データの補正を行う
　上記（１）に記載の情報処理装置。
　（９）
　前記補正部は、前記カメラにより撮影された映像データについて、背景映像と前景映像を分離し、前記背景映像に対して補正を行い、前景映像と補正後の背景映像とを合成する
　上記（１）に記載の情報処理装置。
　（１０）
　前記カメラにより前記ディスプレイに対する複数の視野角で、前記ディスプレイの表示状態と非表示状態のそれぞれについて行った撮影による情報に基づいて、前記視野角特性を求め、前記視野角特性の記憶処理を行う
　上記（１）から（９）のいずれかに記載の情報処理装置。
　（１１）
　前記補正部は、前記カメラの位置情報に基づいて、前記ディスプレイに対する前記カメラの相対角度を求め、相対角度に応じた前記視野角特性の逆数値を前記補正係数とする
　上記（１）から（１０）のいずれかに記載の情報処理装置。
　（１２）
　前記ディスプレイに対する前記カメラの相対角度に応じた前記補正係数を記憶する記憶部を備え、
　前記補正部は、前記記憶部から前記相対角度に応じた前記補正係数を読み出す
　上記（１）から（１１）のいずれかに記載の情報処理装置。
　（１３）
　前記補正部は、前記カメラにより前記ディスプレイに表示される映像を撮影している期間に、映像のフレーム毎に補正を行う
　上記（１）から（１２）のいずれかに記載の情報処理装置。
　（１４）
　情報処理装置が、
　ディスプレイに表示される映像を撮影するカメラと前記ディスプレイとの相対角度と、前記ディスプレイの視野角特性と、に基づいて生成した補正係数を用いて映像の補正を行う
　情報処理方法。
　（１５）
　ディスプレイに表示される映像を撮影するカメラと前記ディスプレイとの相対角度と、前記ディスプレイの視野角特性と、に基づいて生成した補正係数を用いた映像の補正処理を
　情報処理装置に実行させるプログラム。

１０　レンダリング部
１１　補正部
１２　合成部
２０　シフト量計算部
２１　係数設定部
２２　記憶部
２３　ＷＢ調整部
２４　補正演算部
３０　発光制御部
３１　ＬＥＤドライバ
４１　背景分離部
４２　合成部
４５　位置検出部
７０　情報処理装置、
５００　撮影システム
５０１　パフォーマンスエリア
５０２　カメラ
５０５　ＬＥＤウォール
５０６　ＬＥＤパネル
５２０　レンダリングエンジン
５７０　ＬＥＤプロセッサ
５９０　ディスプレイコントローラ

Claims

　ディスプレイに表示される映像を撮影するカメラと前記ディスプレイとの相対角度と、前記ディスプレイの視野角特性と、に基づいて生成した補正係数を用いて映像の補正を行う補正部を備えた
　情報処理装置。
　前記補正部は、前記ディスプレイに補正された映像が表示されるように補正を行う
　請求項１に記載の情報処理装置。
　前記ディスプレイに供給する映像データのレンダリングを行うレンダリング機能を有し、レンダリングした映像データを前記補正部で補正して出力する
　請求項１に記載の情報処理装置。
　前記補正部は、前記ディスプレイに供給する映像データをレンダリングするレンダリングエンジンから出力された映像データを補正する
　請求項１に記載の情報処理装置。
　複数のディスプレイパネルにより構成される前記ディスプレイに対して、映像データを前記ディスプレイパネルのそれぞれに分配供給する処理を行う機能を有し、
　前記補正部は、前記ディスプレイパネルに分配供給する映像データを補正する
　請求項１に記載の情報処理装置。
　前記ディスプレイの画素の輝度制御機能を有し、
　前記補正部は、前記ディスプレイの画素の輝度の制御値を補正する
　請求項１に記載の情報処理装置。
　前記補正部は、前記ディスプレイに表示させる映像における、前記カメラの撮影情報に基づいて判定される撮影領域の映像が補正されるようにする
　請求項１に記載の情報処理装置。
　前記補正部は、前記カメラにより撮影された映像データの補正を行う
　請求項１に記載の情報処理装置。
　前記補正部は、前記カメラにより撮影された映像データについて、背景映像と前景映像を分離し、前記背景映像に対して補正を行い、前景映像と補正後の背景映像とを合成する
　請求項１に記載の情報処理装置。
　前記カメラにより前記ディスプレイに対する複数の視野角で、前記ディスプレイの表示状態と非表示状態のそれぞれについて行った撮影による情報に基づいて、前記視野角特性を求め、前記視野角特性の記憶処理を行う
　請求項１に記載の情報処理装置。
　前記補正部は、前記カメラの位置情報に基づいて、前記ディスプレイに対する前記カメラの相対角度を求め、相対角度に応じた前記視野角特性の逆数値を前記補正係数とする
　請求項１に記載の情報処理装置。
　前記ディスプレイに対する前記カメラの相対角度に応じた前記補正係数を記憶する記憶部を備え、
　前記補正部は、前記記憶部から前記相対角度に応じた前記補正係数を読み出す
　請求項１に記載の情報処理装置。
　前記補正部は、前記カメラにより前記ディスプレイに表示される映像を撮影している期間に、映像のフレーム毎に補正を行う
　請求項１に記載の情報処理装置。
　情報処理装置が、
　ディスプレイに表示される映像を撮影するカメラと前記ディスプレイとの相対角度と、前記ディスプレイの視野角特性と、に基づいて生成した補正係数を用いて映像の補正を行う
　情報処理方法。
　ディスプレイに表示される映像を撮影するカメラと前記ディスプレイとの相対角度と、前記ディスプレイの視野角特性と、に基づいて生成した補正係数を用いた映像の補正処理を
　情報処理装置に実行させるプログラム。