WO2023047643A1

WO2023047643A1 - 情報処理装置、映像処理方法、プログラム

Info

Publication number: WO2023047643A1
Application number: PCT/JP2022/010992
Authority: WO
Inventors: 尚子菅野
Original assignee: ソニーグループ株式会社
Priority date: 2021-09-21
Filing date: 2022-03-11
Publication date: 2023-03-30
Also published as: EP4407977A1; CN117941340A; JPWO2023047643A1

Abstract

情報処理装置は、表示装置の表示映像とオブジェクトとを撮影した撮影映像に対して、前記撮影映像内の表示映像とオブジェクト映像を分離するマスク情報を用いて判定した表示映像エリアの映像処理、又はマスク情報を用いて判定したオブジェクト映像エリアの映像処理を行う映像処理部を備えるようにする。

Description

情報処理装置、映像処理方法、プログラム

　本技術は、情報処理装置、映像処理方法、プログラムとして実現される映像処理技術に関する。

　映画等の映像コンテンツの制作のための撮影手法として、いわゆるグリーンバックにより演者が演技を行い、後に背景映像を合成する技術が知られている。
　また近年はグリーンバック撮影に代わって、大型の表示装置を設置したスタジオにおいて、表示装置に背景映像を表示させ、その前で演者が演技を行うことで、演者と背景を撮影できる撮影システムも開発され、いわゆるバーチャルプロダクション（Virtual Production）、インカメラＶＦＸ（In-Camera VFX）、またはＬＥＤウォールバーチャルプロダクション（LED Wall Virtual Production）として知られている
　下記特許文献１には、背景映像の前で演技する演者を撮影するシステムの技術が開示されている。
　また下記特許文献２には、大型の表示装置を撮影する場合にモアレを防止するためにフィルム状などの光学部材を配置する技術が開示されている。

米国特許出願公開第２０２０／０１４５６４４号明細書特開２０１４－２０２８１６号公報

　大型の表示装置に背景映像を表示させたうえで、演者及び背景映像をカメラで撮影することで、別途合成する背景映像を用意しなくてもよいことや、演者やスタッフがシーンを視覚的に理解して演技や演技良否の判断をおこなうことができるなど、グリーンバック撮影に比べて利点が多い。ところが、表示させている背景映像をさらにカメラで撮影することで、その撮影映像には、背景映像部分にモアレなどの各種のアーティファクトが生ずる場合がある。即ち映像上に意図しない影響が発生することがある。

　そこで本開示では表示装置に表示された映像とオブジェクトを同時に撮影する場合に、撮影映像に生ずる影響に対応できるようにする映像処理技術を提案する。

　本技術に係る情報処理装置は、表示装置の表示映像とオブジェクトとを撮影した撮影映像に対して、前記撮影映像内の表示映像とオブジェクト映像を分離するマスク情報を用いて判定した表示映像エリアの映像処理、又は前記マスク情報を用いて判定したオブジェクト映像エリアの映像処理を行う映像処理部を備える。
　例えば撮影のときに背景映像などを表示装置に表示させ、その表示映像とともに人や物といった実在するオブジェクトを撮影した場合、撮影映像には、表示装置の表示映像とオブジェクトが映り込む。この撮影映像において、表示映像が映り込んだ表示映像エリアと、オブジェクトが映り込んだオブジェクト映像エリアとを、マスク情報を用いて区分して、個別に映像処理を行うようにする。

本技術の実施の形態の撮影システムの説明図である。実施の形態の撮影システムのカメラ位置に応じた背景映像の説明図である。実施の形態の撮影システムのカメラ位置に応じた背景映像の説明図である。実施の形態の映像コンテンツ制作工程の説明図である。実施の形態の撮影システムのブロック図である。実施の形態の撮影システムの背景映像生成のフローチャートである。実施の形態の複数カメラを用いた撮影システムのブロック図である。実施の形態の情報処理装置のブロック図である。背景映像を撮影した場合のモアレの説明図である。実施の形態のマスクの説明図である。実施の形態のマスクで判定される背景エリアと前景エリアの説明図である。実施の形態の処理後撮影映像の説明図である。ＳＷＩＲカメラの説明図である。実施の形態のカメラの説明図である。実施の形態のカメラの他の例の説明図である。第１の実施の形態の映像処理のフローチャートである。実施の形態のモアレ対応処理のフローチャートである。実施の形態のモアレ対応処理のフローチャートである。実施の形態のモアレ対応処理のフローチャートである。第２の実施の形態の映像処理のフローチャートである。バウンディングの説明図である。画像の欠損の説明図である。第３の実施の形態の映像処理のフローチャートである。第４の実施の形態の撮影時の処理のフローチャートである。第４の実施の形態の撮影後の映像処理のフローチャートである。実施の形態の背景映像の表示パネルの構成例の説明図である。

　以下、実施の形態を次の順序で説明する。
＜１．撮影システム及びコンテンツ制作＞
＜２．情報処理装置の構成＞
＜３．バーチャルプロダクションに適用できる映像処理＞
＜４．第１の実施の形態＞
＜５．第２の実施の形態＞
＜６．第３の実施の形態＞
＜７．第４の実施の形態＞
＜８．背景映像の表示パネルの構成例＞
＜９．まとめ及び変型例＞

　なお、本開示において「映像」或いは「画像」とは静止画、動画のいずれをも含む。また「映像」とはディスプレイに表示されている状態を指すだけでなく、ディスプレイに表示されていない状態の映像データについても「映像」と表記する。

＜１．撮影システム及び映像コンテンツ制作＞
　本開示の技術を適用できる撮影システム及び映像コンテンツの制作について説明する。
　図１は撮影システム５００を模式的に示している。この撮影システム５００はバーチャルプロダクションとしての撮影を行うシステムで、図では撮影スタジオに配置される機材の一部を示している。

　撮影スタジオにおいては演者５１０が演技その他のパフォーマンスを行うパフォーマンスエリア５０１が設けられる。このパフォーマンスエリア５０１の少なくとも背面、さらには左右側面や上面には、大型の表示装置が配置される。表示装置のデバイス種別は限定されないが、図では大型の表示装置の一例としてＬＥＤウォール５０５を用いる例を示している。

　１つのＬＥＤウォール５０５は、複数のＬＥＤパネル５０６を縦横に連結して配置することで、大型のパネルを形成する。ここでいうＬＥＤウォール５０５のサイズは特に限定されないが、演者５１０の撮影を行うときに背景を表示するサイズとして必要な大きさ、或いは十分な大きさであればよい。

　パフォーマンスエリア５０１の上方、或いは側方などの必要な位置に、必要な数のライト５８０が配置され、パフォーマンスエリア５０１に対して照明を行う。

　パフォーマンスエリア５０１の付近には、例えば映画その他の映像コンテンツの撮影のためのカメラ５０２が配置される。カメラ５０２は、カメラマン５１２が位置を移動させることができ、また撮影方向や、画角等の操作を行うことができる。もちろんリモート操作によってカメラ５０２の移動や画角操作等が行われるものも考えられる。またカメラ５０２が自動的もしくは自律的に移動や画角変更を行うものであってもよい。このためにカメラ５０２が雲台や移動体に搭載される場合もある。

　カメラ５０２によっては、パフォーマンスエリア５０１における演者５１０と、ＬＥＤウォール５０５に表示されている映像がまとめて撮影される。例えばＬＥＤウォール５０５に背景映像ｖＢとして風景が表示されることで、演者５１０が実際にその風景の場所に居て演技をしている場合と同様の映像を撮影できることになる。

　パフォーマンスエリア５０１の付近にはアウトプットモニタ５０３が配置される。このアウトプットモニタ５０３にはカメラ５０２で撮影されている映像がモニタ映像ｖＭとしてリアルタイム表示される。これにより映像コンテンツの制作を行う監督やスタッフが、撮影されている映像を確認することができる。

　このように、撮影スタジオにおいてＬＥＤウォール５０５を背景にした演者５１０のパフォーマンスを撮影する撮影システム５００では、グリーンバック撮影に比較して各種の利点がある。

　例えば、グリーンバック撮影の場合、演者が背景やシーンの状況を想像しにくく、それが演技に影響するということがある。これに対して背景映像ｖＢを表示させることで、演者５１０が演技しやすくなり、演技の質が向上する。また監督その他のスタッフにとっても、演者５１０の演技が、背景やシーンの状況とマッチしているか否かを判断しやすい。

　またグリーンバック撮影の場合よりも撮影後のポストプロダクションが効率化される。これは、いわゆるクロマキー合成が不要とすることができる場合や、色の補正や映り込みの合成が不要とすることができる場合があるためである。また、撮影時にクロマキー合成が必要とされた場合においても、背景用スクリーンを追加不要とされることも効率化の一助となっている。

　グリーンバック撮影の場合、演者の身体、衣装、物にグリーンの色合いが増してしまうため、その修正が必要となる。またグリーンバック撮影の場合、ガラス、鏡、スノードームなどの周囲の光景が映り込む物が存在する場合、その映り込みの画像を生成し、合成する必要があるが、これは手間のかかる作業となっている。

　これに対し、図１の撮影システム５００で撮影する場合、グリーンの色合いが増すことはないため、その補正は不要である。また背景映像ｖＢを表示させることで、ガラス等の実際の物品への映り込みも自然に得られて撮影されているため、映り込み映像の合成も不要である。

　ここで、背景映像ｖＢについて図２、図３で説明する。背景映像ｖＢを、ＬＥＤウォール５０５に表示させて、演者５１０とともに撮影を行うにしても、単純に背景映像ｖＢを表示させるのみでは、撮影された映像は背景が不自然になる。実際には立体で奥行きもある背景を平面的に背景映像ｖＢとしているためである。

　例えばカメラ５０２は、パフォーマンスエリア５０１の演者５１０に対して、多様な方向から撮影することができ、またズーム操作も行うことができる。演者５１０も一カ所に立ち止まっているわけではない。するとカメラ５０２の位置、撮影方向、画角などに応じて、演者５１０の背景の実際の見え方は変化するはずであるが、平面映像としての背景映像ｖＢではそのような変化が得られない。そこで背景が、視差を含めて、実際の見え方と同様になるように背景映像ｖＢを変化させる。

　図２はカメラ５０２が図の左側の位置から演者５１０を撮影している様子を示し、また図３はカメラ５０２が図の右側の位置から演者５１０を撮影している様子を示している。各図において、背景映像ｖＢ内に撮影領域映像ｖＢＣを示している。
　なお背景映像ｖＢのうちで撮影領域映像ｖＢＣを除いた部分は「アウターフラスタム」と呼ばれ、撮影領域映像ｖＢＣは「インナーフラスタム」と呼ばれる。
　ここで説明している背景映像ｖＢとは、撮影領域映像ｖＢＣ（インナーフラスタム）を含んで背景として表示される映像全体を指す。

　この撮影領域映像ｖＢＣ（インナーフラスタム）の範囲は、ＬＥＤウォール５０５の表示面内で、カメラ５０２によって実際に撮影される範囲に相当する。そして撮影領域映像ｖＢＣは、カメラ５０２の位置、撮影方向、画角等に応じて、実際にそのカメラ５０２の位置を視点としたときに見える光景を表現するように変形されたような映像となっている。

　具体的には、撮影領域映像ｖＢＣは、背景としての３Ｄ（three dimensions）モデルである３Ｄ背景データを用意し、その３Ｄ背景データに対して、リアルタイムで逐次、カメラ５０２の視点位置に基づいてレンダリングする。
　なお、実際には撮影領域映像ｖＢＣの範囲は、その時点でカメラ５０２によって撮影される範囲よりも少し広い範囲とされる。これはカメラ５０２のパン、チルトやズームなどにより撮影される範囲が若干変化したときに、描画遅延によってアウターフラスタムの映像が映り込んでしまうことを防止するためや、アウターフラスタムの映像からの回折光による影響を避けるためである。
　このようにリアルタイムでレンダリングされた撮影領域映像ｖＢＣの映像は、アウターフラスタムの映像と合成される。背景映像ｖＢで用いられるアウターフラスタムの映像は、予め３Ｄ背景データに基づいてレンダリングしたものであるが、そのアウターフラスタムの映像の一部に、リアルタイムでレンダリングした撮影領域映像ｖＢＣとして映像を組み込むことで、全体の背景映像ｖＢを生成している。

　これにより、カメラ５０２を前後左右に移動させたり、ズーム操作を行ったりしても、演者５１０とともに撮影される範囲の背景は、実際のカメラ５０２の移動に伴う視点位置変化に応じた映像として撮影されることになる。

　図２、図３に示すように、アウトプットモニタ５０３には、演者５１０と背景を含むモニタ映像ｖＭが表示されるが、これが撮影された映像である。このモニタ映像ｖＭにおける背景は、撮影領域映像ｖＢＣである。つまり撮影された映像に含まれる背景は、リアルタイムレンダリングされた映像となる。

　このように実施の形態の撮影システム５００においては、単に背景映像ｖＢを平面的に表示させるだけではなく、実際にロケを行った場合と同様の映像を撮影することができるように、撮影領域映像ｖＢＣを含む背景映像ｖＢをリアルタイムに変化させるようにしている。

　なお、ＬＥＤウォール５０５に表示させた背景映像ｖＢの全体ではなく、カメラ５０２によって映り込む範囲としての撮影領域映像ｖＢＣのみをリアルタイムにレンダリングすることで、システムの処理負担も軽減される。

　ここで、撮影システム５００で撮影を行うバーチャルプロダクションとしての映像コンテンツの制作工程を説明しておく。図４に示すように、映像コンテンツ制作工程は３つの段階に大別される。アセットクリエイションＳＴ１、プロダクションＳＴ２、ポストプロダクションＳＴ３である。

　アセットクリエイションＳＴ１は、背景映像ｖＢを表示するための３Ｄ背景データを制作する工程である。上述のように背景映像ｖＢは、撮影の際に３Ｄ背景データを用いてリアルタイムでレンダリングを行って生成する。そのために予め３Ｄモデルとしての３Ｄ背景データを制作しておく。

　３Ｄ背景データの制作手法の例として、フルＣＧ（Full Computer Graphics）、点群データ（Point Cloud）スキャン、フォトグラメトリ（Photogrammetry）という例がある。

　フルＣＧは、３Ｄモデルをコンピュータグラフィックスで制作する手法である。３つの手法の中で最も工数や時間を要する手法となるが、非現実的な映像や、実際には撮影が困難な映像などを背景映像ｖＢとしたい場合に用いられることが好適となる。

　点群データスキャンは、ある位置から例えばライダー（LiDAR）を用いて距離測定を行うとともに、同じ位置からカメラで３６０度の画像を撮影し、ライダーで測距した点の上にカメラで撮影した色データを載せることで点群データによる３Ｄモデルを生成する手法である。フルＣＧに比較して、短い時間で３Ｄモデル制作ができる。またフォトグラメトリより高精細の３Ｄモデルを制作しやすい。

　フォトグラメトリは、物体を複数視点から撮影して得た２次元画像から、視差情報を解析して寸法・形状を求める写真測量の技術である。３Ｄモデル制作を短時間で行うことができる。
　なお、フォトグラメトリによる３Ｄデータ生成において、ライダーで取得した点群情報を用いても良い。

　アセットクリエイションＳＴ１では、例えばこれらの手法を用いて３Ｄ背景データとなる３Ｄモデルを制作する。もちろん上記手法を複合的に用いてもよい。例えば点群データスキャンやフォトグラメトリで制作した３Ｄモデルの一部をＣＧで制作し、合成するなどである。

　プロダクションＳＴ２は、図１に示したような撮影スタジオにおいて撮影を行う工程である。この場合の要素技術として、リアルタイムレンダリング、背景表示、カメラトラッキング、照明コントロールなどがある。

　リアルタイムレンダリングは、図２、図３で説明したように各時点（背景映像ｖＢの各フレーム）で撮影領域映像ｖＢＣを得るためのレンダリング処理である。これはアセットクリエイションＳＴ１で制作した３Ｄ背景データに対して、各時点のカメラ５０２の位置等に応じた視点でレンダリングを行うものである。

　このようにリアルタイムレンダリングを行って撮影領域映像ｖＢＣを含む各フレームの背景映像ｖＢを生成し、ＬＥＤウォール５０５に表示させる。

　カメラトラッキングは、カメラ５０２による撮影情報を得るために行われ、カメラ５０２の各時点の位置情報、撮影方向、画角などをトラッキングする。これらを含む撮影情報を各フレームに対応させてレンダリングエンジンに提供することで、カメラ５０２の視点位置等に応じたリアルタイムレンダリングが実行できる。

　撮影情報はメタデータとして映像と紐づけられたり対応づけられたりする情報である。
　撮影情報としては各フレームタイミングでのカメラ５０２の位置情報、カメラの向き、画角、焦点距離、Ｆ値（絞り値）、シャッタースピード、レンズ情報などを含むことが想定される。

　照明コントロールとは、撮影システム５００における照明の状態をコントロールすることで、具体的にはライト５８０の光量、発光色、照明方向などの制御を行う。例えば撮影するシーンの時刻設定や場所の設定などに応じた照明コントロールが行われる。

　ポストプロダクションＳＴ３は、撮影後に行われる各種処理を示している。例えば映像の補正、映像の調整、クリップ編集、映像エフェクトなどが行われる。

　映像の補正としては、色域変換や、カメラや素材間の色合わせなどが行われる場合がある。
　映像の調整として色調整、輝度調整、コントラスト調整などが行われる場合がある。
　クリップ編集として、クリップのカット、順番の調整、時間長の調整などが行われる場合がある。
　映像エフェクトとして、ＣＧ映像や特殊効果映像の合成などが行われる場合がある。

　続いてプロダクションＳＴ２で用いられる撮影システム５００の構成を説明する。
　図５は、図１、図２、図３で概要を説明した撮影システム５００の構成を示すブロック図である。

　図５に示す撮影システム５００は、上述した、複数のＬＥＤパネル５０６によるＬＥＤウォール５０５、カメラ５０２、アウトプットモニタ５０３、ライト５８０を備える。そしてさらに撮影システム５００は、図５に示すように、レンダリングエンジン５２０、アセットサーバ５３０、シンクジェネレータ５４０、オペレーションモニタ５５０、カメラトラッカー５６０、ＬＥＤプロセッサ５７０、ライティングコントローラ５８１、ディスプレイコントローラ５９０を備える。

　ＬＥＤプロセッサ５７０は、各ＬＥＤパネル５０６に対応して設けられ、それぞれ対応するＬＥＤパネル５０６の映像表示駆動を行う。

　シンクジェネレータ５４０は、ＬＥＤパネル５０６による表示映像のフレームタイミングと、カメラ５０２による撮像のフレームタイミングの同期をとるための同期信号を発生し、各ＬＥＤプロセッサ５７０及びカメラ５０２に供給する。但し、シンクジェネレータ５４０からの出力をレンダリングエンジン５２０に供給することを妨げるものではない。

　カメラトラッカー５６０は、各フレームタイミングでのカメラ５０２による撮影情報を生成し、レンダリングエンジン５２０に供給する。例えばカメラトラッカー５６０は撮影情報の１つとして、ＬＥＤウォール５０５の位置或いは所定の基準位置に対する相対的なカメラ５０２の位置情報や、カメラ５０２の撮影方向を検出し、これらをレンダリングエンジン５２０に供給する。
　カメラトラッカー５６０による具体的な検出手法としては、天井にランダムに反射板を配置して、それらに対してカメラ５０２側から照射された赤外光の反射光から位置を検出する方法がある。また検出手法としては、カメラ５０２の雲台やカメラ５０２の本体に搭載されたジャイロ情報や、カメラ５０２の撮影映像の画像認識によりカメラ５０２の自己位置推定する方法もある。

　またカメラ５０２からレンダリングエンジン５２０に対しては、撮影情報として画角、焦点距離、Ｆ値、シャッタースピード、レンズ情報などが供給される場合もある。

　アセットサーバ５３０は、アセットクリエイションＳＴ１で制作された３Ｄモデル、即ち３Ｄ背景データを記録媒体に格納し、必要に応じて３Ｄモデルを読み出すことができるサーバである。即ち３Ｄ背景データのＤＢ（data Base）として機能する。

　レンダリングエンジン５２０は、ＬＥＤウォール５０５に表示させる背景映像ｖＢを生成する処理を行う。このためレンダリングエンジン５２０は、アセットサーバ５３０から必要な３Ｄ背景データを読み出す。そしてレンダリングエンジン５２０は、３Ｄ背景データをあらかじめ指定された空間座標から眺めた形でレンダリングしたものとして背景映像ｖＢで用いるアウターフラスタムの映像を生成する。
　またレンダリングエンジン５２０は、１フレーム毎の処理として、カメラトラッカー５６０やカメラ５０２から供給された撮影情報を用いて３Ｄ背景データに対する視点位置等を特定して撮影領域映像ｖＢＣ（インナーフラスタム）のレンダリングを行う。

　さらにレンダリングエンジン５２０は、予め生成したアウターフラスタムに対し、フレーム毎にレンダリングした撮影領域映像ｖＢＣを合成して１フレームの映像データとしての背景映像ｖＢを生成する。そしてレンダリングエンジン５２０は、生成した１フレームの映像データをディスプレイコントローラ５９０に送信する。

　ディスプレイコントローラ５９０は、１フレームの映像データを、各ＬＥＤパネル５０６で表示させる映像部分に分割した分割映像信号ｎＤを生成し、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行う。このときディスプレイコントローラ５９０は、表示部間の発色などの個体差／製造誤差などに応じたキャリブレーションを行っても良い。
　なお、ディスプレイコントローラ５９０を設けず、これらの処理をレンダリングエンジン５２０が行うようにしてもよい。つまりレンダリングエンジン５２０が分割映像信号ｎＤを生成し、キャリブレーションを行い、各ＬＥＤパネル５０６に対して分割映像信号ｎＤの伝送を行うようにしてもよい。

　各ＬＥＤプロセッサ５７０が、それぞれ受信した分割映像信号ｎＤに基づいてＬＥＤパネル５０６を駆動することで、ＬＥＤウォール５０５において全体の背景映像ｖＢが表示される。その背景映像ｖＢには、その時点のカメラ５０２の位置等に応じてレンダリングされた撮影領域映像ｖＢＣが含まれている。

　カメラ５０２は、このようにＬＥＤウォール５０５に表示された背景映像ｖＢを含めて演者５１０のパフォーマンスを撮影することができる。カメラ５０２の撮影によって得られた映像は、カメラ５０２の内部又は図示しない外部の記録装置において記録媒体に記録されるほか、リアルタイムでアウトプットモニタ５０３に供給され、モニタ映像ｖＭとして表示される。

　オペレーションモニタ５５０では、レンダリングエンジン５２０の制御のためのオペレーション画像ｖＯＰが表示される。エンジニア５１１はオペレーション画像ｖＯＰを見ながら背景映像ｖＢのレンダリングに関する必要な設定や操作を行うことができる。

　ライティングコントローラ５８１は、ライト５８０の発光強度、発光色、照射方向などを制御する。ライティングコントローラ５８１は、例えばレンダリングエンジン５２０とは非同期でライト５８０の制御を行うものとしてもよいし、或いは撮影情報やレンダリング処理と同期して制御を行うようにしてもよい。そのためレンダリングエンジン５２０或いは図示しないマスターコントローラ等からの指示によりライティングコントローラ５８１が発光制御を行うようにしてもよい。

　このような構成の撮影システム５００におけるレンダリングエンジン５２０の処理例を図６に示す。

　レンダリングエンジン５２０は、ステップＳ１０でアセットサーバ５３０から、今回使用する３Ｄ背景データを読み出し、内部のワークエリアに展開する。
　そしてアウターフラスタムとして用いる映像を生成する。

　その後レンダリングエンジン５２０は、ステップＳ２０で、読み出した３Ｄ背景データに基づく背景映像ｖＢの表示終了と判定するまで、ステップＳ３０からステップＳ６０の処理を、背景映像ｖＢのフレームタイミング毎に繰り返す。

　ステップＳ３０でレンダリングエンジン５２０は、カメラトラッカー５６０やカメラ５０２からの撮影情報を取得する。これにより、現フレームで反映させるカメラ５０２の位置や状態を確認する。

　ステップＳ４０でレンダリングエンジン５２０は、撮影情報に基づいてレンダリングを行う。即ち現在のフレームに反映させるカメラ５０２の位置、撮影方向、或いは画角等に基づいて３Ｄ背景データに対する視点位置を特定してレンダリングを行う。このとき、焦点距離、Ｆ値、シャッタースピード、レンズ情報などを反映した映像処理を行うこともできる。このレンダリングによって撮影領域映像ｖＢＣとしての映像データを得ることができる。

　ステップＳ５０でレンダリングエンジン５２０は、全体の背景映像であるアウターフラスタムと、カメラ５０２の視点位置を反映した映像、即ち撮影領域映像ｖＢＣを合成する処理を行う。例えばある特定の基準視点でレンダリングした背景全体の映像に対して、カメラ５０２の視点を反映して生成した映像を合成する処理である。これにより、ＬＥＤウォール５０５で表示される１フレームの背景映像ｖＢ、つまり撮影領域映像ｖＢＣを含む背景映像ｖＢが生成される。

　ステップＳ６０の処理は、レンダリングエンジン５２０又はディスプレイコントローラ５９０で行う。ステップＳ６０でレンダリングエンジン５２０又はディスプレイコントローラ５９０は、１フレームの背景映像ｖＢについて、個別のＬＥＤパネル５０６に表示される映像に分割した分割映像信号ｎＤを生成する。キャリブレーションを行う場合もある。そして各分割映像信号ｎＤを各ＬＥＤプロセッサ５７０に送信する。

　以上の処理により、各フレームタイミングで、カメラ５０２で撮像される撮影領域映像ｖＢＣを含む背景映像ｖＢがＬＥＤウォール５０５に表示されることになる。

　ところで図５では１台のカメラ５０２のみを示したが、複数台のカメラ５０２で撮影を行うこともできる。図７は複数のカメラ５０２ａ，５０２ｂを使用する場合の構成例を示している。カメラ５０２ａ，５０２ｂは、それぞれ独立してパフォーマンスエリア５０１における撮影を行うことができるようにされる。また各カメラ５０２ａ，５０２ｂ及び各ＬＥＤプロセッサ５７０は、シンクジェネレータ５４０により同期が維持される。

　カメラ５０２ａ，５０２ｂに対応して、アウトプットモニタ５０３ａ，５０３ｂが設けられ、それぞれ対応するカメラ５０２ａ，５０２ｂによって撮影された映像を、モニタ映像ｖＭａ，ｖＭｂとして表示するように構成される。

　またカメラ５０２ａ，５０２ｂに対応して、カメラトラッカー５６０ａ，５６０ｂが設けられ、それぞれ対応するカメラ５０２ａ，５０２ｂの位置や撮影方向を検出する。カメラ５０２ａ及びカメラトラッカー５６０ａからの撮影情報や、カメラ５０２ｂ及びカメラトラッカー５６０ｂからの撮影情報は、レンダリングエンジン５２０に送信される。

　レンダリングエンジン５２０は、カメラ５０２ａ側、或いはカメラ５０２ｂ側のいずれか一方の撮影情報を用いて、各フレームの背景映像ｖＢを得るためのレンダリングを行うことができる。

　なお図７では２台のカメラ５０２ａ、５０２ｂを用いる例を示したが、３台以上のカメラ５０２を用いて撮影を行うことも可能である。
　但し、複数のカメラ５０２を用いる場合、それぞれのカメラ５０２に対応する撮影領域映像ｖＢＣが干渉するという事情がある。例えば図７のように２台のカメラ５０２ａ、５０２ｂを用いる例では、カメラ５０２ａに対応する撮影領域映像ｖＢＣを示しているが、カメラ５０２ｂの映像を用いる場合、カメラ５０２ｂに対応する撮影領域映像ｖＢＣも必要になる。単純に各カメラ５０２ａ、５０２ｂに対応するそれぞれの撮影領域映像ｖＢＣを表示させると、それらが互いに干渉する。このため撮影領域映像ｖＢＣの表示に関する工夫が必要とされる。

＜２．情報処理装置の構成＞
　次に、アセットクリエイションＳＴ１、プロダクションＳＴ２、ポストプロダクションＳＴ３で用いることができる情報処理装置７０の構成例を図８で説明する。
　情報処理装置７０は、コンピュータ機器など、情報処理、特に映像処理が可能な機器である。この情報処理装置７０としては、具体的には、パーソナルコンピュータ、ワークステーション、スマートフォンやタブレット等の携帯端末装置、ビデオ編集装置等が想定される。また情報処理装置７０は、クラウドコンピューティングにおけるサーバ装置や演算装置として構成されるコンピュータ装置であってもよい。

　本実施の形態の場合、具体的には情報処理装置７０は、アセットクリエイションＳＴ１において３Ｄモデルを制作する３Ｄモデル制作装置として機能できる。
　また情報処理装置７０は、プロダクションＳＴ２で用いる撮影システム５００を構成するレンダリングエンジン５２０として機能できる。さらに情報処理装置７０はアセットサーバ５３０としても機能できる。
　また情報処理装置７０は、ポストプロダクションＳＴ３における各種映像処理を行う映像編集装置としても機能できる。

　図８に示す情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　映像処理部８５は各種の映像処理を行うプロセッサとして構成される。例えば３Ｄモデル生成処理、レンダリング、ＤＢ処理、映像編集処理などのいずれか、或いは複数の処理を行うことができるプロセッサとされる。
　この映像処理部８５は例えば、ＣＰＵ７１とは別体のＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＡＩ（artificial intelligence）プロセッサ等により実現できる。
　なお映像処理部８５はＣＰＵ７１内の機能として設けられてもよい。

　ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４、映像処理部８５は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。

　入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
　入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。

　また入出力インタフェース７５には、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（ electro-luminescence）パネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
　表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
　表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像、操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

　入出力インタフェース７５には、ＨＤＤ（Hard Disk Drive）や固体メモリなどより構成される記憶部７９や通信部８０が接続される場合もある。

　記憶部７９は、各種のデータやプログラムを記憶することができる。記憶部７９においてＤＢを構成することもできる。
　例えば情報処理装置７０がアセットサーバ５３０として機能する場合、記憶部７９を利用して３Ｄ背景データ群を格納するＤＢを構築できる。

　通信部８０は、インターネット等の伝送路を介しての通信処理や、外部のＤＢ、編集装置、情報処理装置等の各種機器との有線／無線通信、バス通信などによる通信を行う。
　例えば情報処理装置７０がレンダリングエンジン５２０として機能する場合、通信部８０によりアセットサーバ５３０としてのＤＢにアクセスしたり、カメラ５０２やカメラトラッカー５６０からの撮影情報を受信したりすることができる。
　またポストプロダクションＳＴ３に用いる情報処理装置７０の場合も、通信部８０によりアセットサーバ５３０としてのＤＢにアクセスすることなども可能である。

　入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８２が適宜装着される。
　ドライブ８１により、リムーバブル記録媒体８２からは映像データや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータは記憶部７９に記憶されたり、データに含まれる映像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

　この情報処理装置７０では、例えば本実施の形態の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

＜３．バーチャルプロダクションに適用できる映像処理＞
　バーチャルプロダクションに適用できる本実施の形態の映像処理について説明する。
　上述のバーチャルプロダクションによる撮影システム５００によりカメラ５０２で撮影された映像を「撮影映像ｖＣ」と表記する。通常、撮影映像ｖＣの映像に含まれる被写体の範囲はモニタ映像ｖＭと同様となる。
　そして撮影映像ｖＣは、カメラ５０２により演者５１０等のオブジェクトとＬＥＤウォール５０５の背景映像ｖＢを撮影したものである。

　実施の形態の映像処理は、基本的には、撮影映像ｖＣについて、マスク情報（後述の図１０のマスクＭＫ）を用いて背景エリアＡＲｂと前景エリアＡＲｆ（図１１で後述）を分離する。そして背景エリアＡＲｂについての映像処理、或いは前景エリアＡＲｆについての映像処理を行うものである。

　背景エリアＡＲｂとは、撮影映像ｖＣ内で、背景映像ｖＢが映っている映像内領域のことである。上述の説明から理解されるように、実際には背景映像ｖＢのうちの撮影領域映像ｖＢＣが撮影映像ｖＣに映り込んでいる。
　前景エリアＡＲｆとは、撮影映像ｖＣ内で、前景となるオブジェクトが映っている映像内領域のことである。例えば演者５１０としての人物や、物品など、実際に存在する被写体が映されている領域である。

　撮影映像ｖＣ内で、この背景エリアＡＲｂと前景エリアＡＲｆを明確に分離し、個別に映像処理を行うようにする。
　映像処理としては、具体的には、例えばモアレ低減処理や、映像修正処理などがある。

　まずこの事情について述べる。上述のようにＬＥＤウォール５０５を背景にして撮影を行うこととすると次のような状況が想定される。
・ＬＥＤウォール５０５に表示された背景映像ｖＢを撮影することで撮影映像ｖＣにモアレが発生してしまう場合がある。
・ＬＥＤウォール５０５に表示された背景映像ｖＢを撮影することで撮影映像ｖＣに背景の一部の欠損やノイズが発生してしまう場合がある。その場合、例えば撮影後にＣＧ画像をはめ込むなどの修正を行う必要が生ずる。

　モアレの発生について述べる。図９は、撮影映像ｖＣにモアレ（干渉縞）Ｍが発生した状態を模式的に示している。
　このようなモアレＭの発生は、例えばＬＥＤウォール５０５にモアレ除去フィルタを貼って回避することができるが、コスト的に高額となる。より簡易には、若干デフォーカス状態として撮影して映像をぼかすことや、撮影後に撮影映像ｖＣに映像をぼかす処理を行うことで、モアレＭを低減（軽減又は除去）させることができる。
　ところがそのようにすると、演者５１０等の実在のオブジェクトまでぼけた映像となってしまうため常に適用できる手法ではない。

　例えばこのような場合にも対応できるように、本実施の形態では、撮影映像ｖＣについて、背景エリアＡＲｂと前景エリアＡＲｆを分離して処理できるようにする。
　例えば図９のような撮影映像ｖＣの１フレームについて、図１０のようなマスクＭＫを生成する。これは撮影映像ｖＣの１フレーム内において、撮影されたオブジェクトの領域とＬＥＤウォール５０５の映像の領域とを分離する情報となる。
　この図９に示すフレームについて、図１０に示すマスクＭＫを適用することで、図１１に示すように背景エリアＡＲｂと前景エリアＡＲｆをそれぞれ判定できることになる。この図１１では説明上、背景エリアＡＲｂと前景エリアＡＲｆの境界を太破線で示した。

　例えばこのように背景エリアＡＲｂを特定したら、背景エリアＡＲｂにのみ例えばＬＰＦ（ローパスフィルタ）処理などとしてモアレ低減処理を行う。
　すると図１２のようにモアレＭが図１２のように除去（又は軽減）された処理後撮影映像ｖＣＲを得ることができる。この場合、前景エリアＡＲｆにはモアレ低減処理の影響は生じない。

　以上はモアレ低減の例であるが、例えば背景エリアＡＲｂのみの修正、編集を行いたい場合、前景エリアＡＲｆのモアレを低減したい場合、前景エリアＡＲｆの修正、編集を行いたい場合などもある。それらのような場合も、マスクＭＫを用いて背景エリアＡＲｂと前景エリアＡＲｆを分離できるようにすることで、前景エリアＡＲｆのみ、或いは背景エリアＡＲｂのみの映像処理が可能となる。

　ここでマスクＭＫの生成のための構成例を述べる。
　本実施の形態では、マスクＭＫの生成のために、ＳＷＩＲ（Short Wavelength Infra-Red）カメラ（赤外線短波長カメラ）を用いる。ＳＷＩＲカメラを用いることによって、光源変化の激しいＬＥＤウォール５０５の映像と前景となる被写体の映像の分離ができる。

　図１３Ａに、ＲＧＢカメラ、ＳＷＩＲカメラ、ＩＲカメラ（赤外光カメラ）のそれぞれについて撮影できる波長帯を示している、
　ＲＧＢカメラは例えば３８０ｎｍから７８０ｎｍの波長帯で可視光を撮影するカメラである。通常、撮影映像ｖＣを得るためのカメラ５０２としてはＲＧＢカメラが用いられる。
　ＩＲカメラは８００ｎｍから９００ｎｍの近赤外光を撮影するカメラである。

　ＳＷＩＲカメラとしては例えば次の（ａ）（ｂ）（ｃ）のような種類がある。
（ａ）９００ｎｍから２５００ｎｍの波長帯域を撮影できるカメラ
（ｂ）９００ｎｍから１７００ｎｍの波長帯域を撮影できるカメラ
（ｃ）１１５０ｎｍ付近（前後許容誤差あり）の波長帯域を撮影できるカメラ
　これらは一例であるが、例えばＳＷＩＲカメラは、ＩＲカメラより広い波長帯域をカバーするもので、例えば４００ｎｍから１７００ｎｍなどの波長帯域で撮影を行うことができるカメラが市販されている。図１３Ｂに市販のＳＷＩＲカメラの波長毎の量子効率を示した。図示のとおり、４００ｎｍから１７００ｎｍの範囲で高い量子効率を実現している。すなわち上記（ｂ）や（ｃ）の波長帯域をカバーできているため図１３Ｂのような特性のＳＷＩＲカメラであれば適用可能である。

　撮影システム５００では、例えばライト５８０の一部を用いて、演者５１０等のオブジェクトに対して赤外線を照射し、ＳＷＩＲカメラで撮影する。近赤外線帯では、ＬＥＤウォール５０５の映像は反射せずに黒映像となり、演者５１０等は赤外光を反射してある程度の輝度が観測される。従ってＳＷＩＲカメラの撮影映像においてフレーム内の輝度差分を判定することで、オブジェクトのみを高精度で抽出するマスクＭＫを生成できる。

　なお、ＩＲカメラでも演者５１０等に反射した赤外光を観測できるが、ＩＲカメラの場合、人物の髪の毛をシルエットとして検出することが難しい。一方でＳＷＩＲカメラの場合は、髪の毛も含めて人物の範囲を適切に検出することができる。
　髪の毛は肌に比べて反射しづらいが、髪の毛の領域の検出のためには高い波長帯をカバーできることが有効である。例えば上記（ｃ）のように１１５０ｎｍ付近を撮影できるカメラであれば、人の髪の毛の反射率と肌の反射率が同等となる。
　但し、髪の毛の反射率は男女や人種（黒髪・ブロンド髪等）でも異なるし、毛染めの有り無しでも変わるが、例えば図１３Ｂのような特性のＳＷＩＲカメラであれば、８５０ｎｍから１７００ｎｍの波長帯域を積分して撮影することで、肌と髪の明るさが同等になり、頭部の範囲を明確に判定できるようになる。

　このようなＳＷＩＲカメラを利用するために、例えばカメラ５０２を図１４のように構成する。
　１台のカメラ５０２としてのユニット内に、ＲＧＢカメラ５１とＳＷＩＲカメラ５２を配置する。そしてビームスプリッタ５０により入射光を分離し、それぞれ同一の光軸の状態で入射光がＲＧＢカメラ５１とＳＷＩＲカメラ５２に入射されるようにする。
　ＲＧＢカメラ５１からは撮影映像ｖＣとして用いられる映像Ｐｒｇｂが出力される。ＳＷＩＲカメラ５２からは、マスクＭＫの生成のための映像Ｐｓｗｉｒが出力される。

　このようにカメラ５０２を、ＲＧＢカメラ５１とＳＷＩＲカメラ５２を備えた同軸カメラとして構成することで、ＲＧＢカメラ５１とＳＷＩＲカメラ５２は、視差が発生せず、映像Ｐｒｇｂと映像Ｐｓｗｉｒは、互いに同一のタイミング及び同一の画角、視野範囲の映像となるようにすることができる。

　光軸が一致するように予めカメラ５０２としてのユニット内で機械的な位置調整とともにキャリブレーション用の映像を用いた光軸位置合わせが行われる。例えばキャリブレーション用の映像を撮影し、特徴点を検出して位置合わせを行う処理を事前に行うようにする。
　なお高精細な映像コンテンツ制作のためにＲＧＢカメラ５１は高解像度のカメラを用いる場合でも、ＳＷＩＲカメラ５２も同様に高解像度とする必要はない。ＳＷＩＲカメラ５２は撮影範囲がＲＧＢカメラ５１と一致する映像を抽出できるものであればよい。従ってセンササイズや画サイズはＲＧＢカメラ５１と一致するものに限定されない。

　また撮影時に、ＲＧＢカメラ５１とＳＷＩＲカメラ５２は、フレームタイミングの同期がとられるようにする。
　またＲＧＢカメラ５１のズーム操作に応じて、ＳＷＩＲカメラ５２もズームが行われたり画像の切り出し範囲が調整されたりするようにするとよい。

　なおＳＷＩＲカメラ５２とＲＧＢカメラ５１はステレオ配置でも構わない。被写体が奥行方向に移動しない場合は、視差は問題にならないためである。
　またＳＷＩＲカメラ５２は複数台でも構わない。

　例えば撮影システム５００におけるカメラ５０２として図１４のような構成を用いる場合は、映像Ｐｒｇｂ、映像Ｐｓｗｉｒがレンダリングエンジン５２０に供給される。
　図８の構成のレンダリングエンジン５２０は、映像処理部８５で映像Ｐｓｗｉｒを用いてマスクＭＫの生成を行う。またレンダリングエンジン５２０は、映像Ｐｒｇｂを撮影映像ｖＣとして用いるが、映像処理部８５で、映像Ｐｒｇｂの各フレームについて、マスクＭＫを用いて背景エリアＡＲｂと前景エリアＡＲｆを分離し、必要な映像処理を行ったうえで、処理後撮影映像ｖＣＲを、記録媒体に記録させることができる。例えば撮影映像ｖＣ（処理後撮影映像ｖＣＲ）を記憶部７９に記憶する。或いはアセットサーバ５３０その他の外部装置に転送して記録させることができる。

　図１５はカメラ５０２としての他の構成例を示している。
　この場合、図１４の構成に加えて、カメラ５０２としてのユニット内にマスク生成部５３を備えるようにしている。マスク生成部５３は、例えば映像処理プロセッサで構成できる。マスク生成部５３はＳＷＩＲカメラ５２からの映像Ｐｓｗｉｒを入力してマスクＭＫの生成を行う。なおマスクＭＫの生成の際に映像Ｐｓｗｉｒからの切り出し範囲を調整する場合は、マスク生成部５３は、ＲＧＢカメラ５１からの映像Ｐｒｇｂも入力して参照することになる。

　このカメラ５０２からは、映像ＰｒｇｂとマスクＭＫがレンダリングエンジン５２０に供給される。その場合レンダリングエンジン５２０は、マスクＭＫを取得して、映像Ｐｒｇｂの各フレームについて、マスクＭＫを用いて背景エリアＡＲｂと前景エリアＡＲｆを分離することができる。

　なお図示していないが、図１４，図１５の構成の場合でも、上述したように撮影情報の一部がカメラ５０２からレンダリングエンジン５２０に供給される。
　例えば撮影情報としての画角、焦点距離、Ｆ値（絞り値）、シャッタースピード、レンズ情報、カメラの向きなどは、ＲＧＢカメラ５１に関する情報として、カメラ５０２からレンダリングエンジン５２０に供給される。またカメラトラッカー５６０で検出されカメラ５０２の位置情報やカメラの向きなども、撮影情報としてレンダリングエンジン５２０に供給される。

＜４．第１の実施の形態＞
　以下、具体的な処理例を説明していく。第１の実施の形態として、撮影時にレンダリングエンジン５２０が撮影映像ｖＣについて背景エリアＡＲｂのモアレ低減処理を行う例を挙げる。カメラ５０２としては図１４の構成を想定する。

　図１６はレンダリングエンジン５２０が撮影映像ｖＣのフレーム毎に行う映像処理を示している。
　上述の図６のようにレンダリングエンジン５２０は、ＬＥＤウォール５０５に表示する背景映像ｖＢの生成のために、フレーム毎に撮影領域映像ｖＢＣのレンダリングを行っている。それと並行してレンダリングエンジン５２０は、カメラ５０２で撮影された撮影映像ｖＣのフレーム毎に図１６の処理を行う。

　ステップＳ１０１でレンダリングエンジン５２０は、映像取得を行う。つまりカメラ５０２から送信されてくる１フレームの撮影映像ｖＣを処理対象とする。
　具体的にはレンダリングエンジン５２０は、カメラ５０２から送信されてくる１フレームの映像Ｐｒｇｂ、映像Ｐｓｗｉｒを処理対象とすることになる。同時にレンダリングエンジン５２０は、当該フレームに対応してカメラ５０２やカメラトラッカー５６０から送信されてくる撮影情報も取得する。

　ステップＳ１０２でレンダリングエンジン５２０は、今回のフレームに適用するマスクＭＫを生成する。即ちレンダリングエンジン５２０は上述のように映像Ｐｓｗｉｒを用いてマスクＭＫの生成を行う。

　ステップＳ１０３でレンダリングエンジン５２０は、ステップＳ１０２で生成したマスクＭＫを用いて、今回取得したフレームの撮影映像ｖＣ、つまり映像Ｐｒｇｂについての背景エリアＡＲｂを特定する。

　ステップＳ１０４でレンダリングエンジン５２０は、背景エリアＡＲｂについてモアレ対応処理を行う。モアレ対応処理の例を図１７に示す。

　レンダリングエンジン５２０は、ステップＳ１４１でモアレ発生度合判定を行う。
　モアレ発生度合判定の処理としては、実際にどの程度のモアレＭが発生しているかを測定する処理や、どの程度のモアレが発生しているかを推定する処理が考えられる。
　またモアレＭの度合とは、面積的な度合や、強度（モアレとして現れる干渉縞模様の明瞭さ（輝度差））がある。

　まず実際に発生しているモアレＭの度合を測定する処理例としては次の手法がある。
　処理対象の撮影映像ｖＣ、つまりＲＧＢカメラからの映像Ｐｒｇｂに対して、そのフレームを撮影したタイミングの背景映像ｖＢを取得する。なお、このためにレンダリングエンジン５２０は、フレーム毎に図６の処理で生成する背景映像ｖＢ、少なくとも撮影領域映像ｖＢＣ（インナーフラスタムの映像）を、記録媒体に記録しておき、後に参照できるようにしておく。

　撮影映像ｖＣにおいて、背景エリアＡＲｂは特定されている。また参照した撮影領域映像ｖＢＣは、ＬＥＤウォール５０５に供給した映像信号である。従って撮影映像ｖＣの背景エリアＡＲｂと、その撮影領域映像ｖＢＣにおける背景エリアＡＲｂについて、特徴点のマッチングを行って映像内容の領域を一致させたうえで、その領域内で対応する画素の値の差分をとっていき、差分値を或る閾値で二値化する。すると、モアレＭやその他のノイズ等がなければ、二値化した値は全ての画素で一定となる。
　換言すれば、撮影映像ｖＣにモアレＭやノイズ等が生じていると、二値化した値として繰り返しのパターンが観測され、それはモアレＭと判定できる。その干渉縞が現れる範囲や、干渉縞内の輝度差（二値化前の差分値の差）によりモアレＭの度合が判定できる。

　モアレＭの度合を推定する手法としては、つぎのような例がある。
　まず撮影環境情報を取得して、撮影に先立ってモアレＭの発生度合を推定する手法がある。撮影環境情報とは、撮影システム５００における固定的な情報である。ここでの「固定的」とは撮影映像ｖＣのフレーム毎に変化しない情報という意味である。

　例えば撮影環境情報として、ＬＥＤパネル５０６の画素のピッチ幅を取得しておくことで、モアレＭの発生度合を推定できる。ピッチ幅が広いほどモアレＭの発生頻度が高くなるため、ピッチ幅の値で、モアレＭがどの程度発生するかが推定できる。

　なお、このような撮影環境情報によるモアレＭの発生度合の判定は、撮影の開始前に初期的に行っておき、フレーム毎に行うステップＳ１４１では、その判定結果を参照するのみでよい。またライト５８０の種別、撮影時の発光状態、ＬＥＤウォール５０５に表示させる背景映像ｖＢを生成する３Ｄ背景データなどの他の固定的な情報を撮影環境情報として取得し、モアレＭを発生させやすい撮影環境であるか否かを予め判定してもよい。

　またフレーム毎に対応する撮影情報を用いてフレーム毎にモアレＭの発生度合を推定する手法がある。
　撮影情報におけるカメラ５０２の位置情報から、ＬＥＤウォール５０５とカメラ５０２の距離を求めることで、モアレＭの発生度合を推定できる。距離が近くなるほどモアレＭの発生頻度が高くなるためである。従って距離の値に応じてモアレＭの度合を推定できる。

　また撮影情報におけるカメラ５０２の向きの情報から、カメラ５０２のＬＥＤウォール５０５に対する角度を求めることで、モアレＭの発生度合を推定できる。例えばＬＥＤウォール５０５に対して正面に正対して撮影する場合よりも、ＬＥＤウォール５０５を上方から見て撮影する場合、下方から見上げるように撮影する場合、左又は右から角度をつけて撮影した場合などは、モアレＭが発生しやすい。特にＬＥＤウォール５０５とカメラ５０２の角度が急峻になるほどモアレ発生頻度が高くなる。従って、カメラ５０２のＬＥＤウォール５０５に対する角度を求めたら、その角度の値によってモアレＭの発生度合を推定できることになる。

　図１７のステップＳ１４１で以上のような処理のいずれか、或いは複数でモアレ発生度合を判定したら、レンダリングエンジン５２０はステップＳ１４２でモアレ低減処理が必要か否かを判定する。
　モアレＭが発生していない、或いは発生していないと同等程度と判定できる場合は、今回のフレームについては、モアレ低減処理は行わないとし、ステップＳ１４２から図１７のモアレ対応処理を終える。

　一方、モアレＭの発生、又はある度合以上のモアレＭの発生と判定された場合は、レンダリングエンジン５２０はステップＳ１４２からステップＳ１４３に進んで、背景エリアＡＲｂについてモアレ低減処理を実行する。
　即ち背景エリアＡＲｂに対して或るカットオフ周波数でＬＰＦ処理又はＢＰＦ（バンドパスフィルタ）処理を行うことで、縞状になっている部分を平滑化し（ぼかし）、モアレＭを軽減又は解消する。これにより図１７のモアレ対応処理を終える。

　図１６のステップＳ１０４として以上の図１７のようなモアレ対応処理を終えたら、レンダリングエンジン５２０はステップＳ１０５で映像記録を行う。
　即ち背景エリアＡＲｂにモアレ低減処理を施したフレームについては、処理後撮影映像ｖＣＲを、又はモアレ低減処理は不要として行わなかった場合は元の撮影映像ｖＣを、撮影により得たフレームデータとして記録媒体に記録させる。

　レンダリングエンジン５２０が以上の処理を撮影映像ｖＣのフレーム毎に行うことで、プロダクションＳＴ２としての撮影の際に、必要に応じてモアレ低減処理が施された映像コンテンツが記録されることになる。

　図６のステップＳ１０４のモアレ対応処理の他の例を図１８，図１９に示す。
　図１８の例では、レンダリングエンジン５２０は、まずステップＳ１４１でモアレ発生度合判定を行い、ステップＳ１４２でモアレ低減処理が必要か否かを判定する。ここまでは図１７と同様である。

　図１８の例の場合、モアレ低減処理を行う場合、レンダリングエンジン５２０はステップＳ１５０でモアレ低減処理の処理強度の設定を行う。
　これは、発生しているモアレの度合が大きければ処理強度を高くし、モアレの度合が小さければ処理強度を弱めるような設定である。
　例えばＬＰＦ処理のカットオフ周波数を変更してぼかし具合の強度を設定する。
　またフレーム内の映像のエッジ検出を行うことで、映像の平坦部の検出が可能であるため、平坦部でモアレＭが観測される場合は、処理強度を高めると言ったことも考えられる。

　具体的には、ステップＳ１４１のモアレ発生度合判定の結果に応じて処理強度を設定する。例えば撮影映像ｖＣの背景エリアＡＲｂと、その撮影領域映像ｖＢＣにおける背景エリアＡＲｂに相当する領域の差分から観測されるモアレＭの度合が大きいほどモアレ低減処理強度を高く設定し、モアレＭの度合が小さいほどモアレ低減処理強度を低く設定する。
　また例えばＬＥＤパネル５０６のピッチ幅が広いほどモアレ低減処理強度を高く設定し、ピッチ幅が狭いほどモアレ低減処理強度を低く設定する。
　また例えば、ＬＥＤウォール５０５とカメラ５０２の距離が近いほどモアレ低減処理強度を高く設定し、遠いほど低く設定する。
　また例えば、ＬＥＤウォール５０５とカメラ５０２の角度が急峻になるほどモアレ低減処理強度を高く設定し、９０度（直交の位置関係）に近いほど低く設定する。

　また機械学習を用いたモアレ低減処理を行うようにしてもよい。
　例えば各種のモアレのパターンや強度に応じて、ＢＰＦの種類（通過帯域）を変えて低減処理を行った学習データを予め用意し、各種のモアレＭのパターンに応じて最適なモアレ低減処理の学習データを生成しておく。そしてステップＳ１５０では、今回のフレームにおけるモアレＭのパターンについて、そのようなＢＰＦを用いるかを設定する処理としてもよい。

　ステップＳ１５０で処理強度の設定をおこなったら、レンダリングエンジン５２０はステップＳ１４３で背景エリアＡＲｂについて設定した処理強度でモアレ低減処理を実行する。

　次に図１９の例は、各フレームについて処理強度を設定してモアレ低減処理を行う例である。
　レンダリングエンジン５２０はステップＳ１４１でモアレ発生度合判定を行い、ステップＳ１５０でモアレ発生度合判定の結果に応じて処理強度の設定を行う。そして処理強度を設定したらレンダリングエンジン５２０はステップＳ１４３でモアレ低減処理を行う。

　以上のようにモアレ対応処理としては、図１７、図１８、図１９のような例が考えられる。図示しないが、さらに他の例も考えられる。例えば各フレームについて、モアレ発生度合判定を行わずに、特定のカットオフ周波数のＬＰＦ処理又はＢＰＦ処理でモアレ低減処理が行われるような例も考えられる。

＜５．第２の実施の形態＞
　第２の実施の形態として背景エリアＡＲｂの映像修正処理を行う例を説明する。
　先に、ＬＥＤウォール５０５に表示された背景映像ｖＢを撮影することで撮影映像ｖＣに背景の一部の欠損やノイズが発生してしまう場合があると述べたが、具体的には次のような事例がある。

　例えば被写体とＬＥＤウォール５０５が近く、被写体をズーム撮影した際に、ＬＥＤパネル５０６のピクセルが見えてしまう場合がある。
　また例えば撮像時に３Ｄ背景データが未完成であった場合など、背景映像ｖＢの内容や画質が不十分で、撮影後に修正が必要な場合がある。
　またＬＥＤウォール５０５におけるＬＥＤが欠損していた場合や、発光していない領域があった場合に、その領域の映像が欠損する。
　またＬＥＤパネル５０６の駆動速度とカメラ５０２のシャッタースピードの関係で映像に欠損が生ずることがある。
　また表示される背景映像ｖＢやカメラ５０２の撮像信号処理の際の量子化誤差に起因するノイズが生ずる場合がある。
　例えばこれらのような場合に、背景エリアＡＲｂについて修正処理を行うことが好適となる。

　図２０にレンダリングエンジン５２０の処理例を示す。図１６と同様に図２０は、撮影映像ｖＣの１フレーム毎に実行する処理例である。
　なお、以下のフローチャートにおいて既述のフローチャートと同一の処理については同一のステップ番号を付し、重複した詳細な説明は避ける。

　レンダリングエンジン５２０は、ステップＳ１０１で撮影映像ｖＣの１フレームについて必要な情報、即ち映像Ｐｒｇｂ、映像Ｐｓｗｉｒ、撮影情報を取得する。
　そしてステップＳ１０２で今回のフレームのマスクＭＫを生成し、ステップＳ１０３で映像Ｐｒｇｂにおける背景エリアＡＲｂを特定する。

　ステップＳ１６０でレンダリングエンジン５２０は、背景エリアＡＲｂについて映像修正処理を行う。例えば上述いたような欠損やノイズ等を修正する処理を行う。
　例えばＬＥＤパネル５０６のピクセルが見えてしまうような場合に、背景エリアＡＲｂをぼかしてピクセルが見えないようにする。
　また背景映像ｖＢの内容や画質が不十分であったときに、背景エリアＡＲｂの一部又は全部をＣＧ画像に差し替える。
　またＬＥＤウォール５０５におけるＬＥＤが欠損していた場合や、発光していない領域があった場合に、その領域の映像をＣＧ画像に差し替える。
　またＬＥＤパネル５０６の駆動速度とカメラ５０２のシャッタースピードの関係で映像に欠損が生じた場合に、その領域の映像をＣＧ画像に差し替える。
　また表示される背景映像ｖＢやカメラ５０２の撮像信号処理の際の量子化誤差に起因するノイズが生じている場合に、ノイズ低減処理を行う。

　図２１，図２２に例を示す。
　図２１の左側は本来の映像を示し、空の部分の色合いがグラデーションとなっている例である。これが図の右側に示すように、量子化誤差によりバウンディング（筋のような模様）が発生することがある。このようなときに、バンディングを消すような平滑化を行う。
　図２２は欠損の例である。例えば背景映像ｖＢに「ＴＯＫＹＯ」という文字が表示されていたときに、図の下の映像のように一部が欠損して見える場合がある。このような場合にＣＧ映像を用いて欠損を解消し、図の上の映像のように修正する。

　レンダリングエンジン５２０は、以上のような映像修正処理を行った後、図２０のステップＳ１０５で当該フレームを、撮影映像ｖＣ（処理後撮影映像ｖＣＲ）として記録する処理を行う。

　このような処理により、プロダクションＳＴ２の工程で、欠損やノイズが修正された撮影映像ｖＣを記録してポストプロダクションＳＴ３に提供できる。

＜６．第３の実施の形態＞
　第３の実施の形態として、撮影時に、背景エリアＡＲｂの映像処理に加え、前景エリアＡＲｆの映像処理も行う例を説明する。

　図２３にレンダリングエンジン５２０の処理例を示す。図１６と同様に図２３は、撮影映像ｖＣの１フレーム毎に実行する処理例である。

　レンダリングエンジン５２０は、ステップＳ１０１で撮影映像ｖＣの１フレームについて必要な情報、即ち映像Ｐｒｇｂ、映像Ｐｓｗｉｒ、撮影情報を取得する。
　そしてステップＳ１０２で今回のフレームのマスクＭＫを生成する。
　ステップＳ１０３Ａでは、マスクＭＫに基づいて、映像Ｐｒｇｂにおける背景エリアＡＲｂと前景エリアＡＲｆをそれぞれ特定する。

　ステップＳ１０４では、図１６（及び図１７，図１８，図１９）で説明したように背景エリアＡＲｂについてのモアレ対応処理を行う。
　なお、ステップＳ１０４に代えて、或いはステップＳ１０４に加えて、図２０で説明した映像修正処理（ステップＳ１６０）を行うようにしてもよい。

　ステップＳ１７０でレンダリングエンジン５２０は、前景エリアＡＲｆにおける被写体判定を行う。
　例えばここではオブジェクトの映像にモアレが生じているかの判定を行う。具体的には演者５１０等の衣服から、モアレＭが発生しやすいか否かを判定する。
　前景になる演者５１０がストライプ柄やチェック柄の衣服を着用している場合、モアレＭが発生しやすい。そこで、撮影映像ｖＣの前景エリアＡＲｆにおいてストライプ柄やチェックの柄が含まれているか否かを判定する。なお、衣服に限らず、縞状の模様の存在を確認してもよい。

　また、ステップＳ１７０の前景エリアＡＲｆの被写体判定として、実際にモアレＭが発生しているか否かを検出するようにしてもよい。

　ステップＳ１７１でレンダリングエンジン５２０は、ステップＳ１７０の判定結果から、モアレ低減処理が必要か否かを判定する。例えば演者５１０等の衣服がストライプ柄やチェック柄であったときは、モアレ低減処理が必要と判定する。

　その場合、レンダリングエンジン５２０はステップＳ１７２に進み、前景エリアＡＲｆについてのモアレ低減処理を行う。
　例えば前景エリアＡＲｆの範囲でＬＰＦ処理或いはＢＰＦ処理を行ってモアレ低減を行う。またＳＷＩＲカメラ５２の映像Ｐｓｗｉｒによれば、被写体の肌領域と衣服領域を区別することが可能である。肌は反射しづらく、衣服はよく反射するためである。
　そこで、映像Ｐｓｗｉｒから衣服領域を判定し、その衣服領域のみモアレ低減処理を行うようにしてもよい。

　また、第１の実施の形態における背景エリアＡＲｂについてのモアレ対応処理で説明したように、前景エリアＡＲｆについても、モアレＭの発生度合判定を行い、モアレ低減処理の処理強度を可変設定してもよい。

　ステップＳ１７１でモアレ低減処理が不要と判定した場合、例えばストライプ柄やチェック柄の衣服が観測されなかった場合は、レンダリングエンジン５２０はステップＳ１７２の処理は行わない。

　次にステップＳ１８０でレンダリングエンジン５２０は、前景エリアＡＲｆの映像修正処理を行う。例えば前景エリアの輝度調整や色調整を行うことが考えられる。
　例えばＬＥＤウォール５０５に表示される背景映像ｖＢの輝度の影響でカメラ５０２の自動露出制御が行われることで、演者５１０等のオブジェクトの映像の輝度が高すぎたり低すぎたりすることがある。そこで、そのような前景エリアＡＲｆの輝度を、背景エリアＡＲｂの輝度に合わせて調整するようにする。
　また例えばＬＥＤウォール５０５に表示される背景映像ｖＢの影響で、演者５１０等のオブジェクトの映像の色合いが不自然になったような場合に、前景エリアＡＲｆの色調整を行うことも考えられる。

　以上の処理を経た後、レンダリングエンジン５２０はステップＳ１０５で、当該フレームを、撮影映像ｖＣ（処理後撮影映像ｖＣＲ）として記録する処理を行う。
　このような処理により、プロダクションＳＴ２の工程で、背景エリアＡＲｂ、前景エリアＡＲｆのそれぞれについてモアレＭが低減されたり、必要な映像処理が施されたりした撮影映像ｖＣ（処理後撮影映像ｖＣＲ）をポストプロダクションＳＴ３に提供できる。

　なお、図２３の例では、背景エリアＡＲｂの映像処理に加えて前景エリアＡＲｆの映像処理を行う例としたが、前景エリアＡＲｆの映像処理のみが行われる処理例も考えられる。例えば図２３においてステップＳ１０４を除いた処理例である。

＜７．第４の実施の形態＞
　第４の実施の形態として、撮影後、例えばポストプロダクションＳＴ３の段階で、背景エリアＡＲｂと前景エリアＡＲｆを区別した映像処理を行う例を挙げる。

　このため撮影時にはレンダリングエンジン５２０が撮影映像ｖＣのフレーム毎に図２４の処理を行うようにする。
　レンダリングエンジン５２０は、ステップＳ１０１で撮影映像ｖＣの１フレームについて必要な情報、即ち映像Ｐｒｇｂ、映像Ｐｓｗｉｒ、撮影情報を取得し、ステップＳ１０２でそのフレームのマスクＭＫを生成する。

　ステップＳ１１０でレンダリングエンジン５２０は、撮影映像ｖＣ（映像Ｐｒｇｂ）のフレームと、そのフレームに関連づけられたメタデータとして撮影情報及びマスクＭＫを記録媒体に記録する。

　このようにすることで、後の時点で撮影映像ｖＣの各フレームを処理対象とするときに、対応する撮影情報及びマスクＭＫを取得することができる。

　なお、ステップＳ１１０では、撮影映像ｖＣ（映像Ｐｒｇｂ）のフレームと、そのフレームについての撮影情報と、同じフレームタイミングの映像Ｐｓｗｉｒを関連づけて記録媒体に記録するようにしてもよい。映像Ｐｓｗｉｒを記録することで後の時点でマスクＭＫを生成できるためである。

　ポストプロダクションＳＴ３における処理例を図２５に示す。例えばポストプロダクションＳＴ３の段階で映像処理を行う情報処理装置７０の処理である。この情報処理装置７０はレンダリングエンジン５２０であってもよいし、他の情報処理装置であってもよい。

　ステップＳ２０１で情報処理装置７０は、処理対象とする映像コンテンツを記録媒体から読み出し、各フレームの映像及びメタデータを処理対象として取得する。
　なお映像コンテンツ、或いは映像コンテンツ内のシーンに対応して撮影環境情報が記録されている場合は、それも取得する。例えばＬＥＤパネル５０６の画素のピッチ幅の情報などである。

　ステップＳ２０２で情報処理装置７０は、映像処理対象とするフレームを判定する。
　メタデータとして、各フレームの撮影情報や撮影環境情報が記録されていることで、処理対象とする映像コンテンツのどのフレームで、例えばモアレが発生している可能性が高いかを判定することができる。例えば上述のようにカメラ５０２とＬＥＤウォール５０５の距離、角度関係などから、モアレの発生度合判定ができる。
　また各フレームの映像を解析することで、パフォーマンスエリア５０１における被写体の位置を判定することや、実際のモアレＭの発生度合を判定することもできる。

　例えば、前景エリアＡＲｆのオブジェクトとＬＥＤウォール５０５の距離が十分に遠く、被写体の顔を望遠レンズ（Ｆ値から判定）で撮影し背景をぼかしている場合は、モアレ発生頻度は低い。
　また例えば、被写体とＬＥＤウォール５０５の距離が近く、カメラ５０２とＬＥＤウォール５０５の角度が急峻で、かつパンフォーカスで撮影し、ＬＥＤパネル５０６のピッチ幅が広い場合は、モアレ発生頻度は高い。
　さらに、先に述べたように、カメラ５０２とＬＥＤウォール５０５の距離、角度、或いは演者５１０の衣服の柄などにより、モアレの発生度合判定が可能である。

　情報処理装置７０は、ステップＳ２０２で、このようなモアレの発生度合判定を行って、モアレ対応処理を行うフレームを設定する。そして情報処理装置７０は、設定した各フレームについてそれぞれ、ステップＳ２０３からステップＳ２０７の処理を行う。

　ステップＳ２０３で情報処理装置７０は、モアレ対応処理を行うと設定したフレームの１つを処理対象として特定する。
　ステップＳ２０４で情報処理装置７０は、特定したフレームについてのマスクＭＫを取得する。
　ステップＳ２０５で情報処理装置７０は、マスクＭＫを用いて当該フレームの背景エリアＡＲｂを特定する。
　ステップＳ２０６で情報処理装置７０は、背景エリアＡＲｂについてモアレ対応処理を行う。例えば図１７，図１８，図１９の例のような処理を行う。

　そしてステップＳ２０７で情報処理装置７０は、モアレ対応処理を経た処理後の映像データを、記録媒体に記録する。例えば編集後の映像コンテンツの１フレームとして記録する。
　ステップＳ２０８で、未処理のフレームの存在を確認し、存在すれば、ステップＳ２０３に戻って、未処理のフレームの１つを処理対象として特定し、同様にステップＳ２０４からステップＳ２０７の処理を行う。
　モアレ対応処理を行うと設定したフレームの全てについて以上の処理を終えたら図２５の処理を終える。

　例えばこのように、ポストプロダクションＳＴ３の段階でマスクＭＫを用いて背景エリアＡＲｂと前景エリアＡＲｆを区別し、モアレ対応処理を行うことができる。

　なお、撮影映像ｖＣ（ＲＧＢカメラの映像Ｐｒｇｂ）とともにＳＷＩＲカメラの映像Ｐｓｗｉｒが記録されている場合、図２５のステップＳ２０４の段階でマスクＭＫを生成するという処理例も考えられる。
　また、図２５の例に限らず、ポストプロダクションＳＴ３の段階で、背景エリアＡＲｂの映像修正処理、前景エリアＡＲｆのモアレ低減処理、前景エリアＡＲｆの映像修正処理が行われるようにすることもできる。

　また、第１，第２，第３の実施の形態のように撮影時にほぼリアルタイムで、背景エリアＡＲｂ、前景エリアＡＲｆの一方又は両方について、モアレ低減処理や映像修正処理などの映像処理を行った後に、ポストプロダクションＳＴ３においてもこれらの映像処理が行われるようにしてもよい。
　例えば図１６，図２０、図２３の各ステップＳ１０５でも、撮影映像ｖＣ（処理後撮影映像ｖＣＲ）と共に、撮影情報やマスクＭＫ或いは映像Ｐｓｗｉｒを関連づけて記録することで、ポストプロダクションＳＴ３において、再度の映像処理を行うことができるようになる。

＜８．背景映像の表示パネルの構成例＞
　図１でＬＥＤウォール５０５の例を説明したが、ここで背景映像ｖＢの表示パネルの他の例を挙げておく。背景映像ｖＢの表示パネルは各種の構成が考えられる。

　図２６Ａはパフォーマンスエリア５０１における床の部分も含めてＬＥＤウォール５０５が設けられている例である。この場合、背面、左側面、右側面、床面にそれぞれＬＥＤウォール５０５が設けられている。

　図２６Ｂは、パフォーマンスエリア５０１をボックス上に囲うように上面、背面、左側面、右側面、床面にそれぞれＬＥＤウォール５０５が設けられている例である。
　図２６Ｃは、円筒内壁状のＬＥＤウォール５０５が設けられている例である。

　ここまで表示装置としてＬＥＤウォール５０５を挙げ、表示される表示映像は、３Ｄ背景データをレンダリングした背景映像である例を挙げた。そしてその場合、撮影映像ｖＣにおいて表示映像エリアの例としての背景エリアＡＲｂと、オブジェクト映像エリアとしての前景エリアＡＲｆの例で、これらを分離して映像処理を行うことができるようにした。
　本開示の技術はこのような背景、前景という関係に限らず適用できる。

　例えば図２６Ｄは、表示装置５１５が他の被写体と並ぶように設けられている例である。例えばテレビジョン放送のスタジオなどで、リモート出演する出演者を表示装置５１５に表示させ実際にスタジオに居る出演者とともに撮影するような場合である。
　この場合、背景、前景という明確な区別はないが、撮影映像には、表示映像とオブジェクト映像が混在することになる。そのような場合も、マスクＭＫを用いて表示映像エリアとオブジェクト映像エリアを分離することができるため、実施の形態の処理を同様に適用できることになる。

　これ以外にも多様な例が考えられるが、撮影した映像内に、表示装置の映像と、実際に存在するオブジェクトの映像が含まれる場合に、それらのエリアを区別して、各種の映像処理を行う場合に本開示の技術を適用できる。

＜９．まとめ及び変形例＞
　以上の実施の形態によれば次のような効果が得られる。
　実施の形態の情報処理装置７０は、表示装置の表示映像（例えば背景映像ｖＢ）とオブジェクトとを撮影した撮影映像ｖＣに対して、マスクＭＫを用いて判定した表示映像エリア（例えば背景エリアＡＲｂ）の映像処理、又はマスクＭＫを用いて判定したオブジェクト映像エリア（例えば前景エリアＡＲｆ）の映像処理を行う映像処理部８５を備える。マスクＭＫは撮影映像ｖＣ内で表示映像とオブジェクト映像を分離する情報である。
　これにより、表示装置に表示された映像と実在するオブジェクトを同時に撮影する場合において、撮影映像内に含まれる表示映像のエリアとオブジェクト映像のエリアで、それぞれ別個に映像処理を施すことができる。従って表示映像と実在するオブジェクトであることの違いに応じた処理を、映像内で適切に行うことができる。

　第１，第２，第３，第４の実施の形態では、表示装置としてＬＥＤウォール５０５を挙げ、表示される表示映像は、３Ｄ背景データをレンダリングした背景映像ｖＢである例を挙げた。また撮影映像ｖＣは、背景映像ｖＢを表示するＬＥＤウォール５０５を背景にしてオブジェクト、例えば演者５１０や物品を撮影した映像であるとした。
　ＬＥＤウォール５０５に表示された背景映像ｖＢを撮影することで、撮影映像ｖＣの各フレームには、背景映像ｖＢが映された背景エリアＡＲｂと、演者５１０や物などのオブジェクトが映された前景エリアＡＲｆが含まれることになる。これら背景エリアＡＲｂと前景エリアＡＲｆは、撮影している対象が、表示映像と実物という点で異なることで、映像上で異なる影響が生ずる。そこで撮影映像ｖＣのフレーム毎に、マスクＭＫを用いて背景エリアＡＲｂと前景エリアＡＲｆを区分して、一方又は両方について、個別に映像処理を行うようにする。これにより、撮影した対象の違いにより生じた映像上の事象について、個別に対応し、映像の修正等を行うことができる。例えば撮影映像ｖＣ内で背景エリアＡＲｂのみに生じていたアーティファクトを解消できる。従ってバーチャルプロダクションとして制作される映像の問題を解消し、バーチャルプロダクションの利点を生かした映像制作を促進できる。

　実施の形態では、映像処理部８５が、撮影映像ｖＣにおける背景エリアＡＲｂの映像処理として、アーティファクトを低減する処理を行う例を挙げた（図１６参照）。
　アーティファクトとしては、第１の実施の形態で例示したモアレの他、映像上のノイズ、意図しない色や輝度の変化など、修正や低減が求められる多様な事象が考えられる。これにより　前景エリアＡＲｆに影響を及ぼさずに背景エリアＡＲｂの修正等を行うことができる。

　第１の実施の形態では、映像処理部８５が、撮影映像ｖＣにおける背景エリアＡＲｂの映像処理として、モアレ低減処理を行う例を挙げた（図１６参照）。
　ＬＥＤウォール５０５に表示された背景映像ｖＢを撮影することで、撮影映像ｖＣの背景エリアＡＲｂにはモアレＭが生じてしまうことがある。従って背景エリアＡＲｂを特定した上でモアレ低減処理を行う。これによりモアレを解消又は軽減できるとともに、前景エリアＡＲｆにはモアレ低減処理の影響を及ぼさないようにすることができる。例えば背景エリアＡＲｂにはＬＰＦ処理等でモアレを低減しても、前景エリアＡＲｆではＬＰＦ処理等を施さずに高精細な画像を維持するといったことが可能である。

　第１の実施の形態では、撮影映像ｖＣにおける背景エリアＡＲｂの映像処理として、背景エリアＡＲｂにおけるモアレ発生度合判定を行い、判定結果に応じてモアレ低減処理を行う例を挙げた（図１７，図１８参照）。
　撮影映像ｖＣの各フレームについて、背景エリアＡＲｂに低減処理が必要なレベルのモアレＭが生じている場合にモアレ低減処理を行うようにすることで、必要な場合にモアレ低減処理が行われるようにすることができる。

　第１の実施の形態では、撮影映像ｖＣにおける背景エリアＡＲｂの映像処理として、背景エリアＡＲｂにおけるモアレ発生度合判定を行い、判定結果に応じて処理強度を設定してモアレ低減処理を行う例を挙げた（図１８、図１９参照）。
　背景エリアＡＲｂに発生しているモアレＭの度合いに応じてモアレ低減処理の強度、例えばぼかし具合の強度を設定することで、モアレの低減に有効な処理とすることができる。

　第１の実施の形態では、撮影映像ｖＣと背景映像ｖＢを比較してモアレ発生度合判定を行う例を挙げた（図１７のステップＳ１４１等参照）。
　ＬＥＤウォール５０５に表示された背景映像ｖＢとしてのフレームと、そのフレームの背景映像ｖＢを撮影した撮影映像ｖＣのフレームを比較し、差分を取得することで、モアレの発生や度合いを判定することができる。これによりモアレ低減処理の強度を適切に設定できる。

　第１の実施の形態のでは、撮影時のカメラ５０２の撮影情報、又は撮影施設の撮影環境情報に基づいてモアレ発生度合判定を行う例を挙げた（図１７のステップＳ１４１等参照）。
　撮影環境情報として取得するＬＥＤウォール５０５におけるＬＥＤパネル５０６のピッチ幅や、撮影情報として取得する撮影時のカメラ５０２の情報、例えば撮影時のカメラ位置、カメラの向き、画角などを参照すると、モアレが発生しやすい状態か否かを判定できる。つまりモアレの発生や度合いを推定することができる。これによりモアレ低減処理の強度を適切に設定できる。

　第２の実施の形態では、映像処理部８５が、撮影映像ｖＣにおける背景エリアＡＲｂの映像処理として、背景エリアＡＲｂの映像修正処理を行う例を挙げた（図２０参照）。
　ＬＥＤウォール５０５に表示された背景映像ｖＢを撮影することで、撮影映像ｖＣの背景エリアＡＲｂには画像欠損が生じたり、量子化誤差によるバウンディングが生じたりすることなどがある。このような場合に背景エリアＡＲｂについて映像修正処理を行うことで、背景エリアＡＲｂの映像品質を向上させることができる。

　第３の実施の形態では、映像処理部８５が、撮影映像ｖＣにおける前景エリアＡＲｆの映像処理として、モアレ低減処理を行う例を挙げた（図２３参照）。
　撮影映像ｖＣの前景エリアＡＲｆにモアレＭが生じてしまうことがある。そこで前景エリアＡＲｆを特定した上でモアレ低減処理を行う。これによりモアレを解消又は軽減でき、前景エリアＡＲｆの映像の品質を向上させることができる。

　第３の実施の形態では、撮影映像ｖＣにおける前景エリアＡＲｆの映像処理として、被写体の衣服についての判定処理を行い、判定結果に応じてモアレ低減処理を行う例を挙げた（図２３のステップＳ１７０，Ｓ１７１，Ｓ１７２参照）。
　撮影映像ｖＣの前景エリアＡＲｆにモアレＭが生じてしまうことがあるが、特に衣服の柄によってモアレＭが発生しやすさが異なる。そこで衣服の柄の判定を行って、それに応じてモアレ低減処理を実行するか否かを決めたり、或いは処理強度を設定したりすることは有効な処理となる。

　第３の実施の形態では、撮影映像ｖＣにおける前景エリアＡＲｆの映像処理として、前景エリアＡＲｆの映像修正処理を行う例を挙げた（図２３のステップＳ１８０参照）。
　例えば映像修正処理として、輝度処理や色処理を行う。ＬＥＤウォール５０５に表示された背景映像ｖＢの輝度や、色、或いは照明とのバランスなどにより、被写体が暗くなってしまうことや、逆に明るくなりすぎていることなどがある。そこで輝度や色合いの修正処理を行う。これにより背景映像ｖＢとバランスのよい輝度や色合いの映像に修正できることになる。

　第１，第２，第３の実施の形態では、映像処理部８５は、撮影時に、撮影映像ｖＣのフレーム毎に、背景エリアＡＲｂの映像処理、又は前景エリアＡＲｆの映像処理を行うものとした。
　例えばレンダリングエンジン５２０は、カメラ５０２による撮影を行っているときに、ほぼリアルタイムで、撮影映像ｖＣのフレーム毎に、マスクＭＫを用いて背景エリアＡＲｂと前景エリアＡＲｆを判定し、いずれか、又は両方についての映像処理を行う。これにより記録される撮影映像ｖＣは、モアレや欠損のない映像（処理後撮影映像ｖＣＲ）とすることができる。従ってプロダクションＳＴ２の段階で高品質な撮影映像ｖＣを得ることができる。

　第１，第２，第３の実施の形態では、映像処理部８５は、撮影時に、前記撮影映像のフレーム毎に、マスクＭＫを生成して、そのフレームにおける背景エリアＡＲｂと前景エリアＡＲｆを判定するものとした（図１６，図２０、図２３のステップＳ１０２参照）。
　例えばレンダリングエンジン５２０は、カメラ５０２による撮影を行っているときに、撮影映像ｖＣのフレーム毎に、映像Ｐｓｗｉｒを用いてマスクＭＫを生成する。これによりフレーム毎に適切に背景エリアＡＲｂと前景エリアＡＲｆの判定が可能になる。

　なお、図１５のようにカメラ５０２でマスクＭＫを生成する場合は、レンダリングエンジン５２０はカメラ５０２から送信されたマスクＭＫを用いることができる。その場合、図１６，図２０、図２３、図２４のステップＳ１０２でマスクＭＫを生成しなくてもよく、レンダリングエンジン５２０の処理負担が軽減される。

　第４の実施の形態では、映像処理部８５は、撮影映像ｖＣの各フレームを記録媒体から読み出すとともに、各フレームに対応して記録されたマスクＭＫを記録媒体から読み出して、撮影映像ｖＣのフレーム毎に、背景エリアＡＲｂの映像処理、又は前景エリアＡＲｆの映像処理を行う例を挙げた（図２５参照）。
　例えば撮影時にマスクＭＫをメタデータとして撮影映像ｖＣと関連付けて記録しておく。そして撮影後の時点で、記録媒体から撮影映像ｖＣとマスクＭＫを読み出し、撮影映像ｖＣのフレーム毎に、マスクＭＫを用いて背景エリアＡＲｂと前景エリアＡＲｆを判定し、いずれか、又は両方についての映像処理を行う。これによりポストプロダクションＳＴ３において、モアレや欠損のない映像（処理後撮影映像ｖＣＲ）を得ることができる。

　第４の実施の形態では、撮影映像ｖＣの各フレームに対応する撮影情報を記録媒体から読み出し、撮影情報に基づいて、映像処理対象とするフレームを判定し、映像処理対象と判定したフレームについて、背景エリアＡＲｂの映像処理、又は前景エリアＡＲｆの映像処理を行う例を挙げた（図２５参照）。
　記録媒体から撮影情報を読み出すことで、どのフレームを映像処理対象とするかを判定することができる。例えば撮影情報から、どのフレームでモアレが発生しているかを推定し、映像処理対象とすることができる。これにより背景エリアＡＲｂや前景エリアＡＲｆについての映像処理を効率的に行うことができる。

　実施の形態においては、マスクＭＫは、撮影映像と同一の映像を撮影するＳＷＩＲカメラ５２で得られる映像Ｐｓｗｉｒに基づいて生成されるものとした。
　例えば可視光線領域から近赤外線領域（例えば４００ｎｍから１７００ｎｍ）までの広い波長帯域に高感度を有するＳＷＩＲカメラによる映像は、オブジェクト（特に人）と、光源変化の激しい背景映像ｖＢを適切に分離できるものとなる。これによりマスクＭＫを生成することで、背景エリアＡＲｂと前景エリアＡＲｆを適切に判別できる。

　実施の形態では、ＳＷＩＲカメラ５２は、表示映像（背景映像ｖＢ）とオブジェクトを撮影した撮影映像ｖＣを得るＲＧＢカメラ５１と、同じ光軸で被写体光が入射される構成とされているものとした（図１４，図１５参照）。
　例えばカメラ５０２は、撮影映像ｖＣを得るＲＧＢカメラ５１と、ＳＷＩＲカメラ５２を、同軸カメラとして配置したものとする。これにより、撮影映像ｖＣと同じ画角の映像をＳＷＩＲカメラ５２でも得ることができる。従ってＳＷＩＲカメラ５２の映像から生成したマスクＭＫは、ＲＧＢカメラ５１による撮影映像ｖＣに合致したものとでき、背景エリアＡＲｂと前景エリアＡＲｆを適切に分離できるものとなる。

　第１，第２，第３，第４の実施の形態の処理例は組み合わせることもできる。つまりレンダリングエンジン５２０や、ポストプロダクションＳＴ３で用いる情報処理装置７０において、第１，第２，第３，第４の実施の形態の処理例の全部又は一部を組み合わせて実行することもできる。

　第１，第２，第３，第４の実施の形態の処理例は、クラウドコンピューティングにより実施することもできる。例えばプロダクションＳＴ２においてレンダリングエンジン５２０やアセットサーバ５３０の機能をクラウドサーバとしての情報処理装置７０が実現するようにしてもよい。またポストプロダクションＳＴ３における第４の実施の形態の図２５のような処理もクラウドサーバとしての情報処理装置７０が実現するようにしてもよい。

　また本技術の映像処理部の例として図８のレンダリングエンジン５２０における映像処理部８５を挙げたが、例えばレンダリングエンジン５２０以外の情報処理装置において映像処理部が設けられ、実施の形態で説明した処理を行うようにしてもよい。或いはカメラ５０２等が映像処理部を有して、実施の形態で説明した処理を行うようにしてもよい。

　また実施の形態の説明では、マスクＭＫの生成のためにＳＷＩＲカメラ５２を用いるものとしたが、実在する被写体の領域の特定するためのマスクＭＫを生成のためにＳＷＩＲカメラ５２以外のものを用いてもよい。

　例えばＫｉｎｅｃｔやＬｉＤＡＲのようなデプスカメラ、ＴｏＦ（Time of Flight）センサを用いて、被写体の奥行を計測し、被写体と背景ＬＥＤの距離差分で分離することで、マスクＭＫを生成することもできる。

　また例えば、サーモグラフィカメラを用いて、人物の体温を利用して被写体を分離してマスクＭＫを生成することもできる。

　実施の形態のプログラムは、上述の映像処理部８５の処理を、例えばＣＰＵ、ＤＳＰ等のプロセッサ、或いはこれらを含むデバイスに実行させるプログラムである。
　即ち実施の形態のプログラムは、表示装置の表示映像（例えば背景映像ｖＢ）とオブジェクトとを撮影した撮影映像に対して、撮影映像ｖＣ内の表示映像とオブジェクト映像を分離するマスクＭＫを用いて判定した表示映像エリア（背景エリアＡＲｂ）の映像処理、又はマスクＭＫを用いて判定したオブジェクト映像エリア（前景エリアＡＲｆ）の映像処理を情報処理装置７０に実行させるプログラムである。
　このようなプログラムにより、上述したプロダクションＳＴ２やポストプロダクションＳＴ３に利用できる情報処理装置７０を、各種のコンピュータ装置により実現できる。

　このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。また、このようなプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

　またこのようなプログラムによれば、実施の形態の情報処理装置７０の広範な提供に適している。例えばパーソナルコンピュータ、通信機器、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、これらの装置を本開示の情報処理装置７０として機能させることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

　なお本技術は以下のような構成も採ることができる。
　（１）
　表示装置の表示映像とオブジェクトとを撮影した撮影映像に対して、
　前記撮影映像内の表示映像とオブジェクト映像を分離するマスク情報を用いて判定した表示映像エリアの映像処理、又は前記マスク情報を用いて判定したオブジェクト映像エリアの映像処理を行う映像処理部を備えた
　情報処理装置。
　（２）
　前記表示装置に表示される表示映像は３Ｄ背景データをレンダリングした背景映像であり、
　前記撮影映像は、前記背景映像を表示する表示装置を背景にしてオブジェクトを撮影した映像である
　上記（１）に記載の情報処理装置。
　（３）
　前記映像処理部は、前記撮影映像における前記表示映像エリアの映像処理として、アーティファクトを低減する処理を行う
　上記（１）又は（２）に記載の情報処理装置。
　（４）
　前記映像処理部は、前記撮影映像における前記表示映像エリアの映像処理として、モアレ低減処理を行う
　上記（１）から（３）のいずれかに記載の情報処理装置。
　（５）
　前記映像処理部は、前記撮影映像における前記表示映像エリアの映像処理として、前記表示映像エリアにおけるモアレ発生度合判定を行い、判定結果に応じてモアレ低減処理を行う
　上記（１）から（４）のいずれかに記載の情報処理装置。
　（６）
　前記映像処理部は、前記撮影映像における前記表示映像エリアの映像処理として、前記表示映像エリアにおけるモアレ発生度合判定を行い、判定結果に応じて処理強度を設定してモアレ低減処理を行う
　上記（１）から（５）のいずれかに記載の情報処理装置。
　（７）
　前記映像処理部は、前記撮影映像と前記表示映像を比較して前記モアレ発生度合判定を行う
　上記（５）又は（６）に記載の情報処理装置。
　（８）
　前記映像処理部は、撮影時のカメラの撮影情報、又は撮影施設の撮影環境情報に基づいて前記モアレ発生度合判定を行う
　上記（５）から（７）のいずれかに記載の情報処理装置。
　（９）
　前記映像処理部は、前記撮影映像における前記表示映像エリアの映像処理として、前記表示映像エリアの映像修正処理を行う
　上記（１）から（８）のいずれかに記載の情報処理装置。
　（１０）
　前記映像処理部は、前記撮影映像における前記オブジェクト映像エリアの映像処理として、モアレ低減処理を行う
　上記（１）から（９）のいずれかに記載の情報処理装置。
　（１１）
　前記映像処理部は、前記撮影映像における前記オブジェクト映像エリアの映像処理として、被写体の衣服についての判定処理を行い、判定結果に応じてモアレ低減処理を行う
　上記（１）から（１０）のいずれかに記載の情報処理装置。
　（１２）
　前記映像処理部は、前記撮影映像における前記オブジェクト映像エリアの映像処理として、前記オブジェクト映像エリアの映像修正処理を行う
　上記（１）から（１１）のいずれかに記載の情報処理装置。
　（１３）
　前記映像処理部は、撮影時に、前記撮影映像のフレーム毎に、前記表示映像エリアの映像処理、又は前記オブジェクト映像エリアの映像処理を行う
　上記（１）から（１２）のいずれかに記載の情報処理装置。
　（１４）
　前記映像処理部は、撮影時に、前記撮影映像のフレーム毎に、前記マスク情報を生成して、フレームにおける前記表示映像エリアと前記オブジェクト映像エリアを判定する
　上記（１）から（１３）のいずれかに記載の情報処理装置。
　（１５）
　前記映像処理部は、前記撮影映像の各フレームを記録媒体から読み出すとともに、各フレームに対応して記録されたマスク情報を記録媒体から読み出して、前記撮影映像のフレーム毎に、前記表示映像エリアの映像処理、又は前記オブジェクト映像エリアの映像処理を行う
　上記（１）から（１２）のいずれかに記載の情報処理装置。
　（１６）
　前記映像処理部は、前記撮影映像の各フレームに対応する撮影情報を記録媒体から読み出し、撮影情報に基づいて、映像処理対象とするフレームを判定し、映像処理対象と判定したフレームについて、前記表示映像エリアの映像処理、又は前記オブジェクト映像エリアの映像処理を行う
　上記（１５）に記載の情報処理装置。
　（１７）
　前記マスク情報は、撮影映像と同一の映像を撮影する赤外線短波長カメラで得られる映像に基づいて生成される
　上記（１）から（１６）のいずれかに記載の情報処理装置。
　（１８）
　前記赤外線短波長カメラは、前記表示映像とオブジェクトを撮影した撮影映像を得るカメラと、同じ光軸で被写体光が入射される構成とされている
　上記（１７）に記載の情報処理装置。
　（１９）
　情報処理装置が、
　表示装置の表示映像とオブジェクトとを撮影した撮影映像に対して、前記撮影映像内の表示映像とオブジェクト映像を分離するマスク情報を用いて判定した表示映像エリアの映像処理、又は前記マスク情報を用いて判定したオブジェクト映像エリアの映像処理を行う
　映像処理方法。
　（２０）
　表示装置の表示映像とオブジェクトとを撮影した撮影映像に対して、前記撮影映像内の表示映像とオブジェクト映像を分離するマスク情報を用いて判定した表示映像エリアの映像処理、又は前記マスク情報を用いて判定したオブジェクト映像エリアの映像処理を
　情報処理装置に実行させるプログラム。

７０　情報処理装置、
７１　ＣＰＵ
８５　映像処理部
５００　撮影システム
５０１　パフォーマンスエリア
５０２，５０２ａ，５０２ｂ　カメラ
５０３　アウトプットモニタ
５０５　ＬＥＤウォール
５０６　ＬＥＤパネル
５２０　レンダリングエンジン
５３０　アセットサーバ
５４０　シンクジェネレータ
５５０　オペレーションモニタ
５６０　カメラトラッカー
５７０　ＬＥＤプロセッサ
５８０　ライト
５８１　ライティングコントローラ
５９０　ディスプレイコントローラ
ｖＢ　背景映像
ｖＢＣ　撮影領域映像
ｖＣ　撮影映像
ｖＣＲ　処理後撮影映像
ＭＫ　マスク
ＡＲｂ　背景エリア
ＡＲｆ　前景エリア

Claims

　表示装置の表示映像とオブジェクトとを撮影した撮影映像に対して、
　前記撮影映像内の表示映像とオブジェクト映像を分離するマスク情報を用いて判定した表示映像エリアの映像処理、又は前記マスク情報を用いて判定したオブジェクト映像エリアの映像処理を行う映像処理部を備えた
　情報処理装置。
　前記表示装置に表示される表示映像は３Ｄ背景データをレンダリングした背景映像であり、
　前記撮影映像は、前記背景映像を表示する表示装置を背景にしてオブジェクトを撮影した映像である
　請求項１に記載の情報処理装置。
　前記映像処理部は、前記撮影映像における前記表示映像エリアの映像処理として、アーティファクトを低減する処理を行う
　請求項１に記載の情報処理装置。
　前記映像処理部は、前記撮影映像における前記表示映像エリアの映像処理として、モアレ低減処理を行う
　請求項１に記載の情報処理装置。
　前記映像処理部は、前記撮影映像における前記表示映像エリアの映像処理として、前記表示映像エリアにおけるモアレ発生度合判定を行い、判定結果に応じてモアレ低減処理を行う
　請求項１に記載の情報処理装置。
　前記映像処理部は、前記撮影映像における前記表示映像エリアの映像処理として、前記表示映像エリアにおけるモアレ発生度合判定を行い、判定結果に応じて処理強度を設定してモアレ低減処理を行う
　請求項１に記載の情報処理装置。
　前記映像処理部は、前記撮影映像と前記表示映像を比較して前記モアレ発生度合判定を行う
　請求項５に記載の情報処理装置。
　前記映像処理部は、撮影時のカメラの撮影情報、又は撮影施設の撮影環境情報に基づいて前記モアレ発生度合判定を行う
　請求項５に記載の情報処理装置。
　前記映像処理部は、前記撮影映像における前記表示映像エリアの映像処理として、前記表示映像エリアの映像修正処理を行う
　請求項１に記載の情報処理装置。
　前記映像処理部は、前記撮影映像における前記オブジェクト映像エリアの映像処理として、モアレ低減処理を行う
　請求項１に記載の情報処理装置。
　前記映像処理部は、前記撮影映像における前記オブジェクト映像エリアの映像処理として、被写体の衣服についての判定処理を行い、判定結果に応じてモアレ低減処理を行う
　請求項１に記載の情報処理装置。
　前記映像処理部は、前記撮影映像における前記オブジェクト映像エリアの映像処理として、前記オブジェクト映像エリアの映像修正処理を行う
　請求項１に記載の情報処理装置。
　前記映像処理部は、撮影時に、前記撮影映像のフレーム毎に、前記表示映像エリアの映像処理、又は前記オブジェクト映像エリアの映像処理を行う
　請求項１に記載の情報処理装置。
　前記映像処理部は、撮影時に、前記撮影映像のフレーム毎に、前記マスク情報を生成して、フレームにおける前記表示映像エリアと前記オブジェクト映像エリアを判定する
　請求項１に記載の情報処理装置。
　前記映像処理部は、前記撮影映像の各フレームを記録媒体から読み出すとともに、各フレームに対応して記録されたマスク情報を記録媒体から読み出して、前記撮影映像のフレーム毎に、前記表示映像エリアの映像処理、又は前記オブジェクト映像エリアの映像処理を行う
　請求項１に記載の情報処理装置。
　前記映像処理部は、前記撮影映像の各フレームに対応する撮影情報を記録媒体から読み出し、撮影情報に基づいて、映像処理対象とするフレームを判定し、映像処理対象と判定したフレームについて、前記表示映像エリアの映像処理、又は前記オブジェクト映像エリアの映像処理を行う
　請求項１５に記載の情報処理装置。
　前記マスク情報は、撮影映像と同一の映像を撮影する赤外線短波長カメラで得られる映像に基づいて生成される
　請求項１に記載の情報処理装置。
　前記赤外線短波長カメラは、前記表示映像とオブジェクトを撮影した撮影映像を得るカメラと、同じ光軸で被写体光が入射される構成とされている
　請求項１７に記載の情報処理装置。
　情報処理装置が、
　表示装置の表示映像とオブジェクトとを撮影した撮影映像に対して、前記撮影映像内の表示映像とオブジェクト映像を分離するマスク情報を用いて判定した表示映像エリアの映像処理、又は前記マスク情報を用いて判定したオブジェクト映像エリアの映像処理を行う
　映像処理方法。
　表示装置の表示映像とオブジェクトとを撮影した撮影映像に対して、前記撮影映像内の表示映像とオブジェクト映像を分離するマスク情報を用いて判定した表示映像エリアの映像処理、又は前記マスク情報を用いて判定したオブジェクト映像エリアの映像処理を
　情報処理装置に実行させるプログラム。