JP5227883B2

JP5227883B2 - 合成映像生成システム、照明制御装置及びプログラム

Info

Publication number: JP5227883B2
Application number: JP2009118724A
Authority: JP
Inventors: 結子山内; 秀樹三ツ峰; 崇史深谷; 英彦大久保; 誠喜井上
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2009-05-15
Filing date: 2009-05-15
Publication date: 2013-07-03
Anticipated expiration: 2029-05-15
Also published as: JP2010268285A

Description

本発明は、映像制作におけるバーチャルスタジオの映像合成に関し、特に、背景のＣＧ（コンピュータ・グラフィックス）描画映像と前景の被写体の映像の照明量を合致させる合成映像生成システム、照明制御装置及びプログラムに関する。

バーチャルスタジオには、例えばブルーバックで撮影された人物などの被写体の映像から人物などの被写体領域のみキー信号として抽出し、別に作成したＣＧ映像や予め撮影した映像とキー信号を基にクロマキー合成する技法、ＣＧ領域の信号を基に、ＣＧなどの映像を実際の映像に合成する技法、これらの技法を組み合わせて行う技法などがあり、総じて、撮影カメラの動作に連動したＣＧ描画映像を生成してカメラ映像と合成する技法は、仮想スタジオ又はバーチャルスタジオと称される。

従来、リアルタイムに行われるバーチャルスタジオでは、ブルーバックに対して照明を照射する際には、ブルーの背景から合成のためのキー信号を得るために、ブルーバックの均一性が要求され、この照明量を均一に照射する必要があった。しかし、ＣＧの背景の照明量に限らず、照明量を均一に照射しようとしても、従来技術では被写体に照射する照明量はＣＧの背景と合致した照明量とならない。このため、被写体のキー信号で抜き出した前景とＣＧの背景を合成しても、違和感を生じさせる合成映像となることが一般的であった。

一方、非リアルタイムで行われる合成映像の場合には、被写体に照射する照明量をＣＧの背景と合わせるために、目視で被写体への照明量を把握する必要性が生じることがあり、合成時には、手動で被写体のキー信号を抜き出す作業が行われることもある。手動でキー信号を抜き出す作業は、画像一枚一枚に対して行われるため、時間と労力がかかるのが現状である。

また、リアルタイムに環境照明の違和感の少ない合成画像を実現する映像撮影システムがある（例えば、特許文献１参照）。この映像撮影システムは、ブルーバックの代わりに、再帰性反射材スクリーンを用いたドーム状の空間を構成し、赤外線によるキー信号の抽出及び合成と、ドーム状の空間の環境照明の制御を同時に実現する技法である。この映像撮影システムによれば、ドーム外から照明した再帰性反射材スクリーンからの照明が被写体に照射され、環境照明の合った自然な合成が可能になっている。

特許第４１７０１８号明細書

従来のバーチャルスタジオの技法では、映像合成時に背景や前景となるＣＧや映像を撮影した際の照明量と、撮影して合成される被写体の照明量が合致しておらず、合成映像に違和感を生じさせる。

また、再帰性反射材スクリーンを用いたドーム状の空間を構成した映像撮影システムにおいても、照明が再帰性反射材スクリーンで拡散され、被写体の照明量を直接的に制御するような指向性の高い照明制御を実現できないため、映像合成時のＣＧ描画映像と被写体の映像の合成の際には、これらの照明量の差によって違和感を生じさせる場合がある。

このように、従来からの合成映像生成システムにおけるクロマキー合成技法では、ＣＧ描画映像と被写体の照明量の違いから違和感を生じさせる合成映像となり、再帰性反射材スクリーンによるドームと赤外線を組み合わせた合成技法においても、環境照明を合わせることはできるものの、被写体の照明量を直接的に制御するような指向性ある照明を被写体に照射させることは困難であった。

被写体の照明量を直接的に制御するような指向性ある照明を被写体に照射させるために、照明ランプやプロジェクタなどの照明装置から再帰性反射材スクリーンを介さずに直接の照明を行うことも可能であるが、照明機材の個数や設置の制限、及び機材の制御が複雑になる。

本発明の目的は、前景となる被写体に対して、背景と同等となる所望の指向性のある照明量を計算して、前景への照明量の制御を行うことにより、背景のＣＧ描画映像と前景となる被写体の映像との違和感のない合成映像を生成可能にする合成映像生成システム、照明制御装置及びプログラムを提供することにある。

本発明による合成映像生成システムでは、前景の実写に対して背景の実写又はＣＧ描画映像を合成する映像合成を行なうにあたり、前景及び背景の照明量を合致させるために、背景の実写又はＣＧの照明量を把握して、前景の実写に対する照明位置及び照明量を決定し、決定した照明位置及び照明量を得るための照明装置（例えば、プロジェクタ）からの光線を割り出して前景の照明量を制御する。これにより、映像合成時の実写又はＣＧ描画映像からなる背景の照明量と、前景の照明量とを合致させるようにする。

即ち、本発明による合成映像生成システムは、バーチャルスタジオにおける実写の前景の映像及び合成対象の背景の映像を合成する合成映像生成システムであって、バーチャルスタジオにおける前景となる被写体を撮影して前景の映像を生成する撮影カメラと、バーチャルスタジオにおける合成対象の背景の映像を生成する背景映像生成装置と、前記背景の映像と前記前景の映像とを合成して合成映像を生成する合成装置と、所定のデータに基づく照明量の光を照射する照明装置（例えば、プロジェクタ）と、前記照明装置から当該被写体に照射するまでの光路を規定する照明補助装置と、前記背景の映像と前記前景の映像における照明量の差に基づいて、被写体側の照明位置及び照明量を表す被写体側照明パターンを算出し、算出した被写体側照明パターンから前記照明補助装置を介して照射すべき照明方向及び照明量となる照明装置側照明パターン（例えば、プロジェクタ側照明パターン）を前記所定のデータとして生成し、該照明装置用照明パターンにより前記照明装置が投射する光線方向及び照明量を制御する照明制御装置とを備えることを特徴とする。

また、本発明による合成映像生成システムにおいて、前記照明補助装置は、前記照明装置から照射された光を反射するための複数の凸形鏡面を有する鏡面反射装置であるか、又は前記照明装置から照射された光を集光するための複数の凸形レンズ部を有する複合レンズ装置であることを特徴とする。

また、本発明による合成映像生成システムにおいて、当該被写体の３次元位置を特定するための３次元位置センサと、前記３次元位置センサによって特定される被写体位置情報を生成する被写体位置検出装置とを更に備え、前記照明制御装置は、前記背景の映像から前記被写体位置情報に従って前記前景の映像を特定し、前記背景の映像と前記前景の映像における照明量の差を決定することを特徴とする。

また、本発明による合成映像生成システムにおいて、前記照明制御装置は、前記背景の映像と前記合成映像から前記前景の映像を特定し、前記背景の映像と前記前景の映像における照明量の差を決定することを特徴とする。

更に、本発明による照明制御装置は、所定のデータに基づく照明量の光を照射する照明装置（例えば、プロジェクタ）と、前記照明装置から当該被写体に照射するまでの光路を規定する照明補助装置とを備える、バーチャルスタジオにおける実写の前景の映像及び合成対象の背景の映像を合成する合成映像生成システムにて、前記背景の映像と前記前景の映像における照明量の差に基づいて前記照明装置が射出する照明量を制御する照明制御装置であって、前記背景の映像と前記前景の映像における照明量の差に基づいて、被写体側の照明位置及び照明量を表す被写体側照明パターンを算出する被写体側照明パターン部と、該算出した被写体側照明パターンから前記照明補助装置を介して照射すべき照明方向及び照明量となる照明装置側照明パターン（例えば、プロジェクタ側照明パターン）を前記所定のデータとして生成する照明装置側照明パターン生成部と、該照明装置用照明パターンにより前記照明装置が投射する光線方向及び照明量を制御する照明制御部とを備えることを特徴とする。

更に、本発明は、所定のデータに基づく照明量の光を照射する照明装置（例えば、プロジェクタ）と、前記照明装置から当該被写体に照射するまでの光路を規定する照明補助装置とを備える、バーチャルスタジオにおける実写の前景の映像及び合成対象の背景の映像を合成する合成映像生成システムにて、前記背景の映像と前記前景の映像における照明量の差に基づいて前記照明装置が射出する照明量を制御する照明制御装置として機能するコンピュータに、前記背景の映像と前記前景の映像における照明量の差に基づいて、被写体側の照明位置及び照明量を表す被写体側照明パターンを算出するステップと、該算出した被写体側照明パターンから前記照明補助装置を介して照射すべき照明方向及び照明量となる照明装置側照明パターン（例えば、プロジェクタ側照明パターン）を前記所定のデータとして生成するステップと、該照明装置用照明パターンにより前記照明装置が投射する光線方向及び照明量を制御するステップとを実行させるためのプログラムとしても特徴付けられる。

本発明によれば、被写体に当てる構成を制御するために、鏡面又はレンズ面を有する照明補助装置を介して、照明装置（例えば、プロジェクタ）からの光線の強度と指向性を制御することで、所望の照明量を被写体に照射することを可能とする。

また、本発明によれば、前景の被写体とＣＧ背景領域とが連動した指向性のある照明制御を実現することができ、バーチャルスタジオ内でＣＧ描画映像と被写体の自然な合成が可能となる。

本発明による実施例１の合成映像生成システムの概略図である。本発明による実施例１の合成映像生成システムにおける照明制御装置のブロック図である。本発明による実施例１の合成映像生成システムにおける照明制御装置の動作を示すフローチャートである。本発明による実施例１の合成映像生成システムにおける照明制御装置の演算例を示す図である。本発明による実施例１の合成映像生成システムにおける照明制御装置の演算例を示す図である。本発明による実施例２の合成映像生成システムの概略図である。本発明による実施例２の合成映像生成システムにおける照明制御装置のブロック図である。本発明による実施例２の合成映像生成システムにおける照明制御装置の動作を示すフローチャートである。

先ず、本発明による実施例１の合成映像生成システムを説明する。

図１は、本発明による実施例１の合成映像生成システムの概略図である。本実施例の合成映像生成システムは、ＣＧ描画映像の照明量と合致させるために、被写体１１に照射される照明量を制御するためのシステムである。本実施例の合成映像生成システムは、撮影カメラ１、背景映像生成装置の１つとしてのバーチャルスタジオ用ＣＧ描画装置２、合成装置３、３次元位置センサ４、照明制御装置５、照明装置の１つとしてのプロジェクタ７、照明補助装置の１つとしての鏡面反射装置８、被写体位置検出装置９、モニタ１０、及び背景スクリーン１２を備える。尚、プロジェクタ７及び鏡面反射装置８の位置は固定されているものとする。また、プロジェクタ７の初期光量はゼロとし、初期時の被写体１１は、スタジオ内の室内光（外部光）によって照射されているものとする。

撮影カメラ１は、既存の赤外／カラー同軸型カメラ（例えば、特許文献１参照）であり、撮影カメラ１に連動したＣＧ描画を行うための既存のバーチャルスタジオ用の雲台１ａ上に設けられる。従って、撮影カメラ１は、合成映像の前景となる被写体１１とキーカラー（本例では、赤外映像で被写体を切り出し可能）を持つ背景スクリーン１２を含むバーチャルスタジオのカメラ映像信号（例えば、カラー映像信号）と、カメラ映像信号の映像から被写体部分を抜き出すのに用いる赤外映像信号とを出力するとともに、雲台１ａによる撮影映像の画角等を特定するためのカメラパラメータ（パン値、チルト値、ズーム値、フォーカス値等）とを出力する。例えば、撮影カメラ１は、カメラ映像信号と赤外映像信号を得るために、可視域フィルタ及び赤外域フィルタを用いるか、又は色分解プリズムを用いてもよい。また、撮影カメラ１は、カメラ映像信号と赤外映像信号を時分割多重して送出するのがリアルタイムの合成映像を得るのに好適である。

バーチャルスタジオ用ＣＧ描画装置２は、撮影カメラ１からカメラパラメータを取得して、カメラ映像信号に対応するカメラパラメータに連動させたＣＧオブジェクト（背景の映像）を描画し、描画したＣＧオブジェクト（背景）の映像を合成装置３に送出する。また、バーチャルスタジオ用ＣＧ描画装置２は、カメラパラメータを含むＣＧオブジェクトの情報を照明制御装置５にも送出する（以下、照明制御装置５に送出するＣＧオブジェクト情報を「ＣＧスクリーン情報」と称する）。

合成装置３は、撮影カメラ１から供給されるカメラ映像信号と赤外映像信号から、被写体１１の映像を抜き出して、被写体映像（前景の映像）を生成し、この被写体映像（前景の映像１１ａ）とバーチャルスタジオ用ＣＧ描画装置２から供給されるＣＧオブジェクトの映像（背景の映像１０ａ）とを合成した合成映像を生成し、モニタ１０に出力する。この合成映像が、バーチャルスタジオの出力となり、撮影カメラ１が具備するモニタに表示させることもできる。

３次元位置センサ４は、被写体１１の３次元位置を特定する。より具体的には、３次元位置センサ４は、所定の距離間隔で配置した少なくとも２台以上の環境カメラを用いて構成することができる。尚、３次元位置センサ４は、ステレオカメラで３次元座標を推定する方式以外に、磁気式やその他の３次元センサを用いても撮影に影響を及ぼさない方式であればどのような技法でも構わない。

被写体位置検出装置９は、３次元位置センサ４を構成する各環境カメラを同期撮影するように制御し、同期撮影した出力画像から特徴点を抽出し、各環境カメラの出力画像における特徴点の対応点探索を行って、ステレオ法を用いて特徴点の３次元座標を推定する。これにより、被写体位置検出装置９は、３次元位置センサ４による当該被写体１１の位置情報（以下、「被写体位置情報」と称する）を照明制御装置５に送出することができる。特に、被写体１１が動きを持つ場合に、被写体位置検出装置９によって３次元座標における特徴点の移動を検出することで、被写体１１の動きも検出することもできる。

照明制御装置５は、３次元位置センサ４による当該被写体１１の被写体位置情報、及び、バーチャルスタジオ用ＣＧ描画装置２からのＣＧスクリーン情報に応じて、即ち背景の映像と前景の映像における照明量の差に基づいて、被写体１１側の照明位置及び照明量を表す被写体側照明パターンを算出し、算出した被写体側照明パターンから鏡面反射装置８を介して照射すべき照明方向及び照明量となるプロジェクタ側照明パターンを生成し、このプロジェクタ用照明パターンによりプロジェクタ７が投射する光線方向及び照明量を制御する。被写体側照明パターン及びプロジェクタ側照明パターンについては、詳細に後述する。従って、照明制御装置５は、背景の映像から被写体位置情報に従って前景の映像を特定し、背景の映像と前記前景の映像における照明量の差を決定するように機能する。

プロジェクタ７は、照明制御装置５によって生成された所定のデータ（プロジェクタ用照明パターン）に基づく照明量の光を照射する。

鏡面反射装置８は、プロジェクタ７から被写体１１に照射するまでの光路を規定する照明補助装置の一つである。鏡面反射装置８は、プロジェクタ７から照射された光を反射するための複数の凸形鏡面を有し、鏡面反射装置８についての詳細は後述する。

本実施例の合成映像生成システムでは、被写体１１に照射される照明量について、バーチャルスタジオ用ＣＧ描画装置２でのＣＧスクリーン情報と、被写体位置検出装置９で得られた被写体位置情報を基に、照明制御装置５によって、被写体１１に照射される実照明の割り当て計算を行ってプロジェクタ用照明パターンを生成し、プロジェクタ７から鏡面反射装置８を介して実照明を被写体１１に当てることができる。これにより、撮影カメラ１によって、背景のＣＧ照明量と合致する照明量の被写体１１の映像を撮影することができるようになる。

次に、本実施例の合成映像生成システムにおける照明制御装置５について詳細に説明する。

図２は、本発明による実施例１の合成映像生成システムにおける照明制御装置のブロック図である。図３は、本発明による実施例１の合成映像生成システムにおける照明制御装置の動作を示すフローチャートである。

本実施例の照明制御装置５は、被写体側照明パターン生成部５１と、プロジェクタ側照明パターン生成部５２と、照明制御部５３とを備える。

照明制御装置５は、被写体側照明パターン生成部５１により、バーチャルスタジオ用ＣＧ描画装置２からＣＧスクリーン情報を入力するとともに（ステップＳ１）、被写体位置検出装置９から被写体位置情報を入力し（ステップＳ２）、これらの情報から、撮影カメラ１で撮影されるべき２次元被写体映像を生成し、２次元被写体映像を構成する画素（任意の画素サイズの画素ブロックとすることができる）について、被写体１１における照明量と背景の照明量との差が小さくなるような所望の照明量に対応する画素値を有する被写体側照明パターンを生成して、プロジェクタ側照明パターン生成部５２に送出する（ステップＳ３）。

照明制御装置５は、プロジェクタ側照明パターン生成部５２により、被写体側照明パターン生成部５１から供給されるプロジェクタ側照明パターンから、所望の照明量に対応する画素値ごとに、プロジェクタ７の位置と鏡面反射装置８の鏡面の位置で定まる光路を算出し、プロジェクタ７からの照明光として照射されるべき照明量に対応する画素値（任意の画素サイズの画素ブロックとすることができる）を有するプロジェクタ側照明パターンを生成し、照明制御部５３に送出する（ステップＳ４）。

照明制御装置５は、照明制御部５３により、プロジェクタ側照明パターン生成部５２から供給されるプロジェクタ側照明パターンを投影するように制御するための照明制御信号をプロジェクタ７に送出する（ステップＳ５）。これにより、プロジェクタ７は、照明制御装置５によって生成されたプロジェクタ用照明パターンに基づく照明量の光を照射することになる。

次に、照明制御装置５が、被写体側照明パターンからプロジェクタ側照明パターンを生成する例を図４及び図５を参照して説明する。図４及び図５は、本発明による実施例１の合成映像生成システムにおける照明制御装置の演算例を示す図である。

図４を参照して、プロジェクタ７から鏡面反射装置８の球中心Ｏａ，Ｏｂ，Ｏｃとして曲率半径ｒの鏡面８ａ，８ｂ，８ｃを介して被写体１１に照射されるまでの光路を説明する。プロジェクタ７から照射される照明光の光線ＯＰ_Ａ〜ＯＰ_Ｅは、それぞれプロジェクタ側照明パターン７ａを構成する画素値Ｌ_Ａ〜Ｌ_Ｅの１つ以上の組み合わせで制御される。

図４では、光線ＯＰ_Ａ，ＯＰ_Ｃは、鏡面反射装置８の鏡面８ａ，８ｂで反射してそれぞれ被写体１１の照明量ＳＬ_Ａ，ＳＬ_Ｃとなる様子を示している。また、光線ＯＰ_Ｂは、鏡面反射装置８の鏡面８ｂで反射して被写体１１とは異なる部分に光線が向かう様子を示している。光線ＯＰ_Ｄ，ＯＰ_Ｅは、被写体１１の位置で収束し、射出側の照明量Ｌ_Ｄ，Ｌ_Ｅで制御される光線ＯＰ_Ｄ，ＯＰ_Ｅの加算した照明量ＳＬ_Ｅ＋Ｄとなる様子を示している。この場合の被写体側照明パターン１１ａは、照明量ＳＬ_Ａ，ＳＬ_Ｃ，ＳＬ_Ｅ＋Ｄを有する各画素値のパターンとして考えることができる。これは、プロジェクタ７の指向性及び鏡面反射装置８の鏡面が特定され、即ちプロジェクタ７、鏡面反射装置８、及び被写体１１の物理寸法及び配置関係が固定されているために、物体共役と像共役の関係で、被写体側照明パターンとプロジェクタ側照明パターンとを関連付けていることを意味している。

以下に説明する例では、被写体１１に照射される照明条件（照射位置及び照射量）となる被写体側照明パターンから光路を逆計算して、プロジェクタ側で必要とされるプロジェクタ側照明パターンを求める。例えば、レイトレーシング法（光線追跡法）を用いて、被写体側照明パターンの画素ごとに視線（レイ）を発生させて全ての交差するものを探索する。本実施例のレイトレーシング法では、鏡面反射装置８の鏡面で反射した結果、プロジェクタ側照明パターンを求めることができる。

図５を参照して、プロジェクタ側照明パターン７ａを構成する照明量Ｌ_Ａ，Ｌ_Ｂ，Ｌ_Ｃ（参照番号を新たに付している）を有する各画素値をプロジェクタ７から照射させる場合を説明する。この例では、鏡面反射装置８の球中心Ｏａ，Ｏｂ，Ｏｃとして曲率半径ｒの鏡面８ａ，８ｂ，８ｃを介して被写体１１に照射されるまでの光路を形成し、被写体１１の生成した２次元被写体映像における所定画素位置（例えば、反射点Ｑに対応する位置からの高さＨの画素位置）で収束し、射出側の照明量Ｌ_Ａ，Ｌ_Ｂ，Ｌ_Ｃで制御される光線ＯＰ_Ａ，ＯＰ_Ｂ，ＯＰ_Ｃの加算した照明量ＳＬ_{Ａ＋Ｂ＋Ｃ}となる例である。

ここで、鏡面反射装置８の鏡面８ａで反射される射出角は、θａで規定され、鏡面反射装置８の鏡面８ｂで反射される射出角は、θｂで規定され、鏡面反射装置８の鏡面８ｃで反射される射出角は、θｃで規定される。更に、鏡面８ａ，８ｂ，８ｃに、射出側の照明量Ｌ_Ａ，Ｌ_Ｂ，Ｌ_Ｃの画素位置がそれぞれ投影される像の範囲として規定しているとき、被写体側照明パターンとプロジェクタ側照明パターンとを関連付けることができる。以下、代表的に鏡面８ｂにて反射する光線ＯＰ_Ｂについて説明する。

被写体１１の２次元被写体映像の面と鏡面反射装置８との為す角、被写体１１の２次元被写体映像の面とプロジェクタ７の射出面との為す角、及び被写体１１のスクリーンとプロジェクタ７の射出面との為す角は、プロジェクタ７、鏡面反射装置８、及び被写体１１の物理寸法及び配置関係が固定されているために特定されることに留意する。

そこで、レイトレーシング法として概説するために、被写体側照明パターンからプロジェクタ側照明パターンへと光が入射して反射するものとして説明する。先ず、曲率半径ｒの鏡面８ｂ上の任意の点に反射点Ｑがあると仮決定すると、鏡面８ｂにおける光線ＯＰ_Ｂの反射点Ｑとプロジェクタ７の基準面との距離Ｍ、鏡面８ｂにおける光線ＯＰ_Ｂの反射点Ｑと被写体１１の２次元被写体映像の面までの距離Ｎは全て規定される。図５では、理解を容易にするために、２次元被写体映像の面とプロジェクタ７の基準面とは垂直にある例を示している。

このため、反射点Ｑで反射することになる被写体１１の２次元被写体映像の面上の画素のＳＬ_{Ａ＋Ｂ＋Ｃ}からの光線ＯＰ_Ｂからの入射角は、曲率半径ｒの鏡面Ｏｂ上の反射点Ｑにおける接線で定まる角度で入射して反射する。反射した光線ＯＰ_Ｂは、プロジェクタ７が位置する基準面のいずれかの位置に結像する。この結像点が、プロジェクタ７の本来の射出点（プロジェクタ側照明パターンの範囲内）となるまで、仮決定した反射点Ｑを曲率半径ｒの鏡面８ｂ上で移動させる。角度θｂの範囲内でプロジェクタ７の本来の射出点（プロジェクタ側照明パターンの範囲内）となる反射点Ｑを見つけることができれば、鏡面８ｂ上に対応するプロジェクタ７の本来の射出側の照明量Ｌ_Ｂの画素位置を決定する。同様なやり方で、各鏡面についてプロジェクタ７側のプロジェクタ側照明パターンにおける画素位置を決定し、決定した画素位置から所望の照明量となる総和を構成する画素位置（画素数）を最終決定する。

尚、図５の説明から分かるように、プロジェクタ７、鏡面反射装置８、及び被写体１１の物理寸法及び配置関係が固定されているために、被写体側照明パターンの画素位置とプロジェクタ側照明パターンの画素位置とは、予め関連付けておくことができるため（例えば、マップを生成しておく）、被写体１１における所望の照明量の被写体側照明パターンを決定すれば、直ちにプロジェクタ側照明パターンを決定することができる。

更に、被写体側照明パターン１１ａにおけるＳＬ_{Ａ＋Ｂ＋Ｃ}の光量によっては例えば３つの鏡面（球面）８ａ，８ｂ，８ｃからの光を利用する必要がない場合もある。このため、各鏡面とプロジェクタ７との交線を調べて、被写体１１側に所望される光量に用いる鏡面反射装置８の球面個数を決定した後、プロジェクタ７の射出光量の最大値と被写体１１側に所望される光量とを比較するのが好適である。被写体１１側にて再現できる最大光量としては、鏡面反射装置８の球面個数×プロジェクタ７の射出光量の最大値からなる最大光量となり、被写体１１側に所望される光量はこの最大光量以下であるという制限を設ける。これにより、鏡面反射装置８の球面個数で平均して光量を分散して集光させる計算、並びに球面個数以下の幾つかの球面による射出光量を計算することができる。

また、図５の説明から分かるように、被写体１１における所望の照明量は、被写体１１の２次元被写体映像の一部又は全部に対して制御可能である。

また、被写体１１は３次元形状を有するのが一般的であるが、簡単化のために、の被写体１１の像を２次元被写体映像の面として扱うことができ、被写体位置検出装置９から、被写体１１の２次元被写体映像の面の画素位置を求めることができる。所望の光線が照射される情報として、被写体１１の２次元被写体映像から、プロジェクタ７側のプロジェクタ側照明パターンにおける画素位置と鏡面反射装置８の鏡面の位置で定まる光路を決定し、プロジェクタ７からプロジェクタ側照明パターンに基づく照明光の照射方法及び照射量を決定することができる。これは、前景の被写体１１の映像と背景のＣＧ描画映像とで照明量が合致した合成映像を得ることができることを意味する。

このように、実施例１の合成映像生成システムによれば、バーチャルスタジオにおいて、鏡面反射装置８を介して、プロジェクタ７の元の光線だけでは表現できない照明量や照明方向を制御することができるため、実際に撮影カメラ１で撮影する被写体１１に必要な照明量をリアルタイムで得ることができるようになる。従って、ＣＧ背景に合致した前景の照明条件（照明位置及び照明量）を被写体に対して再現することができ、被写体１１の実写映像の前景とＣＧ描画された背景との自然な合成を行うことができるようになる。

次に、本発明による実施例２の合成映像生成システムを説明する。実施例１と同様な構成要素には同一の参照番号を付して説明する。

図６は、本発明による実施例２の合成映像生成システムの概略図である。本実施例の合成映像生成システムは、実施例１と同様に、ＣＧ描画映像の照明量と合致させるために、被写体１１に照射される照明量を制御するためのシステムである。しかしながら、本実施例の合成映像生成システムは、３次元位置センサ４及び被写体位置検出装置９を備える代わりに、照明制御装置５が、被写体１１の位置を特定するのに、バーチャルスタジオ用ＣＧ描画装置２からのＣＧスクリーン情報と、合成装置３からの合成映像の情報とを利用する点で相違する。また、本実施例では、鏡面反射装置８の代わりに、プロジェクタ７からの照射光を適所に集光する複合レンズ装置１３を用いる例について説明する。尚、プロジェクタ７及び複合レンズ装置１３の位置は固定されているものとする。また、プロジェクタ７の初期光量はゼロとし、初期時の被写体１１は、スタジオ内の室内光（外部光）によって照射されているものとする。

撮影カメラ１、バーチャルスタジオ用ＣＧ描画装置２、合成装置３、及びプロジェクタ７は、実施例１と同様の機能を有する。従って、実施例１と相違する点について詳細に説明する。

複合レンズ装置１３は、プロジェクタ７から被写体１１に照射するまでの光路を決める照明補助装置の一つである。複合レンズ装置１３は、プロジェクタ７から照射された光を集光するための複数の凸形レンズ部を有し、実施例１の鏡面反射装置８と同様に、前述の航路計算と同様にレイトレーシング法によって被写体１１の照射量の制御に用いることができる。

図７は、本発明による実施例２の合成映像生成システムにおける照明制御装置のブロック図である。図８は、本発明による実施例２の合成映像生成システムにおける照明制御装置の動作を示すフローチャートである。

本実施例の照明制御装置５は、実施例１と同様の被写体側照明パターン生成部５１、プロジェクタ側照明パターン生成部５２、及び照明制御部５３のほかに、前景・後景照明差演算部５４を更に備える。特に、本実施例の照明制御装置５は、背景の映像と合成映像から前景の映像を特定し、背景の映像と前景の映像における照明量の差を決定するように機能する。

本実施例の照明制御装置５は、被写体位置を決定するために、前景・後景照明差演算部５４により、バーチャルスタジオ用ＣＧ描画装置２からＣＧスクリーン情報を入力し（ステップＳ１１）、合成装置３からの合成映像の情報（ＣＧスクリーン情報に対応する合成後の画素位置情報）を入力し（ステップＳ１２）、双方の情報の差分から得られる被写体１１に対応する画素領域を特定し（ステップＳ１３）、これを被写体位置情報として当該ＣＧスクリーン情報とともに被写体側照明パターン生成部５１に送出する。

本実施例の照明制御装置５は、前景・後景照明差演算部５４からの被写体位置情報、及び、バーチャルスタジオ用ＣＧ描画装置２からのＣＧスクリーン情報に応じて、実施例１と同様に、被写体側照明パターン生成部５１により、被写体１１における照明量と背景の照明量との差が小さくなるような所望の照明量に対応する画素値を有する被写体側照明パターンを生成し（ステップＳ１４）、プロジェクタ側照明パターン生成部５２により、算出した被写体側照明パターンから複合レンズ装置１３を介して照射すべき照明量となるプロジェクタ側照明パターンを生成し（ステップＳ１５）、照明制御部５３により、このプロジェクタ用照明パターンによりプロジェクタ７が投射する照明量及び光線方向を制御する（ステップＳ１６）。

このように、実施例２の合成映像生成システムによれば、バーチャルスタジオにおいて、鏡面反射装置８を介して、プロジェクタ７の元の光線だけでは表現できない照明量や照明方向を制御することができるため、実際に撮影カメラ１で撮影する被写体１１に必要な照明量をリアルタイムで得ることができるようになる。従って、ＣＧ背景に合致した前景の照明条件（照明位置及び照明量）を被写体１１に対して再現することができ、被写体１１の実写映像の前景とＣＧ描画された背景との自然な合成を行うことができるようになる。

また、実施例２の合成映像生成システムによれば、３次元位置センサ４及び被写体位置検出装置９によって被写体１１の正確な位置情報を把握する必要がない場合に、簡易な方法で被写体１１の照明量の決定に利用する２次元被写体映像を得ることができる。一方、被写体１１のより正確な位置情報を把握する必要がある場合には、実施例２の合成映像生成システムにおいて、３次元位置センサ４及び被写体位置検出装置９を設けて実施例１の構成と併用するように構成することもできる。

また、本発明の一態様として、照明制御装置５をコンピュータとして構成することができる。この場合、照明制御装置５の各構成要素の機能を実現させるためのプログラムは、各コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。また、各制御に用いる情報及びデータは、このメモリに記憶しておくことができる。このようなメモリは、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。プログラムを実行する制御部は、中央演算処理装置（ＣＰＵ）などで実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、コンピュータ上で各構成要素の機能を実現することができる。ここで、いずれかの構成要素の機能をハードウェアの全部又は一部で実現しても良い。

上述の各実施例の合成映像生成システムは、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。例えば、実施例１及び実施例２において、鏡面反射装置８と複合レンズ装置１３と入れ替えた実施例を実現することもできる。従って、本発明は、上述の実施例によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。

本発明によれば、被写体の実写映像の前景とＣＧ描画又は実写された合成すべき背景との自然な合成を行うことができるようになるので、任意のバーチャルスタジオの合成技法に有用である。

１撮影カメラ
２バーチャルスタジオ用ＣＧ描画装置
３合成装置
４３次元位置センサ
５照明制御装置
７プロジェクタ
７ａプロジェクタ側照明パターン
８鏡面反射装置
９被写体位置検出装置
１０モニタ
１１被写体
１１ａ被写体側照明パターン
１２背景スクリーン
１３複合レンズ装置
５１被写体側照明パターン生成部
５２プロジェクタ側照明パターン生成部
５３照明制御部
５４前景・後景照明差演算部

Claims

バーチャルスタジオにおける実写の前景の映像及び合成対象の背景の映像を合成する合成映像生成システムであって、
バーチャルスタジオにおける前景となる被写体を撮影して前景の映像を生成する撮影カメラと、
バーチャルスタジオにおける合成対象の背景の映像を生成する背景映像生成装置と、
前記背景の映像と前記前景の映像とを合成して合成映像を生成する合成装置と、
所定のデータに基づく照明量の光を照射する照明装置と、
前記照明装置から当該被写体に照射するまでの光路を規定する照明補助装置と、
前記背景の映像と前記前景の映像における照明量の差に基づいて、被写体側の照明位置及び照明量を表す被写体側照明パターンを算出し、算出した被写体側照明パターンから前記照明補助装置を介して照射すべき照明方向及び照明量となる照明装置側照明パターンを前記所定のデータとして生成し、該照明装置用照明パターンにより前記照明装置が投射する光線方向及び照明量を制御する照明制御装置と、
を備えることを特徴とする合成映像生成システム。
前記照明補助装置は、前記照明装置から照射された光を反射するための複数の凸形鏡面を有する鏡面反射装置であるか、又は前記照明装置から照射された光を集光するための複数の凸形レンズ部を有する複合レンズ装置であることを特徴とする、請求項１に記載の合成映像生成システム。
当該被写体の３次元位置を特定するための３次元位置センサと、前記３次元位置センサによって特定される被写体位置情報を生成する被写体位置検出装置とを更に備え、
前記照明制御装置は、前記背景の映像から前記被写体位置情報に従って前記前景の映像を特定し、前記背景の映像と前記前景の映像における照明量の差を決定することを特徴とする、請求項１又は２に記載の合成映像生成システム。
前記照明制御装置は、前記背景の映像と前記合成映像から前記前景の映像を特定し、前記背景の映像と前記前景の映像における照明量の差を決定することを特徴とする、請求項１又は２に記載の合成映像生成システム。
所定のデータに基づく照明量の光を照射する照明装置と、前記照明装置から当該被写体に照射するまでの光路を規定する照明補助装置とを備える、バーチャルスタジオにおける実写の前景の映像及び合成対象の背景の映像を合成する合成映像生成システムにて、前記背景の映像と前記前景の映像における照明量の差に基づいて前記照明装置が射出する照明量を制御する照明制御装置であって、
前記背景の映像と前記前景の映像における照明量の差に基づいて、被写体側の照明位置及び照明量を表す被写体側照明パターンを算出する被写体側照明パターン部と、
該算出した被写体側照明パターンから前記照明補助装置を介して照射すべき照明方向及び照明量となる照明装置側照明パターンを前記所定のデータとして生成する照明装置側照明パターン生成部と、
該照明装置用照明パターンにより前記照明装置が投射する光線方向及び照明量を制御する照明制御部と、
を備えることを特徴とする照明制御装置。
所定のデータに基づく照明量の光を照射する照明装置と、前記照明装置から当該被写体に照射するまでの光路を規定する照明補助装置とを備える、バーチャルスタジオにおける実写の前景の映像及び合成対象の背景の映像を合成する合成映像生成システムにて、前記背景の映像と前記前景の映像における照明量の差に基づいて前記照明装置が射出する照明量を制御する照明制御装置として機能するコンピュータに、
前記背景の映像と前記前景の映像における照明量の差に基づいて、被写体側の照明位置及び照明量を表す被写体側照明パターンを算出するステップと、
該算出した被写体側照明パターンから前記照明補助装置を介して照射すべき照明方向及び照明量となる照明装置側照明パターンを前記所定のデータとして生成するステップと、
該照明装置用照明パターンにより前記照明装置が投射する光線方向及び照明量を制御するステップと、
を実行させるためのプログラム。