JP4741434B2 - Ｃｇ合成装置およびｃｇ合成プログラム - Google Patents

Description

本発明は、バーチャルスタジオで用いられるカメラの表示部（モニタ）に表示するための映像として、実写映像とコンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ；以下、ＣＧという）とを合成したＣＧ合成映像を生成するＣＧ合成装置およびＣＧ合成プログラムに関する。

従来、スタジオにおいてカメラで撮影する実写映像と、別途生成されたＣＧとを合成して映像を生成する、いわゆるバーチャルスタジオ（仮想スタジオ）による映像制作が一般的に行われている。このバーチャルスタジオによる映像制作手法では、カメラの動作に連動して、逐次ＣＧを合成して合成映像を生成している。
このとき、カメラの表示部には、実写映像のみが表示されるため、カメラを操作するカメラマンは、ＣＧで生成された仮想物体が、実写映像のどの位置に合成されるのかを認識することができない。そこで、従来は、仮想物体が実際に表示される位置であるスタジオのセットに、予めシール等のマークを付しておき、カメラマンは、そのマークを頼りにカメラ操作を行っていた。

しかし、近年、ＣＧで生成された仮想物体に動きを持たせることで、演出の効果を高めた映像制作が行われている。このため、マークによって、ＣＧで生成された物体の位置を指定することができない。そこで、最近では、バーチャルスタジオで用いられるカメラの表示部に、実写映像とＣＧとを合成したＣＧ合成映像を表示することで、カメラマンがそのＣＧ合成映像を見ながらカメラ操作を行うことを可能としている。

ここで、図９を参照して、カメラの表示部に表示するためのＣＧ合成映像を生成する、従来のＣＧ合成装置について説明する。図９は、従来のＣＧ合成装置の構成を示す機能ブロック図である。ここでは、ＣＧ合成装置２は、ＣＧデータ記憶手段３と、映像入力手段４と、カメラパラメータ入力手段５と、ＣＧ生成手段６と、映像合成手段７と、放送用映像出力手段８と、カメラ用映像出力手段９とを備えている。

ＣＧ合成装置２は、カメラパラメータ入力手段５によって、カメラＣから撮影映像の画角を特定するためのカメラパラメータ（パン値、チルト値、ズーム値、フォーカス値）を入力する。そして、ＣＧ合成装置２は、ＣＧ生成手段６によって、ＣＧデータ記憶手段３に記憶されているＣＧデータから、その画角分のＣＧを生成する。
そして、ＣＧ合成装置２は、映像合成手段７によって、撮影映像とＣＧとを合成することでＣＧ合成映像を生成する。
このように生成されたＣＧ合成映像は、放送用映像出力手段８によって、放送用映像として出力されるとともに、カメラ用映像出力手段９によって、カメラＣに出力される。
これによって、カメラＣの表示部Ｍには、ＣＧが合成された映像が表示されることになる。
なお、表示部（表示装置）の表示領域にＣＧを合成する技術については、特許文献１、特許文献２等に開示されている。
特許第３３６３８６１号公報（段落００３１〜００４３、図２） 特許第３４０６９６５号公報（段落００１４〜００３８、図１）

しかし、カメラマンが、前記したＣＧで生成された仮想物体の実際の位置を、予めセットに付したマークによって認識したり、ＣＧが合成されたＣＧ合成映像によって認識したりすることでカメラ操作を行う場合、以下に示すような問題点があった。
まず、マークによって仮想物体の位置を認識する場合、仮想物体の位置を撮影していない状態から、仮想物体の位置を撮影する状態へカメラの向きを変えようとすると、カメラマンは、そのマークの位置を確認するために、撮影現場でマークを目視により確認しなければならない。このとき、カメラマンは、マーク位置の確認と、カメラ操作とを併せて行う必要があるため、カメラ操作が困難になってしまう。
さらに、前記したように、仮想物体が動きを伴う場合、マークではその位置を指定することができない。

一方、ＣＧ合成映像によって仮想物体の位置を認識する場合、カメラの表示部に仮想物体が映っていない状態では、カメラマンは、仮想物体の位置を認識することができない。このため、仮想物体の位置を撮影していない状態から、仮想物体の位置を撮影する状態へカメラの向きを変えようとする場合、カメラマンは、カメラ操作を事前に練習しておき、仮想物体の位置を覚えておく必要がある。
また、仮想物体が動きを伴うことにより、カメラの表示部に仮想物体が映っていない状態から、表示部に映し出される状態となる場合、カメラマンは、その動きを正確に把握することができないため、カメラの動きが不自然なものとなってしまう。

本発明は、以上のような課題を解決するためになされたものであり、ＣＧで生成される仮想物体の実際の位置にマーク等を付すことなく、また、仮想物体が動きを伴う場合であっても、仮想物体の位置をカメラマンに対して正確に把握させることが可能なカメラ表示用のＣＧ合成映像を生成するＣＧ合成装置およびＣＧ合成プログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のＣＧ合成装置は、撮影映像の画角を特定するカメラパラメータと、カメラに備えられた表示部に前記撮影映像を表示する際の縮小比率を示す仮想ズームパラメータとを個別に調整可能なカメラを用い、当該カメラで撮影された撮影映像にＣＧを合成して、前記表示部に表示するためのＣＧ合成映像を生成するＣＧ合成装置であって、ＣＧデータ記憶手段と、映像入力手段と、カメラパラメータ入力手段と、再生制御信号入力手段と、仮想ズームパラメータ入力手段と、縮小映像生成手段と、ＣＧ生成手段と、映像合成手段と、映像出力手段と、を備える構成とした。

かかる構成において、ＣＧ合成装置は、カメラが撮影した映像に合成するＣＧを生成するためのＣＧデータをタイムコードに対応付けてＣＧデータ記憶手段に記憶しておく。そして、ＣＧ合成装置は、映像入力手段によって、カメラから撮影映像を入力する。また、ＣＧ合成装置は、カメラパラメータ入力手段によって、カメラパラメータを入力する。このカメラパラメータには、例えば、パン、チルト、ズーム、フォーカスの各値であるパン値、チルト値、ズーム値、フォーカス値が含まれる。このカメラパラメータを調整することで、撮影映像の画角が特定されることになる。また、ＣＧ合成装置は、再生制御信号入力手段によって、カメラから、ＣＧを再生する旨を示す再生制御信号を入力する。

さらに、ＣＧ合成装置は、仮想ズームパラメータ入力手段によって、カメラから縮小比率を示す仮想ズームパラメータを入力する。この仮想ズームパラメータは、カメラの表示部に表示される撮影映像の画角を変えずに映像を縮小する縮小比率を示す値である。
そして、ＣＧ合成装置は、縮小映像生成手段によって、撮影映像を仮想ズームパラメータで示される縮小比率分だけ縮小した縮小映像を生成する。これによって、カメラの表示部の表示領域に、撮影映像以外に表示可能な領域を確保することができる。

また、ＣＧ合成装置は、ＣＧ生成手段によって、カメラパラメータと仮想ズームパラメータ（縮小比率）とに基づいて、ＣＧデータ記憶手段に記憶されているＣＧデータから、カメラの表示部の表示領域分のＣＧを生成する。これによって、撮影映像よりも画角が広い表示領域分のＣＧが生成されることになる。

さらに、ＣＧ合成装置は、映像合成手段によって、ＣＧ生成手段で生成されたＣＧと、縮小映像生成手段で生成された縮小映像とを合成したＣＧ合成映像を生成する。そして、ＣＧ合成装置は、映像出力手段によって、映像合成手段で生成されたＣＧ合成映像をカメラに出力する。これによって、カメラの表示部には、撮影映像と、その撮影映像の画角よりも広いＣＧとを合成したＣＧ合成映像が表示されることになる。
また、ＣＧ合成装置は、ＣＧ生成手段が、時間の経過に基づいて、タイムコードに対応してＣＧを生成するオンラインＣＧ生成手段と、再生制御信号に基づいて、時間の経過とは独立して、映像のフレーム単位でＣＧを生成するオフラインＣＧ生成手段と、を備える構成とした。

また、請求項２に記載のＣＧ合成装置は、請求項１に記載のＣＧ合成装置において、前記映像合成手段が、前記縮小映像の中心が前記ＣＧ合成映像の中心となるように、前記ＣＧと前記縮小映像とを合成することを特徴とする。

かかる構成において、ＣＧ合成装置は、映像合成手段によって、縮小映像の中心がＣＧ合成映像の中心となるように合成を行うことで、撮影映像の周辺（上下左右）の領域にＣＧを合成する領域が確保されることになる。

さらに、請求項３に記載のＣＧ合成プログラムは、撮影映像の画角を特定するカメラパラメータと、カメラに備えられた表示部に前記撮影映像を表示する際の縮小比率を示す仮想ズームパラメータとを個別に調整可能なカメラを用いて撮影を行う際に、当該カメラで撮影された撮影映像にＣＧを合成して、前記表示部に表示するためのＣＧ合成映像を生成するために、コンピュータを、映像入力手段、カメラパラメータ入力手段、再生制御信号入力手段、仮想ズームパラメータ入力手段、縮小映像生成手段、ＣＧ生成手段、映像合成手段、映像出力手段として機能させる構成とした。

かかる構成において、ＣＧ合成プログラムは、映像入力手段によって、カメラから撮影映像を入力する。また、ＣＧ合成プログラムは、カメラパラメータ入力手段によって、カメラパラメータを入力する。このカメラパラメータを調整することで、撮影映像の画角が特定されることになる。また、ＣＧ合成プログラムは、再生制御信号入力手段によって、カメラから、ＣＧを再生する旨を示す再生制御信号を入力する。

さらに、ＣＧ合成プログラムは、仮想ズームパラメータ入力手段によって、カメラから縮小比率を示す仮想ズームパラメータを入力する。この仮想ズームパラメータは、カメラの表示部に表示される撮影映像の画角を変えずに映像を縮小する縮小比率を示す値である。
そして、ＣＧ合成プログラムは、縮小映像生成手段によって、撮影映像を仮想ズームパラメータで示される縮小比率だけ縮小した縮小映像を生成する。これによって、カメラの表示部の表示領域に、撮影映像以外に表示可能な領域を確保することができる。

また、ＣＧ合成プログラムは、ＣＧ生成手段によって、カメラパラメータと仮想ズームパラメータ（縮小比率）とに基づいて、ＣＧデータ記憶手段にタイムコードに対応付けて予め記憶されているＣＧデータから、カメラの表示部の表示領域分のＣＧを生成する。これによって、撮影映像よりも画角が広い表示領域分のＣＧが生成されることになる。
なお、このＣＧ生成手段は、時間の経過に基づいて、タイムコードに対応してＣＧを生成し、再生制御信号に基づいて、時間の経過とは独立して、映像のフレーム単位でＣＧを生成する。

さらに、ＣＧ合成プログラムは、映像合成手段によって、ＣＧ生成手段で生成されたＣＧと、縮小映像生成手段で生成された縮小映像とを合成したＣＧ合成映像を生成する。そして、ＣＧ合成プログラムは、映像出力手段によって、映像合成手段で生成されたＣＧ合成映像をカメラに出力する。これによって、カメラの表示部には、撮影映像の画角よりも広いＣＧを合成したＣＧ合成映像が表示されることになる。

本発明は、以下に示す優れた効果を奏するものである。
請求項１または請求項３に記載の発明によれば、ＣＧで生成される仮想物体の位置に予めマーク等を付さなくても、カメラマンは、撮影映像に合成されたＣＧによって仮想物体の位置を認識できるため、視線を表示部から外す必要がなく、カメラ操作を安定して行うことができる。また、本発明によれば、撮影映像の画角よりも広い範囲のＣＧをカメラの表示部に表示することができるため、カメラマンは、実際には撮影されていない領域においてＣＧで生成される仮想物体の位置を認識することができる。
また、請求項１または請求項３に記載の発明によれば、ＣＧで生成される仮想物体を、動きを伴う物体として映像に合成することができる。このとき、カメラマンは、カメラを操作する際に、仮想物体が撮影映像内に映し出される前に仮想物体の位置を把握できるため、カメラ操作を安定して行うことができる。
また、請求項１または請求項３に記載の発明によれば、カメラ側からの指示により、ＣＧで生成された仮想物体の動きをＣＧ合成映像としてカメラの表示部に表示することができる。これによって、例えば、カメラマンは、放送用の映像を撮影する際に、事前に仮想物体の動きを認識することができるため、実際に放送用の映像を撮影する際に、カメラ操作を安定して行うことができる。

請求項２に記載の発明によれば、撮影映像の上下左右に、現時点において撮影されていない仮想物体をＣＧとして合成することができるため、撮影映像に対してどの方向に仮想物体が存在している場合であっても、カメラマンは、予めその位置を認識することができる。これによって、カメラマンは、カメラを操作する際、仮想物体が撮影映像内に映し出される前に仮想物体の位置を把握でき、カメラ操作を安定して行うことができる。

以下、本発明の実施の形態について図面を参照して説明する。
［バーチャルスタジオの概要］
最初に、図１を参照して、バーチャルスタジオの概要について説明する。図１は、バーチャルスタジオの概要を説明するための概略構成図である。
図１に示すように、バーチャルスタジオＶは、スタジオセットＳと、カメラＣと、ＣＧデータを記憶したＣＧデータ記憶手段１０を備えたＣＧ合成装置１とで概略構成されている。

スタジオセットＳは、実写映像として撮影される撮影セットである。ここでは、テーブル等を配置してスタジオセットＳとしている。

カメラＣは、スタジオセットＳを撮影する撮影カメラである。このカメラＣは、カメラマンによって、カメラＣのパン、チルト、ズーム、フォーカス等が操作され、それぞれの操作量を示す値であるカメラパラメータ（パン値、チルト値、ズーム値、フォーカス値）と、撮影した撮影映像（実写映像）とをＣＧ合成装置１に出力する。
さらに、カメラＣは、カメラパラメータ以外に、表示部Ｍの表示領域に撮影映像を表示する際の縮小比率（仮想ズーム値）を示す仮想ズームパラメータをＣＧ合成装置１に出力する。
そして、カメラＣは、ＣＧ合成装置１で生成されたカメラ用映像（ＣＧ合成映像）を表示部Ｍに表示することで、カメラマンに、放送等に使用される実際の映像を提示する。

ＣＧ合成装置１は、カメラＣが撮影した撮影映像にＣＧを合成し、ＣＧ合成映像を生成するものである。このＣＧ合成装置１は、ＣＧ合成映像を生成し、放送等の映像として出力するとともに、カメラマンへの提示用としてカメラＣにＣＧ合成映像を出力する。
なお、ＣＧデータ記憶手段１０には、図２に示すように、仮想空間上の仮想カメラＣ_Ｖで撮影した際にＣＧを構成する３次元立体データをＣＧデータとして記憶しておく。ここでは、３つの仮想物体ＣＧ１，ＣＧ２，ＣＧ３を構成するＣＧデータが記憶されているものとする。

ここで、図３を参照（適宜図１参照）して、ＣＧ合成装置１が生成するＣＧ合成映像について説明する。図３は、ＣＧ合成装置が生成するＣＧ合成映像であって、（ａ）は、放送等に使用されるＣＧ合成映像（放送用映像）、（ｂ）は、カメラの表示部に表示されるＣＧ合成映像（カメラ用映像）をそれぞれ示している。

図３（ａ）に示すように、ＣＧ合成装置１は、撮影映像にＣＧが合成された映像を放送用映像として生成する。この放送用映像には、仮想物体ＣＧ１およびＣＧ２が合成されているものとする。
また、図３（ｂ）に示すように、ＣＧ合成装置１は、仮想ズーム値により撮影映像を縮小し、その撮影映像の範囲外に領域を拡げてＣＧを合成することでカメラ用映像を生成する。このカメラ用映像には、仮想物体ＣＧ１およびＣＧ２以外に、撮影映像の領域外に仮想物体ＣＧ３が合成されている。

このように、図３（ａ）の放送用映像に仮想物体ＣＧ１およびＣＧ２が合成された状態で、撮影映像に仮想物体ＣＧ３が存在しない場合であっても、図３（ｂ）のカメラ用映像には、撮影映像の画角よりも広い範囲で仮想物体ＣＧ３を合成し表示することができる。
これによって、ＣＧで生成された仮想物体の位置が撮影映像に含まれていない場合であっても、カメラマンは、撮影映像の画角よりも広い範囲で予め仮想物体の位置を認識することができる。
以下、参考例の実施形態に係るＣＧ合成装置１の構成および動作について詳細に説明を行う。

［ＣＧ合成装置の構成：参考例の実施形態］
まず、図４を参照して、ＣＧ合成装置１の構成について説明する。図４は、参考例の実施形態に係るＣＧ合成装置の構成を示す機能ブロック図である。ここでは、ＣＧ合成装置１は、ＣＧデータ記憶手段１０と、映像入力手段２０と、制御データ入力手段３０と、放送用映像生成手段４０と、放送用映像出力手段５０と、カメラ用映像生成手段６０と、カメラ用映像出力手段７０とを備えている。

ＣＧデータ記憶手段１０は、ＣＧを生成するためのデータ（ＣＧデータ）を記憶するものであって、ハードディスク等の一般的な記憶装置である。ここでは、ＣＧデータ記憶手段１０には、カメラＣが撮影した映像に合成するためのＣＧデータである３次元立体データを記憶しておく。
なお、ＣＧが時系列に変化する動画ＣＧである場合は、このＣＧデータ記憶手段１０には、タイムコード（“時”、“分”、“秒”、“フレーム番号”）に対応付けられたＣＧデータを台本データとして記憶しておく。

映像入力手段２０は、カメラＣで撮影された映像を入力するものである。ここでは、映像入力手段２０は、カメラＣから、映像信号であるインターレース走査信号（またはプログレッシブ走査信号）を入力し、フレームごとに画像を構成する。この構成された画像（フレーム画像）は、逐次、放送用映像生成手段４０と、カメラ用映像生成手段６０とに出力される。

制御データ入力手段３０は、カメラＣから、種々の制御データを入力するものである。ここでは、制御データ入力手段３０は、カメラパラメータ入力手段３１と、仮想ズームパラメータ入力手段３２とを備えている。

カメラパラメータ入力手段３１は、カメラＣから、撮影映像の画角を特定するためのカメラパラメータを入力するものである。ここでは、カメラパラメータ入力手段３１は、パン、チルト、ズーム、フォーカスの各値であるパン値、チルト値、ズーム値、フォーカス値をカメラパラメータとして入力する。この入力されたカメラパラメータは、放送用映像生成手段４０と、カメラ用映像生成手段６０とに出力される。

仮想ズームパラメータ入力手段３２は、カメラＣから、カメラＣに備えられた表示部Ｍに撮影映像を表示する際の縮小比率を示す仮想ズームパラメータを入力するものである。なお、この仮想ズームパラメータは、例えば、カメラＣの操作レバー上に設けたズーム調整手段Ｚをカメラマンが操作することで、カメラＣから出力されるものである。
この入力された仮想ズームパラメータで示される縮小比率は、カメラＣの表示部Ｍに表示される撮影映像の画角をそのままにして、撮影映像を仮想的に縮小するズーム量を示している。以下、仮想ズームパラメータで示される縮小比率を仮想ズーム値ということにする。この仮想ズーム値は、カメラ用映像生成手段６０に出力される。

放送用映像生成手段４０は、映像入力手段２０において入力された映像にＣＧを合成した放送用映像（放送用ＣＧ合成映像）を生成するものである。ここでは、放送用映像生成手段４０は、放送用ＣＧ生成手段４１と、放送用映像合成手段４２とを備えている。

放送用ＣＧ生成手段４１は、カメラパラメータ入力手段３１において入力されたカメラパラメータ（パン値、チルト値、ズーム値、フォーカス値）に基づいて、ＣＧデータ記憶手段１０に記憶されているＣＧデータから、現在、カメラＣが撮影している映像に対応するＣＧ（放送用ＣＧ）を生成するものである。すなわち、放送用ＣＧ生成手段４１は、カメラパラメータに基づいて、撮影映像の画角と同じ画角となる放送用ＣＧをフレーム単位で生成する。この放送用ＣＧ生成手段４１で生成された放送用ＣＧは、放送用映像合成手段４２に出力される。

なお、ＣＧが動画ＣＧである場合、放送用ＣＧ生成手段４１は、図示を省略したタイマ等の計時手段で計時される時間の経過に伴って、ＣＧデータ記憶手段１０に記憶されているＣＧデータから、タイムコードに対応して時系列にＣＧを生成する。

放送用映像合成手段４２は、映像入力手段２０において入力された映像に、放送用ＣＧ生成手段４１で生成されたＣＧを合成した放送用映像（放送用ＣＧ合成映像）を生成するものである。ここでは、放送用映像合成手段４２は、映像入力手段２０から入力されるフレーム画像ごとに、ＣＧを合成することで放送用映像（放送用ＣＧ合成映像）を生成する。例えば、図３（ａ）で示した放送用映像を生成する。このＣＧが合成された放送用映像は、放送用映像出力手段５０に出力される。

放送用映像出力手段５０は、放送用映像生成手段４０で生成された放送用映像を外部に出力するものである。この放送用映像出力手段５０から出力される放送用映像は、視聴者が視聴する映像そのものの映像である。

カメラ用映像生成手段６０は、カメラＣの表示部Ｍに表示されるカメラ用映像（カメラ用ＣＧ合成映像）を生成するものである。ここでは、カメラ用映像生成手段６０は、縮小映像生成手段６１と、カメラ用ＣＧ生成手段６２と、カメラ用映像合成手段６３とを備えている。

縮小映像生成手段６１は、仮想ズームパラメータ入力手段３２において入力された仮想ズーム値に基づいて、映像入力手段２０において入力された映像を縮小した縮小映像を生成するものである。例えば、仮想ズーム値として、“１／２”が入力された場合、縮小映像生成手段６１は、映像入力手段２０から逐次入力されるフレーム画像の垂直方向の画素数と、水平方向の画素数とがそれぞれ“１／２”の画素数となるようにフレーム画像を縮小することで縮小映像を生成する。この縮小映像生成手段６１で生成された縮小映像は、縮小されたフレーム画像単位でカメラ用映像合成手段６３に出力される。
なお、仮想ズーム値が、“１”（等倍）の場合、縮小映像生成手段６１は、映像入力手段２０において入力された映像をそのままカメラ用映像合成手段６３に出力する。

カメラ用ＣＧ生成手段６２は、カメラパラメータ入力手段２１において入力されたカメラパラメータ（パン値、チルト値、ズーム値、フォーカス値）と、仮想ズームパラメータ入力手段３２において入力された仮想ズーム値とに基づいて、ＣＧデータ記憶手段１０に記憶されているＣＧデータから、カメラＣの表示部Ｍの表示領域分のＣＧ（カメラ用ＣＧ）を生成するものである。

ここでは、カメラ用ＣＧ生成手段６２は、カメラパラメータに基づいて、現在、カメラＣが撮影している映像の画角を特定し、その画角の中心を基準として、仮想ズーム値の逆数の倍率に相当する画角分のＣＧを生成する。例えば、仮想ズーム値として、“１／２”が入力された場合、カメラ用ＣＧ生成手段６２は、カメラＣが撮影している映像の画角の中心を基準として、水平方向および垂直方向にそれぞれ２倍した画角分のＣＧを生成する。

これによって、カメラ用ＣＧ生成手段６２において、縮小映像生成手段６１で生成された縮小映像よりも広い画角分のＣＧが生成されることになる。このカメラ用ＣＧ生成手段６２で生成されたカメラ用ＣＧは、カメラ用映像合成手段６３に出力される。
なお、ＣＧが動画ＣＧである場合、カメラ用ＣＧ生成手段６２は、図示を省略したタイマ等の計時手段で計時される時間の経過に伴って、ＣＧデータ記憶手段１０に記憶されているＣＧデータから、タイムコードに対応して時系列にＣＧを生成する。

カメラ用映像合成手段６３は、縮小映像生成手段６１で生成された縮小映像に、カメラ用ＣＧ生成手段６２で生成されたＣＧを合成したカメラ用映像（カメラ用ＣＧ合成映像）を生成するものである。ここでは、カメラ用映像合成手段６３は、縮小映像生成手段６１から入力される縮小されたフレーム画像を、当該フレーム画像の中心がカメラ用映像を構成するフレーム画像の中心となるように配置することでＣＧを合成する。

これによって、カメラ用映像合成手段６３において、カメラＣで撮影された映像に対して、仮想的に画角が広がった映像が生成される。なお、この仮想的に画角が広がった領域は、ＣＧが合成される専用の領域となる。例えば、図３（ｂ）で示したカメラ用映像のように、撮影映像の周辺にＣＧが合成される専用の領域が確保される。
このＣＧが合成されたカメラ用映像は、カメラ用映像出力手段７０に出力される。

カメラ用映像出力手段７０は、カメラ用映像生成手段６０で生成されたカメラ用映像をカメラＣに出力するものである。このカメラ用映像出力手段７０から出力されるカメラ用映像は、カメラＣの表示部Ｍに表示され、カメラマンによって参照される。

以上説明したようにＣＧ合成装置１を構成することで、ＣＧ合成装置１は、カメラＣの撮影映像よりも広い画角でＣＧを合成した映像（カメラ用映像）を生成することができる。これによって、ＣＧで表示される仮想物体が、撮影領域の近傍に近づいた段階で、仮想物体の位置を予めカメラマンに対して認識させることができる。

以上、ＣＧ合成装置１の構成について説明したが、本発明は、この構成に限定されるものではない。ここでは、ＣＧ合成装置１を、カメラ用映像と放送用映像とを生成するものとして構成したが、それぞれを分離して構成してもよい。例えば、カメラ用映像のみを生成する構成とする場合、ＣＧ合成装置１から、放送用映像生成手段４０と、放送用映像出力手段５０とを省くことができる。
なお、ＣＧ合成装置１は、一般的なコンピュータを前記した各手段として機能させるＣＧ合成プログラムによって動作させることができる。

［ＣＧ合成装置の動作］
次に、図５を参照（適宜図４参照）して、ＣＧ合成装置１の動作について説明する。図５は、参考例の実施形態に係るＣＧ合成装置の動作を示すフローチャートである。
まず、ＣＧ合成装置１は、制御データ入力手段３０によって、カメラＣから、種々の制御データ（カメラパラメータおよび仮想ズーム値）を入力する（ステップＳ１）。具体的には、ＣＧ合成装置１は、カメラパラメータ入力手段３１によって、カメラパラメータ（パン値、チルト値、ズーム値、フォーカス値）を入力し、仮想ズームパラメータ入力手段３２によって、仮想ズーム値（縮小比率）を入力する。
さらに、ＣＧ合成装置１は、映像入力手段２０によって、カメラＣから映像（映像信号）を入力する（ステップＳ２）。

そして、ＣＧ合成装置１は、放送用映像生成手段４０の放送用ＣＧ生成手段４１によって、ステップＳ１で入力したカメラパラメータに基づいて、ＣＧデータ記憶手段１０に記憶されているＣＧデータから、カメラＣが撮影している映像の画角と同じ画角のＣＧ（放送用ＣＧ）を生成する（ステップＳ３）。

その後、ＣＧ合成装置１は、放送用映像合成手段４２によって、ステップＳ２で入力した映像に、ステップＳ３で生成したＣＧを合成することで放送用映像（放送用ＣＧ合成映像）を生成する（ステップＳ４）。
そして、ＣＧ合成装置１は、放送用映像出力手段５０によって、ステップＳ４で生成した放送用映像（放送用ＣＧ合成映像）を外部に出力する（ステップＳ５）。

また、ＣＧ合成装置１は、カメラ用映像生成手段６０の縮小映像生成手段６１によって、ステップＳ１で入力した仮想ズーム値が“１”（等倍）であるか否かを判定する（ステップＳ６）。ここで、仮想ズーム値が“１”（等倍）である場合（ステップＳ６でＹｅｓ）、ＣＧ合成装置１は、ステップＳ８に動作を進める。

一方、仮想ズーム値が“１”（等倍）でない場合（ステップＳ６でＮｏ）、ＣＧ合成装置１は、縮小映像生成手段６１によって、ステップＳ２で入力した映像を、仮想ズーム値の倍率で縮小した縮小映像を生成する（ステップＳ７）。
さらに、ＣＧ合成装置１は、カメラ用ＣＧ生成手段６２によって、ステップＳ１で入力したカメラパラメータと仮想ズーム値とに基づいて、ＣＧデータ記憶手段１０に記憶されているＣＧデータから、カメラＣの表示部Ｍの表示領域分のＣＧ（カメラ用ＣＧ）を生成する（ステップＳ８）。

その後、ＣＧ合成装置１は、カメラ用映像合成手段６３によって、ステップＳ７で生成した縮小映像（仮想ズーム値が“１”（等倍）の場合は、ステップＳ２において入力された映像）に、ステップＳ８で生成したＣＧを合成することでカメラ用映像（カメラ用ＣＧ合成映像）を生成する（ステップＳ９）。

そして、ＣＧ合成装置１は、カメラ用映像出力手段７０によって、ステップＳ９で生成した放送用映像（放送用ＣＧ合成映像）をカメラＣに出力する（ステップＳ１０）。
そして、ＣＧ合成装置１は、図示を省略した操作スイッチ等により動作の終了が指示された場合（ステップＳ１１でＹｅｓ）、動作を終了する。一方、動作の終了が指示されていない場合（ステップＳ１１でＮｏ）、ＣＧ合成装置１は、ステップＳ１に戻って動作を継続する。

以上の動作によって、ＣＧ合成装置１は、カメラＣが撮影した映像に対し、放送用に使用するＣＧを合成した放送用映像と、カメラＣの表示部Ｍに表示するＣＧを合成したカメラ用映像とを生成することができる。このとき、ＣＧ合成装置１は、カメラＣから入力される仮想ズーム値により、カメラ用映像の画角は、放送用映像よりも仮想的に広い画角となり、放送用映像には合成されないＣＧをカメラマンに提示することができる。

なお、ＣＧ合成装置１の動作は、図５に示した動作に限定されるものではない。例えば、ステップＳ１におけるカメラパラメータや仮想ズーム値の入力は逐次行う必要はなく、割り込み処理によって行うこととしてもよい。
また、放送用映像を生成・出力するステップＳ３〜Ｓ５の処理と、カメラ用映像を生成・出力するステップＳ６〜Ｓ１０の処理とは、順序を換えて動作させてもよいし、並列に動作させることとしてもよい。

［ＣＧ合成装置の構成：本発明の実施形態］
次に、図６を参照して、ＣＧ合成装置の他の構成について説明する。図６は、本発明の実施形態に係るＣＧ合成装置の構成を示す機能ブロック図である。ここでは、ＣＧ合成装置１Ｂは、ＣＧデータ記憶手段１０と、映像入力手段２０と、制御データ入力手段３０Ｂと、放送用映像生成手段４０と、放送用映像出力手段５０と、カメラ用映像生成手段６０Ｂと、カメラ用映像出力手段７０とを備えている。

このＣＧ合成装置１Ｂは、図４で説明したＣＧ合成装置１に対し、カメラＣから入力される再生制御信号に基づいて、時間の経過とは独立して、カメラマンの操作に基づいて、ＣＧを合成する機能を付加している点が異なっている。
なお、制御データ入力手段３０Ｂおよびカメラ用映像生成手段６０Ｂ以外の構成については、図４で説明したＣＧ合成装置１の構成と同一のものであるため、同一の符号を付し、説明を省略する。

制御データ入力手段３０Ｂは、カメラＣから、種々の制御データを入力するもので、カメラパラメータ入力手段３１と、仮想ズームパラメータ入力手段３２と、再生制御信号入力手段３３とを備えている。カメラパラメータ入力手段３１および仮想ズームパラメータ入力手段３２は、図４で説明したＣＧ合成装置１の構成と同一のものであるため説明を省略する。

再生制御信号入力手段３３は、カメラＣから、ＣＧを再生する旨を示す再生制御信号を入力するものである。この再生制御信号は、カメラ用ＣＧ生成手段６２Ｂに出力される。
なお、この再生制御信号には、「シーケンス指示信号」、「再生指示信号」、「逆再生指示信号」、「停止指示信号」、「１フレーム再生指示信号」、「１フレーム逆再生指示信号」、「リセット信号」等を含んでいる。

「シーケンス指示信号」は、ＣＧデータ記憶手段１０に複数記憶されているＣＧの中から、どのＣＧを再生するのかを示すＣＧデータに予め対応付けた番号（シーケンス番号）を指示する信号である。なお、このシーケンス指示信号は、カメラＣから行うＣＧの再生制御を開始する信号としての意味も有している。

「再生指示信号」は、シーケンス番号で選択されたＣＧを再生する旨を指示する信号である。
「逆再生指示信号」は、シーケンス番号で選択されたＣＧを時間が戻る方向に再生（逆再生）する旨を指示する信号である。
「停止指示信号」は、再生中のＣＧを停止する旨を指示する信号である。

「１フレーム再生指示信号」は、停止しているＣＧの時系列で１フレーム分後のフレームを再生する旨を指示する信号である。なお、ここでは、１フレーム分後のフレームを再生する旨の信号を例としているが、「ｎフレーム再生指示信号」として、複数フレーム分後のフレームを再生する旨の信号としてもよい。
「１フレーム逆再生指示信号」は、停止しているＣＧの時系列で１フレーム分前のフレームを再生する旨を指示する信号である。なお、ここでは、１フレーム分前のフレームを再生する旨の信号を例としているが、「ｎフレーム逆再生指示信号」として、複数フレーム分前のフレームを再生する旨の信号としてもよい。
「リセット信号」は、カメラＣから行うＣＧの再生制御の終了を示す信号である。

これらの再生制御信号は、例えば、図７に示すように、カメラＣの表示部Ｍの下部に複数の機能ボタンからなる操作パネルＰを備え、カメラマンがこれらの機能ボタンを押下することにより、カメラＣからＣＧ合成装置１Ｂに対して出力される。
ここでは、カメラＣにおいて、機能ボタンとして、シーケンス選択ボタンＮＯを押下されることで「シーケンス指示信号」が出力される。また、再生（Ｐｌａｙ）ボタンＰＬを押下されることで「再生指示信号」、逆再生（Ｒｅｗｉｎｄ）ボタンＲＷを押下されることで「逆再生指示信号」、停止（Ｓｔｏｐ）ボタンＳＰを押下されることで「停止指示信号」が出力される。また、１（ｎ）フレーム再生（Ｆｒａｍｅ＋＋）ボタンＦＲを押下されることで「１（ｎ）フレーム再生指示信号」、１（ｎ）フレーム逆再生（Ｆｒａｍｅ−−）ボタンＢＫを押下されることで「１（ｎ）フレーム逆再生指示信号」が出力される。さらに、リセット（Ｒｅｓｅｔ）ボタンＲＳを押下されることで「リセット信号」が出力される。

図６に戻って、ＣＧ合成装置１Ｂの構成ついて説明を続ける。
カメラ用映像生成手段６０Ｂは、カメラＣの表示部Ｍに表示されるカメラ用映像（カメラ用ＣＧ合成映像）を生成するもので、縮小映像生成手段６１と、カメラ用ＣＧ生成手段６２Ｂと、カメラ用映像合成手段６３とを備えている。縮小映像生成手段６１およびカメラ用映像合成手段６３は、図４で説明したＣＧ合成装置１の構成と同一のものであるため説明を省略する。

カメラ用ＣＧ生成手段６２Ｂは、カメラパラメータと仮想ズーム値とに基づいて、ＣＧデータ記憶手段１０に記憶されているＣＧデータから、カメラＣの表示部Ｍの表示領域分のＣＧ（カメラ用ＣＧ）を生成するものである。ここでは、カメラ用ＣＧ生成手段６２Ｂは、モード切替手段６２ａと、オンラインＣＧ生成手段６２ｂと、オフラインＣＧ生成手段６２ｃとを備えている。

モード切替手段６２ａは、時間の経過に伴ってオンラインで映像にＣＧを合成するか（オンラインモード）、カメラＣからの再生制御信号に基づいてオフラインで映像にＣＧを合成するか（オフラインモード）のモードを切り替えるものである。ここでは、モード切替手段６２ａは、再生制御信号入力手段３３から入力される「シーケンス指示信号」により、モードをオフラインモードに移行し、「リセット信号」により、モードをオンラインモードに移行する。なお、このモードは図示を省略したメモリ等に記憶しておく。

オンラインＣＧ生成手段６２ｂは、オンラインモード中に、図示を省略したタイマ等の計時手段で計時される時間の経過に伴って、ＣＧデータ記憶手段１０に記憶されているＣＧデータから、タイムコードに対応して時系列にＣＧを生成するものである。このオンラインＣＧ生成手段６２ｂは、図４で説明したカメラ用ＣＧ生成手段６２と同様の機能を有している。

オフラインＣＧ生成手段６２ｃは、オフラインモード中に、再生制御信号入力手段３３から入力される再生制御信号に基づいて、ＣＧデータ記憶手段１０に記憶されているＣＧデータから、指示されたシーケンス番号のＣＧを生成するものである。
すなわち、オフラインＣＧ生成手段６２ｃは、再生制御信号により、「再生」、「逆再生」、「１（ｎ）フレーム再生」、「１（ｎ）フレーム逆再生」等のＣＧをフレーム単位で生成する。

以上説明したようにＣＧ合成装置１Ｂを構成することで、ＣＧ合成装置１Ｂは、カメラＣが放送映像として使用される映像を撮影していないオフライン中に、カメラマンが、ＣＧの合成される映像を確認することができる。これによって、カメラマンは、どの時点でどの位置にＣＧ（仮想物体）が合成されるか、あるいは、どの方向からどの方向にＣＧが移動するかといったことを事前に把握することができる。

例えば、カメラマンが、図７に示したカメラＣの操作パネルＰにおいて、シーケンス選択ボタンＮＯを押下し、再生ボタンＰＬを押下することで、図８（ａ）に示すように、ＣＧで生成された仮想物体（ここでは、鳥）が、撮影映像の右上方向から左下方向に移動することを確認することができる。
また、例えば、カメラマンが、ＣＧの再生途中に停止ボタンＳＰを押下し、１（ｎ）フレーム再生ボタンＦＲや１（ｎ）フレーム逆再生ボタンＢＫを押下することで、図８（ｂ）に示すように、仮想物体の位置をフレーム単位で確認することができる。

なお、ＣＧ合成装置１Ｂの動作は、カメラ用ＣＧ生成手段６２Ｂが、オフラインモード中に、カメラＣからの再生制御信号に基づいてＣＧを合成する以外は、図５で説明したＣＧ合成装置１の動作と同様であるため、説明を省略する。

以上、本発明に係るＣＧ合成装置によれば、ＣＧによる仮想物体の位置をマーク等によって定めておく必要がなく、カメラＣの撮影映像内にＣＧによる仮想物体が存在していない場合であっても、カメラマンが事前に仮想物体の位置を確認できるため、カメラ操作をスムーズに行うことができる。

バーチャルスタジオの概要を説明するための概略構成図である。 ＣＧと仮想カメラとの関係を示す関係図である。 ＣＧ合成装置が生成するＣＧ合成映像であって、（ａ）は、放送等に使用されるＣＧ合成映像（放送用映像）、図３（ｂ）は、カメラの表示部に表示されるＣＧ合成映像（カメラ用映像）を示している。 参考例の実施形態に係るＣＧ合成装置の構成を示す機能ブロック図である。 参考例の実施形態に係るＣＧ合成装置の動作を示すフローチャートである。 本発明の実施形態に係るＣＧ合成装置の構成を示す機能ブロック図である。 カメラに備えられた操作パネルの一例を示す図である。 操作パネルを操作した際のカメラ映像の表示例を示す図である。 従来のＣＧ合成装置の構成を示す機能ブロック図である。

符号の説明

１ ＣＧ合成装置
１０ ＣＧデータ記憶手段
２０ 映像入力手段
３０ 制御データ入力手段
３１ カメラパラメータ入力手段
３２ 仮想ズームパラメータ入力手段
３３ 再生制御信号入力手段
４０ 放送用映像生成手段
４１ 放送用ＣＧ生成手段
４２ 放送用映像合成手段
５０ 放送用映像出力手段
６０ カメラ用映像生成手段
６１ 縮小映像生成手段
６２ カメラ用ＣＧ生成手段（ＣＧ生成手段）
６２ａ モード切替手段
６２ｂ オンラインＣＧ生成手段
６２ｃ オフラインＣＧ生成手段
６３ カメラ用映像合成手段（映像合成手段）
７０ カメラ用映像出力手段（映像出力手段）

Claims (3)

1. 撮影映像の画角を特定するカメラパラメータと、カメラに備えられた表示部に前記撮影映像を表示する際の縮小比率を示す仮想ズームパラメータとを個別に調整可能なカメラを用い、当該カメラで撮影された撮影映像にＣＧを合成して、前記表示部に表示するためのＣＧ合成映像を生成するＣＧ合成装置であって、
   タイムコードに対応付けてＣＧデータを記憶するＣＧデータ記憶手段と、
   前記カメラから、前記撮影映像を入力する映像入力手段と、
   前記カメラから、前記カメラパラメータを入力するカメラパラメータ入力手段と、
   前記カメラから、前記ＣＧを再生する旨を示す再生制御信号を入力する再生制御信号入力手段と、
   前記カメラから、前記仮想ズームパラメータを入力する仮想ズームパラメータ入力手段と、
   この仮想ズームパラメータ入力手段で入力された仮想ズームパラメータで示される縮小比率に基づいて、前記撮影映像を縮小した縮小映像を生成する縮小映像生成手段と、
   前記カメラパラメータと前記縮小比率とに基づいて、前記ＣＧデータ記憶手段に記憶されているＣＧデータから、前記表示部の表示領域分のＣＧを生成するＣＧ生成手段と、
   このＣＧ生成手段で生成されたＣＧと、前記縮小映像生成手段で生成された縮小映像とを合成したＣＧ合成映像を生成する映像合成手段と、
   この映像合成手段で生成されたＣＧ合成映像を前記カメラに出力する映像出力手段と、を備え、
   前記ＣＧ生成手段が、
   時間の経過に基づいて、前記タイムコードに対応してＣＧを生成するオンラインＣＧ生成手段と、
   前記再生制御信号に基づいて、前記時間の経過とは独立して、映像のフレーム単位で前記ＣＧを生成するオフラインＣＧ生成手段と、
   を備えていることを特徴とするＣＧ合成装置。
2. 前記映像合成手段は、前記縮小映像の中心が前記ＣＧ合成映像の中心となるように、前記ＣＧと前記縮小映像とを合成することを特徴とする請求項１に記載のＣＧ合成装置。
3. 撮影映像の画角を特定するカメラパラメータと、カメラに備えられた表示部に前記撮影映像を表示する際の縮小比率を示す仮想ズームパラメータとを個別に調整可能なカメラを用いて撮影を行う際に、当該カメラで撮影された撮影映像にＣＧを合成して、前記表示部に表示するためのＣＧ合成映像を生成するために、コンピュータを、
   前記カメラから、前記撮影映像を入力する映像入力手段、
   前記カメラから、前記カメラパラメータを入力するカメラパラメータ入力手段、
   前記カメラから、前記ＣＧを再生する旨を示す再生制御信号を入力する再生制御信号入力手段、
   前記カメラから、前記仮想ズームパラメータを入力する仮想ズームパラメータ入力手段、
   この仮想ズームパラメータ入力手段で入力された仮想ズームパラメータで示される縮小比率に基づいて、前記撮影映像を縮小した縮小映像を生成する縮小映像生成手段、
   前記カメラパラメータと前記縮小比率とに基づいて、ＣＧデータ記憶手段に予めタイムコードに対応付けて記憶されているＣＧデータから、前記表示部の表示領域分のＣＧを生成するＣＧ生成手段、
   このＣＧ生成手段で生成されたＣＧと、前記縮小映像生成手段で生成された縮小映像とを合成したＣＧ合成映像を生成する映像合成手段、
   この映像合成手段で生成されたＣＧ合成映像を前記カメラに出力する映像出力手段、
   として機能させ、
   前記ＣＧ生成手段が、時間の経過に基づいて、前記タイムコードに対応してＣＧを生成し、前記再生制御信号に基づいて、前記時間の経過とは独立して、映像のフレーム単位で前記ＣＧを生成することを特徴とするＣＧ合成プログラム。

Images