JPH10327350A

JPH10327350A - 画像生成装置および画像生成方法

Info

Publication number: JPH10327350A
Application number: JP13403897A
Authority: JP
Inventors: Mitsuharu Oki; 光晴大木; Takahiro Ishii; 隆寛石井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-05-23
Filing date: 1997-05-23
Publication date: 1998-12-08

Abstract

(57)【要約】【課題】出演者の動きに対する演技を補助する画像の遅
れをなくし、出演者が演技しやすくする。【解決手段】背景２で出演者１を固定テレビカメラ１３
で撮影し、出力画像データＶＤｅを遅延処理することな
くαブレンディング部１６に供給する。ＣＧ画像データ
格納部１４より、所定のＣＧ物体をカメラ１３の視点か
ら見た投影像に対応した２次元画像データＶＤｆを読み
出してαブレンディング部１６に供給する。画像データ
格納部１５より出演者１がいない状態でカメラ１３で背
景２のみを撮影して得られた画像データＶＤｇを読み出
し、この画像データＶＤｇとカメラ１３の出力画像デー
タＶＤｅとを画像データ比較部１７で比較処理して、キ
ー信号としてのα値を得る。αブレンディング部１６で
はα値に基づいて画像データＶＤｆ，ＶＤｅに対する合
成処理をして合成画像データＶＤｈを形成し、モニタ１
８に画像データＶＤｈによる演技補助画像を表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えばテレビ局
のバーチャルスタジオで使用して好適な画像生成装置お
よび画像生成方法に関する。詳しくは、出演者を移動可
能な第１の撮像手段で撮影して得られる画像データと、
この第１の撮像手段の視点で見た透視変換を施した所定
物体の投影像に対応した画像データとを合成して視聴者
用の合成画像データを得ると共に、出演者を固定の第２
の撮像手段で撮影して得られる画像データと、この第２
の撮像手段の視点で見た透視変換を施した所定物体の投
影像に対応した画像データとを合成して出演者に対して
演技を補助する画像を表示するための合成画像データを
得ることによって、出演者の動きに対する演技を補助す
る画像の遅れをなくし、出演者が演技しやすいようにし
た画像生成装置等に係るものである。

【０００２】

【従来の技術】最近は、テレビ局において、バーチャル
スタジオあるいはバーチャルセットと呼ばれるスタジオ
で撮影し、この撮影した画像に対して、ＣＧ（コンピュ
ータグラフィクス）で作成した画像を合成し、この合成
画像を放送するということが行われるようになってきて
いる。

【０００３】天気予報番組を例にとって、詳しく説明す
る。まず、青色の背景をバックに出演者を立たせ、この
出演者をテレビカメラで撮影する。そして、このテレビ
カメラからの画像データに、ＣＧで作成された物体、例
えば気象情報の描かれた日本地図等の画像データを合成
し、視聴者に提供される合成画像に係る合成画像データ
を作成する。

【０００４】図５は、バーチャルスタジオの具体例を示
している。

【０００５】出演者１０１は、青色の背景１０２を使用
して撮影される。この背景１０２には、青色系統で目立
たないマーカー（模様）Ｍ₁〜Ｍ₉が付されている。マー
カーＭ₁〜Ｍ₉の３次元上での位置は、特定の絶対不動の
座標系（ワールド座標系）を基準として、あらかじめ測
定されている。

【０００６】次に、画像生成装置１０３を説明する。こ
の画像生成装置１０３は、背景１０２をバックに出演者
１０１を撮影する移動可能なテレビカメラ１０４を有し
ている。上述したようにマーカーＭ₁〜Ｍ₉は、青色の背
景１０２の中にあることから目立たないが、テレビカメ
ラ１０４で認識することがかろうじてできる。そのた
め、テレビカメラ１０４を基準としたマーカーＭ₁〜Ｍ₉
の３次元位置を測定することができる。

【０００７】また、画像生成装置１０３は、ワールド座
標系を基準としたマーカーＭ₁〜Ｍ₉の３次元位置情報Ｐ
ＤＷが格納されているマーカー位置情報格納部１０５
と、テレビカメラ１０４で得られる、テレビカメラ１０
４を基準としたマーカーＭ₁〜Ｍ₉の３次元位置情報ＰＤ
Ｔと、マーカー位置情報格納部１０５より読み出される
３次元位置情報ＰＤＷとから、ワールド座標系を基準と
したテレビカメラ１０４の３次元位置および向きを求め
るカメラパラメータ算出部１０６とを有している。

【０００８】ここで、ワールド座標系を基準としたマー
カーＭ₁〜Ｍ₉の３次元位置と、テレビカメラ１０４を基
準としたマーカーＭ₁〜Ｍ₉の３次元位置との関係が、あ
る回転変換Ｒとある並進変換Ｔの関係にあるとすると、
カメラパラメータ算出部１０６では、ワールド座標系を
基準としたテレビカメラ１０４の３次元位置はＴとさ
れ、向きはＲとされる。このカメラパラメータ算出部１
０６からは、求められた３次元位置および向きの情報
が、テレビカメラ１０４の視点情報ＰＯＶとして出力さ
れる。

【０００９】また、画像生成装置１０３は、ワールド座
標系を基準としたＣＧ物体の３次元位置情報ＰＣＧ、例
えば、３次元空間上のどの位置に、ＣＧで作られた「気
象情報の描かれた日本地図」が仮想的に存在しているか
という情報が格納されているＣＧ情報格納部１０７を有
している。この場合、ＣＧ情報格納部１０７には、多く
のＣＧ物体のワールド座標系を基準にした３次元位置情
報ＰＣＧが格納されており、その中から適切なＣＧ物体
の３次元位置情報ＰＣＧが選択的に読み出されて使用さ
れるが、この選択は後述する制御部によって行われる。
すなわち、制御部よりＣＧ情報格納部１０７に供給され
る読み出し要求信号ＲＲＱにより、所定のＣＧ物体の３
次元位置情報ＰＣＧが読み出される。

【００１０】また、画像生成装置１０３は、カメラパラ
メータ算出部１０６より出力されるテレビカメラ１０４
の視点情報ＰＯＶとＣＧ情報格納部１０７より読み出さ
れる所定のＣＧ物体の３次元位置情報ＰＣＧとをもと
に、その所定のＣＧ物体にテレビカメラ１０４の視点か
ら見た透視変換を施した投影像に対応した２次元画像デ
ータＶＤｃを作成するＣＧデータ作成部１０８を有して
いる。この場合、ＣＧデータ作成部１０８では、例え
ば、「気象情報の描かれた日本地図」を、あたかもテレ
ビカメラ１０４の視点（３次元位置、向き）から見た場
合の２次元画像データ（透視変換した画像に対応）ＶＤ
ｃが作成される。

【００１１】また、画像生成装置１０３は、テレビカメ
ラ１０４より出力される画像データＶＤａを遅延させる
ための時間調整用のディレイ部１０９を有している。こ
の場合、ＣＧデータ作成部１０８より時刻Ｔ１における
テレビカメラ１０４の視点から見た場合の２次元画像デ
ータＶＤｃが出力されるとき、ディレイ部１０９より画
像データＶＤｂとしてテレビカメラ１０４により時刻Ｔ
１で撮影して得られる画像データＶＤａが出力されるよ
うに、ディレイ部１０９の遅延時間が設定される。

【００１２】すなわち、カメラパラメータ算出部１０６
やＣＧデータ作成部１０８における計算には時間がかか
るが、テレビカメラ１０４よりカメラパラメータ算出部
１０６にある時刻の３次元位置情報ＰＤＴが供給されて
からＣＧデータ作成部１０８よりその３次元位置情報Ｐ
ＤＴに対応した２次元画像データＶＤｃが出力されるま
でにｔ秒を要するとき、ディレイ部１０９の遅延時間は
ｔ秒とされる。

【００１３】このようにディレイ部１０９で時間調整を
することで、後述するようにＣＧデータ作成部１０８よ
り出力される２次元画像データＶＤｃとディレイ部１０
９より出力される画像データＶＤｂとを合成する場合、
あたかもＣＧ物体と出演者１０１とが同一の空間に存在
しているものを撮影して得られた画像であるかのような
合成画像を得ることが可能となる。

【００１４】また、画像生成装置１０３は、ＣＧデータ
作成部１０８より出力される２次元画像データＶＤｃと
ディレイ部１０９より出力される画像データＶＤｂとを
ミックスするαブレンディング部１１０と、テレビカメ
ラ１０４より出力される画像データＶＤａよりαブレン
ディング部１１０にキー信号として供給するα値を得る
キー生成部１１１とを有している。

【００１５】キー生成部１１１では、画像データＶＤａ
から、青色系統の画素部分と、完全に「青色でない」画
素部分とを切り分ける作業が行われる。そして、このキ
ー生成部１１１からは画像データＶＤａの各画素毎にα
値が出力される。この場合、青色系統の画素部分ではα
＝０とされ、完全に「青色でない」画素部分ではα＝１
とされ、さらに中間色の部分では、０＜α＜１とされ
る。

【００１６】テレビカメラ１０４は、青色の背景１０２
を使用して、例えば天気予報を説明するキャスター等の
出演者１０１を撮影している。したがって、背景１０２
の投影像の部分は青色なので、画像データＶＤａのうち
背景１０２に対応する画素部分では、α＝０となる。一
方、出演者１０１の投影像の部分は青色ではないので、
画像データＶＤａのうち出演者１０１に対応する画素部
分では、α＝１となる。さらに、出演者１０１と背景１
０２との境界の投影像の部分は撮像レンズの歪みなどに
よりぼやけており、背景１０２の青色と出演者１０１の
青色以外の色とが混じった色となるので、画像データＶ
Ｄａのうち出演者１０１と背景１０２との境界に対応す
る画素部分では、０＜α＜１となる。

【００１７】なお、上述したように、ＣＧデータ作成部
１０８より時刻Ｔ１におけるテレビカメラ１０４の視点
から見た場合の２次元画像データＶＤｃが出力されると
き、ディレイ部１０９より画像データＶＤｂとしてテレ
ビカメラ１０４により時刻Ｔ１で撮影して得られる画像
データＤＶａが出力されるようにされるが、同様にＣＧ
データ作成部１０８より時刻Ｔ１におけるテレビカメラ
１０４の視点から見た場合の２次元画像データＶＤｃが
出力されるとき、キー生成部１１１よりテレビカメラ１
０４により時刻Ｔ１で撮影して得られる画像データＶＤ
ａから得られたα値が出力されるように時間調整されて
いる。

【００１８】αブレンディング部１１０では、ＣＧデー
タ作成部１０８で作成される２次元画像データＶＤｃと
ディレイ部１０９より出力される画像データＶＤｂに対
して、以下の（１）式の演算が施されて、合成画像デー
タＶＤｄが得られる。ＶＤｄ＝α×ＶＤｂ＋（１−α）×ＶＤｃ・・・（１）

【００１９】ここで、画像データＶＤｂの背景１０２に
対応する画素部分ではα＝０であるため、αブレンディ
ング部１１０からは合成画像データＶＤｄとして２次元
画像データＶＤｃがそのまま出力される。また、画像デ
ータＶＤｂの出演者１０１に対応する画素部分ではα＝
１であるため、αブレンディング部１１０からは合成画
像データＶＤｄとして画像データＶＤｂがそのまま出力
される。さらに、画像データＶＤｂの背景１０２と出演
者１０１との境界に対応する画素部分では０＜α＜１で
あり、αブレンディング部１１０からは画像データＶＤ
ｂ，ＶＤｃが混じった合成画像データＶＤｄが出力され
る。このように、画像データＶＤｂの背景１０２と出演
者１０１との境界に対応する画素部分で、画像データＶ
Ｄｂ，ＶＤｃが混じった合成画像データＶＤｄが出力さ
れるようにすることで、いわゆる境界部分のなじみをよ
くできる。

【００２０】また、画像生成装置１０３は、合成画像デ
ータＶＤｄを視聴者に提供される合成画像のデータとし
て出力する出力端子１１２と、この合成画像データＶＤ
ｄが供給され、その合成画像データＶＤｄによる画像を
出演者１０１の演技を補助するための画像として表示す
るモニタ１１３とを有している。

【００２１】また、画像生成装置１０３は、ディレクタ
の操作に応じてＣＧ情報格納部１０７に読み出し要求信
号ＲＲＱを供給する制御部１１４を有している。この制
御部１１４には、通常ユーザインタフェースが設けられ
ている。すなわち、テレビカメラ１０４より出力される
画像データＶＤａが供給され、モニタ（図示せず）にそ
の画像データＶＤａによる画像が表示され、バーチャル
スタジオ全体を運営管理しているディレクタに対して、
テレビカメラ１０４の撮影情報が提供される。ディレク
タは、例えば天気予報番組の現在の進行状況に合わせ
て、適切なＣＧの画像を選択し、制御部１１４の入力装
置（図示せず）に、その情報を入力する。これに対応し
て、制御部１１４はその情報を読み出し要求信号ＲＲＱ
としてＣＧ情報格納部１０７に供給する。

【００２２】例えば、ディレクタが、現在、日本の天気
予報を放送する時間であると判断した場合は、「気象情
報の描かれた日本地図」を提供するように制御部１１４
に指示する。制御部１１４は、この情報を読み出し要求
信号ＲＲＱとしてＣＧ情報格納部１０７に供給する。こ
れにより、ＣＧで作られた「気象情報の描かれた日本地
図」の３次元位置情報ＰＣＧが、ＣＧ情報格納部１０７
より読み出されてＣＧデータ作成部１０８に供給され
る。

【００２３】次に、画像生成装置１０３の動作を説明す
る。背景１０２をバックに出演者１０１がテレビカメラ
１０４で撮影され、このテレビカメラ１０４より画像デ
ータＶＤａが得られ、この画像データＶＤａはディレイ
部１０９でカメラパラメータ算出部１０６およびＣＧデ
ータ作成部１０８の処理時間に対応する時間だけ遅延さ
れ、画像データＶＤｂとしてαブレンディング部１１０
に供給される。

【００２４】また、テレビカメラ１０４より、このテレ
ビカメラ１０４を基準としたマーカーＭ₁〜Ｍ₉の３次元
位置情報ＰＤＴが出力され、この３次元位置情報ＰＤＴ
はカメラパラメータ算出部１０６に供給される。一方、
ワールド座標系を基準としたマーカーＭ₁〜Ｍ₉の３次元
位置情報ＰＤＷがマーカー位置情報格納部１０５より読
み出されてカメラパラメータ算出部１０６に供給され
る。カメラパラメータ算出部１０６では、マーカーＭ₁
〜Ｍ₉の３次元位置情報ＰＤＴ，ＰＤＷから、ワールド
座標系を基準としたテレビカメラ１０４の３次元位置お
よび向きが算出される。

【００２５】カメラパラメータ算出部１０６で求められ
るテレビカメラ１０４の３次元位置および向きの情報
は、テレビカメラ１０４の視点情報ＰＯＶとしてＣＧデ
ータ作成部１０８に供給される。一方、制御部１１４よ
り供給される読み出し要求信号ＲＲＱに対応してＣＧ情
報格納部１０７より所定のＣＧ物体の３次元位置情報Ｐ
ＣＧが読み出され、この３次元位置情報ＰＣＧはＣＧデ
ータ作成部１０８に供給される。ＣＧデータ作成部１０
８では、テレビカメラ１０４の視点情報ＰＯＶと所定の
ＣＧ物体の３次元位置情報ＰＣＧとをもとに、その所定
のＣＧ物体にテレビカメラ１０４の視点から見た透視変
換を施した投影像に対応した２次元画像データＶＤｃが
作成される。例えば、「気象情報の描かれた日本地図」
を、あたかもテレビカメラ１０４の視点から見た場合の
２次元画像データＶＤｃが作成される。そして、このＣ
Ｇデータ作成部１０８で作成される２次元画像データＶ
Ｄｃはαブレンディング部１１０に供給される。

【００２６】また、テレビカメラ１０４より出力される
画像データＶＤａがキー生成部１１１に供給され、キー
生成部１１１では画像データＶＤａからいわゆるソフト
キーを達成するキー信号としてのα値が生成される。そ
して、このα値はαブレンディング部１１０に供給され
る。そして、αブレンディング部１１０では、ＣＧデー
タ作成部１０８より出力される２次元画像データＶＤｃ
とディレイ部１０９より出力される画像データＶＤｂに
対して、（１）式の演算が施されて、所定のＣＧ物体の
投影像と出演者１０１の投影像との合成画像を表示する
ための合成画像データＶＤｄが得られる。

【００２７】αブレンディング部１１０より出力される
合成画像データＶＤｄは出力端子１１２に出力され、視
聴者に提供される合成画像のデータとされる。また、こ
の合成画像データＶＤｄはモニタ１１３に供給され、こ
のモニタ１１３の画面上に合成画像データＶＤｄによる
画像が出演者１０１の演技を補助するための画像として
表示される。

【００２８】図６Ａ〜Ｄを使用して、画像生成装置１０
３の各処理において、実際にどのような画像が生成され
ているかを説明する。

【００２９】図６Ａは、テレビカメラ１０４よりある時
刻において出力される画像データＶＤａによる画像を示
している。背景１０２に対応する画素部分は青色系統で
ある。出演者１０１に対応する画素部分は青色ではな
い。さらに、出演者１０１と背景１０２との境界の画素
部分は青色と青色以外の色とが混じった色となる。な
お、出演者１０１、背景１０２、マーカーＭ₁〜Ｍ₉に対
応する画像部分には、それぞれ同一符号を付して示して
いる。以下の各画像においても同様である。

【００３０】図６Ｂは、キー生成部１１１より出力され
るα値を示している。背景１０２に対応する画素部分で
はα＝０である。出演者１０１に対応する画素部分では
α＝１である。さらに、出演者１０１と背景１０２との
境界の画素部分では、０＜α＜１となる。

【００３１】図６Ｃは、ＣＧデータ作成部１０８で作成
される２次元画像データＶＤｃによる画像を示してい
る。ここでは、ＣＧ情報格納部１０７から、ＣＧで作ら
れた「気象情報の描かれた日本地図」の３次元位置情報
ＰＣＧが読み出された場合を示している。

【００３２】図６Ｄは、αブレンディング部１１０より
出力される合成画像データＶＤｄによる画像を示してい
る。すなわち、各画素のα値によって、各画素毎に、図
６Ａに示す画像と図６Ｃに示す画像とがミックスされた
画像である。

【００３３】さらに、次の時刻において、テレビカメラ
１０４が移動した場合を考えてみる。この場合、出演者
１０１が静止していたとしても、テレビカメラ１０４よ
り出力される画像データＶＤａによる画像内の出演者１
０１に対応する画像部分は画面上で移動することにな
る。カメラパラメータ算出部１０６では、ワールド座標
系を基準としたテレビカメラ１０４の３次元位置および
向きが算出され、この３次元位置および向きの情報がテ
レビカメラ１０４の視点情報ＰＯＶとしてＣＧデータ作
成部１０８に供給されるので、ＣＧ情報格納部１０７よ
り読み出されるＣＧ物体の３次元位置情報ＰＣＧが同じ
であっても、ＣＧデータ作成部１０８より出力される２
次元画像データＶＤｃは変化する。なぜなら、透視変換
において、見る位置が変化すれば、投影像も変化するか
らである。

【００３４】ある時刻とその次の時刻における透視変換
した画像データＶＤｃによる画像のの変化量は、テレビ
カメラ１０４の移動による画像の変化量と同じである。
したがって、ある時刻とその次の時刻における透視変換
した画像データＶＤｃによる画像の変化量は、テレビカ
メラ１０４で撮影された出演者１０１の投影像の移動量
に対応したものとなる。そのため、最終的に得られる合
成画像データＶＤｄによる画像において、出演者１０１
の投影像およびＣＤ物体の投影像は同じように動くこと
になる。つまり、最終的に得られる合成画像データＶＤ
ｄによる画像は、あたかも、ＣＧの物体、例えば、気象
情報の描かれた日本地図と出演者１０１とが同一の空間
に存在しているものを撮影した画像であるかのように見
える。

【００３５】

【発明が解決しようとする課題】上述した画像生成装置
１０３においては、モニタ１１３に合成画像データＶＤ
ｄによる画像、つまり出演者１０１の投影像とＣＧ物体
の投影像との合成画像が表示される。出演者１０１はそ
の画像を見ながら演技することで、自分がいまＣＧ物体
とどのような位置関係にあるかを把握できる。これによ
り、出演者１０１は、例えばＣＧで作られた「気象情報
の描かれた日本地図」の特定の部分を指し示すことも可
能である。

【００３６】ところで、上述したように、カメラパラメ
ータ算出部１０６およびＣＧデータ作成部１０８の処理
にｔ秒を要するとき、ディレイ部１０９の遅延時間がｔ
秒とされて時間調整が行われている。そのため、モニタ
１１３に表示される画像は、ｔ秒前の時刻の事象を撮影
した画像となる。具体的には、出演者１０１が手をあげ
た場合、、モニタ１１３に表示される出演者１０１の投
影像はｔ秒後に手をあげることになる。このように、ｔ
秒前の自分自身の動作をモニタ１１３で見ながら演技を
していくことは、出演者１０１にとって演技しずらいと
いう問題点があった。

【００３７】そこで、この発明では、出演者の動きに対
する演技を補助する画像の遅れをなくし、出演者が演技
しやすいようにすることを目的とする。

【００３８】

【課題を解決するための手段】この発明に係る画像生成
装置は、所定の背景をバックに出演者を撮像して第１の
画像データを得る移動可能な第１の撮像手段と、この第
１の撮像手段の視点を求めるカメラパラメータ算出手段
と、このカメラパラメータ算出手段で求められる第１の
撮像手段の視点から見た場合の透視変換を施した所定物
体の投影像に対応した第２の画像データを作成する第１
の画像データ作成手段と、第１の画像データをカメラパ
ラメータ算出手段および第１の画像データ作成手段にお
ける処理時間に対応して遅延させるデータ遅延手段と、
このデータ遅延手段により遅延された第１の画像データ
と第２の画像データとを合成して第１の合成画像データ
を得る第１の画像データ合成手段と、上記所定の背景を
バックに出演者を撮影して第３の画像データを得る固定
の第２の撮像手段と、この第２の撮像手段の視点から見
た場合の透視変換を施した所定物体の投影像に対応した
第４の画像データを出力する画像データ出力手段と、第
３の画像データと第４の画像データとを合成して第２の
合成画像データを得る第２の画像データ合成手段と、第
２の合成画像データによる出演者の演技補助のための画
像を表示する画像表示手段とを備えるものである。

【００３９】この発明に係る画像生成方法は、移動可能
な第１の撮像手段により所定の背景をバックに出演者を
撮影して第１の画像データを得るステップと、第１の撮
像手段の視点を求めるステップと、第１の撮像手段の視
点から見た場合の透視変換を施した所定物体の投影像に
対応した第２の画像データを作成するステップと、第１
の画像データを第１の撮像手段の視点を求めるステップ
および第２の画像データを作成するステップにおける処
理時間に対応して遅延させるステップと、この遅延され
た第１の画像データと第２の画像データとを合成して第
１の合成画像データを得るステップと、固定の第２の撮
像手段により上記所定の背景をバックに出演者を撮影し
て第３の画像データを得るステップと、第２の撮像手段
の視点から見た場合の透視変換を施した所定物体の投影
像に対応した第４の画像データを出力するステップと、
第３の画像データと第４の画像データとを合成して第２
の合成画像データを得るステップと、第２の合成画像デ
ータによる出演者に対しての演技補助のための画像を表
示するステップとを備えるものである。

【００４０】所定の背景、例えば青色の背景をバックに
出演者が移動可能な第１の撮像手段で撮影され、第１の
画像データが得られる。また、第１の撮像手段の視点、
例えばワールド座標系を基準とした第１の撮像手段の３
次元位置および向きが求められ、この視点から見た場合
の透視変換を施した所定物体、例えばＣＧ物体の投影像
に対応した第２の画像データが作成される。そして、第
１の画像データと第２の画像データとが合成され、例え
ば視聴者に提供する合成画像に係る第１の合成画像デー
タが得られる。この場合、第２の画像データを得るため
の処理時間に対応して第１の画像データが遅延処理さ
れ、ある時刻に第１の撮像手段で撮影されて得られた第
１の画像データと、このある時刻における第１の撮像手
段の視点から見た場合の透視変換を施した所定物体の投
影像に対応した第２の画像データとが合成されるように
される。そのため、出演者の動きに対して、第１の合成
画像データによる画像における出演者の投影像の動き
は、第１の画像データが遅延処理された分だけ遅れたも
のとなる。

【００４１】また、所定の背景、例えば青色の背景をバ
ックに出演者が固定の第２の撮像手段で撮影され、第３
の画像データが得られる。第２の撮像手段は固定である
ため、その視点は常に一定である、この第２の撮像手段
の視点から見た場合の透視変換を施した所定物体の投影
像に対応した第４の画像データが出力される。この場
合、例えば第４の画像データを記憶している第１のデー
タ記憶手段を設け、この第１のデータ記憶手段より第４
の画像データを読み出して出力するようにしてもよい。
また例えば、第２の撮像手段の視点に基づいて第４の画
像データを作成する第２の画像データ作成手段を設け、
この第２の画像データ作成手段で作成された第４の画像
データを出力するようにしてもよい。

【００４２】そして、第３の画像データと第４の画像デ
ータとが合成されて第２の合成画像データが得られる。
この場合、第２の撮像手段は固定であるため、第３の画
像データを遅延処理する必要がない。すなわち、第３の
画像データを遅延処理しなくても、ある時刻に第２の撮
像手段で撮影されて得られた第３の画像データと、この
ある時刻における第２の撮像手段の視点から見た場合の
透視変換を施した所定物体の投影像に対応した第４の画
像データとが合成されることとなる。この第２の合成画
像データによる画像が出演者に対しての演技補助のため
の画像として表示される。第２の合成画像データを得る
ために第３の画像データの遅延処理を行っていないの
で、出演者の動きに対して、第２の合成画像データによ
る画像における出演者の投影像の動きは、ほとんど遅れ
のないものとなる。

【００４３】また、第２の撮像手段で上記出演者がいな
い背景のみを撮影して得られる第５の画像データを記憶
している第２のデータ記憶手段と、第５の画像データと
第２の撮像手段で得られる第３の画像データとの比較処
理によって第３の画像データまたは第４の画像データの
いずれかを取り出すための画像切換信号を得る画像切換
信号発生手段とをさらに備え、第２の画像データ合成手
段では、その画像切換信号によって第３の画像データお
よび第４の画像データとが切り換え合成されるようにし
てもよい。この場合、画像切換信号発生手段では、第５
の画像データと第３の画像データとの比較処理によって
画像切り換え信号を得るものであり、切り換え信号を簡
単かつ迅速に得ることが可能となる。

【００４４】また、第１の撮像手段で得られる第１の画
像データと第２の撮像手段で得られる第３の画像データ
とを選択的に取り出す第１のデータ切換手段と、第１の
画像データ作成手段で作成される第２の画像データと画
像データ出力手段で出力される第４の画像データとを選
択的に取り出す第２のデータ切換手段と、第１のデータ
切換手段で第１の画像データが取り出されるとき第２の
データ切換手段で第２の画像データを取り出し、第１の
データ切換手段で第３の画像データが取り出されるとき
第２のデータ切換手段で第４の画像データを取り出すよ
うに制御する切換制御手段とをさらに備え、第１の画像
データ合成手段に、第１の画像データの代わりに第１の
データ切換手段の出力データを供給すると共に、第２の
画像データの代わりに第２のデータ切換手段の出力デー
タを供給するようにしてもよい。これにより、第２の撮
像手段で得られる第３の画像データおよび画像データ出
力手段で出力される第４の画像データを合成して第１の
合成画像データを得ることもでき、第２の撮像手段を有
効に利用することが可能となる。

【００４５】

【発明の実施の形態】以下、図面を参照しながら、この
発明の実施の形態について説明する。図１は、この発明
の第１の実施の形態としての画像生成装置３が備えられ
たバーチャルスタジオを示している。このバーチャルス
タジオでは、図５に示すバーチャルスタジオと同様に、
青色の背景をバックにテレビカメラにより出演者を撮影
し、このテレビカメラからの画像データに、ＣＧで作成
された物体、例えば気象情報の描かれた日本地図等の画
像データを合成し、視聴者に提供する合成画像に係る合
成画像データを得ることが行われている。

【００４６】このバーチャルスタジオにおいて、出演者
１は、青色の背景２を使用して撮影される。この背景２
には、図５に示すバーチャルスタジオにおける背景１０
２と同様に、青色系統で目立たないマーカー（模様）Ｍ
₁〜Ｍ₉が付されている。マーカーＭ₁〜Ｍ₉の３次元上で
の位置は、特定の絶対不動の座標系（ワールド座標系）
を基準として、あらかじめ測定されている。

【００４７】次に、画像生成装置３を説明する。この画
像生成装置３は、背景２をバックに出演者１を撮影する
移動可能なテレビカメラ４を有している。上述したよう
にマーカーＭ₁〜Ｍ₉は、青色の背景２の中にあることか
ら目立たないが、テレビカメラ４で認識することがかろ
うじてできる。そのため、テレビカメラ４を基準とした
マーカーＭ₁〜Ｍ₉の３次元位置を測定できる。

【００４８】また、画像生成装置３は、ワールド座標系
を基準としたマーカーＭ₁〜Ｍ₉の３次元位置情報ＰＤＷ
が格納されているマーカー位置情報格納部５と、テレビ
カメラ４で得られる、テレビカメラ４を基準としたマー
カーＭ₁〜Ｍ₉の３次元位置情報ＰＤＴと、マーカー位置
情報格納部５より読み出される３次元位置情報ＰＤＷと
から、ワールド座標系を基準としたテレビカメラ４の３
次元位置および向きを求めるカメラパラメータ算出部６
とを有している。

【００４９】ここで、ワールド座標系を基準としたマー
カーＭ₁〜Ｍ₉の３次元位置と、テレビカメラ４を基準と
したマーカーＭ₁〜Ｍ₉の３次元位置との関係が、ある回
転変換Ｒとある並進変換Ｔの関係にあるとすると、カメ
ラパラメータ算出部６では、ワールド座標系を基準とし
たテレビカメラ４の３次元位置はＴとされ、向きはＲと
される。このカメラパラメータ算出部６からは、求めら
れた３次元位置および向きの情報が、テレビカメラ４の
視点情報ＰＯＶとして出力される。

【００５０】なお、背景２の中のマーカーＭ₁〜Ｍ₉の個
数は９個であるが、これ以外の個数であってもよい。ま
た、テレビカメラ４に機械的に取り付けられたセンサに
より、テレビカメラ４のワールド座標系における３次元
位置および向きを求めることも可能である。例えば、テ
レビカメラ４を雲台に載せておき、歯車を使ってテレビ
カメラ４を回転できるようにしておく。歯車の回転した
量によって、テレビカメラ４の向きを知ることができ
る。この場合、テレビカメラ４よりカメラパラメータ算
出部６に供給されるデータは、歯車の回転量であり、こ
の回転量からテレビカメラ４の向きなどを算出するよう
にカメラパラメータ算出部６を構成しておく。マーカー
位置情報格納部５は不要となる。いずれにせよ、カメラ
パラメータ算出部６からは、ワールド座標系を基準とし
たテレビカメラ４の３次元位置および向きの情報が、テ
レビカメラ４の視点情報ＰＯＶとして出力される。

【００５１】また、画像生成装置３は、ワールド座標系
を基準としたＣＧ物体の３次元位置情報ＰＣＧ、例え
ば、３次元空間上のどの位置に、ＣＧで作られた「気象
情報の描かれた日本地図」が仮想的に存在しているかと
いう情報が格納されているＣＧ情報格納部７を有してい
る。この場合、ＣＧ情報格納部７には、多くのＣＧ物体
のワールド座標系を基準にした３次元位置情報ＰＣＧが
格納されており、その中から適切なＣＧ物体の３次元位
置情報ＰＣＧが選択的に読み出されて使用されるが、こ
の選択は後述する制御部によって行われる。すなわち、
制御部よりＣＧ情報格納部７に供給される読み出し要求
信号ＲＲＱにより、所定のＣＧ物体の３次元位置情報Ｐ
ＣＧが読み出される。

【００５２】また、画像生成装置３は、カメラパラメー
タ算出部６より出力されるテレビカメラ４の視点情報Ｐ
ＯＶとＣＧ情報格納部７より読み出される所定のＣＧ物
体の３次元位置情報ＰＣＧとをもとに、その所定のＣＧ
物体にテレビカメラ４の視点から見た透視変換を施した
投影像に対応した２次元画像データＶＤｃを作成するＣ
Ｇデータ作成部８を有している。この場合、ＣＧデータ
作成部８では、例えば、「気象情報の描かれた日本地
図」を、あたかもテレビカメラ４の視点（３次元位置、
向き）から見た場合の２次元画像データ（透視変換した
画像に対応）ＶＤｃが作成される。

【００５３】また、画像生成装置３は、テレビカメラ４
より出力される画像データＶＤａを遅延させるための時
間調整用のディレイ部９を有している。この場合、ＣＧ
データ作成部８より時刻Ｔ１におけるテレビカメラ４の
視点から見た場合の２次元画像データＶＤｃが出力され
るとき、ディレイ部９より画像データＶＤｂとしてテレ
ビカメラ４により時刻Ｔ１で撮影して得られる画像デー
タＶＤａが出力されるように、ディレイ部９の遅延時間
が設定されている。

【００５４】すなわち、カメラパラメータ算出部６やＣ
Ｇデータ作成部８における計算には一定の時間がかかる
が、テレビカメラ４よりカメラパラメータ算出部６にあ
る時刻の３次元位置情報ＰＤＴが供給されてからＣＧデ
ータ作成部８よりその３次元位置情報ＰＤＴに対応した
２次元画像データＶＤｃが出力されるまでにｔ秒を要す
るとき、ディレイ部９の遅延時間はｔ秒とされる。

【００５５】このようにディレイ部９で時間調整をする
ことで、後述するようにＣＧデータ作成部８より出力さ
れる２次元画像データＶＤｃとディレイ部９より出力さ
れる画像データＶＤｂとを合成する場合、あたかもＣＧ
物体と出演者１とが同一の空間に存在しているものを撮
影して得られた画像であるかのような合成画像を得るこ
とが可能となる。

【００５６】また、画像生成装置３は、ＣＧデータ作成
部８より出力される２次元画像データＶＤｃとディレイ
部９より出力される画像データＶＤｂとをミックスして
合成画像データＶＤｄを得るαブレンディング部１０
と、テレビカメラ４より出力される画像データＶＤａよ
りαブレンディング部１０にキー信号として供給するα
値を得るキー生成部１１とを有している。

【００５７】キー生成部１１では、画像データＶＤａか
ら、青色系統の画素部分と、完全に「青色でない」画素
部分とを切り分ける作業が行われる。そして、このキー
生成部１１からは画像データＶＤａの各画素毎にα値が
出力される。この場合、青色系統の画素部分ではα＝０
とされ、完全に「青色でない」画素部分ではα＝１とさ
れ、さらに中間色の部分では、０＜α＜１とされる。

【００５８】テレビカメラ４は、青色の背景２を使用し
て、例えば天気予報を説明するキャスター等の出演者１
を撮影している。したがって、背景２の投影像の部分は
青色なので、画像データＶＤａのうち背景２に対応する
画素部分では、α＝０となる。一方、出演者１の投影像
の部分は青色ではないので、画像データＶＤａのうち出
演者１に対応する画素部分では、α＝１となる。さら
に、出演者１と背景２との境界の投影像の部分は撮像レ
ンズの歪みなどによりぼやけており、背景２の青色と出
演者１の青色以外の色とが混じった色となるので、画像
データＶＤａのうち出演者１と背景２との境界に対応す
る画素部分では、０＜α＜１となる。

【００５９】なお、上述したように、ＣＧデータ作成部
８より時刻Ｔ１におけるテレビカメラ４の視点から見た
場合の２次元画像データＶＤｃが出力されるとき、ディ
レイ部９より画像データＶＤｂとしてテレビカメラ４に
より時刻Ｔ１で撮影して得られる画像データＶＤａが出
力されるようにされるが、同様にＣＧデータ作成部８よ
り時刻Ｔ１におけるテレビカメラ４の視点から見た場合
の２次元画像データＶＤｃが出力されるとき、キー生成
部１１よりテレビカメラ４により時刻Ｔ１で撮影して得
られる画像データＶＤａから得られたα値が出力される
ように時間調整されている。

【００６０】αブレンディング部１０では、ＣＧデータ
作成部８で作成される２次元画像データＶＤｃとディレ
イ部９より出力される画像データＶＤｂに対して、上述
した（１）式の演算が施されて、合成画像データＶＤｄ
が得られる。ここで、画像データＶＤｂの背景２に対応
する画素部分ではα＝０であるため、αブレンディング
部１０からは合成画像データＶＤｄとして２次元画像デ
ータＶＤｃがそのまま出力される。また、画像データＶ
Ｄｂの出演者１に対応する画素部分ではα＝１であるた
め、αブレンディング部１０からは合成画像データＶＤ
ｄとして画像データＶＤｂがそのまま出力される。さら
に、画像データＶＤｂの背景２と出演者１との境界に対
応する画素部分では０＜α＜１であり、αブレンディン
グ部１０からは画像データＶＤｂ，ＶＤｃが混じった合
成画像データＶＤｄが出力される。このように、画像デ
ータＶＤｂの背景２と出演者１との境界に対応する画素
部分で、画像データＶＤｂ，ＶＤｃが混じった合成画像
データＶＤｄが出力されるようにすることで、いわゆる
境界部分のなじみをよくできる。

【００６１】また、画像生成装置３は、合成画像データ
ＶＤｄを視聴者に提供される合成画像のデータとして出
力する出力端子１２を有している。なお、本実施の形態
においては、この合成画像データＶＤｄを、演技を補助
するための画像を表示するためには使用しない。上述し
たテレビカメラ４、マーカー位置情報格納部５、カメラ
パラメータ算出部６、ＣＧ情報格納部７、ＣＧデータ作
成部８、ディレイ部９、αブレンディング部１０および
キー生成部１１は、それぞれ図５に示す画像生成装置１
０３のテレビカメラ１０４、マーカー位置情報格納部１
０５、カメラパラメータ算出部１０６、ＣＧ情報格納部
１０７、ＣＧデータ作成部１０８、ディレイ部１０９、
αブレンディング部１１０およびキー生成部１１１と同
様に構成されている。

【００６２】また、画像生成装置３は、背景２をバック
に出演者１を撮影する固定のテレビカメラ１３を有して
いる。このテレビカメラ１３は、出演者１の演技を補助
するための合成画像を得るために使用されるものであ
る。そのため、このテレビカメラ１３が固定されてい
て、移動不可能であっても何等不都合はない。このテレ
ビカメラ１３のワールド座標系を基準にした３次元位置
および向き、つまりテレビカメラ１３の視点は、あらか
じめ測定されている。

【００６３】また、画像生成装置３は、テレビカメラ１
３の視点から見た場合の透視変換を施したＣＧ物体の投
影像に対応した２次元画像データが格納されているＣＧ
画像データ格納部１４を有している。上述したように、
ＣＧ情報格納部７には、多くのＣＧ物体のワールド座標
系を基準にした３次元位置情報ＰＣＧが格納されてい
る。例えば、「気象情報の描かれた日本地図」の３次元
位置情報ＰＣＧや、「気象情報の描かれた世界地図」の
３次元位置情報ＰＣＧなどである。ＣＧ画像データ格納
部１４には、これら各ＣＧ物体の３次元位置情報ＰＣＧ
をもとに、テレビカメラ１３の視点から見た透視変換を
施した各ＣＧ物体の投影像に対応した２次元画像データ
が格納されている。

【００６４】上述したようにテレビカメラ１３は固定で
あって、そのワールド座標系における位置、向き、つま
りテレビカメラ１３の視点はあらかじめ測定されていて
既知となっている。しかも、各ＣＧ物体のワールド座標
系における３次元位置情報ＰＣＧはＣＧ情報格納部７に
格納されている。したがって、この各ＣＧ物体の３次元
位置情報ＰＣＧをもとに、テレビカメラ１３の視点から
見た透視変換を施した各ＣＧ物体の投影像に対応する２
次元画像データを、あらかじめ作成することは可能であ
る。

【００６５】上述したようにＣＧ画像データ格納部１４
には、多くのＣＧ物体の２次元画像データが格納されて
おり、その中から適切なＣＧ物体の２次元画像データが
選択的に読み出されて使用されるが、この選択は後述す
る制御部によって行われる。すなわち、制御部よりＣＧ
情報格納部７に供給される読み出し要求信号ＲＲＱが、
このＣＧ画像データ格納部１４にも供給され、所定のＣ
Ｇ物体の２次元画像データＶＤｆが読み出される。

【００６６】また、画像生成装置３は、本番前に、出演
者１がいない状態でテレビカメラ１３で背景２のみを撮
影して得られる画像データＶＤｇを記憶しておく参照用
画像データ格納部１５を有している。参照用画像データ
格納部１５への画像データＶＤｇの格納作業は本番前に
行われ、出演者１が演技している本番中にこの参照用画
像データ格納部１５より画像データＶＤｇが読み出され
て使用される。

【００６７】また、画像生成装置３は、ＣＧ画像データ
格納部１４より読み出される２次元画像データＶＤｆと
テレビカメラ１３より出力される画像データＶＤｅとを
ミックスして合成画像データＶＤｈを得るαブレンディ
ング部１６と、テレビカメラ１３より出力される画像デ
ータＶＤｅと参照用画像データ格納部１５より読み出さ
れる画像データＶＤｇとに基づき、αブレンディング部
１６にキー信号として供給するα値を得る画像データ比
較部１７とを有している。

【００６８】上述したようにテレビカメラ１３は固定で
あって、ＣＧ画像データ格納部１４からは、テレビカメ
ラ１３の視点から見た場合の透視変換を施した所定のＣ
Ｇ物体の投影像に対応した２次元画像データＶＤｆが読
み出されている。そのため、テレビカメラ１３より出力
される画像データＶＤｅを遅延処理しなくても、αブレ
ンディング部１６では、ある時刻にテレビカメラ１３で
撮影されて得られた画像データと、このある時刻におけ
るテレビカメラ１３の視点から見た場合の透視変換を施
した所定のＣＧ物体の投影像に対応した２次元画像デー
タＶＤｆとが合成されることとなる。

【００６９】画像データ比較部１７では、画像データＶ
Ｄｅと画像データＶＤｇとが各画素毎に比較され、その
誤差が一定範囲内にあるときはＶＤｅ，ＶＤｇが同じで
あると考えてα＝０とされ、一方その誤差が一定範囲に
ないときはＶＤｅ，ＶＤｇが同じでないと考えてα＝１
とされる。例えば、画像データＶＤｅが赤、緑、青の３
原色信号Ｒｅ，Ｇｅ，Ｂｅで構成され、画像データＶＤ
ｇが赤、緑、青の３原色信号Ｒｇ，Ｇｇ，Ｂｇで構成さ
れている場合、画像データ比較部１７では、以下の
（２）式で示されるεが、所定値以下であるときはα＝
０とされ、一方所定値を越えるときはα＝１とされる。
このよように画像データＶＤｅと画像データＶＤｇとの
比較処理によってα値を得るものにおいては、簡単かつ
迅速にα値を得ることが可能となる。 ε＝（Ｒｅ−Ｒｇ）²＋（Ｇｅ−Ｇｇ）²＋（Ｂｅ−Ｂｇ）² ・・・（２）

【００７０】αブレンディング部１６では、ＣＧ画像デ
ータ格納部１４より読み出される２次元画像データＶＤ
ｆとテレビカメラ１３より出力される画像データＶＤｅ
に対して、以下の（３）式の演算が施されて、合成画像
データＶＤｈが得られる。実際には、αの値は０または
１であり、（３）式の演算は、画像データＶＤｈとし
て、画像データＶＤｆまたは画像データＶＤｅを選択す
る操作を行うだけである。ＶＤｈ＝α×ＶＤｅ＋（１−α）×ＶＤｆ・・・（３）

【００７１】また、画像生成装置３は、合成画像データ
ＶＤｈが供給され、その合成画像データＶＤｈによる画
像を出演者１の演技を補助するための画像として表示す
るモニタ１８を有している。ここで、画像データＶＤｅ
の背景２に対応する画素部分ではα＝０であるため、α
ブレンディング部１６からは合成画像データＶＤｈとし
て２次元画像データＶＤｆがそのまま出力される。画像
データＶＤｅの出演者１に対応する画素部分ではα＝１
であるため、αブレンディング部１６からは合成画像デ
ータＶＤｈとして画像データＶＤｅがそのまま出力され
る。そして、画像データＶＤｅの背景２と出演者１との
境界に対応する画素部分では、α＝０またはα＝１のい
ずれかであって、合成画像データＶＤｈは極端に変化し
てしまうので、合成画像データＶＤｈによる合成画像
は、背景２と出演者１との境界に対応する画素部分で不
自然に見える。しかし、この合成画像は、出演者１の演
技を補助するための画像であり、出演者１とＣＧ物体と
の位置関係が把握できればよいので、境界上で不自然に
見えていても問題はない。

【００７２】また、画像生成装置３は、ディレクタの操
作に応じてＣＧ情報格納部７およびＣＧ画像データ格納
部１４にそれぞれ読み出し要求信号ＲＲＱを供給する制
御部１９を有している。この制御部１９には、通常ユー
ザインタフェースが設けられている。すなわち、テレビ
カメラ４より出力される画像データＶＤａが供給され、
モニタ（図示せず）にその画像データＶＤａによる画像
が表示され、バーチャルスタジオ全体を運営管理してい
るディレクタに対して、テレビカメラ４の撮影情報が提
供される。ディレクタは、例えば天気予報番組の現在の
進行状況に合わせて、ＣＧの画像を選択し、制御部１９
の入力装置（図示せず）に、その情報を入力する。これ
に対応して、制御部１９はその情報を読み出し要求信号
ＲＲＱとしてＣＧ情報格納部７およびＣＧ画像データ格
納部１４に供給する。

【００７３】例えば、ディレクタが、現在、日本の天気
予報を放送する時間であると判断した場合は、「気象情
報の描かれた日本地図」を提供するように制御部１９に
指示する。制御部１９は、この情報を読み出し要求信号
ＲＲＱとしてＣＧ情報格納部７およびＣＧ画像データ格
納部１４に供給する。これにより、ＣＧで作られた「気
象情報の描かれた日本地図」の３次元位置情報ＰＣＧ
が、ＣＧ情報格納部７より読み出されてＣＧデータ作成
部８に供給される。また、このＣＧ情報格納部７より読
み出される３次元位置情報ＰＣＧに対応したＣＧ物体の
２次元画像データＶＤｆがＣＧ画像データ格納部１４よ
り読み出されてαブレンディング部１６に供給される。

【００７４】次に、画像生成装置３の動作を説明する。
背景２をバックに出演者１がテレビカメラ４で撮影さ
れ、このテレビカメラ４より画像データＶＤａが得ら
れ、この画像データＶＤａはディレイ部９でカメラパラ
メータ算出部６およびＣＧデータ作成部８の処理時間に
対応する時間だけ遅延され、画像データＤＶｂとしてα
ブレンディング部１０に供給される。

【００７５】また、テレビカメラ４より、このテレビカ
メラ４を基準としたマーカーＭ₁〜Ｍ₉の３次元位置情報
ＰＤＴが出力され、この３次元位置情報ＰＤＴはカメラ
パラメータ算出部６に供給される。一方、ワールド座標
系を基準としたマーカーＭ₁〜Ｍ₉の３次元位置情報ＰＤ
Ｗがマーカー位置情報格納部５より読み出されてカメラ
パラメータ算出部６に供給される。カメラパラメータ算
出部６では、マーカーＭ₁〜Ｍ₉の３次元位置情報ＰＤ
Ｔ，ＰＤＷとから、ワールド座標系を基準としたテレビ
カメラ４の３次元位置および向きが算出される。

【００７６】カメラパラメータ算出部６で求められるテ
レビカメラ４の３次元位置および向きの情報は、テレビ
カメラ４の視点情報ＰＯＶとしてＣＧデータ作成部８に
供給される。一方、制御部１９より供給される読み出し
要求信号ＲＲＱに対応してＣＧ情報格納部７より所定の
ＣＧ物体の３次元位置情報ＰＣＧが読み出され、この３
次元位置情報ＰＣＧはＣＧデータ作成部８に供給され
る。ＣＧデータ作成部８では、テレビカメラ４の視点情
報ＰＯＶと所定のＣＧ物体の３次元位置情報ＰＣＧとを
もとに、その所定のＣＧ物体にテレビカメラ４の視点か
ら見た透視変換を施した投影像に対応した２次元画像デ
ータＶＤｃが作成される。例えば、「気象情報の描かれ
た日本地図」を、あたかもテレビカメラ４の視点から見
た場合の２次元画像データＶＤｃが作成される。そし
て、この２次元画像データＶＤｃはαブレンディング部
１０に供給される。

【００７７】また、テレビカメラ４より出力される画像
データＶＤａがキー生成部１１に供給され、キー生成部
１１では画像データＶＤａからいわゆるソフトキーを達
成するキー信号としてのα値が生成される。このα値は
αブレンディング部１０に供給される。そして、αブレ
ンディング部１０では、ＣＧデータ作成部８より出力さ
れる２次元画像データＶＤｃとディレイ部９より出力さ
れる画像データＶＤｂに対して、上述の（１）式の演算
が施されて、所定のＣＧ物体の投影像と出演者１の投影
像との合成画像を表示するための合成画像データＤＶｄ
が得られる。この合成画像データＶＤｄは出力端子１２
に出力され、視聴者に提供される合成画像のデータとさ
れる。

【００７８】また、背景２をバックに出演者１がテレビ
カメラ１３で撮影され、このテレビカメラ１３より画像
データＶＤｅが得られ、この画像データＶＤｅはαブレ
ンディング部１６に供給される。一方、制御部１９より
ＣＧ画像データ格納部１４に読み出し要求信号ＲＲＱが
供給され、このＣＧ画像データ格納部１４より所定のＣ
Ｇ物体をテレビカメラ１３の視点から見た投影像に対応
した２次元画像データＶＤｆが読み出されてαブレンデ
ィング部１６に供給される。

【００７９】また、テレビカメラ１３より出力される画
像データＶＤｅが画像データ比較部１７に供給される。
そして、この画像データ比較部１７では、画像データＶ
Ｄｅと参照用画像データ格納部１５より読み出される画
像データＶＤｇとの比較処理が行われて（（２）式参
照）、０または１のα値が生成される。このα値はαブ
レンディング部１６に供給される。そして、αブレンデ
ィング部１６では、ＣＧ画像データ格納部１４より読み
出される２次元画像データＶＤｆとテレビカメラ１３よ
り出力される画像データＶＤｅに対して、上述の（３）
式の演算が施されて、所定のＣＧ物体の投影像と出演者
１の投影像との合成画像を表示するための合成画像デー
タＤＶｈが得られる。この合成画像データＶＤｈはモニ
タ１８に供給され、このモニタ１８の画面上に合成画像
データＤＶｈによる画像が出演者１の演技を補助するた
めの画像として表示される。

【００８０】ここで、画像生成装置３の各処理におい
て、実際にどのような画像が生成されているかを説明す
る。テレビカメラ４より出力される画像データＤＶａに
よる画像、キー生成部１１より出力されるα値、ＣＧデ
ータ作成部８で作成される２次元画像データＤＶｃによ
る画像、αブレンディング部１０より出力される合成画
像データＤＶｄによる画像に関しては、図５に示す画像
生成装置１０３について説明したと同様であるので、そ
の説明は省略する（図６Ａ〜Ｄ参照）。

【００８１】また、図２Ａは、出演者１がいない状態で
テレビカメラ１３で撮影して得られる画像データ、つま
り参照用画像データ格納部１５より読み出される画像デ
ータＶＤｇによる画像を示している。なお、背景２、マ
ーカーＭ₁〜Ｍ₉に対応する画像部分には、それぞれ同一
符号を付して示している。以下の各画像においても同様
である。

【００８２】また、図２Ｂは、テレビカメラ１３よりあ
る時刻において出力される画像データＶＤｅによる画像
を示している。テレビカメラ１３の視点は、テレビカメ
ラ４の視点とは違うので、テレビカメラ４より出力され
る画像データＶＤａによる画像（図６Ａに図示）とは異
なっている。

【００８３】図２Ｃは、画像データ比較部１７より出力
されるα値を示している。画像データＶＤｅが画像デー
タＶＤｇとほぼ同じ画素部分、例えば背景２に対応する
画素部分ではα＝０となり、そうでない画素部分、例え
ば出演者１に対応する画素部分ではα＝１となる。

【００８４】図２Ｄは、ＣＧ画像データ格納部１４より
読み出される２次元画像データＶＤｆによる画像を示し
ている。ここでは、制御部１９からの読み出し要求信号
ＲＲＱにより、「気象情報の描かれた日本地図」に係る
２次元画像データＶＤｆが読み出された場合を示してい
る。テレビカメラ１３の視点は、テレビカメラ４の視点
とは違うので、ＣＧデータ作成部８で作成された画像デ
ータＶＤｃによる画像（図６Ｃに図示）とは異なってい
る。

【００８５】図２Ｅは、αブレンディング部１６より出
力される合成画像データＤＶｈによる画像、すなわち出
演者１の演技を補助するためにモニタ１８に表示される
画像を示している。すなわち、各画素のα値によって、
各画素毎に、図２Ｂ示す画像と図２Ｄに示す画像とがミ
ックスされた画像である。

【００８６】以上説明した画像生成装置３においては、
固定のテレビカメラ１３を備え、出演者１の演技を補助
するための合成画像を得るための合成画像データＶＤｈ
が、遅延処理を行っていないテレビカメラ１３の出力画
像データＤＶｅを使用して合成される。そのため、出演
者１の動きに対して、合成画像データＶＤｈによる画像
における出演者の投影像の動きは遅れのないものとな
り、出演者が演技しやすくなる利益がある。

【００８７】また、ある時刻にテレビカメラ１３で撮影
されて得られた画像データＶＤｅと、このある時刻にお
けるテレビカメラ１３の視点から見た場合の透視変換を
施した所定のＣＧ物体の投影像に対応した２次元画像デ
ータＶＤｆとが合成されて合成画像データＶＤｈが得ら
れるものであり、あたかもＣＧ物体と出演者１とが同一
の空間に存在しているものを撮影して得られた画像であ
るかのような合成画像を得ることができる。

【００８８】次に、図３を使用して、この発明の第２の
実施の形態としての画像生成装置３Ａについて説明す
る。

【００８９】この画像生成装置３Ａでは、図１に示す画
像生成装置３におけるＣＧ画像データ格納部１４の代わ
りに、ＣＧデータ作成部２１が設けられる。ＣＧデータ
作成部２１には、ＣＧ情報格納部７より読み出される所
定のＣＧ物体の３次元位置情報ＰＣＧが供給される。そ
して、このＣＧデータ作成部２１では、その所定のＣＧ
物体にテレビカメラ１３の視点から見た透視変換を施し
た投影像に対応した２次元画像データＶＤｆが作成さ
れ、この２次元画像データＶＤｆがαブレンディング部
１６に供給される。画像生成装置３Ａのその他の構成お
よび動作は、画像生成装置３と同様であるので、その説
明は省略する。このように、ＣＧデータ作成部２１で２
次元画像データＶＤｆを作成する構成とすることで、記
憶容量の大きなＣＧ画像データ格納部１４を不要とでき
る利益がある。

【００９０】次に、図４を使用して、この発明の第３の
実施の形態としての画像生成装置３Ｂについて説明す
る。

【００９１】この画像生成装置３Ｂは、移動可能なテレ
ビカメラ４より出力される画像データＶＤａまたは固定
のテレビカメラ１３より出力される画像データＶＤｅを
選択的に取り出してディレイ部９、キー生成部１１およ
び制御部１９に供給するスイッチ回路２２と、ＣＧデー
タ作成部８で作成された２次元画像データＶＤｃまたは
ＣＧ画像データ格納部１４より読み出された２次元画像
データＶＤｆを選択的に取り出してαブレンディング部
１０に供給するスイッチ回路２３とを有している。

【００９２】この場合、スイッチ回路２２のａ側の固定
端子はテレビカメラ４の出力側に接続され、そのｅ側の
固定端子はテレビカメラ１３の出力側に接続され、その
可動端子はディレイ部９、キー生成部１１および制御部
１９に接続されている。また、スイッチ回路２３のｃ側
の固定端子はＣＧデータ作成部８の出力側に接続され、
そのｆ側の固定端子はＣＧ画像データ格納部１４の出力
側に接続され、その可動端子はαブレンディング部１０
に接続されている。

【００９３】スイッチ回路２２，２３の切り換えは、そ
れぞれ制御部１９より供給される切換制御信号ＳＷ１，
ＳＷ２によって制御される。そして、スイッチ回路２２
がａ側に接続されるときスイッチ回路２３はｃ側に接続
され、一方スイッチ回路２２がｅ側に接続されるときス
イッチ回路２３はｆ側に接続される。ただし、切換制御
信号ＳＷ２によるスイッチ回路２３の切り換えは、切換
制御信号ＳＷ１によるスイッチ回路２２の切り換えが行
われた後、ディレイ部９の遅延時間に相当する時間だけ
経過してから行われるようにされる。これにより、例え
ば、スイッチ回路２２がｅ側に接続されてこのスイッチ
回路２２でテレビカメラ１３より出力される画像データ
ＶＤｅが取り出されるとき、ディレイ部９よりその画像
データＶＤｅが画像データＶＤｂとして出力される時刻
に、スイッチ回路２３がｆ側に接続されてこのスイッチ
回路２３でＣＧ画像データ格納部１４より読み出される
テレビカメラ１３の視点に対応した２次元画像データＶ
Ｄｆが取り出される。

【００９４】以上の構成において、スイッチ回路２２が
ａ側に接続されると共に、スイッチ回路２３がｃ側に接
続される場合には、テレビカメラ４で得られる画像デー
タＶＤａとＣＧデータ作成部８で作成される画像データ
ＶＤｃとが合成されて合成画像データＶＤｄが形成され
る。一方、スイッチ回路２２がｅ側に接続されると共
に、スイッチ回路２３がｆ側に接続される場合には、テ
レビカメラ１３で得られる画像データＶＤｅとＣＧ画像
データ格納部１４より読み出される画像データＶＤｆと
が合成されて合成画像データＶＤｄが形成される。画像
生成装置３Ｂのその他の構成および動作は、上述した画
像生成装置３，３Ａと同様であるので、その説明は省略
する。

【００９５】このように、図４に示す画像生成装置３Ｂ
においては、固定のテレビカメラ１３で得られる画像デ
ータＶＤｅおよびＣＧ画像データ格納部１４より、読み
出される画像データＶＤｆを合成して、視聴者に提供す
る合成画像を得るための合成画像データＶＤｄを得るこ
ともでき、テレビカメラ１３を有効に利用できる利益が
ある。

【００９６】なお、上述実施の形態においては、画像デ
ータ比較部１７よりαブレンディング部１６に供給する
キー信号としてのα値を得るようにしているが、キー生
成部１１がα値を得る処理を高速に行うことが可能であ
る場合、このキー生成部１１と同様のキー生成部によっ
て画像データＶＤｅよりα値を生成し、そのα値をαブ
レンディング部１６にキー信号として供給するようにし
てもよい。

【００９７】また、上述実施の形態においては、テレビ
カメラ１３の視点から見た合成画像しか出演者１に提供
することができない。これでは、出演者１から見たとき
の奥行き方向の、出演者１自身とＣＧ物体との関係が不
明である。そこで、これとは別にもう１つ同様の系を設
置すると、さらに演技がしやすくなる。

【００９８】例えば、１つめの系のテレビカメラは、ス
タジオに対して正面に固定しておく。これにより、正面
から見た出演者１自身とＣＧ物体の合成画像を、出演者
１は演技を補助するための画像としてモニタ１８で見る
ことができる。そして、２つめの系のテレビカメラは、
スタジオの上から俯瞰で、つまり見下ろして撮影できる
ように固定しておく。これにより、上から見た出演者１
自身とＣＧ物体との合成画像を、出演者１は演技を補助
するための画像としてモニタ１８で見ることができる。
このように、複数の系を用いることで、出演者１は、色
々な視点から見た出演者１自身とＣＧ物体の投影像を見
ることができ、３次元上での出演者１自身とＣＧ物体と
の関係を知ることができる。

【００９９】

【発明の効果】この発明によれば、出演者を移動可能な
第１の撮像手段で撮影して得られる画像データと、この
第１の撮像手段の視点で見た透視変換を施した所定物体
の投影像に対応した画像データとを合成して視聴者用の
合成画像データを得ると共に、出演者を固定の第２の撮
像手段で撮影して得られる画像データと、この第２の撮
像手段の視点で見た透視変換を施した所定物体の投影像
に対応した画像データとを合成して出演者に対して演技
を補助する画像を表示するための合成画像データを得る
ものであり、出演者の動きに対する演技を補助する画像
の遅れはほどんどなく、出演者が演技しやすくなる利益
がある。

【０１００】また、ある時刻に第２の撮像手段で撮影さ
れて得られた画像データと、このある時刻における第２
の撮像手段の視点から見た場合の透視変換を施した所定
物体の投影像に対応した２次元画像データとが合成され
て出演者に対して演技を補助する画像を表示するための
合成画像データが得られるものであり、あたかも所定物
体と出演者とが同一の空間に存在しているものを撮影し
て得られた画像であるかのような合成画像（演技補助画
像）を得ることができる。

【０１０１】また、第２の撮像手段で出演者がいない背
景のみを撮影して得られる画像データと第２の撮像手段
で得られる画像データとの比較処理によって演技補助画
像を表示するための合成画像データを得る際の画像切り
換え信号を得るように構成することで、画像切り換え信
号を簡単かつ迅速に得ることができる。

【０１０２】また、第２の撮像手段で得られる画像デー
タおよび画像データ出力手段で出力される画像データを
合成して視聴者に提供するための画像に係る合成画像デ
ータを得ることを可能とすることで、第２の撮像手段を
有効に利用できる利益がある。

【図面の簡単な説明】

【図１】第１の実施の形態としての画像生成装置が備え
られたバーチャルスタジオを示す図である。

【図２】第１の実施の形態としての画像生成装置の各部
の画像を説明するための図である。

【図３】第２の実施の形態としての画像生成装置を示す
ブロック図である。

【図４】第３の実施の形態としての画像生成装置を示す
ブロック図である。

【図５】従来の画像生成装置が備えられたバーチャルス
タジオを示す図である。

【図６】従来の画像生成装置の各部の画像を説明するた
めの図である。

【符号の説明】

１・・・出演者、２・・・背景、３，３Ａ，３Ｂ・・・
画像生成装置、４・・・移動可能なテレビカメラ、５・
・・マーカー位置情報格納部、６・・・カメラパラメー
タ算出部、７・・・ＣＧ情報格納部、８，２１・・・Ｃ
Ｇデータ作成部、９・・・ディレイ部、１０，１６・・
・αブレンディング部、１１・・・キー生成部、１２・
・・出力端子、１３・・・固定のテレビカメラ、１４・
・・ＣＧ画像データ格納部、１５・・・参照用画像デー
タ格納部、１７・・・画像データ比較部、１８・・・モ
ニタ、１９・・・制御部、２２，２３・・・スイッチ回
路

Claims

【特許請求の範囲】

【請求項１】所定の背景をバックに出演者を撮影して
第１の画像データを得る移動可能な第１の撮像手段と、上記第１の撮像手段の視点を求めるカメラパラメータ算
出手段と、上記カメラパラメータ算出手段で求められる上記第１の
撮像手段の視点から見た場合の透視変換を施した所定物
体の投影像に対応した第２の画像データを作成する第１
の画像データ作成手段と、上記第１の画像データを上記カメラパラメータ算出手段
および上記第１の画像データ作成手段における処理時間
に対応して遅延させるデータ遅延手段と、上記データ遅延手段により遅延された上記第１の画像デ
ータと上記第２の画像データとを合成して第１の合成画
像データを得る第１の画像データ合成手段と、上記所定の背景をバックに上記出演者を撮影して第３の
画像データを得る固定の第２の撮像手段と、上記第２の撮像手段の視点から見た場合の透視変換を施
した上記所定物体の投影像に対応した第４の画像データ
を出力する画像データ出力手段と、上記第３の画像データと上記第４の画像データとを合成
して第２の合成画像データを得る第２の画像データ合成
手段と、上記第２の合成画像データによる上記出演者に対しての
演技補助のための画像を表示する画像表示手段とを備え
ることを特徴とする画像生成装置。
【請求項２】上記画像データ出力手段は、上記第４の
画像データを記憶している第１のデータ記憶手段を有
し、この第１のデータ記憶手段より上記第４の画像デー
タを読み出して出力することを特徴とする請求項１に記
載の画像生成装置。
【請求項３】上記画像データ出力手段は、上記第２の
撮像手段の視点に基づいて上記第４の画像データを作成
する第２の画像データ作成手段を有し、この第２の画像
データ作成手段で作成された上記第４の画像データを出
力することを特徴とする請求項１に記載の画像生成装
置。
【請求項４】上記第２の撮像手段で上記出演者がいな
い上記背景のみを撮影して得られる第５の画像データを
記憶している第２のデータ記憶手段と、上記第５の画像データと上記第２の撮像手段で得られる
上記第３の画像データとの比較処理によって上記第３の
画像データまたは上記第４の画像データのいずれかを取
り出すための画像切換信号を得る画像切換信号発生手段
とをさらに備え、上記第２の画像データ合成手段では、上記画像切換信号
によって上記第３の画像データおよび上記第４の画像デ
ータが切り換え合成されることを特徴とする請求項１に
記載の画像生成装置。
【請求項５】上記第１の撮像手段で得られる上記第１
の画像データと上記第２の撮像手段で得られる上記第３
の画像データとを選択的に取り出す第１のデータ切換手
段と、上記第１の画像データ作成手段で作成される上記第２の
画像データと上記画像データ出力手段で出力される上記
第４の画像データとを選択的に取り出す第２のデータ切
換手段と、上記第１のデータ切換手段で上記第１の画像データが取
り出されるとき上記第２のデータ切換手段で上記第２の
画像データを取り出し、上記第１のデータ切換手段で上
記第３の画像データが取り出されるとき上記第２のデー
タ切換手段で上記第４の画像データを取り出すように制
御する切換制御手段とをさらに備え、上記第１の画像データ合成手段では、上記第１および第
２の画像データを合成する代わりに、上記第１および第
２のデータ切換手段の出力データを合成することを特徴
とする請求項１に記載の画像生成装置。
【請求項６】移動可能な第１の撮像手段により所定の
背景をバックに出演者を撮影して第１の画像データを得
るステップと、上記第１の撮像手段の視点を求めるステップと、上記第１の撮像手段の視点から見た場合の透視変換を施
した所定物体の撮影像に対応した第２の画像データを作
成するステップと、上記第１の画像データを、上記第１の撮像手段の視点を
求めるステップおよび上記第２の画像データを作成する
ステップにおける処理時間に対応して遅延させるステッ
プと、上記遅延された第１の画像データと上記第２の画像デー
タとを合成して第１の合成画像データを得るステップ
と、固定の第２の撮像手段により上記所定の背景をバックに
上記出演者を撮影して第３の画像データを得るステップ
と、上記第２の撮像手段の視点から見た場合の透視変換を施
した上記所定物体の投影像に対応した第４の画像データ
を出力するステップと、上記第３の画像データと上記第４の画像データとを合成
して第２の合成画像データを得るステップと、上記第２の合成画像データによる上記出演者に対しての
演技補助のための画像を表示するステップとを備えるこ
とを特徴とする画像生成方法。
【請求項７】上記第４の画像データを出力するステッ
プでは、上記第４の画像データを記憶しているデータ記
憶手段より上記第４の画像データを読み出して出力する
ことを特徴とする請求項６に記載の画像生成方法。
【請求項８】上記第４の画像データを出力するステッ
プでは、上記第２の撮像手段の視点に基づいて上記第４
の画像データを作成して出力することを特徴とする請求
項６に記載の画像生成方法。
【請求項９】上記第２の撮像手段で上記出演者がいな
い上記背景のみを撮影して得られる第５の画像データと
上記第２の撮像手段で得られる上記第３の画像データと
の比較処理によって上記第３の画像データまたは上記第
４の画像データのいずれかを取り出すための画像切換信
号を得るステップをさらに備え、上記第２の合成画像データを得るステップでは、上記画
像切換信号によって上記第３の画像データおよび上記第
４の画像データを切り換え合成することを特徴とする請
求項６に記載の画像生成方法。