JPH10327349A - 画像生成装置および画像生成方法 - Google Patents

画像生成装置および画像生成方法

Info

Publication number
JPH10327349A
JPH10327349A JP9134037A JP13403797A JPH10327349A JP H10327349 A JPH10327349 A JP H10327349A JP 9134037 A JP9134037 A JP 9134037A JP 13403797 A JP13403797 A JP 13403797A JP H10327349 A JPH10327349 A JP H10327349A
Authority
JP
Japan
Prior art keywords
image data
image
unit
viewpoint
performer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9134037A
Other languages
English (en)
Other versions
JP3724117B2 (ja
Inventor
Mitsuharu Oki
光晴 大木
Hidetoshi Nagano
秀敏 永野
Takushi Totsuka
卓志 戸塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP13403797A priority Critical patent/JP3724117B2/ja
Priority to EP98921760A priority patent/EP0921678A4/en
Priority to IL12818498A priority patent/IL128184A/xx
Priority to PCT/JP1998/002246 priority patent/WO1998053606A1/ja
Publication of JPH10327349A publication Critical patent/JPH10327349A/ja
Priority to US09/233,762 priority patent/US6147716A/en
Application granted granted Critical
Publication of JP3724117B2 publication Critical patent/JP3724117B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 【課題】出演者の動きに対する演技を補助する画像の遅
れをなくし、出演者が演技しやすくする。 【解決手段】背景２で出演者１を移動可能なカメラ４で
撮影し、出力画像データＶＤａを遅延処理することなく
αブレンディング部１３に供給する。カメラ４の３次元
位置情報ＰＤＴより求められたそのカメラ４の視点情報
ＰＯＶと所定のＣＧ物体の３次元位置情報ＰＣＧとか
ら、その所定のＣＧ物体をカメラ４の視点から見た投影
像に対応した２次元画像データＶＤｃを作成し、これを
αブレンディング部１３に供給する。カメラ４の出力画
像データＶＤａを簡易型キー生成部１１に供給し、ハー
ドキー処理をするためのキー信号としてのα値を簡単か
つ高速に得る。αブレンディング部１３ではα値に基づ
いて画像データＶＤａ，ＶＤｃに対する合成処理をして
合成画像データＶＤｅを形成し、モニタ１５に画像デー
タＶＤｅによる演技補助画像を表示する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、例えばテレビ局
のバーチャルスタジオで使用して好適な画像生成装置お
よび画像生成方法に関する。詳しくは、出演者を移動可
能な撮像手段で撮影して得られる第１の画像データを遅
延処理して第３の画像データを得、この第３の画像デー
タと撮像手段の視点で見た透視変換を施した所定物体の
投影像に対応した第２の画像データとを合成して視聴者
用の合成画像データを得ると共に、上記第１の画像デー
タと第２の画像データとを合成して出演者に対して演技
を補助する画像を表示するための合成画像データを得る
ことによって、出演者の動きに対する演技を補助する画
像の遅れをなくし、出演者が演技しやすいようにした画
像生成装置等に係るものである。
【０００２】
【従来の技術】最近は、テレビ局において、バーチャル
スタジオあるいはバーチャルセットと呼ばれるスタジオ
で撮影し、この撮影した画像に対して、ＣＧ（コンピュ
ータグラフィクス）で作成した画像を合成し、この合成
画像を放送するということが行われるようになってきて
いる。
【０００３】天気予報番組を例にとって、詳しく説明す
る。まず、青色の背景をバックに出演者を立たせ、この
出演者をテレビカメラで撮影する。そして、このテレビ
カメラからの画像データに、ＣＧで作成された物体、例
えば気象情報の描かれた日本地図等の画像データを合成
し、視聴者に提供される合成画像に係る合成画像データ
を作成する。
【０００４】図３は、バーチャルスタジオの具体例を示
している。
【０００５】出演者１０１は、青色の背景１０２を使用
して撮影される。この背景１０２には、青色系統で目立
たないマーカー（模様）Ｍ1〜Ｍ9が付されている。マー
カーＭ1〜Ｍ9の３次元上での位置は、特定の絶対不動の
座標系（ワールド座標系）を基準として、あらかじめ測
定されている。
【０００６】次に、画像生成装置１０３を説明する。こ
の画像生成装置１０３は、背景１０２をバックに出演者
１０１を撮影する移動可能なテレビカメラ１０４を有し
ている。上述したようにマーカーＭ1〜Ｍ9は、青色の背
景１０２の中にあることから目立たないが、テレビカメ
ラ１０４で認識することがかろうじてできる。そのた
め、テレビカメラ１０４を基準としたマーカーＭ1〜Ｍ9
の３次元位置を測定することができる。
【０００７】また、画像生成装置１０３は、ワールド座
標系を基準としたマーカーＭ1〜Ｍ9の３次元位置情報Ｐ
ＤＷが格納されているマーカー位置情報格納部１０５
と、テレビカメラ１０４で得られる、テレビカメラ１０
４を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤ
Ｔと、マーカー位置情報格納部１０５より読み出される
３次元位置情報ＰＤＷとから、ワールド座標系を基準と
したテレビカメラ１０４の３次元位置および向きを求め
るカメラパラメータ算出部１０６とを有している。
【０００８】ここで、ワールド座標系を基準としたマー
カーＭ1〜Ｍ9の３次元位置と、テレビカメラ１０４を基
準としたマーカーＭ1〜Ｍ9の３次元位置との関係が、あ
る回転変換Ｒとある並進変換Ｔの関係にあるとすると、
カメラパラメータ算出部１０６では、ワールド座標系を
基準としたテレビカメラ１０４の３次元位置はＴとさ
れ、向きはＲとされる。このカメラパラメータ算出部１
０６からは、求められた３次元位置および向きの情報
が、テレビカメラ１０４の視点情報ＰＯＶとして出力さ
れる。
【０００９】また、画像生成装置１０３は、ワールド座
標系を基準としたＣＧ物体の３次元位置情報ＰＣＧ、例
えば、３次元空間上のどの位置に、ＣＧで作られた「気
象情報の描かれた日本地図」が仮想的に存在しているか
という情報が格納されているＣＧ情報格納部１０７を有
している。この場合、ＣＧ情報格納部１０７には、多く
のＣＧ物体のワールド座標系を基準にした３次元位置情
報ＰＣＧが格納されており、その中から適切なＣＧ物体
の３次元位置情報ＰＣＧが選択的に読み出されて使用さ
れるが、この選択は後述する制御部によって行われる。
すなわち、制御部よりＣＧ情報格納部１０７に供給され
る読み出し要求信号ＲＲＱにより、所定のＣＧ物体の３
次元位置情報ＰＣＧが読み出される。
【００１０】また、画像生成装置１０３は、カメラパラ
メータ算出部１０６より出力されるテレビカメラ１０４
の視点情報ＰＯＶとＣＧ情報格納部１０７より読み出さ
れる所定のＣＧ物体の３次元位置情報ＰＣＧとをもと
に、その所定のＣＧ物体にテレビカメラ１０４の視点か
ら見た透視変換を施した投影像に対応した２次元画像デ
ータＶＤｃを作成するＣＧデータ作成部１０８を有して
いる。この場合、ＣＧデータ作成部１０８では、例え
ば、「気象情報の描かれた日本地図」を、あたかもテレ
ビカメラ１０４の視点（３次元位置、向き）から見た場
合の２次元画像データ（透視変換した画像に対応）ＶＤ
ｃが作成される。
【００１１】また、画像生成装置１０３は、テレビカメ
ラ１０４より出力される画像データＶＤａを遅延させる
ための時間調整用のディレイ部１０９を有している。こ
の場合、ＣＧデータ作成部１０８より時刻Ｔ１における
テレビカメラ１０４の視点から見た場合の２次元画像デ
ータＶＤｃが出力されるとき、ディレイ部１０９より画
像データＶＤｂとしてテレビカメラ１０４により時刻Ｔ
１で撮影して得られる画像データＶＤａが出力されるよ
うに、ディレイ部１０９の遅延時間が設定される。
【００１２】すなわち、カメラパラメータ算出部１０６
やＣＧデータ作成部１０８における計算には時間がかか
るが、テレビカメラ１０４よりカメラパラメータ算出部
１０６にある時刻の３次元位置情報ＰＤＴが供給されて
からＣＧデータ作成部１０８よりその３次元位置情報Ｐ
ＤＴに対応した２次元画像データＶＤｃが出力されるま
でにｔ秒を要するとき、ディレイ部１０９の遅延時間は
ｔ秒とされる。
【００１３】このようにディレイ部１０９で時間調整を
することで、後述するようにＣＧデータ作成部１０８よ
り出力される２次元画像データＶＤｃとディレイ部１０
９より出力される画像データＶＤｂとを合成する場合、
あたかもＣＧ物体と出演者１０１とが同一の空間に存在
しているものを撮影して得られた画像であるかのような
合成画像を得ることが可能となる。
【００１４】また、画像生成装置１０３は、ＣＧデータ
作成部１０８より出力される２次元画像データＶＤｃと
ディレイ部１０９より出力される画像データＶＤｂとを
ミックスするαブレンディング部１１０と、テレビカメ
ラ１０４より出力される画像データＶＤａよりαブレン
ディング部１１０にキー信号として供給するα値を得る
キー生成部１１１とを有している。
【００１５】キー生成部１１１では、画像データＶＤａ
から、青色系統の画素部分と、完全に「青色でない」画
素部分とを切り分ける作業が行われる。そして、このキ
ー生成部１１１からは画像データＶＤａの各画素毎にα
値が出力される。この場合、青色系統の画素部分ではα
＝０とされ、完全に「青色でない」画素部分ではα＝１
とされ、さらに中間色の部分では、０＜α＜１とされ
る。
【００１６】テレビカメラ１０４は、青色の背景１０２
を使用して、例えば天気予報を説明するキャスター等の
出演者１０１を撮影している。したがって、背景１０２
の投影像の部分は青色なので、画像データＶＤａのうち
背景１０２に対応する画素部分では、α＝０となる。一
方、出演者１０１の投影像の部分は青色ではないので、
画像データＶＤａのうち出演者１０１に対応する画素部
分では、α＝１となる。さらに、出演者１０１と背景１
０２との境界の投影像の部分は撮像レンズの歪みなどに
よりぼやけており、背景１０２の青色と出演者１０１の
青色以外の色とが混じった色となるので、画像データＶ
Ｄａのうち出演者１０１と背景１０２との境界に対応す
る画素部分では、０＜α＜１となる。
【００１７】なお、上述したように、ＣＧデータ作成部
１０８より時刻Ｔ１におけるテレビカメラ１０４の視点
から見た場合の２次元画像データＶＤｃが出力されると
き、ディレイ部１０９より画像データＶＤｂとしてテレ
ビカメラ１０４により時刻Ｔ１で撮影して得られる画像
データＤＶａが出力されるようにされるが、同様にＣＧ
データ作成部１０８より時刻Ｔ１におけるテレビカメラ
１０４の視点から見た場合の２次元画像データＶＤｃが
出力されるとき、キー生成部１１１よりテレビカメラ１
０４により時刻Ｔ１で撮影して得られる画像データＶＤ
ａから得られたα値が出力されるように時間調整されて
いる。
【００１８】αブレンディング部１１０では、ＣＧデー
タ作成部１０８で作成される２次元画像データＶＤｃと
ディレイ部１０９より出力される画像データＶＤｂに対
して、以下の（１）式の演算が施されて、合成画像デー
タＶＤｄが得られる。 ＶＤｄ＝α×ＶＤｂ＋（１−α）×ＶＤｃ ・・・（１）
【００１９】ここで、画像データＶＤｂの背景１０２に
対応する画素部分ではα＝０であるため、αブレンディ
ング部１１０からは合成画像データＶＤｄとして２次元
画像データＶＤｃがそのまま出力される。また、画像デ
ータＶＤｂの出演者１０１に対応する画素部分ではα＝
１であるため、αブレンディング部１１０からは合成画
像データＶＤｄとして画像データＶＤｂがそのまま出力
される。さらに、画像データＶＤｂの背景１０２と出演
者１０１との境界に対応する画素部分では０＜α＜１で
あり、αブレンディング部１１０からは画像データＶＤ
ｂ，ＶＤｃが混じった合成画像データＶＤｄが出力され
る。このように、画像データＶＤｂの背景１０２と出演
者１０１との境界に対応する画素部分で、画像データＶ
Ｄｂ，ＶＤｃが混じった合成画像データＶＤｄが出力さ
れるようにすることで、いわゆる境界部分のなじみをよ
くできる。
【００２０】また、画像生成装置１０３は、合成画像デ
ータＶＤｄを視聴者に提供される合成画像のデータとし
て出力する出力端子１１２と、この合成画像データＶＤ
ｄが供給され、その合成画像データＶＤｄによる画像を
出演者１０１の演技を補助するための画像として表示す
るモニタ１１３とを有している。
【００２１】また、画像生成装置１０３は、ディレクタ
の操作に応じてＣＧ情報格納部１０７に読み出し要求信
号ＲＲＱを供給する制御部１１４を有している。この制
御部１１４には、通常ユーザインタフェースが設けられ
ている。すなわち、テレビカメラ１０４より出力される
画像データＶＤａが供給され、モニタ（図示せず）にそ
の画像データＶＤａによる画像が表示され、バーチャル
スタジオ全体を運営管理しているディレクタに対して、
テレビカメラ１０４の撮影情報が提供される。ディレク
タは、例えば天気予報番組の現在の進行状況に合わせ
て、適切なＣＧの画像を選択し、制御部１１４の入力装
置（図示せず）に、その情報を入力する。これに対応し
て、制御部１１４はその情報を読み出し要求信号ＲＲＱ
としてＣＧ情報格納部１０７に供給する。
【００２２】例えば、ディレクタが、現在、日本の天気
予報を放送する時間であると判断した場合は、「気象情
報の描かれた日本地図」を提供するように制御部１１４
に指示する。制御部１１４は、この情報を読み出し要求
信号ＲＲＱとしてＣＧ情報格納部１０７に供給する。こ
れにより、ＣＧで作られた「気象情報の描かれた日本地
図」の３次元位置情報ＰＣＧが、ＣＧ情報格納部１０７
より読み出されてＣＧデータ作成部１０８に供給され
る。
【００２３】次に、画像生成装置１０３の動作を説明す
る。背景１０２をバックに出演者１０１がテレビカメラ
１０４で撮影され、このテレビカメラ１０４より画像デ
ータＶＤａが得られ、この画像データＶＤａはディレイ
部１０９でカメラパラメータ算出部１０６およびＣＧデ
ータ作成部１０８の処理時間に対応する時間だけ遅延さ
れ、画像データＶＤｂとしてαブレンディング部１１０
に供給される。
【００２４】また、テレビカメラ１０４より、このテレ
ビカメラ１０４を基準としたマーカーＭ1〜Ｍ9の３次元
位置情報ＰＤＴが出力され、この３次元位置情報ＰＤＴ
はカメラパラメータ算出部１０６に供給される。一方、
ワールド座標系を基準としたマーカーＭ1〜Ｍ9の３次元
位置情報ＰＤＷがマーカー位置情報格納部１０５より読
み出されてカメラパラメータ算出部１０６に供給され
る。カメラパラメータ算出部１０６では、マーカーＭ1
〜Ｍ9の３次元位置情報ＰＤＴ，ＰＤＷから、ワールド
座標系を基準としたテレビカメラ１０４の３次元位置お
よび向きが算出される。
【００２５】カメラパラメータ算出部１０６で求められ
るテレビカメラ１０４の３次元位置および向きの情報
は、テレビカメラ１０４の視点情報ＰＯＶとしてＣＧデ
ータ作成部１０８に供給される。一方、制御部１１４よ
り供給される読み出し要求信号ＲＲＱに対応してＣＧ情
報格納部１０７より所定のＣＧ物体の３次元位置情報Ｐ
ＣＧが読み出され、この３次元位置情報ＰＣＧはＣＧデ
ータ作成部１０８に供給される。ＣＧデータ作成部１０
８では、テレビカメラ１０４の視点情報ＰＯＶと所定の
ＣＧ物体の３次元位置情報ＰＣＧとをもとに、その所定
のＣＧ物体にテレビカメラ１０４の視点から見た透視変
換を施した投影像に対応した２次元画像データＶＤｃが
作成される。例えば、「気象情報の描かれた日本地図」
を、あたかもテレビカメラ１０４の視点から見た場合の
２次元画像データＶＤｃが作成される。そして、このＣ
Ｇデータ作成部１０８で作成される２次元画像データＶ
Ｄｃはαブレンディング部１１０に供給される。
【００２６】また、テレビカメラ１０４より出力される
画像データＶＤａがキー生成部１１１に供給され、キー
生成部１１１では画像データＶＤａからいわゆるソフト
キーを達成するキー信号としてのα値が生成される。そ
して、このα値はαブレンディング部１１０に供給され
る。そして、αブレンディング部１１０では、ＣＧデー
タ作成部１０８より出力される２次元画像データＶＤｃ
とディレイ部１０９より出力される画像データＶＤｂに
対して、（１）式の演算が施されて、所定のＣＧ物体の
投影像と出演者１０１の投影像との合成画像を表示する
ための合成画像データＶＤｄが得られる。
【００２７】αブレンディング部１１０より出力される
合成画像データＶＤｄは出力端子１１２に出力され、視
聴者に提供される合成画像のデータとされる。また、こ
の合成画像データＶＤｄはモニタ１１３に供給され、こ
のモニタ１１３の画面上に合成画像データＶＤｄによる
画像が出演者１０１の演技を補助するための画像として
表示される。
【００２８】図４Ａ〜Ｄを使用して、画像生成装置１０
３の各処理において、実際にどのような画像が生成され
ているかを説明する。
【００２９】図４Ａは、テレビカメラ１０４よりある時
刻において出力される画像データＶＤａによる画像を示
している。背景１０２に対応する画素部分は青色系統で
ある。出演者１０１に対応する画素部分は青色ではな
い。さらに、出演者１０１と背景１０２との境界の画素
部分は青色と青色以外の色とが混じった色となる。な
お、出演者１０１、背景１０２、マーカーＭ1〜Ｍ9に対
応する画像部分には、それぞれ同一符号を付して示して
いる。以下の各画像においても同様である。
【００３０】図４Ｂは、キー生成部１１１より出力され
るα値を示している。背景１０２に対応する画素部分で
はα＝０である。出演者１０１に対応する画素部分では
α＝１である。さらに、出演者１０１と背景１０２との
境界の画素部分では、０＜α＜１となる。
【００３１】図４Ｃは、ＣＧデータ作成部１０８で作成
される２次元画像データＶＤｃによる画像を示してい
る。ここでは、ＣＧ情報格納部１０７から、ＣＧで作ら
れた「気象情報の描かれた日本地図」の３次元位置情報
ＰＣＧが読み出された場合を示している。
【００３２】図４Ｄは、αブレンディング部１１０より
出力される合成画像データＶＤｄによる画像を示してい
る。すなわち、各画素のα値によって、各画素毎に、図
４Ａに示す画像と図４Ｃに示す画像とがミックスされた
画像である。
【００３３】さらに、次の時刻において、テレビカメラ
１０４が移動した場合を考えてみる。この場合、出演者
１０１が静止していたとしても、テレビカメラ１０４よ
り出力される画像データＶＤａによる画像内の出演者１
０１に対応する画像部分は画面上で移動することにな
る。カメラパラメータ算出部１０６では、ワールド座標
系を基準としたテレビカメラ１０４の３次元位置および
向きが算出され、この３次元位置および向きの情報がテ
レビカメラ１０４の視点情報ＰＯＶとしてＣＧデータ作
成部１０８に供給されるので、ＣＧ情報格納部１０７よ
り読み出されるＣＧ物体の３次元位置情報ＰＣＧが同じ
であっても、ＣＧデータ作成部１０８より出力される２
次元画像データＶＤｃは変化する。なぜなら、透視変換
において、見る位置が変化すれば、投影像も変化するか
らである。
【００３４】ある時刻とその次の時刻における透視変換
した画像データＶＤｃによる画像のの変化量は、テレビ
カメラ１０４の移動による画像の変化量と同じである。
したがって、ある時刻とその次の時刻における透視変換
した画像データＶＤｃによる画像の変化量は、テレビカ
メラ１０４で撮影された出演者１０１の投影像の移動量
に対応したものとなる。そのため、最終的に得られる合
成画像データＶＤｄによる画像において、出演者１０１
の投影像およびＣＤ物体の投影像は同じように動くこと
になる。つまり、最終的に得られる合成画像データＶＤ
ｄによる画像は、あたかも、ＣＧの物体、例えば、気象
情報の描かれた日本地図と出演者１０１とが同一の空間
に存在しているものを撮影した画像であるかのように見
える。
【００３５】
【発明が解決しようとする課題】上述した画像生成装置
１０３においては、モニタ１１３に合成画像データＶＤ
ｄによる画像、つまり出演者１０１の投影像とＣＧ物体
の投影像との合成画像が表示される。出演者１０１はそ
の画像を見ながら演技することで、自分がいまＣＧ物体
とどのような位置関係にあるかを把握できる。これによ
り、出演者１０１は、例えばＣＧで作られた「気象情報
の描かれた日本地図」の特定の部分を指し示すことも可
能である。
【００３６】ところで、上述したように、カメラパラメ
ータ算出部１０６およびＣＧデータ作成部１０８の処理
にｔ秒を要するとき、ディレイ部１０９の遅延時間がｔ
秒とされて時間調整が行われている。そのため、モニタ
１１３に表示される画像は、ｔ秒前の時刻の事象を撮影
した画像となる。具体的には、出演者１０１が手をあげ
た場合、、モニタ１１３に表示される出演者１０１の投
影像はｔ秒後に手をあげることになる。このように、ｔ
秒前の自分自身の動作をモニタ１１３で見ながら演技を
していくことは、出演者１０１にとって演技しずらいと
いう問題点があった。
【００３７】そこで、この発明では、出演者の動きに対
する演技を補助する画像の遅れをなくし、出演者が演技
しやすいようにすることを目的とする。
【００３８】
【課題を解決するための手段】この発明に係る画像生成
装置は、所定の背景をバックに出演者を撮影して第１の
画像データを得る移動可能な撮像手段と、この撮像手段
の視点を求めるカメラパラメータ算出手段と、このカメ
ラパラメータ算出手段で求められる撮像手段の視点から
見た場合の透視変換を施した所定物体の投影像に対応し
た第２の画像データを作成する第１の画像データ作成手
段と、第１の画像データをカメラパラメータ算出手段お
よび第１の画像データ作成手段における処理時間に対応
して遅延させた第３の画像データを得るデータ遅延手段
と、第３の画像データと第２の画像データとを合成して
第１の合成画像データを得る第１の画像データ合成手段
と、第１の画像データと第２の画像データとを合成して
第２の合成画像データを得る第２の画像データ合成手段
と、この第２の合成画像データによる出演者に対しての
演技補助のための画像を表示する画像表示手段とを備え
るものである。
【００３９】この発明に係る画像生成方法は、移動可能
な撮像手段により所定の背景をバックに出演者を撮影し
て第１の画像データを得るステップと、撮像手段の視点
を求めるステップと、撮像手段の視点から見た場合の透
視変換を施した所定物体の投影像に対応した第２の画像
データを作成するステップと、第１の画像データを撮像
手段の視点を求めるステップおよび第２の画像データを
作成するステップにおける処理時間に対応して遅延させ
て第３の画像データを得るステップと、第３の画像デー
タと第２の画像データとを合成して第１の合成画像デー
タを得るステップと、第１の画像データと第２の画像デ
ータとを合成して第２の合成画像データを得るステップ
と、第２の合成画像データによる上記出演者に対しての
演技補助のための画像を表示するステップとを備えるも
のである。
【００４０】所定の背景、例えば青色の背景をバックに
出演者が移動可能な撮像手段で撮影されて第１の画像デ
ータが得られ、この第１の画像データが遅延処理されて
第３の画像データが得られる。また、撮像手段の視点、
例えばワールド座標系を基準とした撮像手段の３次元位
置および向きが求められ、この視点から見た場合の透視
変換を施した所定物体、例えばＣＧ物体の投影像に対応
した第２の画像データが作成される。そして、第３の画
像データと第２の画像データとが合成され、例えば視聴
者に提供する合成画像に係る第１の合成画像データが得
られる。
【００４１】この場合、第３の画像データは第２の画像
データを得るための処理時間に対応して第１の画像デー
タが遅延処理されてなるものであり、ある時刻に撮像手
段で撮影して得られた第３の画像データと、このある時
刻における撮像手段の視点から見た場合の透視変換を施
した所定物体の投影像に対応した第２の画像データとが
合成されるようにされる。そのため、出演者の動きに対
して、第１の合成画像データによる画像における出演者
の投影像の動きは、第３の画像データが遅延処理された
ものである分だけ遅れたものとなる。
【００４２】また、撮像手段より出力される第１の画像
データと第２の画像データとが合成されて第２の合成画
像データが得られる。そして、この第２の合成画像デー
タによる画像が出演者に対しての演技補助のための画像
として表示される。第２の合成画像データを得る際に第
１の画像データを遅延処理をせずにそのまま使用してい
るので、第２の合成画像データによる画像における出演
者の投影像の動きは、ほとんど遅れのないものとなる。
【００４３】また、第１の画像データに基づいて第１の
画像データまたは第２の画像データのいずれかを取り出
すための画像切換信号を得る画像切換信号発生手段をさ
らに備え、第２の画像データ合成手段では、画像切換信
号によって第１の画像データおよび第２の画像データが
切り換え合成されるようにしてもよい。例えば、画像デ
ータ合成手段がαブレンディング部で構成される場合、
画像切換信号としてのα値は、０または１となる。すな
わち、画像切換信号発生手段では、第１の画像データが
ある閾値を越えるか否かでα値を決定して出力でき、画
像切換信号を簡単かつ高速に得ることが可能となる。
【００４４】また、カメラパラメータ算出手段で求めら
れる撮像手段の視点から、現在時刻あるいはそれより後
の時刻における撮像手段の視点を予測するカメラパラメ
ータ予測手段と、このカメラパラメータ予測手段で予測
された撮像手段の視点から見た場合の透視変換を施した
所定物体の投影像に対応した第４の画像データを作成す
る第２の画像データ作成手段とをさらに備え、第２の画
像データ合成手段では、第１および第２の画像データを
合成する代わりに、第１および第４の画像データを合成
するようにしてもよい。
【００４５】この場合、第４の画像データは、現在時刻
における撮像手段の視点から見た場合の透視変換を施し
た所定物体の投影像に対応したものとなる。したがっ
て、現在時刻の第１の画像データと、その現在時刻にお
ける撮像手段の視点から見た場合の透視変換を施した所
定物体の投影像に対応した画像データとが合成されて第
２の合成画像データが得られることとなり、撮像手段が
移動している間であっても、あたかも所定物体と出演者
とが同一の空間に存在しているものを撮影して得られた
画像であるかのような正確な合成画像（演技補助画像）
を得ることが可能となり、出演者は移動時の演技がしや
すくなる。
【００４６】
【発明の実施の形態】以下、図面を参照しながら、この
発明の実施の形態について説明する。図１は、この発明
の第１の実施の形態としての画像生成装置３が備えられ
たバーチャルスタジオを示している。このバーチャルス
タジオでは、図３に示すバーチャルスタジオと同様に、
青色の背景をバックにテレビカメラにより出演者を撮影
し、このテレビカメラからの画像データに、ＣＧで作成
された物体、例えば気象情報の描かれた日本地図等の画
像データを合成し、視聴者に提供する合成画像に係る合
成画像データを得ることが行われている。
【００４７】このバーチャルスタジオにおいて、出演者
１は、青色の背景２を使用して撮影される。この背景２
には、図３に示すバーチャルスタジオにおける背景１０
２と同様に、青色系統で目立たないマーカー（模様）Ｍ
1〜Ｍ9が付されている。マーカーＭ1〜Ｍ9の３次元上で
の位置は、特定の絶対不動の座標系（ワールド座標系）
を基準として、あらかじめ測定されている。
【００４８】次に、画像生成装置３を説明する。この画
像生成装置３は、背景２をバックに出演者１を撮影する
移動可能なテレビカメラ４を有している。上述したよう
にマーカーＭ1〜Ｍ9は、青色の背景２の中にあることか
ら目立たないが、テレビカメラ４で認識することがかろ
うじてできる。そのため、テレビカメラ４を基準とした
マーカーＭ1〜Ｍ9の３次元位置を測定できる。
【００４９】また、画像生成装置３は、ワールド座標系
を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤＷ
が格納されているマーカー位置情報格納部５と、テレビ
カメラ４で得られる、テレビカメラ４を基準としたマー
カーＭ1〜Ｍ9の３次元位置情報ＰＤＴと、マーカー位置
情報格納部５より読み出される３次元位置情報ＰＤＷと
から、ワールド座標系を基準としたテレビカメラ４の３
次元位置および向きを求めるカメラパラメータ算出部６
とを有している。
【００５０】ここで、ワールド座標系を基準としたマー
カーＭ1〜Ｍ9の３次元位置と、テレビカメラ４を基準と
したマーカーＭ1〜Ｍ9の３次元位置との関係が、ある回
転変換Ｒとある並進変換Ｔの関係にあるとすると、カメ
ラパラメータ算出部６では、ワールド座標系を基準とし
たテレビカメラ４の３次元位置はＴとされ、向きはＲと
される。このカメラパラメータ算出部６からは、求めら
れた３次元位置および向きの情報が、テレビカメラ４の
視点情報ＰＯＶとして出力される。
【００５１】なお、背景２の中のマーカーＭ1〜Ｍ9の個
数は９個であるが、これ以外の個数であってもよい。ま
た、テレビカメラ４に機械的に取り付けられたセンサに
より、テレビカメラ４のワールド座標系における３次元
位置および向きを求めることも可能である。例えば、テ
レビカメラ４を雲台に載せておき、歯車を使ってテレビ
カメラ４を回転できるようにしておく。歯車の回転した
量によって、テレビカメラ４の向きを知ることができ
る。この場合、テレビカメラ４よりカメラパラメータ算
出部６に供給されるデータは、歯車の回転量であり、こ
の回転量からテレビカメラ４の向きなどを算出するよう
にカメラパラメータ算出部６を構成しておく。マーカー
位置情報格納部５は不要となる。いずれにせよ、カメラ
パラメータ算出部６からは、ワールド座標系を基準とし
たテレビカメラ４の３次元位置および向きの情報が、テ
レビカメラ４の視点情報ＰＯＶとして出力される。
【００５２】また、画像生成装置３は、ワールド座標系
を基準としたＣＧ物体の３次元位置情報ＰＣＧ、例え
ば、３次元空間上のどの位置に、ＣＧで作られた「気象
情報の描かれた日本地図」が仮想的に存在しているかと
いう情報が格納されているＣＧ情報格納部７を有してい
る。この場合、ＣＧ情報格納部７には、多くのＣＧ物体
のワールド座標系を基準にした３次元位置情報ＰＣＧが
格納されており、その中から適切なＣＧ物体の３次元位
置情報ＰＣＧが選択的に読み出されて使用されるが、こ
の選択は後述する制御部によって行われる。すなわち、
制御部よりＣＧ情報格納部７に供給される読み出し要求
信号ＲＲＱにより、所定のＣＧ物体の３次元位置情報Ｐ
ＣＧが読み出される。
【００５３】また、画像生成装置３は、カメラパラメー
タ算出部６より出力されるテレビカメラ４の視点情報Ｐ
ＯＶとＣＧ情報格納部７より読み出される所定のＣＧ物
体の３次元位置情報ＰＣＧとをもとに、その所定のＣＧ
物体にテレビカメラ４の視点から見た透視変換を施した
投影像に対応した２次元画像データＶＤｃを作成するＣ
Ｇデータ作成部８を有している。この場合、ＣＧデータ
作成部８では、例えば、「気象情報の描かれた日本地
図」を、あたかもテレビカメラ４の視点（３次元位置、
向き）から見た場合の２次元画像データ（透視変換した
画像に対応）ＶＤｃが作成される。
【００５４】また、画像生成装置３は、テレビカメラ４
より出力される画像データＶＤａを遅延させるための時
間調整用のディレイ部９を有している。この場合、ＣＧ
データ作成部８より時刻Ｔ１におけるテレビカメラ４の
視点から見た場合の２次元画像データＶＤｃが出力され
るとき、ディレイ部９より画像データＶＤｂとしてテレ
ビカメラ４により時刻Ｔ１で撮影して得られる画像デー
タＶＤａが出力されるように、ディレイ部９の遅延時間
が設定されている。
【００５５】すなわち、カメラパラメータ算出部６やＣ
Ｇデータ作成部８における計算には一定の時間がかかる
が、テレビカメラ４よりカメラパラメータ算出部６にあ
る時刻の３次元位置情報ＰＤＴが供給されてからＣＧデ
ータ作成部８よりその３次元位置情報ＰＤＴに対応した
２次元画像データＶＤｃが出力されるまでにｔ秒を要す
るとき、ディレイ部９の遅延時間はｔ秒とされる。
【００５６】このようにディレイ部９で時間調整をする
ことで、後述するようにＣＧデータ作成部８より出力さ
れる２次元画像データＶＤｃとディレイ部９より出力さ
れる画像データＶＤｂとを合成する場合、あたかもＣＧ
物体と出演者１とが同一の空間に存在しているものを撮
影して得られた画像であるかのような合成画像を得るこ
とが可能となる。
【００５７】また、画像生成装置３は、ＣＧデータ作成
部８より出力される２次元画像データＶＤｃとディレイ
部９より出力される画像データＶＤｂとをミックスして
合成画像データＶＤｄを得るαブレンディング部１０
と、テレビカメラ４より出力される画像データＶＤａよ
りαブレンディング部１０にキー信号として供給するα
値を得るキー生成部１１とを有している。
【００５８】キー生成部１１では、画像データＶＤａか
ら、青色系統の画素部分と、完全に「青色でない」画素
部分とを切り分ける作業が行われる。そして、このキー
生成部１１からは画像データＶＤａの各画素毎にα値が
出力される。この場合、青色系統の画素部分ではα＝０
とされ、完全に「青色でない」画素部分ではα＝１とさ
れ、さらに中間色の部分では、０＜α＜１とされる。
【００５９】テレビカメラ４は、青色の背景２を使用し
て、例えば天気予報を説明するキャスター等の出演者１
を撮影している。したがって、背景２の投影像の部分は
青色なので、画像データＶＤａのうち背景２に対応する
画素部分では、α＝０となる。一方、出演者１の投影像
の部分は青色ではないので、画像データＶＤａのうち出
演者１に対応する画素部分では、α＝１となる。さら
に、出演者１と背景２との境界の投影像の部分は撮像レ
ンズの歪みなどによりぼやけており、背景２の青色と出
演者１の青色以外の色とが混じった色となるので、画像
データＶＤａのうち出演者１と背景１との境界に対応す
る画素部分では、０＜α＜１となる。
【００６０】なお、上述したように、ＣＧデータ作成部
８より時刻Ｔ１におけるテレビカメラ４の視点から見た
場合の２次元画像データＶＤｃが出力されるとき、ディ
レイ部９より画像データＶＤｂとしてテレビカメラ４に
より時刻Ｔ１で撮影して得られる画像データＶＤａが出
力されるようにされるが、同様にＣＧデータ作成部８よ
り時刻Ｔ１におけるテレビカメラ４の視点から見た場合
の２次元画像データＶＤｃが出力されるとき、キー生成
部１１よりテレビカメラ４により時刻Ｔ１で撮影して得
られる画像データＶＤａから得られたα値が出力される
ように時間調整されている。
【００６１】αブレンディング部１０では、ＣＧデータ
作成部８で作成される２次元画像データＶＤｃとディレ
イ部９より出力される画像データＶＤｂに対して、上述
した（１）式の演算が施されて、合成画像データＶＤｄ
が得られる。ここで、画像データＶＤｂの背景２に対応
する画素部分ではα＝０であるため、αブレンディング
部１０からは合成画像データＶＤｄとして２次元画像デ
ータＶＤｃがそのまま出力される。また、画像データＶ
Ｄｂの出演者１に対応する画素部分ではα＝１であるた
め、αブレンディング部１０からは合成画像データＶＤ
ｄとして画像データＶＤｂがそのまま出力される。さら
に、画像データＶＤｂの背景２と出演者１との境界に対
応する画素部分では０＜α＜１であり、αブレンディン
グ部１０からは画像データＶＤｂ，ＶＤｃが混じった合
成画像データＶＤｄが出力される。このように、画像デ
ータＶＤｂの背景２と出演者１との境界に対応する画素
部分で、画像データＶＤｂ，ＶＤｃが混じった合成画像
データＶＤｄが出力されるようにすることで、いわゆる
境界部分のなじみをよくできる。
【００６２】また、画像生成装置３は、合成画像データ
ＶＤｄを視聴者に提供される合成画像のデータとして出
力する出力端子１２を有している。なお、本実施の形態
においては、この合成画像データＶＤｄを、演技を補助
するための画像を表示するためには使用しない。上述し
たテレビカメラ４、マーカー位置情報格納部５、カメラ
パラメータ算出部６、ＣＧ情報格納部７、ＣＧデータ作
成部８、ディレイ部９、αブレンディング部１０および
キー生成部１１は、それぞれ図５に示す画像生成装置１
０３のテレビカメラ１０４、マーカー位置情報格納部１
０５、カメラパラメータ算出部１０６、ＣＧ情報格納部
１０７、ＣＧデータ作成部１０８、ディレイ部１０９、
αブレンディング部１１０およびキー生成部１１１と同
様に構成されている。
【００６３】また、画像生成装置３は、テレビカメラ４
より出力される画像データＶＤａとＣＧデータ作成部８
で作成される２次元画像データＶＤｃとをミックスして
合成画像データＶＤｅを得るαブレンディング部１３
と、テレビカメラ４より出力される画像データＶＤａよ
りαブレンディング部１３にキー信号として供給するα
値を得る簡易型キー生成部１４とを有している。
【００６４】簡易型キー生成部１４では、画像データＶ
Ｄａから、青色系統の画素部分と、それ以外の部分とを
切り分ける作業が行われる。そして、このキー生成部１
４からは画像データＶＤａの各画素毎にα値が出力され
る。この場合、青色系統の画素部分ではα＝０とされ、
それ以外の画素部分ではα＝１とされる。α値の取りう
る値は０また１である。ここで、背景２の投影像の部分
は青色なので、画像データＶＤａのうち背景２に対応す
る画素部分では、α＝０となる。出演者１の投影像の部
分は青色ではないので、画像データＶＤａのうち出演者
１に対応する画素部分では、α＝１となる。さらに、出
演者１と背景２との境界の投影像の部分は撮像レンズの
歪みなどによりぼやけており、背景２の青色と出演者１
の青色以外の色とが混じった色となるので、画像データ
ＶＤａのうち出演者１と背景２との境界に対応する画素
部分では、α＝０またはα＝１のいずれかである。
【００６５】上述したキー生成部１１では、中間色に対
しては０＜α＜１なる値を求めている。しかし、キー生
成部１４では、あるしきい値を越えるか越えないかによ
って、α値を０か１に決定している。そのため、キー生
成部１４の処理は、キー生成部１１の処理に比べて簡単
であって高速処理が可能となる。なお、キー生成部１１
が十分に高速処理可能であるならば、キー生成部１４の
代わりに、キー生成部１１と同様に構成されたキー生成
部を使用するようにしてもよい。
【００６６】αブレンディング部１３では、テレビカメ
ラ４より出力される画像データＶＤａとＣＧデータ作成
部８で作成された２次元画像データＶＤｃに対して、以
下の（２）式の演算が施されて、合成画像データＶＤｅ
が得られる。 ＶＤｅ＝α×ＶＤａ＋（１−α）×ＶＤｃ ・・・（２）
【００６７】また、画像生成装置３は、合成画像データ
ＶＤｅが供給され、その合成画像データＶＤｅによる画
像を出演者１の演技を補助するための画像として表示す
るモニタ１５を有している。ここで、画像データＶＤａ
の背景２に対応する画素部分ではα＝０であるため、α
ブレンディング部１３からは合成画像データＶＤｅとし
て２次元画像データＶＤｃがそのまま出力される。画像
データＶＤａの出演者１に対応する画素部分ではα＝１
であるため、αブレンディング部１３からは合成画像デ
ータＶＤｅとして画像データＶＤａがそのまま出力され
る。そして、画像データＶＤａの背景２と出演者１との
境界に対応する画素部分では、α＝０またはα＝１であ
って、合成画像データＶＤｅは極端に変化してしまうの
で、合成画像データＶＤｅによる合成画像は、背景２と
出演者１との境界に対応する画素部分で不自然に見え
る。しかし、この合成画像は、出演者１の演技を補助す
るための画像であり、出演者１とＣＧ物体との位置関係
が把握できればよいので、境界上で不自然に見えていて
も問題はない。
【００６８】また、画像生成装置３は、ディレクタの操
作に応じてＣＧ情報格納部７に読み出し要求信号ＲＲＱ
を供給する制御部１６を有している。この制御部１６に
は、通常ユーザインタフェースが設けられている。すな
わち、テレビカメラ４より出力される画像データＶＤａ
が供給され、モニタ（図示せず）にその画像データＶＤ
ａによる画像が表示され、バーチャルスタジオ全体を運
営管理しているディレクタに対して、テレビカメラ４の
撮影情報が提供される。ディレクタは、例えば天気予報
番組の現在の進行状況に合わせて、ＣＧの画像を選択
し、制御部１６の入力装置（図示せず）に、その情報を
入力する。これに対応して、制御部１６はその情報を読
み出し要求信号ＲＲＱとしてＣＧ情報格納部７に供給す
る。
【００６９】例えば、ディレクタが、現在、日本の天気
予報を放送する時間であると判断した場合は、「気象情
報の描かれた日本地図」を提供するように制御部１６に
指示する。制御部１６は、この情報を読み出し要求信号
ＲＲＱとしてＣＧ情報格納部７に供給する。これによ
り、ＣＧで作られた「気象情報の描かれた日本地図」の
３次元位置情報ＰＣＧが、ＣＧ情報格納部７より読み出
されてＣＧデータ作成部８に供給される。
【００７０】次に、画像生成装置３の動作を説明する。
背景２をバックに出演者１がテレビカメラ４で撮影さ
れ、このテレビカメラ４より画像データＶＤａが得ら
れ、この画像データＶＤａはディレイ部９でカメラパラ
メータ算出部６およびＣＧデータ作成部８の処理時間に
対応する時間だけ遅延され、画像データＤＶｂとしてα
ブレンディング部１０に供給される。
【００７１】また、テレビカメラ４より、このテレビカ
メラ４を基準としたマーカーＭ1〜Ｍ9の３次元位置情報
ＰＤＴが出力され、この３次元位置情報ＰＤＴはカメラ
パラメータ算出部６に供給される。一方、ワールド座標
系を基準としたマーカーＭ1〜Ｍ9の３次元位置情報ＰＤ
Ｗがマーカー位置情報格納部５より読み出されてカメラ
パラメータ算出部６に供給される。カメラパラメータ算
出部６では、マーカーＭ1〜Ｍ9の３次元位置情報ＰＤ
Ｔ，ＰＤＷとから、ワールド座標系を基準としたテレビ
カメラ４の３次元位置および向きが算出される。
【００７２】カメラパラメータ算出部６で求められるテ
レビカメラ４の３次元位置および向きの情報は、テレビ
カメラ４の視点情報ＰＯＶとしてＣＧデータ作成部８に
供給される。一方、制御部１６より供給される読み出し
要求信号ＲＲＱに対応してＣＧ情報格納部７より所定の
ＣＧ物体の３次元位置情報ＰＣＧが読み出され、この３
次元位置情報ＰＣＧはＣＧデータ作成部８に供給され
る。ＣＧデータ作成部８では、テレビカメラ４の視点情
報ＰＯＶと所定のＣＧ物体の３次元位置情報ＰＣＧとを
もとに、その所定のＣＧ物体にテレビカメラ４の視点か
ら見た透視変換を施した投影像に対応した２次元画像デ
ータＶＤｃが作成される。例えば、「気象情報の描かれ
た日本地図」を、あたかもテレビカメラ４の視点から見
た場合の２次元画像データＶＤｃが作成される。そし
て、この２次元画像データＶＤｃはαブレンディング部
１０に供給される。
【００７３】また、テレビカメラ４より出力される画像
データＶＤａがキー生成部１１に供給され、キー生成部
１１では画像データＶＤａからいわゆるソフトキーを達
成するキー信号としてのα値が生成される。このα値は
αブレンディング部１０に供給される。そして、αブレ
ンディング部１０では、ＣＧデータ作成部８より出力さ
れる２次元画像データＶＤｃとディレイ部９より出力さ
れる画像データＶＤｂに対して、上述の（１）式の演算
が施されて、所定のＣＧ物体の投影像と出演者１の投影
像との合成画像を表示するための合成画像データＤＶｄ
が得られる。この合成画像データＶＤｄは出力端子１２
に出力され、視聴者に提供される合成画像のデータとさ
れる。
【００７４】また、テレビカメラ４より出力される画像
データＶＤａが簡易型キー生成部１４に供給され、キー
生成部１４では画像データＶＤａからいわゆるハードキ
ーを達成するキー信号としてのα値（α＝０またはα＝
１）が生成される。このα値はαブレンディング部１３
に供給される。そして、αブレンディング部１３では、
テレビカメラ４より出力される画像データＶＤａとＣＧ
データ作成部ＶＤｃに対して、上述の（２）式の演算が
施されて、所定のＣＧ物体の投影像と出演者１の投影像
との合成画像を表示するための合成画像データＤＶｅが
得られる。この合成画像データＶＤｅはモニタ１５に供
給され、このモニタ１５の画面上に合成画像データＤＶ
ｅによる画像が出演者１の演技を補助するための画像と
して表示される。
【００７５】以上説明した画像生成装置３においては、
出演者１の演技を補助するための合成画像を得るための
合成画像データＶＤｅが、遅延処理を行っていないテレ
ビカメラ４の出力画像データＤＶａを使用して合成され
る。そのため、出演者１の動きに対して、合成画像デー
タＶＤｅによる合成画像における出演者の投影像の動き
は遅れのないものとなり、出演者が演技しやすくなる利
益がある。
【００７６】なお、図１に示す画像生成装置３におい
て、テレビカメラ４が移動していないときは、ある時刻
にテレビカメラ４で撮影されて得られた画像データＶＤ
ａと、このある時刻におけるテレビカメラ４の視点から
見た場合の透視変換を施した所定のＣＧ物体の投影像に
対応した２次元画像データＶＤｃとが合成されて合成画
像データＶＤｅが得られることとなり、あたかもＣＧ物
体と出演者１とが同一の空間に存在しているものを撮影
して得られた画像であるかのような正確な合成画像を得
ることができる。
【００７７】一方、テレビカメラ４が移動しているとき
は、ＣＧデータ作成部８より出力される２次元画像デー
タＶＤｃは、カメラパラメータ算出部６およびＣＧデー
タ作成部８の処理時間だけ前の時刻におけるテレビカメ
ラ４の視点から見た場合の透視変換を施した所定のＣＧ
物体の投影像に対応した２次元画像データＶＤｃとな
る。そのため、この２次元画像データＶＤｃとテレビカ
メラ４で撮影されて得られた画像データＶＤａとが合成
された合成画像データＶＤｅによる合成画像は不正確な
ものとなる。しかし、一般的に、ＣＧ物体がワールド座
標系を基準にしてほとんど動かない場合にしか出演者１
はそのＣＧ物体を指し示したりしないので、この遅れは
問題にはならない。
【００７８】また、仮に、テレビカメラ４が移動してい
るときに、出演者１がモニタ１５を見ながら演技する場
合を考えてみる。モニタ１５の画面上の不正確な合成画
像を参考にして出演者１が演技することで、その演技に
多少のずれを生じる。具体的には、出演者１がＣＧ物体
を指し示すとき、多少ずれた場所を指し示してしまうこ
とが起こる。しかしながら、テレビカメラ４は移動撮影
しているので、視聴者に提供する合成画像も全体が動い
ていることになる。人間の目の特性は、全体の風景が動
いている場合、劣化するので、この場合、視聴者は、出
演者１が多少ずれた場所を指し示していることに気が付
かない。つまり、テレビカメラ４が移動しているとき
は、モニタ１５の画面上に表示される合成画像は、多少
不正確でもよい。
【００７９】次に、図２を使用して、この発明の第２の
実施の形態としての画像生成装置３Ａについて説明す
る。
【００８０】この画像生成装置３Ａでは、カメラパラメ
ータ算出部６より出力されるテレビカメラ４の視点情報
ＰＯＶに基づいて、現在時刻におけるそのテレビカメラ
４の視点（ワールド座標系を基準にした３次元位置およ
び向き）を予測するカメラパラメータ予測部１７を有し
ている。因に、テレビカメラ４が移動しているとき、視
点情報ＰＯＶは現在時刻よりカメラパラメータ算出部６
の処理時間だけ前の時刻におけるテレビカメラ４の視点
を示すものとなっている。
【００８１】ここで、カメラパラメータ予測部１７にお
ける具体的なカメラパラメータ（テレビカメラの位置、
向き）の予測の方法を説明する。例えば、過去の２つの
時刻におけるテレビカメラ４の位置および向きが、それ
ぞれ、「Ｔ１およびＲ１」、「Ｔ２およびＲ２」であっ
たとする。位置の移動量の割合は、Ｔ２−Ｔ１と考えら
れる。したがって、この過去の２つの時刻の位置情報
（Ｔ１、Ｔ２）より、現在時刻における位置は、Ｔ２＋
（Ｔ２−Ｔ１）と線形予測される。同様に、現在時刻に
おける向きは、Ｒ２＋（Ｒ２−ＲＩ）と線形予測され
る。なお、さらに沢山の過去の時刻における位置および
向きの情報をもってすれば、より正確な予測が可能とな
る。いずれにせよ、カメラパラメータ予測部１７から
は、予測された現在時刻におけるテレビカメラ４の視点
情報ＰＯＶｃが出力される。
【００８２】また、画像生成装置３Ａは、カメラパラメ
ータ予測部１７からの予測されたテレビカメラ４の視点
情報ＰＯＶｃとＣＧ情報格納部７より読み出される所定
のＣＧ物体の３次元位置情報ＰＣＧとをもとに、その所
定のＣＧ物体にテレビカメラ４の視点から見た透視変換
を施した投影像に対応した２次元画像データＶＤｆを作
成するＣＧデータ作成部１８を有している。
【００８３】図１に示す画像生成装置３では、αブレン
ディング部１３でテレビカメラ４より出力される画像デ
ータＶＤａとＣＧデータ作成部８で作成される２次元画
像データＶＤｃとがミックスされて合成画像データＶＤ
ｅが形成されるものであった。しかし、この画像生成装
置３Ａで、αブレンディング部１３でテレビカメラ４よ
り出力される画像データＶＤａとＣＧデータ作成部１８
で作成される２次元画像データＶＤｆとがミックスされ
て合成画像データＶＤｅが形成される。この画像生成装
置３Ａのその他の構成および動作は、上述した画像生成
装置３と同様であるので、その説明は省略する。
【００８４】このように、図２に示す画像生成装置３Ａ
においては、ＣＧデータ作成部１８からは予測された現
在時刻におけるテレビカメラ４の視点から見た場合の透
視変換を施した所定のＣＧ物体の投影像に対応した２次
元画像データＶＤｆが出力され、この２次元画像データ
ＶＤｆとテレビカメラ４で撮影されて得られた画像デー
タＶＤａとが合成されて合成画像データＶＤｅが形成さ
れるものであり、テレビカメラ４が移動しているときで
も、この合成画像データＶＤｅによる合成画像はほぼ正
確なものとなり、出演者１はＣＧ物体を指し示すことが
容易となる。
【００８５】なお、カメラパラメータ予測部１７では、
現在時刻におけるテレビカメラ４の視点を予測するもの
であったが、さらにＣＧデータ作成部１８の処理時間だ
け現在時刻より後の時刻におけるテレビカメラ４の視点
を予測するようにしてもよい。これにより、αブレンデ
ィング部１３では、ある時刻にテレビカメラ４より出力
される画像データＶＤａとそのある時刻におけるテレビ
カメラ４の視点から見た場合の透視変換を施した所定の
ＣＧ物体の投影像に対応した２次元画像データＶＤｆと
を合成して合成画像データＶＤｅを得ることができ、一
層正確な合成画像を得ることが可能となる。
【００８６】
【発明の効果】この発明によれば、出演者を移動可能な
撮像手段で撮影して得られる第１の画像データを遅延処
理して第３の画像データを得、この第３の画像データと
撮像手段の視点で見た透視変換を施した所定物体の投影
像に対応した第２の画像データとを合成して視聴者用の
合成画像データを得ると共に、遅延処理されていない第
１の画像データと第２の画像データとを合成して出演者
に対して演技を補助する画像を表示するための合成画像
データを得るものであり、出演者の動きに対する演技を
補助する画像の遅れはほとんどなく、出演者が演技しや
すくなる利益がある。
【００８７】また、演技補助画像を表示するための合成
画像データを得る際の画像切換信号は第１の画像データ
または第２の画像データのいずれかを取り出すためのも
のであり、第１の画像データがある閾値を越えるか否か
によって発生でき、画像切換信号を簡単かつ高速に得る
ことができる。
【００８８】また、カメラパラメータ算出手段で求めら
れる撮像手段の視点から、現在時刻あるいはそれより後
の時刻における撮像手段の視点を予測し、その予測され
た撮像手段の視点から見た場合の透視変換を施した所定
物体の投影像に対応した第４の画像データを作成し、こ
の第４の画像データと第１の画像データとを合成して演
技補助画像を得るための合成画像データを形成すること
で、撮像手段が移動している間であっても、所定物体と
出演者とが同一の空間に存在しているものを撮影して得
られた画像であるかのようなほぼ正確な合成画像を得る
ことができ、出演者は移動時の演技がしやすくなる利益
がある。
【図面の簡単な説明】
【図１】第１の実施の形態としての画像生成装置が備え
られたバーチャルスタジオを示す図である。
【図２】第２の実施の形態としての画像生成装置を示す
ブロック図である。
【図３】従来の画像生成装置が備えられたバーチャルス
タジオを示す図である。
【図４】従来の画像生成装置の各部の画像を説明するた
めの図である。
【符号の説明】
１・・・出演者、２・・・背景、３，３Ａ・・・画像生
成装置、４・・・移動可能なテレビカメラ、５・・・マ
ーカー位置情報格納部、６・・・カメラパラメータ算出
部、７・・・ＣＧ情報格納部、８，１８・・・ＣＧデー
タ作成部、９・・・ディレイ部、１０，１３・・・αブ
レンディング部、１１・・・キー生成部、１２・・・出
力端子、１４・・・簡易型キー生成部、１５・・・モニ
タ、１６・・・制御部、１７・・・カメラパラメータ予
測部

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】 所定の背景をバックに出演者を撮影して
    第１の画像データを得る移動可能な撮像手段と、 上記撮像手段の視点を求めるカメラパラメータ算出手段
    と、 上記カメラパラメータ算出手段で求められる上記撮像手
    段の視点から見た場合の透視変換を施した所定物体の投
    影像に対応した第２の画像データを作成する第１の画像
    データ作成手段と、 上記第１の画像データを上記カメラパラメータ算出手段
    および上記第１の画像データ作成手段における処理時間
    に対応して遅延させた第３の画像データを得るデータ遅
    延手段と、 上記第３の画像データと上記第２の画像データとを合成
    して第１の合成画像データを得る第１の画像データ合成
    手段と、 上記第１の画像データと上記第２の画像データとを合成
    して第２の合成画像データを得る第２の画像データ合成
    手段と、 上記第２の合成画像データによる上記出演者に対しての
    演技補助のための画像を表示する画像表示手段とを備え
    ることを特徴とする画像生成装置。
  2. 【請求項２】 上記第１の画像データに基づいて上記第
    １の画像データまたは上記第２の画像データのいずれか
    を取り出すための画像切換信号を得る画像切換信号発生
    手段をさらに備え、 上記第２の画像データ合成手段では、上記画像切換信号
    によって上記第１の画像データおよび上記第２の画像デ
    ータが切り換え合成されることを特徴とする請求項１に
    記載の画像生成装置。
  3. 【請求項３】 上記カメラパラメータ算出手段で求めら
    れる上記撮像手段の視点から、現在時刻あるいはそれよ
    り後の時刻における上記撮像手段の視点を予測するカメ
    ラパラメータ予測手段と、 上記カメラパラメータ予測手段で予測された上記撮像手
    段の視点から見た場合の透視変換を施した上記所定物体
    の投影像に対応した第４の画像データを作成する第２の
    画像データ作成手段とをさらに備え、 上記第２の画像データ合成手段では、上記第１および第
    ２の画像データを合成する代わりに、上記第１および第
    ４の画像データを合成することを特徴とする請求項１に
    記載の画像生成装置。
  4. 【請求項４】 上記第１の画像データに基づいて上記第
    １の画像データまたは上記第４の画像データのいずれか
    を取り出すための画像切換信号を得る画像切換信号発生
    手段をさらに備え、 上記第２の画像データ合成手段では、上記画像切換信号
    によって上記第１の画像データおよび上記第４の画像デ
    ータが切り換え合成されることを特徴とする請求項３に
    記載の画像生成装置。
  5. 【請求項５】 移動可能な撮像手段により所定の背景を
    バックに出演者を撮影して第２の画像データを得るステ
    ップと、 上記撮像手段の視点を求めるステップと、 上記撮像手段の視点から見た場合の透視変換を施した所
    定物体の投影像に対応した第２の画像データを作成する
    ステップと、 上記第１の画像データを上記撮像手段の視点を求めるス
    テップおよび上記第２の画像データを作成するステップ
    における処理時間に対応して遅延させて第３の画像デー
    タを得るステップと、 上記第３の画像データと上記第２の画像データとを合成
    して第１の合成画像データを得るステップと、 上記第１の画像データと上記第２の画像データとを合成
    して第２の合成画像データを得るステップと、 上記第２の合成画像データによる上記出演者に対しての
    演技補助のための画像を表示するステップとを備えるこ
    とを特徴とする画像生成方法。
  6. 【請求項６】 上記第１の画像データに基づいて上記第
    １の画像データまたは上記第２の画像データのいずれか
    を取り出すための画像切換信号を得るステップをさらに
    備え、 上記第２の合成画像データを得るステップでは、上記画
    像切換信号によって上記第１の画像データおよび上記第
    ２の画像データを切り換え合成することを特徴とする請
    求項５に記載の画像生成方法。
  7. 【請求項７】 上記撮像手段の視点を求めるステップで
    求められる上記撮像手段の視点から、現在時刻あるいは
    それより後の時刻における上記撮像手段の視点を予測す
    るステップと、上記予測された上記撮像手段の視点から
    見た場合の透視変換を施した上記所定物体の投影像に対
    応した第４の画像データを作成するステップとさらに備
    え、 上記第２の合成画像データを得るステップでは、上記第
    １および第２の画像データを合成する代わりに、上記第
    １および第４の画像データを合成することを特徴とする
    請求項５に記載の画像生成方法。
  8. 【請求項８】 上記第１の画像データに基づいて上記第
    １の画像データまたは上記第４の画像データのいずれか
    を取り出すための画像切換信号を得るステップをさらに
    備え、 上記第２の合成画像データを得るステップでは、上記画
    像切換信号によって上記第１の画像データおよび上記第
    ４の画像データを切り換え合成することを特徴とする請
    求項７に記載の画像生成方法。
JP13403797A 1997-05-23 1997-05-23 画像生成装置および画像生成方法 Expired - Fee Related JP3724117B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP13403797A JP3724117B2 (ja) 1997-05-23 1997-05-23 画像生成装置および画像生成方法
EP98921760A EP0921678A4 (en) 1997-05-23 1998-05-22 IMAGER AND CORRESPONDING PRINCIPLE
IL12818498A IL128184A (en) 1997-05-23 1998-05-22 Image generating device and image generating method
PCT/JP1998/002246 WO1998053606A1 (fr) 1997-05-23 1998-05-22 Imageur et principe correspondant
US09/233,762 US6147716A (en) 1997-05-23 1999-01-20 Picture generator and picture generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13403797A JP3724117B2 (ja) 1997-05-23 1997-05-23 画像生成装置および画像生成方法

Publications (2)

Publication Number Publication Date
JPH10327349A true JPH10327349A (ja) 1998-12-08
JP3724117B2 JP3724117B2 (ja) 2005-12-07

Family

ID=15118901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13403797A Expired - Fee Related JP3724117B2 (ja) 1997-05-23 1997-05-23 画像生成装置および画像生成方法

Country Status (5)

Country Link
US (1) US6147716A (ja)
EP (1) EP0921678A4 (ja)
JP (1) JP3724117B2 (ja)
IL (1) IL128184A (ja)
WO (1) WO1998053606A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002063572A (ja) * 2000-08-23 2002-02-28 For-A Co Ltd カメラパラメータ検知手段を有する画像合成システム
JP2011124634A (ja) * 2009-12-08 2011-06-23 Nippon Hoso Kyokai <Nhk> ロボットカメラ及びバーチャルスタジオシステム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219446A (ja) * 1998-02-03 1999-08-10 Matsushita Electric Ind Co Ltd 映像音響再生システム
US7101988B2 (en) * 2000-10-12 2006-09-05 Marical, Inc. Polyvalent cation-sensing receptor in Atlantic salmon
JP2002324239A (ja) * 2001-04-25 2002-11-08 Olympus Optical Co Ltd 情報呈示システム
US6990681B2 (en) * 2001-08-09 2006-01-24 Sony Corporation Enhancing broadcast of an event with synthetic scene using a depth map
US7173672B2 (en) * 2001-08-10 2007-02-06 Sony Corporation System and method for transitioning between real images and virtual images
US7339609B2 (en) * 2001-08-10 2008-03-04 Sony Corporation System and method for enhancing real-time data feeds
US7091989B2 (en) 2001-08-10 2006-08-15 Sony Corporation System and method for data assisted chroma-keying
US20030030658A1 (en) * 2001-08-10 2003-02-13 Simon Gibbs System and method for mixed reality broadcast
US20030187820A1 (en) 2002-03-29 2003-10-02 Michael Kohut Media management system and process
JP4909176B2 (ja) * 2007-05-23 2012-04-04 キヤノン株式会社 複合現実感提示装置及びその制御方法、コンピュータプログラム
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
EP3132597A1 (en) * 2014-04-15 2017-02-22 Navigate Surgical Technologies Inc. Marker-based pixel replacement
JP7075252B2 (ja) 2018-03-23 2022-05-25 キヤノン株式会社 情報処理装置およびその制御方法、プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4109278A (en) * 1975-03-21 1978-08-22 Sonex International Corp. Video traveling matte system
CA1187166A (en) * 1981-07-09 1985-05-14 Kaichi Yamamoto Digital chromakey apparatus
JPS5850571A (ja) * 1981-09-22 1983-03-25 株式会社石田衡器製作所 シ−ル構体及びその製造方法
JPS5850571U (ja) * 1981-09-30 1983-04-05 ソニー株式会社 写真合成装置
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4847543A (en) * 1988-04-08 1989-07-11 Ultimatte Corporation Motion control drive interface
US5227985A (en) * 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion
JPH06337898A (ja) * 1993-05-27 1994-12-06 Toshiba Corp 動画編集装置
US5500684A (en) * 1993-12-10 1996-03-19 Matsushita Electric Industrial Co., Ltd. Chroma-key live-video compositing circuit
US5416529A (en) * 1994-01-14 1995-05-16 Immix Method and system for digital video processing with combined downstream keyer and fade to black mixer
JP3620069B2 (ja) * 1994-06-28 2005-02-16 ソニー株式会社 信号変換装置および方法
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
JP3301679B2 (ja) * 1994-12-07 2002-07-15 松下電器産業株式会社 映像合成回路
EP0773672B1 (en) * 1995-05-31 2003-03-12 Sony Corporation Special effect device
BR9609169A (pt) * 1995-06-16 1999-12-14 Princeton Video Image Inc Sistema e processo para inserção de imagens estática e dinâmica em uma transmissão de vìdeo ao vivo.
US5790124A (en) * 1995-11-20 1998-08-04 Silicon Graphics, Inc. System and method for allowing a performer to control and interact with an on-stage display device
FR2741769B1 (fr) * 1995-11-23 1997-12-19 Thomson Broadcast Systems Procede de traitement du signal constitue par un sujet evoluant devant un fond colore et dispositif mettant en oeuvre ce procede
US5812214A (en) * 1996-03-14 1998-09-22 Sierra Video Systems, Inc. Apparatus and method for compositing video images
US5914748A (en) * 1996-08-30 1999-06-22 Eastman Kodak Company Method and apparatus for generating a composite image using the difference of two images

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002063572A (ja) * 2000-08-23 2002-02-28 For-A Co Ltd カメラパラメータ検知手段を有する画像合成システム
JP2011124634A (ja) * 2009-12-08 2011-06-23 Nippon Hoso Kyokai <Nhk> ロボットカメラ及びバーチャルスタジオシステム

Also Published As

Publication number Publication date
EP0921678A4 (en) 2001-03-21
IL128184A0 (en) 1999-11-30
WO1998053606A1 (fr) 1998-11-26
EP0921678A1 (en) 1999-06-09
JP3724117B2 (ja) 2005-12-07
US6147716A (en) 2000-11-14
IL128184A (en) 2003-06-24

Similar Documents

Publication Publication Date Title
Gibbs et al. Virtual studios: An overview
JP3363861B2 (ja) 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体
US8395711B2 (en) Method and system for fusing video streams
JP4072330B2 (ja) 表示装置および情報処理方法
JP3724117B2 (ja) 画像生成装置および画像生成方法
JP5861499B2 (ja) 動画提示装置
JP4700476B2 (ja) 多視点映像合成装置及び多視点映像合成システム
JP2001351126A (ja) ゲームのプログラムを記録したコンピュータ読み取り可能な記録媒体、ゲームのプログラム、ゲーム処理方法およびゲーム処理装置
JP3526897B2 (ja) 画像表示装置
WO2009035199A1 (en) Virtual studio posture correction machine
JP3496205B2 (ja) ゲーム機における球技ゲームでの視点変更方法
JP2021086189A (ja) 情報処理装置、情報処理方法、映像処理システム、およびプログラム
JP2024124469A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP7387286B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JPH10327350A (ja) 画像生成装置および画像生成方法
JP2000270261A (ja) 撮像装置及び画像合成方法並びに記録媒体
US11287658B2 (en) Picture processing device, picture distribution system, and picture processing method
JPH10336703A (ja) 画像合成装置、方法および記憶媒体
JP7011728B2 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
WO2020121844A1 (en) Image processing device, image processing method, and program
JP2022043539A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP4741434B2 (ja) Ｃｇ合成装置およびｃｇ合成プログラム
KR20050105308A (ko) 삼차원 가상 스투디오를 이용한 가라오케
JP2015126826A (ja) 情報処理装置及びプログラム
JP5411806B2 (ja) 画像合成装置およびそのプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050912

LAPS Cancellation because of no payment of annual fees