JP3724117B2 - 画像生成装置および画像生成方法 - Google Patents
画像生成装置および画像生成方法 Download PDFInfo
- Publication number
- JP3724117B2 JP3724117B2 JP13403797A JP13403797A JP3724117B2 JP 3724117 B2 JP3724117 B2 JP 3724117B2 JP 13403797 A JP13403797 A JP 13403797A JP 13403797 A JP13403797 A JP 13403797A JP 3724117 B2 JP3724117 B2 JP 3724117B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- viewpoint
- unit
- performer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 9
- 239000002131 composite material Substances 0.000 claims description 82
- 238000003384 imaging method Methods 0.000 claims description 42
- 230000009466 transformation Effects 0.000 claims description 28
- 230000002194 synthesizing effect Effects 0.000 claims description 22
- 238000002156 mixing Methods 0.000 description 35
- 239000003550 marker Substances 0.000 description 34
- 230000003111 delayed effect Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 206010024229 Leprosy Diseases 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は、例えばテレビ局のバーチャルスタジオで使用して好適な画像生成装置および画像生成方法に関する。詳しくは、出演者を移動可能な撮像手段で撮影して得られる第1の画像データを遅延処理して第3の画像データを得、この第3の画像データと撮像手段の視点で見た透視変換を施した所定物体の投影像に対応した第2の画像データとを合成して視聴者用の合成画像データを得ると共に、上記第1の画像データと第2の画像データとを合成して出演者に対して演技を補助する画像を表示するための合成画像データを得ることによって、出演者の動きに対する演技を補助する画像の遅れをなくし、出演者が演技しやすいようにした画像生成装置等に係るものである。
【0002】
【従来の技術】
最近は、テレビ局において、バーチャルスタジオあるいはバーチャルセットと呼ばれるスタジオで撮影し、この撮影した画像に対して、CG(コンピュータグラフィクス)で作成した画像を合成し、この合成画像を放送するということが行われるようになってきている。
【0003】
天気予報番組を例にとって、詳しく説明する。まず、青色の背景をバックに出演者を立たせ、この出演者をテレビカメラで撮影する。そして、このテレビカメラからの画像データに、CGで作成された物体、例えば気象情報の描かれた日本地図等の画像データを合成し、視聴者に提供される合成画像に係る合成画像データを作成する。
【0004】
図3は、バーチャルスタジオの具体例を示している。
【0005】
出演者101は、青色の背景102を使用して撮影される。この背景102には、青色系統で目立たないマーカー(模様)M1〜M9が付されている。マーカーM1〜M9の3次元上での位置は、特定の絶対不動の座標系(ワールド座標系)を基準として、あらかじめ測定されている。
【0006】
次に、画像生成装置103を説明する。この画像生成装置103は、背景102をバックに出演者101を撮影する移動可能なテレビカメラ104を有している。上述したようにマーカーM1〜M9は、青色の背景102の中にあることから目立たないが、テレビカメラ104で認識することがかろうじてできる。そのため、テレビカメラ104を基準としたマーカーM1〜M9の3次元位置を測定することができる。
【0007】
また、画像生成装置103は、ワールド座標系を基準としたマーカーM1〜M9の3次元位置情報PDWが格納されているマーカー位置情報格納部105と、テレビカメラ104で得られる、テレビカメラ104を基準としたマーカーM1〜M9の3次元位置情報PDTと、マーカー位置情報格納部105より読み出される3次元位置情報PDWとから、ワールド座標系を基準としたテレビカメラ104の3次元位置および向きを求めるカメラパラメータ算出部106とを有している。
【0008】
ここで、ワールド座標系を基準としたマーカーM1〜M9の3次元位置と、テレビカメラ104を基準としたマーカーM1〜M9の3次元位置との関係が、ある回転変換Rとある並進変換Tの関係にあるとすると、カメラパラメータ算出部106では、ワールド座標系を基準としたテレビカメラ104の3次元位置はTとされ、向きはRとされる。このカメラパラメータ算出部106からは、求められた3次元位置および向きの情報が、テレビカメラ104の視点情報POVとして出力される。
【0009】
また、画像生成装置103は、ワールド座標系を基準としたCG物体の3次元位置情報PCG、例えば、3次元空間上のどの位置に、CGで作られた「気象情報の描かれた日本地図」が仮想的に存在しているかという情報が格納されているCG情報格納部107を有している。この場合、CG情報格納部107には、多くのCG物体のワールド座標系を基準にした3次元位置情報PCGが格納されており、その中から適切なCG物体の3次元位置情報PCGが選択的に読み出されて使用されるが、この選択は後述する制御部によって行われる。すなわち、制御部よりCG情報格納部107に供給される読み出し要求信号RRQにより、所定のCG物体の3次元位置情報PCGが読み出される。
【0010】
また、画像生成装置103は、カメラパラメータ算出部106より出力されるテレビカメラ104の視点情報POVとCG情報格納部107より読み出される所定のCG物体の3次元位置情報PCGとをもとに、その所定のCG物体にテレビカメラ104の視点から見た透視変換を施した投影像に対応した2次元画像データVDcを作成するCGデータ作成部108を有している。この場合、CGデータ作成部108では、例えば、「気象情報の描かれた日本地図」を、あたかもテレビカメラ104の視点(3次元位置、向き)から見た場合の2次元画像データ(透視変換した画像に対応)VDcが作成される。
【0011】
また、画像生成装置103は、テレビカメラ104より出力される画像データVDaを遅延させるための時間調整用のディレイ部109を有している。この場合、CGデータ作成部108より時刻T1におけるテレビカメラ104の視点から見た場合の2次元画像データVDcが出力されるとき、ディレイ部109より画像データVDbとしてテレビカメラ104により時刻T1で撮影して得られる画像データVDaが出力されるように、ディレイ部109の遅延時間が設定される。
【0012】
すなわち、カメラパラメータ算出部106やCGデータ作成部108における計算には時間がかかるが、テレビカメラ104よりカメラパラメータ算出部106にある時刻の3次元位置情報PDTが供給されてからCGデータ作成部108よりその3次元位置情報PDTに対応した2次元画像データVDcが出力されるまでにt秒を要するとき、ディレイ部109の遅延時間はt秒とされる。
【0013】
このようにディレイ部109で時間調整をすることで、後述するようにCGデータ作成部108より出力される2次元画像データVDcとディレイ部109より出力される画像データVDbとを合成する場合、あたかもCG物体と出演者101とが同一の空間に存在しているものを撮影して得られた画像であるかのような合成画像を得ることが可能となる。
【0014】
また、画像生成装置103は、CGデータ作成部108より出力される2次元画像データVDcとディレイ部109より出力される画像データVDbとをミックスするαブレンディング部110と、テレビカメラ104より出力される画像データVDaよりαブレンディング部110にキー信号として供給するα値を得るキー生成部111とを有している。
【0015】
キー生成部111では、画像データVDaから、青色系統の画素部分と、完全に「青色でない」画素部分とを切り分ける作業が行われる。そして、このキー生成部111からは画像データVDaの各画素毎にα値が出力される。この場合、青色系統の画素部分ではα=0とされ、完全に「青色でない」画素部分ではα=1とされ、さらに中間色の部分では、0<α<1とされる。
【0016】
テレビカメラ104は、青色の背景102を使用して、例えば天気予報を説明するキャスター等の出演者101を撮影している。したがって、背景102の投影像の部分は青色なので、画像データVDaのうち背景102に対応する画素部分では、α=0となる。一方、出演者101の投影像の部分は青色ではないので、画像データVDaのうち出演者101に対応する画素部分では、α=1となる。さらに、出演者101と背景102との境界の投影像の部分は撮像レンズの歪みなどによりぼやけており、背景102の青色と出演者101の青色以外の色とが混じった色となるので、画像データVDaのうち出演者101と背景102との境界に対応する画素部分では、0<α<1となる。
【0017】
なお、上述したように、CGデータ作成部108より時刻T1におけるテレビカメラ104の視点から見た場合の2次元画像データVDcが出力されるとき、ディレイ部109より画像データVDbとしてテレビカメラ104により時刻T1で撮影して得られる画像データVDaが出力されるようにされるが、同様にCGデータ作成部108より時刻T1におけるテレビカメラ104の視点から見た場合の2次元画像データVDcが出力されるとき、キー生成部111よりテレビカメラ104により時刻T1で撮影して得られる画像データVDaから得られたα値が出力されるように時間調整されている。
【0018】
αブレンディング部110では、CGデータ作成部108で作成される2次元画像データVDcとディレイ部109より出力される画像データVDbに対して、以下の(1)式の演算が施されて、合成画像データVDdが得られる。
VDd=α×VDb+(1−α)×VDc ・・・(1)
【0019】
ここで、画像データVDbの背景102に対応する画素部分ではα=0であるため、αブレンディング部110からは合成画像データVDdとして2次元画像データVDcがそのまま出力される。また、画像データVDbの出演者101に対応する画素部分ではα=1であるため、αブレンディング部110からは合成画像データVDdとして画像データVDbがそのまま出力される。さらに、画像データVDbの背景102と出演者101との境界に対応する画素部分では0<α<1であり、αブレンディング部110からは画像データVDb,VDcが混じった合成画像データVDdが出力される。このように、画像データVDbの背景102と出演者101との境界に対応する画素部分で、画像データVDb,VDcが混じった合成画像データVDdが出力されるようにすることで、いわゆる境界部分のなじみをよくできる。
【0020】
また、画像生成装置103は、合成画像データVDdを視聴者に提供される合成画像のデータとして出力する出力端子112と、この合成画像データVDdが供給され、その合成画像データVDdによる画像を出演者101の演技を補助するための画像として表示するモニタ113とを有している。
【0021】
また、画像生成装置103は、ディレクタの操作に応じてCG情報格納部107に読み出し要求信号RRQを供給する制御部114を有している。この制御部114には、通常ユーザインタフェースが設けられている。すなわち、テレビカメラ104より出力される画像データVDaが供給され、モニタ(図示せず)にその画像データVDaによる画像が表示され、バーチャルスタジオ全体を運営管理しているディレクタに対して、テレビカメラ104の撮影情報が提供される。ディレクタは、例えば天気予報番組の現在の進行状況に合わせて、適切なCGの画像を選択し、制御部114の入力装置(図示せず)に、その情報を入力する。これに対応して、制御部114はその情報を読み出し要求信号RRQとしてCG情報格納部107に供給する。
【0022】
例えば、ディレクタが、現在、日本の天気予報を放送する時間であると判断した場合は、「気象情報の描かれた日本地図」を提供するように制御部114に指示する。制御部114は、この情報を読み出し要求信号RRQとしてCG情報格納部107に供給する。これにより、CGで作られた「気象情報の描かれた日本地図」の3次元位置情報PCGが、CG情報格納部107より読み出されてCGデータ作成部108に供給される。
【0023】
次に、画像生成装置103の動作を説明する。背景102をバックに出演者101がテレビカメラ104で撮影され、このテレビカメラ104より画像データVDaが得られ、この画像データVDaはディレイ部109でカメラパラメータ算出部106およびCGデータ作成部108の処理時間に対応する時間だけ遅延され、画像データVDbとしてαブレンディング部110に供給される。
【0024】
また、テレビカメラ104より、このテレビカメラ104を基準としたマーカーM1〜M9の3次元位置情報PDTが出力され、この3次元位置情報PDTはカメラパラメータ算出部106に供給される。一方、ワールド座標系を基準としたマーカーM1〜M9の3次元位置情報PDWがマーカー位置情報格納部105より読み出されてカメラパラメータ算出部106に供給される。カメラパラメータ算出部106では、マーカーM1〜M9の3次元位置情報PDT,PDWから、ワールド座標系を基準としたテレビカメラ104の3次元位置および向きが算出される。
【0025】
カメラパラメータ算出部106で求められるテレビカメラ104の3次元位置および向きの情報は、テレビカメラ104の視点情報POVとしてCGデータ作成部108に供給される。一方、制御部114より供給される読み出し要求信号RRQに対応してCG情報格納部107より所定のCG物体の3次元位置情報PCGが読み出され、この3次元位置情報PCGはCGデータ作成部108に供給される。CGデータ作成部108では、テレビカメラ104の視点情報POVと所定のCG物体の3次元位置情報PCGとをもとに、その所定のCG物体にテレビカメラ104の視点から見た透視変換を施した投影像に対応した2次元画像データVDcが作成される。例えば、「気象情報の描かれた日本地図」を、あたかもテレビカメラ104の視点から見た場合の2次元画像データVDcが作成される。そして、このCGデータ作成部108で作成される2次元画像データVDcはαブレンディング部110に供給される。
【0026】
また、テレビカメラ104より出力される画像データVDaがキー生成部111に供給され、キー生成部111では画像データVDaからいわゆるソフトキーを達成するキー信号としてのα値が生成される。そして、このα値はαブレンディング部110に供給される。そして、αブレンディング部110では、CGデータ作成部108より出力される2次元画像データVDcとディレイ部109より出力される画像データVDbに対して、(1)式の演算が施されて、所定のCG物体の投影像と出演者101の投影像との合成画像を表示するための合成画像データVDdが得られる。
【0027】
αブレンディング部110より出力される合成画像データVDdは出力端子112に出力され、視聴者に提供される合成画像のデータとされる。また、この合成画像データVDdはモニタ113に供給され、このモニタ113の画面上に合成画像データVDdによる画像が出演者101の演技を補助するための画像として表示される。
【0028】
図4A〜Dを使用して、画像生成装置103の各処理において、実際にどのような画像が生成されているかを説明する。
【0029】
図4Aは、テレビカメラ104よりある時刻において出力される画像データVDaによる画像を示している。背景102に対応する画素部分は青色系統である。出演者101に対応する画素部分は青色ではない。さらに、出演者101と背景102との境界の画素部分は青色と青色以外の色とが混じった色となる。なお、出演者101、背景102、マーカーM1〜M9に対応する画像部分には、それぞれ同一符号を付して示している。以下の各画像においても同様である。
【0030】
図4Bは、キー生成部111より出力されるα値を示している。背景102に対応する画素部分ではα=0である。出演者101に対応する画素部分ではα=1である。さらに、出演者101と背景102との境界の画素部分では、0<α<1となる。
【0031】
図4Cは、CGデータ作成部108で作成される2次元画像データVDcによる画像を示している。ここでは、CG情報格納部107から、CGで作られた「気象情報の描かれた日本地図」の3次元位置情報PCGが読み出された場合を示している。
【0032】
図4Dは、αブレンディング部110より出力される合成画像データVDdによる画像を示している。すなわち、各画素のα値によって、各画素毎に、図4Aに示す画像と図4Cに示す画像とがミックスされた画像である。
【0033】
さらに、次の時刻において、テレビカメラ104が移動した場合を考えてみる。この場合、出演者101が静止していたとしても、テレビカメラ104より出力される画像データVDaによる画像内の出演者101に対応する画像部分は画面上で移動することになる。カメラパラメータ算出部106では、ワールド座標系を基準としたテレビカメラ104の3次元位置および向きが算出され、この3次元位置および向きの情報がテレビカメラ104の視点情報POVとしてCGデータ作成部108に供給されるので、CG情報格納部107より読み出されるCG物体の3次元位置情報PCGが同じであっても、CGデータ作成部108より出力される2次元画像データVDcは変化する。なぜなら、透視変換において、見る位置が変化すれば、投影像も変化するからである。
【0034】
ある時刻とその次の時刻における透視変換した画像データVDcによる画像の変化量は、テレビカメラ104の移動による画像の変化量と同じである。したがって、ある時刻とその次の時刻における透視変換した画像データVDcによる画像の変化量は、テレビカメラ104で撮影された出演者101の投影像の移動量に対応したものとなる。そのため、最終的に得られる合成画像データVDdによる画像において、出演者101の投影像およびCG物体の投影像は同じように動くことになる。つまり、最終的に得られる合成画像データVDdによる画像は、あたかも、CGの物体、例えば、気象情報の描かれた日本地図と出演者101とが同一の空間に存在しているものを撮影した画像であるかのように見える。
【0035】
【発明が解決しようとする課題】
上述した画像生成装置103においては、モニタ113に合成画像データVDdによる画像、つまり出演者101の投影像とCG物体の投影像との合成画像が表示される。出演者101はその画像を見ながら演技することで、自分がいまCG物体とどのような位置関係にあるかを把握できる。これにより、出演者101は、例えばCGで作られた「気象情報の描かれた日本地図」の特定の部分を指し示すことも可能である。
【0036】
ところで、上述したように、カメラパラメータ算出部106およびCGデータ作成部108の処理にt秒を要するとき、ディレイ部109の遅延時間がt秒とされて時間調整が行われている。そのため、モニタ113に表示される画像は、t秒前の時刻の事象を撮影した画像となる。具体的には、出演者101が手をあげた場合、モニタ113に表示される出演者101の投影像はt秒後に手をあげることになる。このように、t秒前の自分自身の動作をモニタ113で見ながら演技をしていくことは、出演者101にとって演技しづらいという問題点があった。
【0037】
そこで、この発明では、出演者の動きに対する演技を補助する画像の遅れをなくし、出演者が演技しやすいようにすることを目的とする。
【0038】
【課題を解決するための手段】
この発明に係る画像生成装置は、所定の背景をバックに出演者を撮影して第1の画像データを得る移動可能な撮像手段と、この撮像手段の視点を求めるカメラパラメータ算出手段と、このカメラパラメータ算出手段で求められる撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第2の画像データを作成する第1の画像データ作成手段と、第1の画像データをカメラパラメータ算出手段および第1の画像データ作成手段における処理時間に対応して遅延させた第3の画像データを得るデータ遅延手段と、第3の画像データと第2の画像データとを合成して第1の合成画像データを得る第1の画像データ合成手段と、第1の画像データと第2の画像データとを合成して第2の合成画像データを得る第2の画像データ合成手段と、この第2の合成画像データによる出演者に対しての演技補助のための画像を表示する画像表示手段とを備えるものである。
【0039】
この発明に係る画像生成方法は、移動可能な撮像手段により所定の背景をバックに出演者を撮影して第1の画像データを得るステップと、撮像手段の視点を求めるステップと、撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第2の画像データを作成するステップと、第1の画像データを撮像手段の視点を求めるステップおよび第2の画像データを作成するステップにおける処理時間に対応して遅延させて第3の画像データを得るステップと、第3の画像データと第2の画像データとを合成して第1の合成画像データを得るステップと、第1の画像データと第2の画像データとを合成して第2の合成画像データを得るステップと、第2の合成画像データによる上記出演者に対しての演技補助のための画像を表示するステップとを備えるものである。
【0040】
所定の背景、例えば青色の背景をバックに出演者が移動可能な撮像手段で撮影されて第1の画像データが得られ、この第1の画像データが遅延処理されて第3の画像データが得られる。また、撮像手段の視点、例えばワールド座標系を基準とした撮像手段の3次元位置および向きが求められ、この視点から見た場合の透視変換を施した所定物体、例えばCG物体の投影像に対応した第2の画像データが作成される。そして、第3の画像データと第2の画像データとが合成され、例えば視聴者に提供する合成画像に係る第1の合成画像データが得られる。
【0041】
この場合、第3の画像データは第2の画像データを得るための処理時間に対応して第1の画像データが遅延処理されてなるものであり、ある時刻に撮像手段で撮影して得られた第3の画像データと、このある時刻における撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第2の画像データとが合成されるようにされる。そのため、出演者の動きに対して、第1の合成画像データによる画像における出演者の投影像の動きは、第3の画像データが遅延処理されたものである分だけ遅れたものとなる。
【0042】
また、撮像手段より出力される第1の画像データと第2の画像データとが合成されて第2の合成画像データが得られる。そして、この第2の合成画像データによる画像が出演者に対しての演技補助のための画像として表示される。第2の合成画像データを得る際に第1の画像データを遅延処理をせずにそのまま使用しているので、第2の合成画像データによる画像における出演者の投影像の動きは、ほとんど遅れのないものとなる。
【0043】
また、第1の画像データに基づいて第1の画像データまたは第2の画像データのいずれかを取り出すための画像切換信号を得る画像切換信号発生手段をさらに備え、第2の画像データ合成手段では、画像切換信号によって第1の画像データおよび第2の画像データが切り換え合成されるようにしてもよい。例えば、画像データ合成手段がαブレンディング部で構成される場合、画像切換信号としてのα値は、0または1となる。すなわち、画像切換信号発生手段では、第1の画像データがある閾値を越えるか否かでα値を決定して出力でき、画像切換信号を簡単かつ高速に得ることが可能となる。
【0044】
また、カメラパラメータ算出手段で求められる撮像手段の視点から、現在時刻あるいはそれより後の時刻における撮像手段の視点を予測するカメラパラメータ予測手段と、このカメラパラメータ予測手段で予測された撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第4の画像データを作成する第2の画像データ作成手段とをさらに備え、第2の画像データ合成手段では、第1および第2の画像データを合成する代わりに、第1および第4の画像データを合成するようにしてもよい。
【0045】
この場合、第4の画像データは、現在時刻における撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応したものとなる。したがって、現在時刻の第1の画像データと、その現在時刻における撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した画像データとが合成されて第2の合成画像データが得られることとなり、撮像手段が移動している間であっても、あたかも所定物体と出演者とが同一の空間に存在しているものを撮影して得られた画像であるかのような正確な合成画像(演技補助画像)を得ることが可能となり、出演者は移動時の演技がしやすくなる。
【0046】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図1は、この発明の第1の実施の形態としての画像生成装置3が備えられたバーチャルスタジオを示している。このバーチャルスタジオでは、図3に示すバーチャルスタジオと同様に、青色の背景をバックにテレビカメラにより出演者を撮影し、このテレビカメラからの画像データに、CGで作成された物体、例えば気象情報の描かれた日本地図等の画像データを合成し、視聴者に提供する合成画像に係る合成画像データを得ることが行われている。
【0047】
このバーチャルスタジオにおいて、出演者1は、青色の背景2を使用して撮影される。この背景2には、図3に示すバーチャルスタジオにおける背景102と同様に、青色系統で目立たないマーカー(模様)M1〜M9が付されている。マーカーM1〜M9の3次元上での位置は、特定の絶対不動の座標系(ワールド座標系)を基準として、あらかじめ測定されている。
【0048】
次に、画像生成装置3を説明する。この画像生成装置3は、背景2をバックに出演者1を撮影する移動可能なテレビカメラ4を有している。上述したようにマーカーM1〜M9は、青色の背景2の中にあることから目立たないが、テレビカメラ4で認識することがかろうじてできる。そのため、テレビカメラ4を基準としたマーカーM1〜M9の3次元位置を測定できる。
【0049】
また、画像生成装置3は、ワールド座標系を基準としたマーカーM1〜M9の3次元位置情報PDWが格納されているマーカー位置情報格納部5と、テレビカメラ4で得られる、テレビカメラ4を基準としたマーカーM1〜M9の3次元位置情報PDTと、マーカー位置情報格納部5より読み出される3次元位置情報PDWとから、ワールド座標系を基準としたテレビカメラ4の3次元位置および向きを求めるカメラパラメータ算出部6とを有している。
【0050】
ここで、ワールド座標系を基準としたマーカーM1〜M9の3次元位置と、テレビカメラ4を基準としたマーカーM1〜M9の3次元位置との関係が、ある回転変換Rとある並進変換Tの関係にあるとすると、カメラパラメータ算出部6では、ワールド座標系を基準としたテレビカメラ4の3次元位置はTとされ、向きはRとされる。このカメラパラメータ算出部6からは、求められた3次元位置および向きの情報が、テレビカメラ4の視点情報POVとして出力される。
【0051】
なお、背景2の中のマーカーM1〜M9の個数は9個であるが、これ以外の個数であってもよい。また、テレビカメラ4に機械的に取り付けられたセンサにより、テレビカメラ4のワールド座標系における3次元位置および向きを求めることも可能である。例えば、テレビカメラ4を雲台に載せておき、歯車を使ってテレビカメラ4を回転できるようにしておく。歯車の回転した量によって、テレビカメラ4の向きを知ることができる。この場合、テレビカメラ4よりカメラパラメータ算出部6に供給されるデータは、歯車の回転量であり、この回転量からテレビカメラ4の向きなどを算出するようにカメラパラメータ算出部6を構成しておく。マーカー位置情報格納部5は不要となる。いずれにせよ、カメラパラメータ算出部6からは、ワールド座標系を基準としたテレビカメラ4の3次元位置および向きの情報が、テレビカメラ4の視点情報POVとして出力される。
【0052】
また、画像生成装置3は、ワールド座標系を基準としたCG物体の3次元位置情報PCG、例えば、3次元空間上のどの位置に、CGで作られた「気象情報の描かれた日本地図」が仮想的に存在しているかという情報が格納されているCG情報格納部7を有している。この場合、CG情報格納部7には、多くのCG物体のワールド座標系を基準にした3次元位置情報PCGが格納されており、その中から適切なCG物体の3次元位置情報PCGが選択的に読み出されて使用されるが、この選択は後述する制御部によって行われる。すなわち、制御部よりCG情報格納部7に供給される読み出し要求信号RRQにより、所定のCG物体の3次元位置情報PCGが読み出される。
【0053】
また、画像生成装置3は、カメラパラメータ算出部6より出力されるテレビカメラ4の視点情報POVとCG情報格納部7より読み出される所定のCG物体の3次元位置情報PCGとをもとに、その所定のCG物体にテレビカメラ4の視点から見た透視変換を施した投影像に対応した2次元画像データVDcを作成するCGデータ作成部8を有している。この場合、CGデータ作成部8では、例えば、「気象情報の描かれた日本地図」を、あたかもテレビカメラ4の視点(3次元位置、向き)から見た場合の2次元画像データ(透視変換した画像に対応)VDcが作成される。
【0054】
また、画像生成装置3は、テレビカメラ4より出力される画像データVDaを遅延させるための時間調整用のディレイ部9を有している。この場合、CGデータ作成部8より時刻T1におけるテレビカメラ4の視点から見た場合の2次元画像データVDcが出力されるとき、ディレイ部9より画像データVDbとしてテレビカメラ4により時刻T1で撮影して得られる画像データVDaが出力されるように、ディレイ部9の遅延時間が設定されている。
【0055】
すなわち、カメラパラメータ算出部6やCGデータ作成部8における計算には一定の時間がかかるが、テレビカメラ4よりカメラパラメータ算出部6にある時刻の3次元位置情報PDTが供給されてからCGデータ作成部8よりその3次元位置情報PDTに対応した2次元画像データVDcが出力されるまでにt秒を要するとき、ディレイ部9の遅延時間はt秒とされる。
【0056】
このようにディレイ部9で時間調整をすることで、後述するようにCGデータ作成部8より出力される2次元画像データVDcとディレイ部9より出力される画像データVDbとを合成する場合、あたかもCG物体と出演者1とが同一の空間に存在しているものを撮影して得られた画像であるかのような合成画像を得ることが可能となる。
【0057】
また、画像生成装置3は、CGデータ作成部8より出力される2次元画像データVDcとディレイ部9より出力される画像データVDbとをミックスして合成画像データVDdを得るαブレンディング部10と、テレビカメラ4より出力される画像データVDaよりαブレンディング部10にキー信号として供給するα値を得るキー生成部11とを有している。
【0058】
キー生成部11では、画像データVDaから、青色系統の画素部分と、完全に「青色でない」画素部分とを切り分ける作業が行われる。そして、このキー生成部11からは画像データVDaの各画素毎にα値が出力される。この場合、青色系統の画素部分ではα=0とされ、完全に「青色でない」画素部分ではα=1とされ、さらに中間色の部分では、0<α<1とされる。
【0059】
テレビカメラ4は、青色の背景2を使用して、例えば天気予報を説明するキャスター等の出演者1を撮影している。したがって、背景2の投影像の部分は青色なので、画像データVDaのうち背景2に対応する画素部分では、α=0となる。一方、出演者1の投影像の部分は青色ではないので、画像データVDaのうち出演者1に対応する画素部分では、α=1となる。さらに、出演者1と背景2との境界の投影像の部分は撮像レンズの歪みなどによりぼやけており、背景2の青色と出演者1の青色以外の色とが混じった色となるので、画像データVDaのうち出演者1と背景1との境界に対応する画素部分では、0<α<1となる。
【0060】
なお、上述したように、CGデータ作成部8より時刻T1におけるテレビカメラ4の視点から見た場合の2次元画像データVDcが出力されるとき、ディレイ部9より画像データVDbとしてテレビカメラ4により時刻T1で撮影して得られる画像データVDaが出力されるようにされるが、同様にCGデータ作成部8より時刻T1におけるテレビカメラ4の視点から見た場合の2次元画像データVDcが出力されるとき、キー生成部11よりテレビカメラ4により時刻T1で撮影して得られる画像データVDaから得られたα値が出力されるように時間調整されている。
【0061】
αブレンディング部10では、CGデータ作成部8で作成される2次元画像データVDcとディレイ部9より出力される画像データVDbに対して、上述した(1)式の演算が施されて、合成画像データVDdが得られる。ここで、画像データVDbの背景2に対応する画素部分ではα=0であるため、αブレンディング部10からは合成画像データVDdとして2次元画像データVDcがそのまま出力される。また、画像データVDbの出演者1に対応する画素部分ではα=1であるため、αブレンディング部10からは合成画像データVDdとして画像データVDbがそのまま出力される。さらに、画像データVDbの背景2と出演者1との境界に対応する画素部分では0<α<1であり、αブレンディング部10からは画像データVDb,VDcが混じった合成画像データVDdが出力される。このように、画像データVDbの背景2と出演者1との境界に対応する画素部分で、画像データVDb,VDcが混じった合成画像データVDdが出力されるようにすることで、いわゆる境界部分のなじみをよくできる。
【0062】
また、画像生成装置3は、合成画像データVDdを視聴者に提供される合成画像のデータとして出力する出力端子12を有している。なお、本実施の形態においては、この合成画像データVDdを、演技を補助するための画像を表示するためには使用しない。上述したテレビカメラ4、マーカー位置情報格納部5、カメラパラメータ算出部6、CG情報格納部7、CGデータ作成部8、ディレイ部9、αブレンディング部10およびキー生成部11は、それぞれ図3に示す画像生成装置103のテレビカメラ104、マーカー位置情報格納部105、カメラパラメータ算出部106、CG情報格納部107、CGデータ作成部108、ディレイ部109、αブレンディング部110およびキー生成部111と同様に構成されている。
【0063】
また、画像生成装置3は、テレビカメラ4より出力される画像データVDaとCGデータ作成部8で作成される2次元画像データVDcとをミックスして合成画像データVDeを得るαブレンディング部13と、テレビカメラ4より出力される画像データVDaよりαブレンディング部13にキー信号として供給するα値を得る簡易型キー生成部14とを有している。
【0064】
簡易型キー生成部14では、画像データVDaから、青色系統の画素部分と、それ以外の部分とを切り分ける作業が行われる。そして、このキー生成部14からは画像データVDaの各画素毎にα値が出力される。この場合、青色系統の画素部分ではα=0とされ、それ以外の画素部分ではα=1とされる。α値の取りうる値は0または1である。ここで、背景2の投影像の部分は青色なので、画像データVDaのうち背景2に対応する画素部分では、α=0となる。出演者1の投影像の部分は青色ではないので、画像データVDaのうち出演者1に対応する画素部分では、α=1となる。さらに、出演者1と背景2との境界の投影像の部分は撮像レンズの歪みなどによりぼやけており、背景2の青色と出演者1の青色以外の色とが混じった色となるので、画像データVDaのうち出演者1と背景2との境界に対応する画素部分では、α=0またはα=1のいずれかである。
【0065】
上述したキー生成部11では、中間色に対しては0<α<1なる値を求めている。しかし、キー生成部14では、あるしきい値を越えるか越えないかによって、α値を0か1に決定している。そのため、キー生成部14の処理は、キー生成部11の処理に比べて簡単であって高速処理が可能となる。なお、キー生成部11が十分に高速処理可能であるならば、キー生成部14の代わりに、キー生成部11と同様に構成されたキー生成部を使用するようにしてもよい。
【0066】
αブレンディング部13では、テレビカメラ4より出力される画像データVDaとCGデータ作成部8で作成された2次元画像データVDcに対して、以下の(2)式の演算が施されて、合成画像データVDeが得られる。
VDe=α×VDa+(1−α)×VDc ・・・(2)
【0067】
また、画像生成装置3は、合成画像データVDeが供給され、その合成画像データVDeによる画像を出演者1の演技を補助するための画像として表示するモニタ15を有している。ここで、画像データVDaの背景2に対応する画素部分ではα=0であるため、αブレンディング部13からは合成画像データVDeとして2次元画像データVDcがそのまま出力される。画像データVDaの出演者1に対応する画素部分ではα=1であるため、αブレンディング部13からは合成画像データVDeとして画像データVDaがそのまま出力される。そして、画像データVDaの背景2と出演者1との境界に対応する画素部分では、α=0またはα=1であって、合成画像データVDeは極端に変化してしまうので、合成画像データVDeによる合成画像は、背景2と出演者1との境界に対応する画素部分で不自然に見える。しかし、この合成画像は、出演者1の演技を補助するための画像であり、出演者1とCG物体との位置関係が把握できればよいので、境界上で不自然に見えていても問題はない。
【0068】
また、画像生成装置3は、ディレクタの操作に応じてCG情報格納部7に読み出し要求信号RRQを供給する制御部16を有している。この制御部16には、通常ユーザインタフェースが設けられている。すなわち、テレビカメラ4より出力される画像データVDaが供給され、モニタ(図示せず)にその画像データVDaによる画像が表示され、バーチャルスタジオ全体を運営管理しているディレクタに対して、テレビカメラ4の撮影情報が提供される。ディレクタは、例えば天気予報番組の現在の進行状況に合わせて、CGの画像を選択し、制御部16の入力装置(図示せず)に、その情報を入力する。これに対応して、制御部16はその情報を読み出し要求信号RRQとしてCG情報格納部7に供給する。
【0069】
例えば、ディレクタが、現在、日本の天気予報を放送する時間であると判断した場合は、「気象情報の描かれた日本地図」を提供するように制御部16に指示する。制御部16は、この情報を読み出し要求信号RRQとしてCG情報格納部7に供給する。これにより、CGで作られた「気象情報の描かれた日本地図」の3次元位置情報PCGが、CG情報格納部7より読み出されてCGデータ作成部8に供給される。
【0070】
次に、画像生成装置3の動作を説明する。背景2をバックに出演者1がテレビカメラ4で撮影され、このテレビカメラ4より画像データVDaが得られ、この画像データVDaはディレイ部9でカメラパラメータ算出部6およびCGデータ作成部8の処理時間に対応する時間だけ遅延され、画像データVDbとしてαブレンディング部10に供給される。
【0071】
また、テレビカメラ4より、このテレビカメラ4を基準としたマーカーM1〜M9の3次元位置情報PDTが出力され、この3次元位置情報PDTはカメラパラメータ算出部6に供給される。一方、ワールド座標系を基準としたマーカーM1〜M9の3次元位置情報PDWがマーカー位置情報格納部5より読み出されてカメラパラメータ算出部6に供給される。カメラパラメータ算出部6では、マーカーM1〜M9の3次元位置情報PDT,PDWとから、ワールド座標系を基準としたテレビカメラ4の3次元位置および向きが算出される。
【0072】
カメラパラメータ算出部6で求められるテレビカメラ4の3次元位置および向きの情報は、テレビカメラ4の視点情報POVとしてCGデータ作成部8に供給される。一方、制御部16より供給される読み出し要求信号RRQに対応してCG情報格納部7より所定のCG物体の3次元位置情報PCGが読み出され、この3次元位置情報PCGはCGデータ作成部8に供給される。CGデータ作成部8では、テレビカメラ4の視点情報POVと所定のCG物体の3次元位置情報PCGとをもとに、その所定のCG物体にテレビカメラ4の視点から見た透視変換を施した投影像に対応した2次元画像データVDcが作成される。例えば、「気象情報の描かれた日本地図」を、あたかもテレビカメラ4の視点から見た場合の2次元画像データVDcが作成される。そして、この2次元画像データVDcはαブレンディング部10に供給される。
【0073】
また、テレビカメラ4より出力される画像データVDaがキー生成部11に供給され、キー生成部11では画像データVDaからいわゆるソフトキーを達成するキー信号としてのα値が生成される。このα値はαブレンディング部10に供給される。そして、αブレンディング部10では、CGデータ作成部8より出力される2次元画像データVDcとディレイ部9より出力される画像データVDbに対して、上述の(1)式の演算が施されて、所定のCG物体の投影像と出演者1の投影像との合成画像を表示するための合成画像データVDdが得られる。この合成画像データVDdは出力端子12に出力され、視聴者に提供される合成画像のデータとされる。
【0074】
また、テレビカメラ4より出力される画像データVDaが簡易型キー生成部14に供給され、キー生成部14では画像データVDaからいわゆるハードキーを達成するキー信号としてのα値(α=0またはα=1)が生成される。このα値はαブレンディング部13に供給される。そして、αブレンディング部13では、テレビカメラ4より出力される画像データVDaとCGデータ作成部VDcに対して、上述の(2)式の演算が施されて、所定のCG物体の投影像と出演者1の投影像との合成画像を表示するための合成画像データVDeが得られる。この合成画像データVDeはモニタ15に供給され、このモニタ15の画面上に合成画像データVDeによる画像が出演者1の演技を補助するための画像として表示される。
【0075】
以上説明した画像生成装置3においては、出演者1の演技を補助するための合成画像を得るための合成画像データVDeが、遅延処理を行っていないテレビカメラ4の出力画像データVDaを使用して合成される。そのため、出演者1の動きに対して、合成画像データVDeによる合成画像における出演者の投影像の動きは遅れのないものとなり、出演者が演技しやすくなる利益がある。
【0076】
なお、図1に示す画像生成装置3において、テレビカメラ4が移動していないときは、ある時刻にテレビカメラ4で撮影されて得られた画像データVDaと、このある時刻におけるテレビカメラ4の視点から見た場合の透視変換を施した所定のCG物体の投影像に対応した2次元画像データVDcとが合成されて合成画像データVDeが得られることとなり、あたかもCG物体と出演者1とが同一の空間に存在しているものを撮影して得られた画像であるかのような正確な合成画像を得ることができる。
【0077】
一方、テレビカメラ4が移動しているときは、CGデータ作成部8より出力される2次元画像データVDcは、カメラパラメータ算出部6およびCGデータ作成部8の処理時間だけ前の時刻におけるテレビカメラ4の視点から見た場合の透視変換を施した所定のCG物体の投影像に対応した2次元画像データVDcとなる。そのため、この2次元画像データVDcとテレビカメラ4で撮影されて得られた画像データVDaとが合成された合成画像データVDeによる合成画像は不正確なものとなる。しかし、一般的に、CG物体がワールド座標系を基準にしてほとんど動かない場合にしか出演者1はそのCG物体を指し示したりしないので、この遅れは問題にはならない。
【0078】
また、仮に、テレビカメラ4が移動しているときに、出演者1がモニタ15を見ながら演技する場合を考えてみる。モニタ15の画面上の不正確な合成画像を参考にして出演者1が演技することで、その演技に多少のずれを生じる。具体的には、出演者1がCG物体を指し示すとき、多少ずれた場所を指し示してしまうことが起こる。しかしながら、テレビカメラ4は移動撮影しているので、視聴者に提供する合成画像も全体が動いていることになる。人間の目の特性は、全体の風景が動いている場合、劣化するので、この場合、視聴者は、出演者1が多少ずれた場所を指し示していることに気が付かない。つまり、テレビカメラ4が移動しているときは、モニタ15の画面上に表示される合成画像は、多少不正確でもよい。
【0079】
次に、図2を使用して、この発明の第2の実施の形態としての画像生成装置3Aについて説明する。
【0080】
この画像生成装置3Aでは、カメラパラメータ算出部6より出力されるテレビカメラ4の視点情報POVに基づいて、現在時刻におけるそのテレビカメラ4の視点(ワールド座標系を基準にした3次元位置および向き)を予測するカメラパラメータ予測部17を有している。因に、テレビカメラ4が移動しているとき、視点情報POVは現在時刻よりカメラパラメータ算出部6の処理時間だけ前の時刻におけるテレビカメラ4の視点を示すものとなっている。
【0081】
ここで、カメラパラメータ予測部17における具体的なカメラパラメータ(テレビカメラの位置、向き)の予測の方法を説明する。例えば、過去の2つの時刻におけるテレビカメラ4の位置および向きが、それぞれ、「T1およびR1」、「T2およびR2」であったとする。位置の移動量の割合は、T2−T1と考えられる。したがって、この過去の2つの時刻の位置情報(T1、T2)より、現在時刻における位置は、T2+(T2−T1)と線形予測される。同様に、現在時刻における向きは、R2+(R2−R1)と線形予測される。なお、さらに沢山の過去の時刻における位置および向きの情報をもってすれば、より正確な予測が可能となる。いずれにせよ、カメラパラメータ予測部17からは、予測された現在時刻におけるテレビカメラ4の視点情報POVcが出力される。
【0082】
また、画像生成装置3Aは、カメラパラメータ予測部17からの予測されたテレビカメラ4の視点情報POVcとCG情報格納部7より読み出される所定のCG物体の3次元位置情報PCGとをもとに、その所定のCG物体にテレビカメラ4の視点から見た透視変換を施した投影像に対応した2次元画像データVDfを作成するCGデータ作成部18を有している。
【0083】
図1に示す画像生成装置3では、αブレンディング部13でテレビカメラ4より出力される画像データVDaとCGデータ作成部8で作成される2次元画像データVDcとがミックスされて合成画像データVDeが形成されるものであった。しかし、この画像生成装置3Aでは、αブレンディング部13でテレビカメラ4より出力される画像データVDaとCGデータ作成部18で作成される2次元画像データVDfとがミックスされて合成画像データVDeが形成される。この画像生成装置3Aのその他の構成および動作は、上述した画像生成装置3と同様であるので、その説明は省略する。
【0084】
このように、図2に示す画像生成装置3Aにおいては、CGデータ作成部18からは予測された現在時刻におけるテレビカメラ4の視点から見た場合の透視変換を施した所定のCG物体の投影像に対応した2次元画像データVDfが出力され、この2次元画像データVDfとテレビカメラ4で撮影されて得られた画像データVDaとが合成されて合成画像データVDeが形成されるものであり、テレビカメラ4が移動しているときでも、この合成画像データVDeによる合成画像はほぼ正確なものとなり、出演者1はCG物体を指し示すことが容易となる。
【0085】
なお、カメラパラメータ予測部17では、現在時刻におけるテレビカメラ4の視点を予測するものであったが、さらにCGデータ作成部18の処理時間だけ現在時刻より後の時刻におけるテレビカメラ4の視点を予測するようにしてもよい。これにより、αブレンディング部13では、ある時刻にテレビカメラ4より出力される画像データVDaとそのある時刻におけるテレビカメラ4の視点から見た場合の透視変換を施した所定のCG物体の投影像に対応した2次元画像データVDfとを合成して合成画像データVDeを得ることができ、一層正確な合成画像を得ることが可能となる。
【0086】
【発明の効果】
この発明によれば、出演者を移動可能な撮像手段で撮影して得られる第1の画像データを遅延処理して第3の画像データを得、この第3の画像データと撮像手段の視点で見た透視変換を施した所定物体の投影像に対応した第2の画像データとを合成して視聴者用の合成画像データを得ると共に、遅延処理されていない第1の画像データと第2の画像データとを合成して出演者に対して演技を補助する画像を表示するための合成画像データを得るものであり、出演者の動きに対する演技を補助する画像の遅れはほとんどなく、出演者が演技しやすくなる利益がある。
【0087】
また、演技補助画像を表示するための合成画像データを得る際の画像切換信号は第1の画像データまたは第2の画像データのいずれかを取り出すためのものであり、第1の画像データがある閾値を越えるか否かによって発生でき、画像切換信号を簡単かつ高速に得ることができる。
【0088】
また、カメラパラメータ算出手段で求められる撮像手段の視点から、現在時刻あるいはそれより後の時刻における撮像手段の視点を予測し、その予測された撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第4の画像データを作成し、この第4の画像データと第1の画像データとを合成して演技補助画像を得るための合成画像データを形成することで、撮像手段が移動している間であっても、所定物体と出演者とが同一の空間に存在しているものを撮影して得られた画像であるかのようなほぼ正確な合成画像を得ることができ、出演者は移動時の演技がしやすくなる利益がある。
【図面の簡単な説明】
【図1】第1の実施の形態としての画像生成装置が備えられたバーチャルスタジオを示す図である。
【図2】第2の実施の形態としての画像生成装置を示すブロック図である。
【図3】従来の画像生成装置が備えられたバーチャルスタジオを示す図である。
【図4】従来の画像生成装置の各部の画像を説明するための図である。
【符号の説明】
1・・・出演者、2・・・背景、3,3A・・・画像生成装置、4・・・移動可能なテレビカメラ、5・・・マーカー位置情報格納部、6・・・カメラパラメータ算出部、7・・・CG情報格納部、8,18・・・CGデータ作成部、9・・・ディレイ部、10,13・・・αブレンディング部、11・・・キー生成部、12・・・出力端子、14・・・簡易型キー生成部、15・・・モニタ、16・・・制御部、17・・・カメラパラメータ予測部
【発明の属する技術分野】
この発明は、例えばテレビ局のバーチャルスタジオで使用して好適な画像生成装置および画像生成方法に関する。詳しくは、出演者を移動可能な撮像手段で撮影して得られる第1の画像データを遅延処理して第3の画像データを得、この第3の画像データと撮像手段の視点で見た透視変換を施した所定物体の投影像に対応した第2の画像データとを合成して視聴者用の合成画像データを得ると共に、上記第1の画像データと第2の画像データとを合成して出演者に対して演技を補助する画像を表示するための合成画像データを得ることによって、出演者の動きに対する演技を補助する画像の遅れをなくし、出演者が演技しやすいようにした画像生成装置等に係るものである。
【0002】
【従来の技術】
最近は、テレビ局において、バーチャルスタジオあるいはバーチャルセットと呼ばれるスタジオで撮影し、この撮影した画像に対して、CG(コンピュータグラフィクス)で作成した画像を合成し、この合成画像を放送するということが行われるようになってきている。
【0003】
天気予報番組を例にとって、詳しく説明する。まず、青色の背景をバックに出演者を立たせ、この出演者をテレビカメラで撮影する。そして、このテレビカメラからの画像データに、CGで作成された物体、例えば気象情報の描かれた日本地図等の画像データを合成し、視聴者に提供される合成画像に係る合成画像データを作成する。
【0004】
図3は、バーチャルスタジオの具体例を示している。
【0005】
出演者101は、青色の背景102を使用して撮影される。この背景102には、青色系統で目立たないマーカー(模様)M1〜M9が付されている。マーカーM1〜M9の3次元上での位置は、特定の絶対不動の座標系(ワールド座標系)を基準として、あらかじめ測定されている。
【0006】
次に、画像生成装置103を説明する。この画像生成装置103は、背景102をバックに出演者101を撮影する移動可能なテレビカメラ104を有している。上述したようにマーカーM1〜M9は、青色の背景102の中にあることから目立たないが、テレビカメラ104で認識することがかろうじてできる。そのため、テレビカメラ104を基準としたマーカーM1〜M9の3次元位置を測定することができる。
【0007】
また、画像生成装置103は、ワールド座標系を基準としたマーカーM1〜M9の3次元位置情報PDWが格納されているマーカー位置情報格納部105と、テレビカメラ104で得られる、テレビカメラ104を基準としたマーカーM1〜M9の3次元位置情報PDTと、マーカー位置情報格納部105より読み出される3次元位置情報PDWとから、ワールド座標系を基準としたテレビカメラ104の3次元位置および向きを求めるカメラパラメータ算出部106とを有している。
【0008】
ここで、ワールド座標系を基準としたマーカーM1〜M9の3次元位置と、テレビカメラ104を基準としたマーカーM1〜M9の3次元位置との関係が、ある回転変換Rとある並進変換Tの関係にあるとすると、カメラパラメータ算出部106では、ワールド座標系を基準としたテレビカメラ104の3次元位置はTとされ、向きはRとされる。このカメラパラメータ算出部106からは、求められた3次元位置および向きの情報が、テレビカメラ104の視点情報POVとして出力される。
【0009】
また、画像生成装置103は、ワールド座標系を基準としたCG物体の3次元位置情報PCG、例えば、3次元空間上のどの位置に、CGで作られた「気象情報の描かれた日本地図」が仮想的に存在しているかという情報が格納されているCG情報格納部107を有している。この場合、CG情報格納部107には、多くのCG物体のワールド座標系を基準にした3次元位置情報PCGが格納されており、その中から適切なCG物体の3次元位置情報PCGが選択的に読み出されて使用されるが、この選択は後述する制御部によって行われる。すなわち、制御部よりCG情報格納部107に供給される読み出し要求信号RRQにより、所定のCG物体の3次元位置情報PCGが読み出される。
【0010】
また、画像生成装置103は、カメラパラメータ算出部106より出力されるテレビカメラ104の視点情報POVとCG情報格納部107より読み出される所定のCG物体の3次元位置情報PCGとをもとに、その所定のCG物体にテレビカメラ104の視点から見た透視変換を施した投影像に対応した2次元画像データVDcを作成するCGデータ作成部108を有している。この場合、CGデータ作成部108では、例えば、「気象情報の描かれた日本地図」を、あたかもテレビカメラ104の視点(3次元位置、向き)から見た場合の2次元画像データ(透視変換した画像に対応)VDcが作成される。
【0011】
また、画像生成装置103は、テレビカメラ104より出力される画像データVDaを遅延させるための時間調整用のディレイ部109を有している。この場合、CGデータ作成部108より時刻T1におけるテレビカメラ104の視点から見た場合の2次元画像データVDcが出力されるとき、ディレイ部109より画像データVDbとしてテレビカメラ104により時刻T1で撮影して得られる画像データVDaが出力されるように、ディレイ部109の遅延時間が設定される。
【0012】
すなわち、カメラパラメータ算出部106やCGデータ作成部108における計算には時間がかかるが、テレビカメラ104よりカメラパラメータ算出部106にある時刻の3次元位置情報PDTが供給されてからCGデータ作成部108よりその3次元位置情報PDTに対応した2次元画像データVDcが出力されるまでにt秒を要するとき、ディレイ部109の遅延時間はt秒とされる。
【0013】
このようにディレイ部109で時間調整をすることで、後述するようにCGデータ作成部108より出力される2次元画像データVDcとディレイ部109より出力される画像データVDbとを合成する場合、あたかもCG物体と出演者101とが同一の空間に存在しているものを撮影して得られた画像であるかのような合成画像を得ることが可能となる。
【0014】
また、画像生成装置103は、CGデータ作成部108より出力される2次元画像データVDcとディレイ部109より出力される画像データVDbとをミックスするαブレンディング部110と、テレビカメラ104より出力される画像データVDaよりαブレンディング部110にキー信号として供給するα値を得るキー生成部111とを有している。
【0015】
キー生成部111では、画像データVDaから、青色系統の画素部分と、完全に「青色でない」画素部分とを切り分ける作業が行われる。そして、このキー生成部111からは画像データVDaの各画素毎にα値が出力される。この場合、青色系統の画素部分ではα=0とされ、完全に「青色でない」画素部分ではα=1とされ、さらに中間色の部分では、0<α<1とされる。
【0016】
テレビカメラ104は、青色の背景102を使用して、例えば天気予報を説明するキャスター等の出演者101を撮影している。したがって、背景102の投影像の部分は青色なので、画像データVDaのうち背景102に対応する画素部分では、α=0となる。一方、出演者101の投影像の部分は青色ではないので、画像データVDaのうち出演者101に対応する画素部分では、α=1となる。さらに、出演者101と背景102との境界の投影像の部分は撮像レンズの歪みなどによりぼやけており、背景102の青色と出演者101の青色以外の色とが混じった色となるので、画像データVDaのうち出演者101と背景102との境界に対応する画素部分では、0<α<1となる。
【0017】
なお、上述したように、CGデータ作成部108より時刻T1におけるテレビカメラ104の視点から見た場合の2次元画像データVDcが出力されるとき、ディレイ部109より画像データVDbとしてテレビカメラ104により時刻T1で撮影して得られる画像データVDaが出力されるようにされるが、同様にCGデータ作成部108より時刻T1におけるテレビカメラ104の視点から見た場合の2次元画像データVDcが出力されるとき、キー生成部111よりテレビカメラ104により時刻T1で撮影して得られる画像データVDaから得られたα値が出力されるように時間調整されている。
【0018】
αブレンディング部110では、CGデータ作成部108で作成される2次元画像データVDcとディレイ部109より出力される画像データVDbに対して、以下の(1)式の演算が施されて、合成画像データVDdが得られる。
VDd=α×VDb+(1−α)×VDc ・・・(1)
【0019】
ここで、画像データVDbの背景102に対応する画素部分ではα=0であるため、αブレンディング部110からは合成画像データVDdとして2次元画像データVDcがそのまま出力される。また、画像データVDbの出演者101に対応する画素部分ではα=1であるため、αブレンディング部110からは合成画像データVDdとして画像データVDbがそのまま出力される。さらに、画像データVDbの背景102と出演者101との境界に対応する画素部分では0<α<1であり、αブレンディング部110からは画像データVDb,VDcが混じった合成画像データVDdが出力される。このように、画像データVDbの背景102と出演者101との境界に対応する画素部分で、画像データVDb,VDcが混じった合成画像データVDdが出力されるようにすることで、いわゆる境界部分のなじみをよくできる。
【0020】
また、画像生成装置103は、合成画像データVDdを視聴者に提供される合成画像のデータとして出力する出力端子112と、この合成画像データVDdが供給され、その合成画像データVDdによる画像を出演者101の演技を補助するための画像として表示するモニタ113とを有している。
【0021】
また、画像生成装置103は、ディレクタの操作に応じてCG情報格納部107に読み出し要求信号RRQを供給する制御部114を有している。この制御部114には、通常ユーザインタフェースが設けられている。すなわち、テレビカメラ104より出力される画像データVDaが供給され、モニタ(図示せず)にその画像データVDaによる画像が表示され、バーチャルスタジオ全体を運営管理しているディレクタに対して、テレビカメラ104の撮影情報が提供される。ディレクタは、例えば天気予報番組の現在の進行状況に合わせて、適切なCGの画像を選択し、制御部114の入力装置(図示せず)に、その情報を入力する。これに対応して、制御部114はその情報を読み出し要求信号RRQとしてCG情報格納部107に供給する。
【0022】
例えば、ディレクタが、現在、日本の天気予報を放送する時間であると判断した場合は、「気象情報の描かれた日本地図」を提供するように制御部114に指示する。制御部114は、この情報を読み出し要求信号RRQとしてCG情報格納部107に供給する。これにより、CGで作られた「気象情報の描かれた日本地図」の3次元位置情報PCGが、CG情報格納部107より読み出されてCGデータ作成部108に供給される。
【0023】
次に、画像生成装置103の動作を説明する。背景102をバックに出演者101がテレビカメラ104で撮影され、このテレビカメラ104より画像データVDaが得られ、この画像データVDaはディレイ部109でカメラパラメータ算出部106およびCGデータ作成部108の処理時間に対応する時間だけ遅延され、画像データVDbとしてαブレンディング部110に供給される。
【0024】
また、テレビカメラ104より、このテレビカメラ104を基準としたマーカーM1〜M9の3次元位置情報PDTが出力され、この3次元位置情報PDTはカメラパラメータ算出部106に供給される。一方、ワールド座標系を基準としたマーカーM1〜M9の3次元位置情報PDWがマーカー位置情報格納部105より読み出されてカメラパラメータ算出部106に供給される。カメラパラメータ算出部106では、マーカーM1〜M9の3次元位置情報PDT,PDWから、ワールド座標系を基準としたテレビカメラ104の3次元位置および向きが算出される。
【0025】
カメラパラメータ算出部106で求められるテレビカメラ104の3次元位置および向きの情報は、テレビカメラ104の視点情報POVとしてCGデータ作成部108に供給される。一方、制御部114より供給される読み出し要求信号RRQに対応してCG情報格納部107より所定のCG物体の3次元位置情報PCGが読み出され、この3次元位置情報PCGはCGデータ作成部108に供給される。CGデータ作成部108では、テレビカメラ104の視点情報POVと所定のCG物体の3次元位置情報PCGとをもとに、その所定のCG物体にテレビカメラ104の視点から見た透視変換を施した投影像に対応した2次元画像データVDcが作成される。例えば、「気象情報の描かれた日本地図」を、あたかもテレビカメラ104の視点から見た場合の2次元画像データVDcが作成される。そして、このCGデータ作成部108で作成される2次元画像データVDcはαブレンディング部110に供給される。
【0026】
また、テレビカメラ104より出力される画像データVDaがキー生成部111に供給され、キー生成部111では画像データVDaからいわゆるソフトキーを達成するキー信号としてのα値が生成される。そして、このα値はαブレンディング部110に供給される。そして、αブレンディング部110では、CGデータ作成部108より出力される2次元画像データVDcとディレイ部109より出力される画像データVDbに対して、(1)式の演算が施されて、所定のCG物体の投影像と出演者101の投影像との合成画像を表示するための合成画像データVDdが得られる。
【0027】
αブレンディング部110より出力される合成画像データVDdは出力端子112に出力され、視聴者に提供される合成画像のデータとされる。また、この合成画像データVDdはモニタ113に供給され、このモニタ113の画面上に合成画像データVDdによる画像が出演者101の演技を補助するための画像として表示される。
【0028】
図4A〜Dを使用して、画像生成装置103の各処理において、実際にどのような画像が生成されているかを説明する。
【0029】
図4Aは、テレビカメラ104よりある時刻において出力される画像データVDaによる画像を示している。背景102に対応する画素部分は青色系統である。出演者101に対応する画素部分は青色ではない。さらに、出演者101と背景102との境界の画素部分は青色と青色以外の色とが混じった色となる。なお、出演者101、背景102、マーカーM1〜M9に対応する画像部分には、それぞれ同一符号を付して示している。以下の各画像においても同様である。
【0030】
図4Bは、キー生成部111より出力されるα値を示している。背景102に対応する画素部分ではα=0である。出演者101に対応する画素部分ではα=1である。さらに、出演者101と背景102との境界の画素部分では、0<α<1となる。
【0031】
図4Cは、CGデータ作成部108で作成される2次元画像データVDcによる画像を示している。ここでは、CG情報格納部107から、CGで作られた「気象情報の描かれた日本地図」の3次元位置情報PCGが読み出された場合を示している。
【0032】
図4Dは、αブレンディング部110より出力される合成画像データVDdによる画像を示している。すなわち、各画素のα値によって、各画素毎に、図4Aに示す画像と図4Cに示す画像とがミックスされた画像である。
【0033】
さらに、次の時刻において、テレビカメラ104が移動した場合を考えてみる。この場合、出演者101が静止していたとしても、テレビカメラ104より出力される画像データVDaによる画像内の出演者101に対応する画像部分は画面上で移動することになる。カメラパラメータ算出部106では、ワールド座標系を基準としたテレビカメラ104の3次元位置および向きが算出され、この3次元位置および向きの情報がテレビカメラ104の視点情報POVとしてCGデータ作成部108に供給されるので、CG情報格納部107より読み出されるCG物体の3次元位置情報PCGが同じであっても、CGデータ作成部108より出力される2次元画像データVDcは変化する。なぜなら、透視変換において、見る位置が変化すれば、投影像も変化するからである。
【0034】
ある時刻とその次の時刻における透視変換した画像データVDcによる画像の変化量は、テレビカメラ104の移動による画像の変化量と同じである。したがって、ある時刻とその次の時刻における透視変換した画像データVDcによる画像の変化量は、テレビカメラ104で撮影された出演者101の投影像の移動量に対応したものとなる。そのため、最終的に得られる合成画像データVDdによる画像において、出演者101の投影像およびCG物体の投影像は同じように動くことになる。つまり、最終的に得られる合成画像データVDdによる画像は、あたかも、CGの物体、例えば、気象情報の描かれた日本地図と出演者101とが同一の空間に存在しているものを撮影した画像であるかのように見える。
【0035】
【発明が解決しようとする課題】
上述した画像生成装置103においては、モニタ113に合成画像データVDdによる画像、つまり出演者101の投影像とCG物体の投影像との合成画像が表示される。出演者101はその画像を見ながら演技することで、自分がいまCG物体とどのような位置関係にあるかを把握できる。これにより、出演者101は、例えばCGで作られた「気象情報の描かれた日本地図」の特定の部分を指し示すことも可能である。
【0036】
ところで、上述したように、カメラパラメータ算出部106およびCGデータ作成部108の処理にt秒を要するとき、ディレイ部109の遅延時間がt秒とされて時間調整が行われている。そのため、モニタ113に表示される画像は、t秒前の時刻の事象を撮影した画像となる。具体的には、出演者101が手をあげた場合、モニタ113に表示される出演者101の投影像はt秒後に手をあげることになる。このように、t秒前の自分自身の動作をモニタ113で見ながら演技をしていくことは、出演者101にとって演技しづらいという問題点があった。
【0037】
そこで、この発明では、出演者の動きに対する演技を補助する画像の遅れをなくし、出演者が演技しやすいようにすることを目的とする。
【0038】
【課題を解決するための手段】
この発明に係る画像生成装置は、所定の背景をバックに出演者を撮影して第1の画像データを得る移動可能な撮像手段と、この撮像手段の視点を求めるカメラパラメータ算出手段と、このカメラパラメータ算出手段で求められる撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第2の画像データを作成する第1の画像データ作成手段と、第1の画像データをカメラパラメータ算出手段および第1の画像データ作成手段における処理時間に対応して遅延させた第3の画像データを得るデータ遅延手段と、第3の画像データと第2の画像データとを合成して第1の合成画像データを得る第1の画像データ合成手段と、第1の画像データと第2の画像データとを合成して第2の合成画像データを得る第2の画像データ合成手段と、この第2の合成画像データによる出演者に対しての演技補助のための画像を表示する画像表示手段とを備えるものである。
【0039】
この発明に係る画像生成方法は、移動可能な撮像手段により所定の背景をバックに出演者を撮影して第1の画像データを得るステップと、撮像手段の視点を求めるステップと、撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第2の画像データを作成するステップと、第1の画像データを撮像手段の視点を求めるステップおよび第2の画像データを作成するステップにおける処理時間に対応して遅延させて第3の画像データを得るステップと、第3の画像データと第2の画像データとを合成して第1の合成画像データを得るステップと、第1の画像データと第2の画像データとを合成して第2の合成画像データを得るステップと、第2の合成画像データによる上記出演者に対しての演技補助のための画像を表示するステップとを備えるものである。
【0040】
所定の背景、例えば青色の背景をバックに出演者が移動可能な撮像手段で撮影されて第1の画像データが得られ、この第1の画像データが遅延処理されて第3の画像データが得られる。また、撮像手段の視点、例えばワールド座標系を基準とした撮像手段の3次元位置および向きが求められ、この視点から見た場合の透視変換を施した所定物体、例えばCG物体の投影像に対応した第2の画像データが作成される。そして、第3の画像データと第2の画像データとが合成され、例えば視聴者に提供する合成画像に係る第1の合成画像データが得られる。
【0041】
この場合、第3の画像データは第2の画像データを得るための処理時間に対応して第1の画像データが遅延処理されてなるものであり、ある時刻に撮像手段で撮影して得られた第3の画像データと、このある時刻における撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第2の画像データとが合成されるようにされる。そのため、出演者の動きに対して、第1の合成画像データによる画像における出演者の投影像の動きは、第3の画像データが遅延処理されたものである分だけ遅れたものとなる。
【0042】
また、撮像手段より出力される第1の画像データと第2の画像データとが合成されて第2の合成画像データが得られる。そして、この第2の合成画像データによる画像が出演者に対しての演技補助のための画像として表示される。第2の合成画像データを得る際に第1の画像データを遅延処理をせずにそのまま使用しているので、第2の合成画像データによる画像における出演者の投影像の動きは、ほとんど遅れのないものとなる。
【0043】
また、第1の画像データに基づいて第1の画像データまたは第2の画像データのいずれかを取り出すための画像切換信号を得る画像切換信号発生手段をさらに備え、第2の画像データ合成手段では、画像切換信号によって第1の画像データおよび第2の画像データが切り換え合成されるようにしてもよい。例えば、画像データ合成手段がαブレンディング部で構成される場合、画像切換信号としてのα値は、0または1となる。すなわち、画像切換信号発生手段では、第1の画像データがある閾値を越えるか否かでα値を決定して出力でき、画像切換信号を簡単かつ高速に得ることが可能となる。
【0044】
また、カメラパラメータ算出手段で求められる撮像手段の視点から、現在時刻あるいはそれより後の時刻における撮像手段の視点を予測するカメラパラメータ予測手段と、このカメラパラメータ予測手段で予測された撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第4の画像データを作成する第2の画像データ作成手段とをさらに備え、第2の画像データ合成手段では、第1および第2の画像データを合成する代わりに、第1および第4の画像データを合成するようにしてもよい。
【0045】
この場合、第4の画像データは、現在時刻における撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応したものとなる。したがって、現在時刻の第1の画像データと、その現在時刻における撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した画像データとが合成されて第2の合成画像データが得られることとなり、撮像手段が移動している間であっても、あたかも所定物体と出演者とが同一の空間に存在しているものを撮影して得られた画像であるかのような正確な合成画像(演技補助画像)を得ることが可能となり、出演者は移動時の演技がしやすくなる。
【0046】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図1は、この発明の第1の実施の形態としての画像生成装置3が備えられたバーチャルスタジオを示している。このバーチャルスタジオでは、図3に示すバーチャルスタジオと同様に、青色の背景をバックにテレビカメラにより出演者を撮影し、このテレビカメラからの画像データに、CGで作成された物体、例えば気象情報の描かれた日本地図等の画像データを合成し、視聴者に提供する合成画像に係る合成画像データを得ることが行われている。
【0047】
このバーチャルスタジオにおいて、出演者1は、青色の背景2を使用して撮影される。この背景2には、図3に示すバーチャルスタジオにおける背景102と同様に、青色系統で目立たないマーカー(模様)M1〜M9が付されている。マーカーM1〜M9の3次元上での位置は、特定の絶対不動の座標系(ワールド座標系)を基準として、あらかじめ測定されている。
【0048】
次に、画像生成装置3を説明する。この画像生成装置3は、背景2をバックに出演者1を撮影する移動可能なテレビカメラ4を有している。上述したようにマーカーM1〜M9は、青色の背景2の中にあることから目立たないが、テレビカメラ4で認識することがかろうじてできる。そのため、テレビカメラ4を基準としたマーカーM1〜M9の3次元位置を測定できる。
【0049】
また、画像生成装置3は、ワールド座標系を基準としたマーカーM1〜M9の3次元位置情報PDWが格納されているマーカー位置情報格納部5と、テレビカメラ4で得られる、テレビカメラ4を基準としたマーカーM1〜M9の3次元位置情報PDTと、マーカー位置情報格納部5より読み出される3次元位置情報PDWとから、ワールド座標系を基準としたテレビカメラ4の3次元位置および向きを求めるカメラパラメータ算出部6とを有している。
【0050】
ここで、ワールド座標系を基準としたマーカーM1〜M9の3次元位置と、テレビカメラ4を基準としたマーカーM1〜M9の3次元位置との関係が、ある回転変換Rとある並進変換Tの関係にあるとすると、カメラパラメータ算出部6では、ワールド座標系を基準としたテレビカメラ4の3次元位置はTとされ、向きはRとされる。このカメラパラメータ算出部6からは、求められた3次元位置および向きの情報が、テレビカメラ4の視点情報POVとして出力される。
【0051】
なお、背景2の中のマーカーM1〜M9の個数は9個であるが、これ以外の個数であってもよい。また、テレビカメラ4に機械的に取り付けられたセンサにより、テレビカメラ4のワールド座標系における3次元位置および向きを求めることも可能である。例えば、テレビカメラ4を雲台に載せておき、歯車を使ってテレビカメラ4を回転できるようにしておく。歯車の回転した量によって、テレビカメラ4の向きを知ることができる。この場合、テレビカメラ4よりカメラパラメータ算出部6に供給されるデータは、歯車の回転量であり、この回転量からテレビカメラ4の向きなどを算出するようにカメラパラメータ算出部6を構成しておく。マーカー位置情報格納部5は不要となる。いずれにせよ、カメラパラメータ算出部6からは、ワールド座標系を基準としたテレビカメラ4の3次元位置および向きの情報が、テレビカメラ4の視点情報POVとして出力される。
【0052】
また、画像生成装置3は、ワールド座標系を基準としたCG物体の3次元位置情報PCG、例えば、3次元空間上のどの位置に、CGで作られた「気象情報の描かれた日本地図」が仮想的に存在しているかという情報が格納されているCG情報格納部7を有している。この場合、CG情報格納部7には、多くのCG物体のワールド座標系を基準にした3次元位置情報PCGが格納されており、その中から適切なCG物体の3次元位置情報PCGが選択的に読み出されて使用されるが、この選択は後述する制御部によって行われる。すなわち、制御部よりCG情報格納部7に供給される読み出し要求信号RRQにより、所定のCG物体の3次元位置情報PCGが読み出される。
【0053】
また、画像生成装置3は、カメラパラメータ算出部6より出力されるテレビカメラ4の視点情報POVとCG情報格納部7より読み出される所定のCG物体の3次元位置情報PCGとをもとに、その所定のCG物体にテレビカメラ4の視点から見た透視変換を施した投影像に対応した2次元画像データVDcを作成するCGデータ作成部8を有している。この場合、CGデータ作成部8では、例えば、「気象情報の描かれた日本地図」を、あたかもテレビカメラ4の視点(3次元位置、向き)から見た場合の2次元画像データ(透視変換した画像に対応)VDcが作成される。
【0054】
また、画像生成装置3は、テレビカメラ4より出力される画像データVDaを遅延させるための時間調整用のディレイ部9を有している。この場合、CGデータ作成部8より時刻T1におけるテレビカメラ4の視点から見た場合の2次元画像データVDcが出力されるとき、ディレイ部9より画像データVDbとしてテレビカメラ4により時刻T1で撮影して得られる画像データVDaが出力されるように、ディレイ部9の遅延時間が設定されている。
【0055】
すなわち、カメラパラメータ算出部6やCGデータ作成部8における計算には一定の時間がかかるが、テレビカメラ4よりカメラパラメータ算出部6にある時刻の3次元位置情報PDTが供給されてからCGデータ作成部8よりその3次元位置情報PDTに対応した2次元画像データVDcが出力されるまでにt秒を要するとき、ディレイ部9の遅延時間はt秒とされる。
【0056】
このようにディレイ部9で時間調整をすることで、後述するようにCGデータ作成部8より出力される2次元画像データVDcとディレイ部9より出力される画像データVDbとを合成する場合、あたかもCG物体と出演者1とが同一の空間に存在しているものを撮影して得られた画像であるかのような合成画像を得ることが可能となる。
【0057】
また、画像生成装置3は、CGデータ作成部8より出力される2次元画像データVDcとディレイ部9より出力される画像データVDbとをミックスして合成画像データVDdを得るαブレンディング部10と、テレビカメラ4より出力される画像データVDaよりαブレンディング部10にキー信号として供給するα値を得るキー生成部11とを有している。
【0058】
キー生成部11では、画像データVDaから、青色系統の画素部分と、完全に「青色でない」画素部分とを切り分ける作業が行われる。そして、このキー生成部11からは画像データVDaの各画素毎にα値が出力される。この場合、青色系統の画素部分ではα=0とされ、完全に「青色でない」画素部分ではα=1とされ、さらに中間色の部分では、0<α<1とされる。
【0059】
テレビカメラ4は、青色の背景2を使用して、例えば天気予報を説明するキャスター等の出演者1を撮影している。したがって、背景2の投影像の部分は青色なので、画像データVDaのうち背景2に対応する画素部分では、α=0となる。一方、出演者1の投影像の部分は青色ではないので、画像データVDaのうち出演者1に対応する画素部分では、α=1となる。さらに、出演者1と背景2との境界の投影像の部分は撮像レンズの歪みなどによりぼやけており、背景2の青色と出演者1の青色以外の色とが混じった色となるので、画像データVDaのうち出演者1と背景1との境界に対応する画素部分では、0<α<1となる。
【0060】
なお、上述したように、CGデータ作成部8より時刻T1におけるテレビカメラ4の視点から見た場合の2次元画像データVDcが出力されるとき、ディレイ部9より画像データVDbとしてテレビカメラ4により時刻T1で撮影して得られる画像データVDaが出力されるようにされるが、同様にCGデータ作成部8より時刻T1におけるテレビカメラ4の視点から見た場合の2次元画像データVDcが出力されるとき、キー生成部11よりテレビカメラ4により時刻T1で撮影して得られる画像データVDaから得られたα値が出力されるように時間調整されている。
【0061】
αブレンディング部10では、CGデータ作成部8で作成される2次元画像データVDcとディレイ部9より出力される画像データVDbに対して、上述した(1)式の演算が施されて、合成画像データVDdが得られる。ここで、画像データVDbの背景2に対応する画素部分ではα=0であるため、αブレンディング部10からは合成画像データVDdとして2次元画像データVDcがそのまま出力される。また、画像データVDbの出演者1に対応する画素部分ではα=1であるため、αブレンディング部10からは合成画像データVDdとして画像データVDbがそのまま出力される。さらに、画像データVDbの背景2と出演者1との境界に対応する画素部分では0<α<1であり、αブレンディング部10からは画像データVDb,VDcが混じった合成画像データVDdが出力される。このように、画像データVDbの背景2と出演者1との境界に対応する画素部分で、画像データVDb,VDcが混じった合成画像データVDdが出力されるようにすることで、いわゆる境界部分のなじみをよくできる。
【0062】
また、画像生成装置3は、合成画像データVDdを視聴者に提供される合成画像のデータとして出力する出力端子12を有している。なお、本実施の形態においては、この合成画像データVDdを、演技を補助するための画像を表示するためには使用しない。上述したテレビカメラ4、マーカー位置情報格納部5、カメラパラメータ算出部6、CG情報格納部7、CGデータ作成部8、ディレイ部9、αブレンディング部10およびキー生成部11は、それぞれ図3に示す画像生成装置103のテレビカメラ104、マーカー位置情報格納部105、カメラパラメータ算出部106、CG情報格納部107、CGデータ作成部108、ディレイ部109、αブレンディング部110およびキー生成部111と同様に構成されている。
【0063】
また、画像生成装置3は、テレビカメラ4より出力される画像データVDaとCGデータ作成部8で作成される2次元画像データVDcとをミックスして合成画像データVDeを得るαブレンディング部13と、テレビカメラ4より出力される画像データVDaよりαブレンディング部13にキー信号として供給するα値を得る簡易型キー生成部14とを有している。
【0064】
簡易型キー生成部14では、画像データVDaから、青色系統の画素部分と、それ以外の部分とを切り分ける作業が行われる。そして、このキー生成部14からは画像データVDaの各画素毎にα値が出力される。この場合、青色系統の画素部分ではα=0とされ、それ以外の画素部分ではα=1とされる。α値の取りうる値は0または1である。ここで、背景2の投影像の部分は青色なので、画像データVDaのうち背景2に対応する画素部分では、α=0となる。出演者1の投影像の部分は青色ではないので、画像データVDaのうち出演者1に対応する画素部分では、α=1となる。さらに、出演者1と背景2との境界の投影像の部分は撮像レンズの歪みなどによりぼやけており、背景2の青色と出演者1の青色以外の色とが混じった色となるので、画像データVDaのうち出演者1と背景2との境界に対応する画素部分では、α=0またはα=1のいずれかである。
【0065】
上述したキー生成部11では、中間色に対しては0<α<1なる値を求めている。しかし、キー生成部14では、あるしきい値を越えるか越えないかによって、α値を0か1に決定している。そのため、キー生成部14の処理は、キー生成部11の処理に比べて簡単であって高速処理が可能となる。なお、キー生成部11が十分に高速処理可能であるならば、キー生成部14の代わりに、キー生成部11と同様に構成されたキー生成部を使用するようにしてもよい。
【0066】
αブレンディング部13では、テレビカメラ4より出力される画像データVDaとCGデータ作成部8で作成された2次元画像データVDcに対して、以下の(2)式の演算が施されて、合成画像データVDeが得られる。
VDe=α×VDa+(1−α)×VDc ・・・(2)
【0067】
また、画像生成装置3は、合成画像データVDeが供給され、その合成画像データVDeによる画像を出演者1の演技を補助するための画像として表示するモニタ15を有している。ここで、画像データVDaの背景2に対応する画素部分ではα=0であるため、αブレンディング部13からは合成画像データVDeとして2次元画像データVDcがそのまま出力される。画像データVDaの出演者1に対応する画素部分ではα=1であるため、αブレンディング部13からは合成画像データVDeとして画像データVDaがそのまま出力される。そして、画像データVDaの背景2と出演者1との境界に対応する画素部分では、α=0またはα=1であって、合成画像データVDeは極端に変化してしまうので、合成画像データVDeによる合成画像は、背景2と出演者1との境界に対応する画素部分で不自然に見える。しかし、この合成画像は、出演者1の演技を補助するための画像であり、出演者1とCG物体との位置関係が把握できればよいので、境界上で不自然に見えていても問題はない。
【0068】
また、画像生成装置3は、ディレクタの操作に応じてCG情報格納部7に読み出し要求信号RRQを供給する制御部16を有している。この制御部16には、通常ユーザインタフェースが設けられている。すなわち、テレビカメラ4より出力される画像データVDaが供給され、モニタ(図示せず)にその画像データVDaによる画像が表示され、バーチャルスタジオ全体を運営管理しているディレクタに対して、テレビカメラ4の撮影情報が提供される。ディレクタは、例えば天気予報番組の現在の進行状況に合わせて、CGの画像を選択し、制御部16の入力装置(図示せず)に、その情報を入力する。これに対応して、制御部16はその情報を読み出し要求信号RRQとしてCG情報格納部7に供給する。
【0069】
例えば、ディレクタが、現在、日本の天気予報を放送する時間であると判断した場合は、「気象情報の描かれた日本地図」を提供するように制御部16に指示する。制御部16は、この情報を読み出し要求信号RRQとしてCG情報格納部7に供給する。これにより、CGで作られた「気象情報の描かれた日本地図」の3次元位置情報PCGが、CG情報格納部7より読み出されてCGデータ作成部8に供給される。
【0070】
次に、画像生成装置3の動作を説明する。背景2をバックに出演者1がテレビカメラ4で撮影され、このテレビカメラ4より画像データVDaが得られ、この画像データVDaはディレイ部9でカメラパラメータ算出部6およびCGデータ作成部8の処理時間に対応する時間だけ遅延され、画像データVDbとしてαブレンディング部10に供給される。
【0071】
また、テレビカメラ4より、このテレビカメラ4を基準としたマーカーM1〜M9の3次元位置情報PDTが出力され、この3次元位置情報PDTはカメラパラメータ算出部6に供給される。一方、ワールド座標系を基準としたマーカーM1〜M9の3次元位置情報PDWがマーカー位置情報格納部5より読み出されてカメラパラメータ算出部6に供給される。カメラパラメータ算出部6では、マーカーM1〜M9の3次元位置情報PDT,PDWとから、ワールド座標系を基準としたテレビカメラ4の3次元位置および向きが算出される。
【0072】
カメラパラメータ算出部6で求められるテレビカメラ4の3次元位置および向きの情報は、テレビカメラ4の視点情報POVとしてCGデータ作成部8に供給される。一方、制御部16より供給される読み出し要求信号RRQに対応してCG情報格納部7より所定のCG物体の3次元位置情報PCGが読み出され、この3次元位置情報PCGはCGデータ作成部8に供給される。CGデータ作成部8では、テレビカメラ4の視点情報POVと所定のCG物体の3次元位置情報PCGとをもとに、その所定のCG物体にテレビカメラ4の視点から見た透視変換を施した投影像に対応した2次元画像データVDcが作成される。例えば、「気象情報の描かれた日本地図」を、あたかもテレビカメラ4の視点から見た場合の2次元画像データVDcが作成される。そして、この2次元画像データVDcはαブレンディング部10に供給される。
【0073】
また、テレビカメラ4より出力される画像データVDaがキー生成部11に供給され、キー生成部11では画像データVDaからいわゆるソフトキーを達成するキー信号としてのα値が生成される。このα値はαブレンディング部10に供給される。そして、αブレンディング部10では、CGデータ作成部8より出力される2次元画像データVDcとディレイ部9より出力される画像データVDbに対して、上述の(1)式の演算が施されて、所定のCG物体の投影像と出演者1の投影像との合成画像を表示するための合成画像データVDdが得られる。この合成画像データVDdは出力端子12に出力され、視聴者に提供される合成画像のデータとされる。
【0074】
また、テレビカメラ4より出力される画像データVDaが簡易型キー生成部14に供給され、キー生成部14では画像データVDaからいわゆるハードキーを達成するキー信号としてのα値(α=0またはα=1)が生成される。このα値はαブレンディング部13に供給される。そして、αブレンディング部13では、テレビカメラ4より出力される画像データVDaとCGデータ作成部VDcに対して、上述の(2)式の演算が施されて、所定のCG物体の投影像と出演者1の投影像との合成画像を表示するための合成画像データVDeが得られる。この合成画像データVDeはモニタ15に供給され、このモニタ15の画面上に合成画像データVDeによる画像が出演者1の演技を補助するための画像として表示される。
【0075】
以上説明した画像生成装置3においては、出演者1の演技を補助するための合成画像を得るための合成画像データVDeが、遅延処理を行っていないテレビカメラ4の出力画像データVDaを使用して合成される。そのため、出演者1の動きに対して、合成画像データVDeによる合成画像における出演者の投影像の動きは遅れのないものとなり、出演者が演技しやすくなる利益がある。
【0076】
なお、図1に示す画像生成装置3において、テレビカメラ4が移動していないときは、ある時刻にテレビカメラ4で撮影されて得られた画像データVDaと、このある時刻におけるテレビカメラ4の視点から見た場合の透視変換を施した所定のCG物体の投影像に対応した2次元画像データVDcとが合成されて合成画像データVDeが得られることとなり、あたかもCG物体と出演者1とが同一の空間に存在しているものを撮影して得られた画像であるかのような正確な合成画像を得ることができる。
【0077】
一方、テレビカメラ4が移動しているときは、CGデータ作成部8より出力される2次元画像データVDcは、カメラパラメータ算出部6およびCGデータ作成部8の処理時間だけ前の時刻におけるテレビカメラ4の視点から見た場合の透視変換を施した所定のCG物体の投影像に対応した2次元画像データVDcとなる。そのため、この2次元画像データVDcとテレビカメラ4で撮影されて得られた画像データVDaとが合成された合成画像データVDeによる合成画像は不正確なものとなる。しかし、一般的に、CG物体がワールド座標系を基準にしてほとんど動かない場合にしか出演者1はそのCG物体を指し示したりしないので、この遅れは問題にはならない。
【0078】
また、仮に、テレビカメラ4が移動しているときに、出演者1がモニタ15を見ながら演技する場合を考えてみる。モニタ15の画面上の不正確な合成画像を参考にして出演者1が演技することで、その演技に多少のずれを生じる。具体的には、出演者1がCG物体を指し示すとき、多少ずれた場所を指し示してしまうことが起こる。しかしながら、テレビカメラ4は移動撮影しているので、視聴者に提供する合成画像も全体が動いていることになる。人間の目の特性は、全体の風景が動いている場合、劣化するので、この場合、視聴者は、出演者1が多少ずれた場所を指し示していることに気が付かない。つまり、テレビカメラ4が移動しているときは、モニタ15の画面上に表示される合成画像は、多少不正確でもよい。
【0079】
次に、図2を使用して、この発明の第2の実施の形態としての画像生成装置3Aについて説明する。
【0080】
この画像生成装置3Aでは、カメラパラメータ算出部6より出力されるテレビカメラ4の視点情報POVに基づいて、現在時刻におけるそのテレビカメラ4の視点(ワールド座標系を基準にした3次元位置および向き)を予測するカメラパラメータ予測部17を有している。因に、テレビカメラ4が移動しているとき、視点情報POVは現在時刻よりカメラパラメータ算出部6の処理時間だけ前の時刻におけるテレビカメラ4の視点を示すものとなっている。
【0081】
ここで、カメラパラメータ予測部17における具体的なカメラパラメータ(テレビカメラの位置、向き)の予測の方法を説明する。例えば、過去の2つの時刻におけるテレビカメラ4の位置および向きが、それぞれ、「T1およびR1」、「T2およびR2」であったとする。位置の移動量の割合は、T2−T1と考えられる。したがって、この過去の2つの時刻の位置情報(T1、T2)より、現在時刻における位置は、T2+(T2−T1)と線形予測される。同様に、現在時刻における向きは、R2+(R2−R1)と線形予測される。なお、さらに沢山の過去の時刻における位置および向きの情報をもってすれば、より正確な予測が可能となる。いずれにせよ、カメラパラメータ予測部17からは、予測された現在時刻におけるテレビカメラ4の視点情報POVcが出力される。
【0082】
また、画像生成装置3Aは、カメラパラメータ予測部17からの予測されたテレビカメラ4の視点情報POVcとCG情報格納部7より読み出される所定のCG物体の3次元位置情報PCGとをもとに、その所定のCG物体にテレビカメラ4の視点から見た透視変換を施した投影像に対応した2次元画像データVDfを作成するCGデータ作成部18を有している。
【0083】
図1に示す画像生成装置3では、αブレンディング部13でテレビカメラ4より出力される画像データVDaとCGデータ作成部8で作成される2次元画像データVDcとがミックスされて合成画像データVDeが形成されるものであった。しかし、この画像生成装置3Aでは、αブレンディング部13でテレビカメラ4より出力される画像データVDaとCGデータ作成部18で作成される2次元画像データVDfとがミックスされて合成画像データVDeが形成される。この画像生成装置3Aのその他の構成および動作は、上述した画像生成装置3と同様であるので、その説明は省略する。
【0084】
このように、図2に示す画像生成装置3Aにおいては、CGデータ作成部18からは予測された現在時刻におけるテレビカメラ4の視点から見た場合の透視変換を施した所定のCG物体の投影像に対応した2次元画像データVDfが出力され、この2次元画像データVDfとテレビカメラ4で撮影されて得られた画像データVDaとが合成されて合成画像データVDeが形成されるものであり、テレビカメラ4が移動しているときでも、この合成画像データVDeによる合成画像はほぼ正確なものとなり、出演者1はCG物体を指し示すことが容易となる。
【0085】
なお、カメラパラメータ予測部17では、現在時刻におけるテレビカメラ4の視点を予測するものであったが、さらにCGデータ作成部18の処理時間だけ現在時刻より後の時刻におけるテレビカメラ4の視点を予測するようにしてもよい。これにより、αブレンディング部13では、ある時刻にテレビカメラ4より出力される画像データVDaとそのある時刻におけるテレビカメラ4の視点から見た場合の透視変換を施した所定のCG物体の投影像に対応した2次元画像データVDfとを合成して合成画像データVDeを得ることができ、一層正確な合成画像を得ることが可能となる。
【0086】
【発明の効果】
この発明によれば、出演者を移動可能な撮像手段で撮影して得られる第1の画像データを遅延処理して第3の画像データを得、この第3の画像データと撮像手段の視点で見た透視変換を施した所定物体の投影像に対応した第2の画像データとを合成して視聴者用の合成画像データを得ると共に、遅延処理されていない第1の画像データと第2の画像データとを合成して出演者に対して演技を補助する画像を表示するための合成画像データを得るものであり、出演者の動きに対する演技を補助する画像の遅れはほとんどなく、出演者が演技しやすくなる利益がある。
【0087】
また、演技補助画像を表示するための合成画像データを得る際の画像切換信号は第1の画像データまたは第2の画像データのいずれかを取り出すためのものであり、第1の画像データがある閾値を越えるか否かによって発生でき、画像切換信号を簡単かつ高速に得ることができる。
【0088】
また、カメラパラメータ算出手段で求められる撮像手段の視点から、現在時刻あるいはそれより後の時刻における撮像手段の視点を予測し、その予測された撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第4の画像データを作成し、この第4の画像データと第1の画像データとを合成して演技補助画像を得るための合成画像データを形成することで、撮像手段が移動している間であっても、所定物体と出演者とが同一の空間に存在しているものを撮影して得られた画像であるかのようなほぼ正確な合成画像を得ることができ、出演者は移動時の演技がしやすくなる利益がある。
【図面の簡単な説明】
【図1】第1の実施の形態としての画像生成装置が備えられたバーチャルスタジオを示す図である。
【図2】第2の実施の形態としての画像生成装置を示すブロック図である。
【図3】従来の画像生成装置が備えられたバーチャルスタジオを示す図である。
【図4】従来の画像生成装置の各部の画像を説明するための図である。
【符号の説明】
1・・・出演者、2・・・背景、3,3A・・・画像生成装置、4・・・移動可能なテレビカメラ、5・・・マーカー位置情報格納部、6・・・カメラパラメータ算出部、7・・・CG情報格納部、8,18・・・CGデータ作成部、9・・・ディレイ部、10,13・・・αブレンディング部、11・・・キー生成部、12・・・出力端子、14・・・簡易型キー生成部、15・・・モニタ、16・・・制御部、17・・・カメラパラメータ予測部
Claims (8)
- 所定の背景をバックに出演者を撮影して第1の画像データを得る移動可能な撮像手段と、
上記撮像手段の視点を求めるカメラパラメータ算出手段と、
上記カメラパラメータ算出手段で求められる上記撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第2の画像データを作成する第1の画像データ作成手段と、
上記第1の画像データを上記カメラパラメータ算出手段および上記第1の画像データ作成手段における処理時間に対応して遅延させた第3の画像データを得るデータ遅延手段と、
上記第3の画像データと上記第2の画像データとを合成して第1の合成画像データを得る第1の画像データ合成手段と、
上記第1の画像データと上記第2の画像データとを合成して第2の合成画像データを得る第2の画像データ合成手段と、
上記第2の合成画像データによる上記出演者に対しての演技補助のための画像を表示する画像表示手段と
を備えることを特徴とする画像生成装置。 - 上記第1の画像データに基づいて上記第1の画像データまたは上記第2の画像データのいずれかを取り出すための画像切換信号を得る画像切換信号発生手段をさらに備え、
上記第2の画像データ合成手段では、上記画像切換信号によって上記第1の画像データおよび上記第2の画像データが切り換え合成される
ことを特徴とする請求項1に記載の画像生成装置。 - 上記カメラパラメータ算出手段で求められる上記撮像手段の視点から、現在時刻あるいはそれより後の時刻における上記撮像手段の視点を予測するカメラパラメータ予測手段と、
上記カメラパラメータ予測手段で予測された上記撮像手段の視点から見た場合の透視変換を施した上記所定物体の投影像に対応した第4の画像データを作成する第2の画像データ作成手段とをさらに備え、
上記第2の画像データ合成手段では、上記第1および第2の画像データを合成する代わりに、上記第1および第4の画像データを合成する
ことを特徴とする請求項1に記載の画像生成装置。 - 上記第1の画像データに基づいて上記第1の画像データまたは上記第4の画像データのいずれかを取り出すための画像切換信号を得る画像切換信号発生手段をさらに備え、
上記第2の画像データ合成手段では、上記画像切換信号によって上記第1の画像データおよび上記第4の画像データが切り換え合成される
ことを特徴とする請求項3に記載の画像生成装置。 - 移動可能な撮像手段により所定の背景をバックに出演者を撮影して第1の画像データを得るステップと、
上記撮像手段の視点を求めるステップと、
上記撮像手段の視点から見た場合の透視変換を施した所定物体の投影像に対応した第2の画像データを作成するステップと、
上記第1の画像データを上記撮像手段の視点を求めるステップおよび上記第2の画像データを作成するステップにおける処理時間に対応して遅延させて第3の画像データを得るステップと、
上記第3の画像データと上記第2の画像データとを合成して第1の合成画像データを得るステップと、
上記第1の画像データと上記第2の画像データとを合成して第2の合成画像データを得るステップと、
上記第2の合成画像データによる上記出演者に対しての演技補助のための画像を表示するステップと
を備えることを特徴とする画像生成方法。 - 上記第1の画像データに基づいて上記第1の画像データまたは上記第2の画像データのいずれかを取り出すための画像切換信号を得るステップをさらに備え、
上記第2の合成画像データを得るステップでは、上記画像切換信号によって上記第1の画像データおよび上記第2の画像データを切り換え合成する
ことを特徴とする請求項5に記載の画像生成方法。 - 上記撮像手段の視点を求めるステップで求められる上記撮像手段の視点から、現在時刻あるいはそれより後の時刻における上記撮像手段の視点を予測するステップと、上記予測された上記撮像手段の視点から見た場合の透視変換を施した上記所定物体の投影像に対応した第4の画像データを作成するステップとさらに備え、
上記第2の合成画像データを得るステップでは、上記第1および第2の画像データを合成する代わりに、上記第1および第4の画像データを合成する
ことを特徴とする請求項5に記載の画像生成方法。 - 上記第1の画像データに基づいて上記第1の画像データまたは上記第4の画像データのいずれかを取り出すための画像切換信号を得るステップをさらに備え、
上記第2の合成画像データを得るステップでは、上記画像切換信号によって上記第1の画像データおよび上記第4の画像データを切り換え合成する
ことを特徴とする請求項7に記載の画像生成方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13403797A JP3724117B2 (ja) | 1997-05-23 | 1997-05-23 | 画像生成装置および画像生成方法 |
EP98921760A EP0921678A4 (en) | 1997-05-23 | 1998-05-22 | IMAGER AND CORRESPONDING PRINCIPLE |
IL12818498A IL128184A (en) | 1997-05-23 | 1998-05-22 | Image generating device and image generating method |
PCT/JP1998/002246 WO1998053606A1 (fr) | 1997-05-23 | 1998-05-22 | Imageur et principe correspondant |
US09/233,762 US6147716A (en) | 1997-05-23 | 1999-01-20 | Picture generator and picture generation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13403797A JP3724117B2 (ja) | 1997-05-23 | 1997-05-23 | 画像生成装置および画像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10327349A JPH10327349A (ja) | 1998-12-08 |
JP3724117B2 true JP3724117B2 (ja) | 2005-12-07 |
Family
ID=15118901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP13403797A Expired - Fee Related JP3724117B2 (ja) | 1997-05-23 | 1997-05-23 | 画像生成装置および画像生成方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6147716A (ja) |
EP (1) | EP0921678A4 (ja) |
JP (1) | JP3724117B2 (ja) |
IL (1) | IL128184A (ja) |
WO (1) | WO1998053606A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11219446A (ja) * | 1998-02-03 | 1999-08-10 | Matsushita Electric Ind Co Ltd | 映像音響再生システム |
JP2002063572A (ja) * | 2000-08-23 | 2002-02-28 | For-A Co Ltd | カメラパラメータ検知手段を有する画像合成システム |
US7101988B2 (en) * | 2000-10-12 | 2006-09-05 | Marical, Inc. | Polyvalent cation-sensing receptor in Atlantic salmon |
JP2002324239A (ja) * | 2001-04-25 | 2002-11-08 | Olympus Optical Co Ltd | 情報呈示システム |
US6990681B2 (en) * | 2001-08-09 | 2006-01-24 | Sony Corporation | Enhancing broadcast of an event with synthetic scene using a depth map |
US7091989B2 (en) | 2001-08-10 | 2006-08-15 | Sony Corporation | System and method for data assisted chroma-keying |
US7173672B2 (en) * | 2001-08-10 | 2007-02-06 | Sony Corporation | System and method for transitioning between real images and virtual images |
US20030030658A1 (en) * | 2001-08-10 | 2003-02-13 | Simon Gibbs | System and method for mixed reality broadcast |
US7339609B2 (en) * | 2001-08-10 | 2008-03-04 | Sony Corporation | System and method for enhancing real-time data feeds |
US20030187820A1 (en) | 2002-03-29 | 2003-10-02 | Michael Kohut | Media management system and process |
JP4909176B2 (ja) * | 2007-05-23 | 2012-04-04 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法、コンピュータプログラム |
JP5351733B2 (ja) * | 2009-12-08 | 2013-11-27 | 日本放送協会 | ロボットカメラ及びバーチャルスタジオシステム |
JP6143469B2 (ja) * | 2013-01-17 | 2017-06-07 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
CA2948298A1 (en) * | 2014-04-15 | 2015-10-22 | Navigate Surgical Technologies, Inc. | Marker-based pixel replacement |
JP7075252B2 (ja) | 2018-03-23 | 2022-05-25 | キヤノン株式会社 | 情報処理装置およびその制御方法、プログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4109278A (en) * | 1975-03-21 | 1978-08-22 | Sonex International Corp. | Video traveling matte system |
CA1187166A (en) * | 1981-07-09 | 1985-05-14 | Kaichi Yamamoto | Digital chromakey apparatus |
JPS5850571A (ja) * | 1981-09-22 | 1983-03-25 | 株式会社石田衡器製作所 | シ−ル構体及びその製造方法 |
JPS5850571U (ja) * | 1981-09-30 | 1983-04-05 | ソニー株式会社 | 写真合成装置 |
US4843568A (en) * | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
US4847543A (en) * | 1988-04-08 | 1989-07-11 | Ultimatte Corporation | Motion control drive interface |
US5227985A (en) * | 1991-08-19 | 1993-07-13 | University Of Maryland | Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object |
GB9119964D0 (en) * | 1991-09-18 | 1991-10-30 | Sarnoff David Res Center | Pattern-key video insertion |
JPH06337898A (ja) * | 1993-05-27 | 1994-12-06 | Toshiba Corp | 動画編集装置 |
US5500684A (en) * | 1993-12-10 | 1996-03-19 | Matsushita Electric Industrial Co., Ltd. | Chroma-key live-video compositing circuit |
US5416529A (en) * | 1994-01-14 | 1995-05-16 | Immix | Method and system for digital video processing with combined downstream keyer and fade to black mixer |
JP3620069B2 (ja) * | 1994-06-28 | 2005-02-16 | ソニー株式会社 | 信号変換装置および方法 |
US5563988A (en) * | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
JP3301679B2 (ja) * | 1994-12-07 | 2002-07-15 | 松下電器産業株式会社 | 映像合成回路 |
US5933185A (en) * | 1995-05-31 | 1999-08-03 | Sony Corporation | Special effect apparatus |
AU6276096A (en) * | 1995-06-16 | 1997-01-15 | Princeton Video Image, Inc. | System and method for inserting static and dynamic images into a live video broadcast |
US5790124A (en) * | 1995-11-20 | 1998-08-04 | Silicon Graphics, Inc. | System and method for allowing a performer to control and interact with an on-stage display device |
FR2741769B1 (fr) * | 1995-11-23 | 1997-12-19 | Thomson Broadcast Systems | Procede de traitement du signal constitue par un sujet evoluant devant un fond colore et dispositif mettant en oeuvre ce procede |
US5812214A (en) * | 1996-03-14 | 1998-09-22 | Sierra Video Systems, Inc. | Apparatus and method for compositing video images |
US5914748A (en) * | 1996-08-30 | 1999-06-22 | Eastman Kodak Company | Method and apparatus for generating a composite image using the difference of two images |
-
1997
- 1997-05-23 JP JP13403797A patent/JP3724117B2/ja not_active Expired - Fee Related
-
1998
- 1998-05-22 IL IL12818498A patent/IL128184A/xx not_active IP Right Cessation
- 1998-05-22 WO PCT/JP1998/002246 patent/WO1998053606A1/ja not_active Application Discontinuation
- 1998-05-22 EP EP98921760A patent/EP0921678A4/en not_active Withdrawn
-
1999
- 1999-01-20 US US09/233,762 patent/US6147716A/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
IL128184A0 (en) | 1999-11-30 |
JPH10327349A (ja) | 1998-12-08 |
US6147716A (en) | 2000-11-14 |
WO1998053606A1 (fr) | 1998-11-26 |
EP0921678A4 (en) | 2001-03-21 |
EP0921678A1 (en) | 1999-06-09 |
IL128184A (en) | 2003-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3724117B2 (ja) | 画像生成装置および画像生成方法 | |
JP2846830B2 (ja) | 2次元映像を3次元映像に変換する方法 | |
Gibbs et al. | Virtual studios: An overview | |
US6747610B1 (en) | Stereoscopic image display apparatus capable of selectively displaying desired stereoscopic image | |
US8395711B2 (en) | Method and system for fusing video streams | |
JP3363861B2 (ja) | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 | |
EP1019873A1 (en) | Image processing method and apparatus | |
KR20090009108A (ko) | 파노라믹 이미지를 조합하는 방법, 파노라믹 이미지의버추얼 3d 프로젝션을 제공하는 방법 및 이를 위한 카메라 | |
US6014163A (en) | Multi-camera virtual set system employing still store frame buffers for each camera | |
CN113240700B (zh) | 图像处理方法及装置、计算机可读存储介质、电子设备 | |
JP2019145059A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
KR20160003614A (ko) | 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법 | |
JPH07184115A (ja) | 画像表示装置 | |
JP2000057350A (ja) | 画像処理装置と方法及び画像送信装置と方法 | |
JP2001236521A (ja) | 画像分割方式による仮想現実システム | |
JP2709066B2 (ja) | カメラ撮影画像と計算機生成画像の合成方法 | |
JPH08331598A (ja) | 立体映像表示装置 | |
JP2000270261A (ja) | 撮像装置及び画像合成方法並びに記録媒体 | |
JPH10327350A (ja) | 画像生成装置および画像生成方法 | |
JP7011728B2 (ja) | 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法 | |
JP3091659B2 (ja) | 3次元画像表示方法 | |
WO2020121844A1 (en) | Image processing device, image processing method, and program | |
JP4741434B2 (ja) | Cg合成装置およびcg合成プログラム | |
JP2021015417A (ja) | 画像処理装置、画像配信システム、および画像処理方法 | |
JPH0923449A (ja) | 実写映像及び3次元モデル合成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050912 |
|
LAPS | Cancellation because of no payment of annual fees |