JP2975916B2 - Video synthesis device - Google Patents
Video synthesis deviceInfo
- Publication number
- JP2975916B2 JP2975916B2 JP2452798A JP2452798A JP2975916B2 JP 2975916 B2 JP2975916 B2 JP 2975916B2 JP 2452798 A JP2452798 A JP 2452798A JP 2452798 A JP2452798 A JP 2452798A JP 2975916 B2 JP2975916 B2 JP 2975916B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display device
- synthesizing
- video
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
Description
【０００１】[0001]
【発明の属する技術分野】この発明は映像合成装置に関
し、特に、合成される映像と関連性のあるキー情報を生
成して合成するような映像合成装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image synthesizing apparatus, and more particularly, to an image synthesizing apparatus which generates and synthesizes key information related to an image to be synthesized.
【０００２】[0002]
【従来の技術】図３は従来のクロマキーと呼ばれる映像
を合成する方法を説明するための図である。クロマキー
は前景映像１の背景を特定の色（通常は青色）で映し出
して、特定の色の領域を映像処理により検出してキー情
報とし、その部分に別の像としての背景映像２を合成装
置３によって嵌め込み、合成映像４を生成する手法であ
る。この方法は、原理が簡単であり、リアルタイム（実
時間）処理に向いているため、広く用いられている。2. Description of the Related Art FIG. 3 is a diagram for explaining a conventional method of synthesizing an image called a chroma key. The chroma key projects the background of the foreground image 1 in a specific color (usually blue), detects an area of the specific color by image processing and uses it as key information, and in that part, a background image 2 as another image is synthesized. 3 is a method of generating a composite video 4 by fitting. This method is widely used because its principle is simple and it is suitable for real-time (real-time) processing.
【０００３】図４は従来のコンピュータグラフィックス
（以下、ＣＧと称する）を用いて合成映像を生成する方
法を説明するための図である。図４において、ＣＧ発生
装置５には、物体の形状などの３次元情報６と、物体の
模様などのテクスチャ情報７と、物体の透明度情報８と
が入力され、手前にある物体がより奥にある物体を隠す
ことにより複数の物体映像を合成表示する。さらに、物
体表面の情報として、模様などのテクスチャ情報７以外
に透明度情報８をキー情報としてＣＧ発生装置５に与え
ることによって、物体の一部を透明にした合成映像９が
生成される。FIG. 4 is a diagram for explaining a method of generating a composite image using conventional computer graphics (hereinafter, referred to as CG). In FIG. 4, three-dimensional information 6 such as the shape of an object, texture information 7 such as a pattern of the object, and transparency information 8 of the object are input to the CG generation device 5 so that the object in front is located further in the back. A plurality of object images are synthesized and displayed by hiding an object. Further, by providing transparency information 8 as key information to the CG generator 5 as information on the surface of the object other than texture information 7 such as a pattern, a composite image 9 in which a part of the object is made transparent is generated.
【０００４】[0004]
【発明が解決しようとする課題】上述のクロマキーを用
いた方法では、２次元的な映像処理であり、当然キー情
報も２次元的な情報となり、３次元形状の一部が透けて
見えるなどの映像合成は不可能である。３次元形状の一
部が透けて見えるなどの映像合成を行なうには、物体の
３次元形状などのＣＧ技術を必要とする。しかしなが
ら、ＣＧによる３次元形状は、細かく分けた微小面の集
合で表わされる。その場合、微小面の透過率を予め設定
しておくことは容易ではあるが、対話的に透過領域を変
更することは容易ではない。たとえば、仮想的な透視ラ
イトが当たった領域だけ透過して背後の映像が見えるよ
うな合成を行なうには、光線と物体との交点計算が必要
となり、交点計算は非常に複雑かつ多大の計算を必要と
し、高速なキー情報生成が困難であった。The above-described method using the chroma key is a two-dimensional image processing. Naturally, the key information is also two-dimensional information, and a part of the three-dimensional shape can be seen through. Video composition is not possible. In order to perform video synthesis such that a part of a three-dimensional shape can be seen through, CG technology for a three-dimensional shape of an object or the like is required. However, the three-dimensional shape by CG is represented by a set of finely divided small surfaces. In this case, it is easy to set the transmittance of the minute surface in advance, but it is not easy to interactively change the transmission area. For example, in order to perform synthesis such that the image behind can be seen only through the area illuminated by the virtual perspective light, it is necessary to calculate the intersection between the ray and the object, and the calculation of the intersection is extremely complicated and requires a large amount of calculation. And it was difficult to generate key information at high speed.
【０００５】それゆえに、この発明の主たる目的は、対
話的な操作により、ユーザの希望する領域を透けて見え
るようにすることができ、効果的な表現の演算が可能な
映像合成装置を提供することである。[0005] Therefore, a main object of the present invention is to provide a video synthesizing apparatus which can make it possible to see through an area desired by a user through an interactive operation and can perform an effective expression calculation. That is.
【０００６】[0006]
【課題を解決するための手段】請求項１に係る発明は、
複数の映像を組合せて新たな映像を合成して表示装置に
表示する映像合成装置において、表示装置から離れた位
置から表示装置に表示されている物体の方向に向けるこ
とによって、当該位置と当該方向が指示される３次元指
示手段と、３次元指示手段によって指示された方向から
見た表示装置上の位置の映像の明るさを演算する演算手
段と、演算された明るさ情報をもとに複数の映像を合成
する映像合成手段とを備えて構成される。The invention according to claim 1 is
In a video synthesizing device that combines a plurality of videos to synthesize a new video and displays the new video on a display device, the video camera is directed from a position away from the display device to the direction of an object displayed on the display device, so that the position and the relevant direction from There a designated three-dimensional means indicated, the direction indicated by the designated three-dimensional means
The image processing apparatus includes an arithmetic unit that calculates the brightness of an image at a position on the display device that has been viewed, and an image synthesizing unit that synthesizes a plurality of images based on the calculated brightness information.
【０００７】請求項２に係る発明は、請求項１の映像合
成手段は明るさ情報に基づいて、前景となる映像の対応
部分を透明にし、その部分に背景映像を合成する。According to a second aspect of the present invention, the image synthesizing means of the first aspect makes the corresponding portion of the foreground image transparent based on the brightness information, and synthesizes the background image with the corresponding portion.
【０００８】[0008]
【発明の実施の形態】図１はこの発明の一実施形態の概
略ブロック図である。図１において、３次元指示装置１
１は懐中電灯などに模して光源を有して構成され、表示
装置１６に表示されている物体に光を照射したとき、照
射した位置と方向を示す３次元情報がＣＧ発生装置１２
に入力される。ＣＧ発生装置１２は、３次元指示装置１
１によって光が照らされた位置と方向および予め決めら
れている光源の種類などにより、物体の明るさを計算す
る。ＣＧ発生装置１２から出力されるのは、輝度情報の
みを持ったキー用映像信号である。FIG. 1 is a schematic block diagram of an embodiment of the present invention. In FIG. 1, a three-dimensional pointing device 1
Reference numeral 1 denotes a light source simulating a flashlight or the like. When the object displayed on the display device 16 is irradiated with light, three-dimensional information indicating the position and direction of the light is transmitted to the CG generator 12.
Is input to The CG generator 12 is a three-dimensional pointing device 1
The brightness of the object is calculated based on the position and direction in which the light is illuminated by 1 and the type of light source determined in advance. The output from the CG generator 12 is a key video signal having only luminance information.
【０００９】映像合成装置１３には、ＣＧ発生装置１２
から前述のキー用映像信号が与えられるとともに、前景
映像発生装置１４から前景映像と背景映像発生装置１５
から背景映像とが与えられる。映像合成装置１３はキー
用映像に前景映像と背景映像を合成して表示装置１６に
表示する。The image synthesizing device 13 includes a CG generating device 12.
From the foreground image generator 14 and the foreground image generator 15
And a background image. The image synthesizing device 13 synthesizes the foreground image and the background image with the key image and displays the image on the display device 16.
【００１０】図２はこの発明の一実施形態のキー映像，
前景映像，背景映像，合成映像の一例を示す図である。
次に、図１および図２を参照して、この発明の一実施形
態の動作について説明する。FIG. 2 shows a key image according to an embodiment of the present invention.
It is a figure showing an example of a foreground picture, a background picture, and a synthetic picture.
Next, the operation of the embodiment of the present invention will be described with reference to FIGS.
【００１１】この実施の形態では、表示装置１６の画面
上にたとえば壺を表示し、この表示された壺の表面に３
次元指示装置１１で光を照射することによって、照射さ
れた部分が透明になり、内部の映像が見えるような例に
適用したものとする。In this embodiment, for example, a jar is displayed on the screen of the display device 16, and three dashes are displayed on the surface of the displayed jar.
It is assumed that the present invention is applied to an example in which the illuminated portion is made transparent by irradiating the light with the dimension indicating device 11, and the image inside is visible.
【００１２】表示装置１６には、図２（ａ）に示すよう
な壺の映像が表示されているものとする。３次元指示装
置１１によって表示装置１６に表示されている壺の一部
に光を照射すると、３次元指示装置１１から光の照射さ
れた位置と方向を示す３次元情報がＣＧ発生装置１２に
入力される。ＣＧ発生装置１２は物体の明るさを計算
し、図２（ｂ）に示すように、壺の光が照射された領域
を明るく表示するキー映像信号を映像合成装置１３に出
力する。映像合成装置１３には、図２（ｃ）に示す前景
映像と図２（ｄ）に示す背景映像がそれぞれ前景映像発
生装置１４と背景映像発生装置１５から与えられてい
る。It is assumed that an image of a vase as shown in FIG. 2A is displayed on the display device 16. When a part of the pot displayed on the display device 16 is irradiated with light by the three-dimensional pointing device 11, three-dimensional information indicating the position and direction of the light irradiation from the three-dimensional pointing device 11 is input to the CG generating device 12. Is done. The CG generation device 12 calculates the brightness of the object, and outputs a key video signal for brightly displaying the area of the pot illuminated to the video synthesis device 13 as shown in FIG. The foreground image shown in FIG. 2C and the background image shown in FIG. 2D are provided to the image synthesizing device 13 from a foreground image generating device 14 and a background image generating device 15, respectively.
【００１３】映像合成装置１３は図２（ｃ）に示す前景
映像のうち、図２（ｂ）に示すキー映像部分を透けて映
し出し、その部分に図２（ｄ）に示す背景映像を嵌め込
むことによって、図２（ｅ）に示す合成映像が表示装置
１６に表示される。The video synthesizing device 13 projects the key video portion shown in FIG. 2B through the foreground video shown in FIG. 2C, and fits the background video shown in FIG. 2D into that portion. As a result, the composite image shown in FIG.
【００１４】なお、図２（ａ）に示す壺の映像は、図２
（ｃ）に示す前景映像と同じ形状が使用されるが、必ず
しも正確に一致する必要はなく、少し異なる形状データ
で生成された映像であっても不自然な合成とはならな
い。The image of the vase shown in FIG.
Although the same shape as the foreground image shown in (c) is used, it is not always necessary to exactly match the shape, and even an image generated with slightly different shape data does not result in unnatural synthesis.
【００１５】また、上述の実施形態では、壺のようなア
ート作品の展示を例に説明したが、壁や地面などに隠れ
た配管などについて、透視ライトにより見たい領域の内
部構造を見るような工業的応用にも利用することができ
る。Further, in the above-described embodiment, an example in which an art work such as a pot is displayed has been described as an example. It can also be used for industrial applications.
【００１６】[0016]
【発明の効果】以上のように、この発明によれば、３次
元指示手段によって表示装置に表示されている映像を指
示することにより、指示された映像の明るさを演算し、
その情報をもとに複数の映像を合成するようにしたの
で、対話的な操作により、ユーザの希望する領域を透け
て見えるようにすることができ、効果的な表現を演出で
きる。しかも、明るさ情報を計算するだけでよく、光線
と物体の交点計算やテクスチャマッピングや合成処理な
どの複雑な計算をする必要がなく、高速な処理が可能で
あり、安価な装置を使うことができる。また、前景映像
を予め計算しておくことにより、ゆっくり時間をかけた
緻密な映像を利用することができる。さらに、合成手段
も外部キー信号により合成できればよく、クロマキー装
置などの一部機能を使っても容易に実現することができ
る。As described above, according to the present invention, the brightness of the indicated image is calculated by indicating the image displayed on the display device by the three-dimensional indicating means,
Since a plurality of videos are synthesized based on the information, it is possible to see through the area desired by the user by interactive operation, and to produce an effective expression. In addition, it is only necessary to calculate brightness information, and there is no need to perform complicated calculations such as intersection calculation of light rays and objects, texture mapping, and synthesis processing. High-speed processing is possible, and inexpensive devices can be used. it can. In addition, by calculating the foreground image in advance, it is possible to use a minute image that takes a long time. Further, the synthesizing means only needs to be able to be synthesized by an external key signal, and can be easily realized by using some functions such as a chroma key device.
【図１】この発明の一実施形態の概略ブロック図であ
る。FIG. 1 is a schematic block diagram of an embodiment of the present invention.
【図２】この発明の一実施形態のキー映像，前景映像，
背景映像および合成映像の一例を示す図である。FIG. 2 shows a key image, a foreground image,
It is a figure showing an example of a background picture and a synthetic picture.
【図３】従来のクロマキーと呼ばれる映像を合成する方
法を説明するための図である。FIG. 3 is a diagram for explaining a conventional method of synthesizing an image called a chroma key.
【図４】従来のコンピュータグラフィックスを用いて合
成映像を生成する方法を説明するための図である。FIG. 4 is a diagram for explaining a method of generating a composite video using conventional computer graphics.
１１ ３次元指示装置 １２ ＣＧ発生装置 １３ 映像合成装置 １４ 前景映像発生装置 １５ 背景映像発生装置 １６ 表示装置 Reference Signs List 11 3D pointing device 12 CG generating device 13 Image synthesizing device 14 Foreground image generating device 15 Background image generating device 16 Display device
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−281952（ＪＰ，Ａ) 特開 平７−55419（ＪＰ，Ａ) 特開 平７−136343（ＪＰ，Ａ) (58)調査した分野(Int.Cl.6，ＤＢ名) G06T 1/00 ────────────────────────────────────────────────── ─── Continuation of the front page (56) References JP-A-5-281952 (JP, A) JP-A-7-55419 (JP, A) JP-A-7-136343 (JP, A) (58) Field (Int.Cl. 6 , DB name) G06T 1/00
Claims (2)
して表示装置に表示する映像合成装置において、 前記表示装置から離れた位置から該表示装置に表示され
ている物体の方向に向けることによって、当該位置と当
該方向が指示される３次元指示手段、 前記３次元指示手段によって指示された方向から見た前
記表示装置上の位置のの映像の明るさを演算する演算手
段、および前記演算手段によって演算された明るさ情報
をもとに複数の映像を合成する映像合成手段を備えた、
映像合成装置。1. An image synthesizing apparatus for combining a plurality of images to synthesize a new image and displaying the synthesized image on a display device, wherein the image is directed from a position distant from the display device toward an object displayed on the display device. A three-dimensional indicating means for indicating the position and the direction by the operation, and an arithmetic operation for calculating the brightness of the image at the position on the display device viewed from the direction indicated by the three-dimensional indicating means Means, and comprising video synthesizing means for synthesizing a plurality of videos based on the brightness information calculated by the calculating means,
Video synthesis device.
づいて、前景となる映像の対応する部分を透明にし、そ
の部分に背景映像を合成することを特徴とする、請求項
１に記載の映像合成装置。2. The image synthesizing apparatus according to claim 1, wherein the image synthesizing device makes a corresponding portion of the foreground image transparent, and synthesizes a background image with the corresponding portion based on the brightness information. Video synthesis device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2452798A JP2975916B2 (en) | 1998-02-05 | 1998-02-05 | Video synthesis device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2452798A JP2975916B2 (en) | 1998-02-05 | 1998-02-05 | Video synthesis device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11224321A JPH11224321A (en) | 1999-08-17 |
| JP2975916B2 true JP2975916B2 (en) | 1999-11-10 |
Family
ID=12140636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2452798A Expired - Fee Related JP2975916B2 (en) | 1998-02-05 | 1998-02-05 | Video synthesis device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2975916B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105917383B (en) | 2014-01-21 | 2017-10-27 | 三菱电机株式会社 | Dynamic image reproduction device |
-
1998
- 1998-02-05 JP JP2452798A patent/JP2975916B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11224321A (en) | 1999-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Raskar et al. | Spatially augmented reality | |
| Milgram et al. | Augmented reality: A class of displays on the reality-virtuality continuum | |
| Kruijff et al. | Perceptual issues in augmented reality revisited | |
| Raskar et al. | Table-top spatially-augmented realty: bringing physical models to life with projected imagery | |
| Agrawala et al. | Artistic multiprojection rendering | |
| Segal et al. | Fast shadows and lighting effects using texture mapping | |
| US5694533A (en) | 3-Dimensional model composed against textured midground image and perspective enhancing hemispherically mapped backdrop image for visual realism | |
| US7471301B2 (en) | Method and system enabling real time mixing of synthetic images and video images by a user | |
| TWI406186B (en) | 2d editing metaphor for 3d graphics | |
| KR20220027278A (en) | Mixed reality system with color virtual content warping and method of generating virtual content using same | |
| US10621707B2 (en) | Table reprojection for post render latency compensation | |
| KR20060090367A (en) | 3d virtual studio using video texturing | |
| CN107562185B (en) | Light field display system based on head-mounted VR equipment and implementation method | |
| Lee et al. | A new projection-based exhibition system for a museum | |
| KR20170091710A (en) | Digital video rendering | |
| US6559844B1 (en) | Method and apparatus for generating multiple views using a graphics engine | |
| JP2975916B2 (en) | Video synthesis device | |
| JP6679966B2 (en) | Three-dimensional virtual space presentation system, three-dimensional virtual space presentation method and program | |
| Santos et al. | Improve: An innovative application for collaborative mobile mixed reality design review | |
| Xing et al. | A real-time super multiview rendering pipeline for wide viewing-angle and high-resolution 3D displays based on a hybrid rendering technique | |
| JP2565354B2 (en) | Video signal processing device | |
| Kasahara | Headlight: egocentric visual augmentation by wearable wide projector | |
| KR100393185B1 (en) | Apparatus for synthesizing three-dimensional structure data with graphics object, and method therefor | |
| Savage et al. | Visualising special relativity | |
| JP2000029589A (en) | Information display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990824 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |