JPH0793579A - Formation system of three-dimensional simulation image - Google Patents

Formation system of three-dimensional simulation image

Info

Publication number
JPH0793579A
JPH0793579A JP14593492A JP14593492A JPH0793579A JP H0793579 A JPH0793579 A JP H0793579A JP 14593492 A JP14593492 A JP 14593492A JP 14593492 A JP14593492 A JP 14593492A JP H0793579 A JPH0793579 A JP H0793579A
Authority
JP
Japan
Prior art keywords
image
background
digital video
computer graphics
image forming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP14593492A
Other languages
Japanese (ja)
Other versions
JP3200163B2 (en
Inventor
John W Richards
ウィリアム リチャーズ ジョン
William Amos David Morgan
ウィリアム エイモス デビッド モーガン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Original Assignee
Sony United Kingdom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd filed Critical Sony United Kingdom Ltd
Publication of JPH0793579A publication Critical patent/JPH0793579A/en
Application granted granted Critical
Publication of JP3200163B2 publication Critical patent/JP3200163B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: To perform a processing for making background images relatively move to substantially still foreground images with high cost efficiency by combining a computer graphic modeller with video data processed by a digital video effect device. CONSTITUTION: The computer graphic modeller 30 forms computer graphic foreground scenes provided with a transparent part. The digital video effect devices 16A, 17A and 18A process the video data to be backgrounds and form the strings of video background images whose movement is controlled. A synthesis part 36 keys the computer graphic foreground images to the movement controlled video background images and form output image strings while making the background observable through the transparent part of the foreground. Thus, the processing for making the background images relatively move to the substantially still foreground images is performed with high cost efficiency.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は3次元シミュレーション
のための画像形成システムに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image forming system for three-dimensional simulation.

【0002】[0002]

【従来の技術】複雑なコンピュータグラフィックスモデ
ラ(適切なコンピュータ・グラフィックス・モデリング
・ソフトウエアを搭載した汎用または特殊用途用コンピ
ュータワークステーション)は、様々な3次元構体、自
動車その他を製作するに先だって、これらを設計したり
マーケティング戦略を立案したりするために、今日広く
用いられている。コンピュータグラフィックスモデラ
は、最終生産物がどのようなものとなるかを顧客、販売
要員、スタッフに理解させるための有効な手段と認知さ
れており、それに伴ってますます多用されるようになっ
てきている。これらは、従来の青写真や最終生産物の縮
小模型にて行うのよりもはるかに多くの柔軟性を持って
いる。コンピュータグラフィックスモデラは、例えば飛
行及び運転のシミュレータにも用いられている。このよ
うに、多くの分野での3次元物体または情景の効果的な
モデリングが要求されているが、その中で自動車や飛行
機のコントロールパネルのレイアウトのシミュレーショ
ンやフライトシミュレーションなどはほんの一例にすぎ
ない。
BACKGROUND OF THE INVENTION Complex computer graphics modelers (general purpose or special purpose computer workstations equipped with appropriate computer graphics modeling software) are used to produce various three-dimensional structures, automobiles, etc. , They are widely used today to design them and plan marketing strategies. Computer graphics modelers are perceived as an effective way to educate customers, sales personnel and staff about what their final products will look like and are becoming more and more popular. ing. They have much more flexibility than do traditional blueprints or reduced models of end products. Computer graphics modelers are also used, for example, in flight and driving simulators. As described above, effective modeling of three-dimensional objects or scenes is required in many fields, and simulations of layouts of control panels of automobiles and airplanes and flight simulations are just examples.

【0003】例えば、英国特許出願GB−A−2181
929(出願人ソニー株式会社)によると、物体の表面
構造を表すビデオデータを操作して、それを物体の表面
形状と同一な面上に配置し、その物体の画像を形成する
ことが提案されている。GB−A−2181929は、
例えばフライトシミュレータに用いる運動物体のシミュ
レーションと関連している。車または飛行機のコントロ
ールパネルのシミュレーションにおいては、観察者(も
しくは概念としてのカメラ)の視点は、車または操縦席
の内部に制限される。車、飛行機その他のコントロール
パネルや内装部のモデリングは、コンピュータグラフィ
ックスのワイヤフレームモデルによってたやすく達成さ
れる。しかし普通は、はるかに現実的な結果が得られる
のでレンダリングモデル(すなわち表面のみならず縁の
細部に至るまで描かれたもの)が用いられている。とこ
ろが、車のダッシュボードまたはフライトデッキの部分
の内部の景観のモデルをレンダリングする場合は、コン
ピュータによる大量の演算が必要とされており、このた
め、表示されているものの運動やモデル内の視点の変化
の表現が、コンピュータグラフィックスモデラの処理能
力によって制限を受けてしまう。通常のシステムでは、
毎秒およそ2フレームの変化が可能限度である。
For example, British Patent Application GB-A-2181.
According to 929 (Applicant Sony Corporation), it is proposed to manipulate video data representing the surface structure of an object and arrange it on the same plane as the surface shape of the object to form an image of the object. ing. GB-A-2181929 is
For example, it is related to the simulation of a moving object used in a flight simulator. In a vehicle or airplane control panel simulation, the observer's (or conceptual camera's) viewpoint is limited to the interior of the vehicle or cockpit. The modeling of cars, planes and other control panels and interiors is easily accomplished with wireframe models of computer graphics. However, usually a rendering model (ie one that draws not only the surface but also the edge details) is used because it gives much more realistic results. However, rendering a model of the landscape inside a car dashboard or part of a flight deck requires a large amount of computational effort, which can result in movement of what is being displayed or perspective of the model. The representation of change is limited by the processing power of the computer graphics modeler. In a normal system,
Approximately 2 frames per second change is possible.

【0004】[0004]

【発明が解決しようとする課題】コンピュータグラフィ
ックスモデラは、壁、パネル構造、照明と陰影、家具そ
の他を含めて、モデルの光学的現実感を表現するものと
して認められている。ところが、細部まで詳しく描くこ
とが要求されるために、コンピュータグラフィックスモ
デラにさらに負荷がかかり、実時間にて画像を形成する
ことが不可能になっている。さらに、従来のコンピュー
タグラフィックスモデラは、考えているモデル(例えば
車の内部など)を形成するのみであった。車の制御パネ
ルの場合を考えよう。制御パネルのすぐ上はウインドス
クリーンである。車の中で制御パネルがどのように見え
るかを質感豊かに表現するために、制御パネルそのもの
のみならず、窓を通して見ることのできる情景もモデル
化することができることが望ましい。しかしながら、従
来のコンピュータグラフィックスモデラでは、背景にあ
る情景は黒く塗りつぶされているか、せいぜい静止した
背景画像であった。
Computer graphics modelers are recognized as representing the optical realism of a model, including walls, panel structures, lighting and shading, furniture and the like. However, since it is required to draw details in detail, the load is placed on the computer graphics modeler, making it impossible to form an image in real time. Moreover, conventional computer graphics modelers have only created the model under consideration (eg, the interior of a car). Consider the case of a car control panel. Just above the control panel is the windscreen. It is desirable to be able to model not only the control panel itself, but also the scene that can be seen through the window in order to express the appearance of the control panel in a car with rich texture. However, in conventional computer graphics modelers, the background scene is either black filled or at best a static background image.

【0005】車の制御パネルのレイアウトを検討するに
あたって、例えば、車の窓を通して見ることのできる現
実感ある情景を描くことができれば有用であろう。理想
的には、車の窓から見ることのできる現実感ある情景
は、動く情景であることが望ましい。この動く情景が様
々な交通環境や一般的な道路の状況をモニタリングした
ものをシミュレートするものであれば、制御パネルのレ
イアウトを効果的に適切に評価することができるであろ
う。制御パネルの光学的に現実感あるモデリングを外部
の情景と組合せてシミュレートすると、コンピュータグ
ラフィックスモデラのハードウエアに多大な費用がかか
るだけでなく、そのモデリングにも多大な時間がかかっ
てしまう。そこで本発明の課題は、内部の情景のモデリ
ングに加えて外部の情景のモデリングを、現実的で費用
効率のよい方法にて提供することにある。
In considering the layout of a vehicle control panel, it would be useful, for example, to be able to draw a realistic scene that can be seen through the window of a vehicle. Ideally, the realistic scene that can be seen through the car window should be a moving scene. If the moving scene simulates monitoring various traffic environments and general road conditions, the layout of the control panel can be effectively and appropriately evaluated. Simulating an optically realistic modeling of a control panel in combination with an external scene not only makes the computer graphics modeler hardware very expensive, but it also takes a lot of time to model it. It is therefore an object of the present invention to provide modeling of external scenes in addition to modeling of internal scenes in a realistic and cost-effective manner.

【0006】[0006]

【課題を解決するための手段】本発明の画像形成システ
ムは、少なくとも1カ所の透明部分を含むコンピュータ
グラフィックス前景画像を形成するためのコンピュータ
グラフィックスモデラと、背景となるビデオデータの少
なくとも1組を処理し、運動が制御されたビデオ背景画
像の列を形成するデジタルビデオ効果装置と、コンピュ
ータグラフィックス前景画像を、運動が制御されたビデ
オ背景画像に対してキーイングし、前景の透明部分を通
して背景が観察できるようにしながら出力画像列を形成
するための手段とを具える。
SUMMARY OF THE INVENTION An image forming system of the present invention comprises a computer graphics modeler for forming a computer graphics foreground image including at least one transparent portion and at least one set of background video data. A digital video effect device for processing a sequence of motion-controlled video background images, and a computer graphics foreground image keyed against the motion-controlled video background image to provide a background through transparent portions of the foreground. And means for forming an output image sequence while allowing the images to be viewed.

【0007】本発明の第2の観点による画像形成システ
ムは、このコンピュータグラフィックスモデラが、コン
ピュータグラフィックスの3次元モデルの所定の方向に
おける、所定の視点からの情景を形成するものである。
本発明の第3の観点による画像形成システムは、それぞ
れの背景ビデオデータの組が、前景における透明部分を
通して視点から観察され、3次元空間内の視線が描く各
表面上にマッピングされた少なくとも1個の静止ビデオ
画像を表すものである。本発明の第4の観点による画像
形成システムは、画像が描かれるそれぞれの表面が、3
次元空間におけるコンピュータグラフィックスモデルを
取り囲む半球面の内面の少なくとも一部となるものであ
る。本発明の第5の観点による画像形成システムは、デ
ジタルビデオ効果装置が、連続する画像のタイミングで
異なる線形スケーリング(拡大縮小)及び(又は)平行
移動の処理を背景ビデオデータの組に対して適用するこ
とによって、運動する背景ビデオ画像を形成するように
したものである。本発明の第6の観点による画像形成シ
ステムは、デジタルビデオ効果装置が、背景ビデオデー
タを一時的に記憶するためのメモリと、書き込み及び読
み出し操作時メモリに異なるアドレスを与えて、線形の
拡大または縮小の処理と平行移動の処理とを行わせるた
めのアドレス手段とを具えたものである。本発明の第7
の観点による画像形成システムは、コンピュータグラフ
ィックスモデラからの位置データに応じて、連続する画
像と同期してなされるべき処理を規定した制御データを
デジタルビデオ効果装置に対して発生する制御手段を具
えたものである。本発明の第8の観点による画像形成シ
ステムは、コンピュータグラフィックスモデラが、不透
明部分によって分割された複数の透明部分を有する前景
画像を形成し、デジタルビデオ効果装置は、複数のデジ
タルビデオ効果ユニットを具え、各ユニットはそれぞれ
の背景ビデオデータの組を処理し、構成要素となった背
景画像の組をそれぞれ形成するとともに、背景画像の構
成要素の組を組み合わせて背景画像の制御された列を形
成する手段をも具えたものである。
In the image forming system according to the second aspect of the present invention, the computer graphics modeler forms a scene from a predetermined viewpoint in a predetermined direction of a three-dimensional model of computer graphics.
In the image forming system according to the third aspect of the present invention, each background video data set is viewed from a viewpoint through a transparent portion in the foreground, and at least one background video data set is mapped on each surface drawn by a line of sight in a three-dimensional space. Is a still video image of the. In the image forming system according to the fourth aspect of the present invention, each surface on which an image is drawn has 3
It is at least a part of the inner surface of a hemisphere that surrounds a computer graphics model in a dimensional space. In an image forming system according to a fifth aspect of the present invention, a digital video effect apparatus applies different linear scaling (scaling) and / or translation processing to a background video data set at different image timings. By doing so, a moving background video image is formed. According to a sixth aspect of the present invention, in a digital video effect device, the digital video effect device gives a different address to a memory for temporarily storing background video data and a memory for write and read operations to perform linear expansion or It is provided with addressing means for performing the reduction processing and the parallel movement processing. 7th of this invention
According to the position data from the computer graphics modeler, the image forming system according to the present invention comprises control means for generating control data for the digital video effect device, the control data defining processing to be performed in synchronization with successive images. It is a thing. In an image forming system according to an eighth aspect of the present invention, the computer graphics modeler forms a foreground image having a plurality of transparent portions divided by opaque portions, and the digital video effect device has a plurality of digital video effect units. Each unit processes its own set of background video data to form a set of constituent background images, respectively, and to combine the set of constituent components of the background image to form a controlled sequence of background images. It also has a means to do.

【0008】本発明の第9の観点は、ユーザが操作可能
な乗り物の制御装置を含む乗り物の操縦席と、背景を透
視することが可能な少なくとも1個の開口と、少なくと
も1組の背景ビデオデータを処理し、開口内に少なくと
も1つの運動が制御されたビデオ画像の列を形成するた
めのデジタルビデオ効果装置とを具えた乗り物用シミュ
レータシステムである。
A ninth aspect of the present invention is a cockpit of a vehicle including a user controllable vehicle controller, at least one opening through which the background can be seen, and at least one set of background video. A vehicle simulator system comprising a digital video effect device for processing data and forming at least one motion-controlled sequence of video images in an aperture.

【0009】[0009]

【作用】本発明によると、コンピュータグラフィックス
モデラを、デジタルビデオ効果装置によって処理される
ビデオデータと組み合わせることによって、視点の位置
が前景に対して拘束され、背景に対しては拘束されない
乗り物などの制御レイアウトのような対象物または構造
物を、現実感豊かに且つ費用効率よく構成することがで
きる。デジタルビデオ効果装置を用いることによって、
撮影されたビデオ画像をそのまま用いるよりも一層柔軟
性が増す。もし、撮影されたビデオ画像をそのまま用い
るとすると、シミュレーションのとき画面の速い変化や
多様な運動方向の表示を可能にするために、おびただし
い数の撮像画面とこれらを高速にて処理する機械装置と
が必要になる。線形のデジタルビデオ効果装置でさえあ
ればよいデジタルビデオ効果装置を使用することによっ
て、拡大縮小及び平行移動の処理をする撮像画像の組が
はるかに少なくて済み、速い変化や多様な運動方向を表
現することが可能になる。特定のシミュレーションに用
いられる実際の画像の数は、このシミュレーションの詳
細次第で決まる。
In accordance with the present invention, by combining a computer graphics modeler with video data processed by a digital video effect device, the position of the viewpoint is constrained to the foreground and not to the background. Objects or structures such as control layouts can be constructed realistically and cost effectively. By using a digital video effect device,
It is more flexible than using the captured video image as is. If the captured video images are used as they are, a large number of imaging screens and mechanical devices that process these images at high speed in order to enable rapid changes in the screen and display of various movement directions during simulation. Will be required. By using a digital video effect device that only requires a linear digital video effect device, a much smaller set of captured images to handle scaling and translation is required, allowing for fast changes and a variety of motion directions. It becomes possible to do. The number of actual images used for a particular simulation depends on the details of this simulation.

【0010】[0010]

【実施例】図1は、従来のコンピュータ・グラフィック
ス・モデラ(例えば汎用または特殊用途用3次元コンピ
ュータ・グラフィックス・モデリング・ソフトウエアの
コンピュータワークステーション)によって形成される
車の内部モデルを、高精細テレビジョンの16:9のフ
ォーマットにて描いたものである。このコンピュータグ
ラフィックスモデラは、車のモデルを形造るデータの供
給を受けている。このモデルには、3次元位置情報、表
面構造の情報、さらに照明環境などその他の要素が含ま
れている。このデータから、コンピュータグラフィック
スモデラが車の2次元の画像を形成する。図1に示すよ
うに、この2次元画像には、制御パネル12、すなわち
車のダッシュボード、ウインドスクリーン16及び窓1
7、18を取り囲むフレーム14、天井15の内側及び
その他の内部の細部から構成されている。ところが、コ
ンピュータグラフィックスモデラは、ウインドスクリー
ン16、側面窓17及び18を通して観察される情景を
細かく描くことはできない。本発明によれば、これらの
窓16、17、18を通して観察される情景(ときには
動く情景)を描くことのできるシステムを提供する。
DESCRIPTION OF THE PREFERRED EMBODIMENT FIG. 1 illustrates a vehicle interior model formed by a conventional computer graphics modeler (eg, a computer workstation for general purpose or special purpose three-dimensional computer graphics modeling software). It is drawn in the 16: 9 format of high definition television. This computer graphics modeler is powered by the data that shape the car model. This model includes three-dimensional position information, surface structure information, and other elements such as a lighting environment. From this data, the Computer Graphics Modeler creates a two-dimensional image of the car. As shown in FIG. 1, this two-dimensional image includes a control panel 12, namely a car dashboard, a windscreen 16 and a window 1.
It consists of a frame 14 that surrounds 7, 18, the interior of the ceiling 15 and other internal details. However, the computer graphics modeler cannot depict the details of the scene observed through the windscreen 16 and the side windows 17 and 18. According to the present invention, there is provided a system capable of depicting the scene (sometimes moving scene) observed through these windows 16, 17, 18.

【0011】図2は、本発明の背後にある概念を示すも
のである。更に詳しくいうと、コンピュータグラフィッ
クスモデラによって形成される図2の内側の円によって
表されるコンピュータグラフィックスモデル20に加え
て、ビデオ画像(ときには動く画像)がマッピングさ
れ、すなわち仮想の半球面の上に投射され、場合によっ
てはその一部がモデル20を取り囲む背景情景を形成す
るデジタルビデオ効果装置によって平面上に描かれる。
実際には、図1に示す情景に関しては、視点の位置がモ
デル20の中にあって制約されるので、モデルの中の窓
または開口を通して見ることのできる情景の一部を形成
できさえすればよい。この概念を図3によって示す。背
景の情景16Sが窓16を通してみることができ、背景
の情景17S、18Sが窓17、18を通して見ること
ができるものである。図4は、これら3個の情景が、図
1に示すモデルのウインドスクリーン及び側面窓に関連
してどのように配置されるかを示したものである。
FIG. 2 illustrates the concept behind the present invention. More specifically, in addition to the computer graphics model 20 represented by the inner circle in FIG. 2 formed by the computer graphics modeler, a video image (sometimes a moving image) is mapped, ie on a virtual hemisphere. Projected onto the plane, possibly in part by a digital video effect device forming a background scene surrounding the model 20.
In practice, for the scene shown in FIG. 1, the position of the viewpoint is constrained in the model 20 so that it only has to form part of the scene visible through a window or aperture in the model. Good. This concept is illustrated by FIG. The background scene 16S can be seen through the window 16, and the background scenes 17S and 18S can be seen through the windows 17 and 18. FIG. 4 shows how these three scenes are arranged in relation to the windscreen and side windows of the model shown in FIG.

【0012】これらの情景は、異なるカメラの3方向か
らの動く情景の一連の静止ビデオ画像を個別に撮像する
ことが望ましい。撮像された元のビデオ画像を適当なビ
ュー(観察)ポートを通してみた状態に合せるために
は、図5に示す様な装置を用いてもよい。言い換える
と、元の画像は、カメラレンズの中に現れる歪みを補正
してもよく、また非線形デジタルビデオ効果発生器23
を用いて特定の観察スクリーン又は観察面に合せてもよ
い。もとの撮像された画像はソースビデオメモリ22
(例えば第1ビデオレコーダ)の中に記憶されてもよ
く、その後背景画像メモリ24(例えば第2テープレコ
ーダ)に記憶させる前に、非線形デジタルビデオ効果装
置23によって処理してもよい。この非線形デジタルビ
デオ効果装置によってなされる処理は、コントローラ2
2によって決定される。コントローラはユーザーによっ
てプログラムが行われ、元の撮像された画像を背景の部
分の中にはめ込むための特別なマッピング教示を実行さ
せる。
[0012] These scenes are preferably individually captured as a series of still video images of the moving scene from three different camera directions. A device such as that shown in FIG. 5 may be used to match the original video image captured to the state viewed through the appropriate view port. In other words, the original image may be corrected for distortions that appear in the camera lens and the non-linear digital video effect generator 23
May be used to match a particular viewing screen or viewing surface. The original captured image is the source video memory 22
It may be stored in (for example, a first video recorder) and then processed by the non-linear digital video effect device 23 before being stored in the background image memory 24 (for example, a second tape recorder). The processing performed by this non-linear digital video effect device is the controller 2
Determined by 2. The controller is programmed by the user to perform a special mapping teaching to fit the original captured image into a portion of the background.

【0013】適用されるマッピングは、ウインドスクリ
ーンを通じて観察される情景とともに側面の窓を通して
観察される情景を、継目のない市松模様によって構成す
ることを可能にするために用いられる。更に、元の画像
が撮像されたとき、あらゆるレベルを除去するために色
の訂正が行われ、色は、開口の設定のしかたや太陽の角
度などによって変化をきたす。背景の分離した部分(す
なわち図1で窓の枠14の部分)の幅が狭い場合は、外
の情景が連続しているという印象を与えるために、継目
のない市松模様を採用することが望ましい。しかしなが
ら、モデルの構造的特徴がある場合は(すなわち個々の
情景がはっきり別のものであれば)、継目のない市松模
様による画像は必要ではなく、もっと緻密さの劣る模様
でも外の情景が連続的なものであるという印象を与える
ことができる。
The applied mapping is used to allow a seamless checkered pattern to be constructed for the scene viewed through the side windows as well as the scene viewed through the windscreen. In addition, when the original image was taken, color correction was made to remove any levels, which would change depending on how the aperture was set, the angle of the sun, etc. If the width of the separated part of the background (that is, the part of the window frame 14 in FIG. 1) is narrow, it is desirable to adopt a seamless checkerboard pattern to give the impression that the outside scene is continuous. . However, if the model has structural features (that is, if the individual scenes are distinct), then a seamless checkerboard image is not necessary, and a less dense pattern will result in a continuous outer scene. You can give the impression that it is a real thing.

【0014】図6は本発明の画像発生システムの概略ブ
ロック図である。図6に示すシステムによって、前処理
された背景のビデオ画像の連なりが、シミュレートされ
るべき動く背景を構成することができる方法を用いるこ
とによって、コンピュータグラフィックスモデルそのも
のと合体される。従来のコンピュータグラフィックスモ
デラ(例えば3次元モデリングソフトウエアを含むコン
ピュータワークステーション)は、(例えば図1におけ
る車の室内のような)物体内からの情景を表す出力画像
を形成する。コンピュータグラフィックスモデラのコン
ピュータワークステーションは、キーボード、マウス、
グラフィックスタブレット、ライトペンなどのうち1個
以上を含む通常のユーザ入力手段を具えている。このコ
ンピュータグラフィックスモデラは、通常背景情報を含
まない前景を表示するためのモニタを含んでいる。コン
ピュータグラフィックスモデラ30からの出力は、モデ
ルの画像を作り出すのに用いられる3次元空間に於ける
位置と方向を特定するための位置情報31を含んでい
る。画像画素データ32はモデルの画像と関係し、キー
イングデータ33は前景と関係を持ったモデル画像の領
域及び背景と関係をもったモデル画像の領域を特定す
る。
FIG. 6 is a schematic block diagram of the image generating system of the present invention. With the system shown in FIG. 6, a sequence of preprocessed background video images is merged with the computer graphics model itself by using a method capable of constructing a moving background to be simulated. A conventional computer graphics modeler (eg, a computer workstation containing 3D modeling software) produces an output image that represents a scene from within an object (eg, the interior of a car in FIG. 1). Computer Graphics Modeler's computer workstation has a keyboard, mouse,
It has conventional user input means including one or more of a graphics tablet, light pen, etc. This computer graphics modeler includes a monitor for displaying the foreground, which typically does not include background information. The output from the computer graphics modeler 30 includes position information 31 for identifying the position and orientation in the three-dimensional space used to create the image of the model. The image pixel data 32 is associated with the model image, and the keying data 33 identifies the region of the model image that is associated with the foreground and the region of the model image that is associated with the background.

【0015】原則として従来のコンピュータの支援を受
けたデザインソフトウエアパッケージまたはその他の従
来の3次元モデリングソフトウエアも、このモデル画像
を形成するために用いることができる。従来のコンピュ
ータグラフィックスモデリングソフトウエアは、3次元
空間における視点の位置と方向を表す位置情報を出力す
ることができないとき、すなわち物体のどの部分が透明
でありどの部分が透明でないかを表すキー信号を提供出
来ない場合、コンピュータグラフィックスモデリングソ
フトウエアは、これらの特徴を提供するために変形され
る必要がある。モデルの画像を提供できるどんなコンピ
ュータグラフィックスモデリングソフトウエアも、3次
元空間における視点の位置と方向を表すデータを得るこ
とができる。同様に表面のレンダリングができるコンピ
ュータグラフィックスモデリングシステムは、どの部分
が透明でどの部分が透明でないかを表すデータを得るこ
とができる。従って、これらのデータの出力を形成する
ためにコンピュータグラフィックスモデリングソウフト
ウエアをいかに変形するかは、当業者にとって明かであ
る。位置情報は制御ユニット34に供給され、複数のデ
ジタルビデオ効果ユニット16A、17A及び18A
と、対応する背景画像メモリ16V,17V及び18V
それぞれの動作を制御する。背景ビデオメモリ16V、
17V、18Vのおのおのは、車の窓または開口を通し
て観察される元となる情景を形成するための、1つ以上
の前処理された静止画像と関連したビデオデータを含ん
でいる。ひとつの背景ビデオメモリV及びひとつのデジ
タルビデオ効果装置Aが、この実施例のモデルの各透明
部分のために割り当てられていることに注意されたい。
メモリとデジタルビデオ効果装置の数は、透明な部分の
数が異なっていれば、これに合わせてもよい(例えばモ
デルに4個の窓があれば4個をそれぞれに割り当てても
よい)。背景ビデオメモリに記憶されるビデオデータ
は、図5によって説明した静止画像の前処理によって形
成できる。背景ビデオメモリのそれぞれは、例えばデジ
タルビデオテープレコーダのような形態のものでよい。
背景ビデオメモリのおのおのからの出力は、それぞれの
デジタルビデオ効果装置に入力される。
In principle, conventional computer-aided design software packages or other conventional three-dimensional modeling software can also be used to create this model image. Conventional computer graphics modeling software cannot output position information indicating the position and direction of a viewpoint in a three-dimensional space, that is, a key signal indicating which part of an object is transparent and which part is not transparent. Computer graphics modeling software needs to be modified to provide these features. Any computer graphics modeling software capable of providing an image of the model can obtain data representing the position and orientation of the viewpoint in three-dimensional space. Similarly, a computer graphics modeling system capable of surface rendering can obtain data representing which parts are transparent and which are not. Thus, it will be apparent to those skilled in the art how to transform computer graphics modeling software to form the output of these data. The position information is supplied to the control unit 34 and the plurality of digital video effect units 16A, 17A and 18A.
And corresponding background image memories 16V, 17V and 18V
Control each movement. Background video memory 16V,
Each 17V, 18V contains video data associated with one or more pre-processed still images to form the original scene viewed through a car window or opening. Note that one background video memory V and one digital video effect device A are allocated for each transparent part of the model of this embodiment.
The number of memories and digital video effect devices may be matched to different numbers of transparent parts (for example, if the model has four windows, four may be allocated to each). The video data stored in the background video memory can be formed by the pre-processing of the still image described with reference to FIG. Each of the background video memories may be in the form of a digital video tape recorder, for example.
The output from each of the background video memories is input to the respective digital video effect device.

【0016】このデジタルビデオ効果装置は、適当な窓
を通して観察される画像の適当な線形運動を構成する。
一層詳しくいうと、デジタルビデオ効果装置16A、1
7A、18Aは、制御ユニット34からの制御情報に応
じてそれぞれの画像メモリユニット16V,17V,1
8Vからの画像に対してスケーリングと平行移動の処理
を行い、画像が動いている状態をシミュレートする。デ
ジタルビデオ効果装置16A、17A、18Aからのそ
れぞれの出力は結合器35に送られ、個別の出力情報は
背景画像の順番を形成すべく結合される。それぞれの背
景画像は背景の画像16S,17S,18Sが図4の破
線によって示された関係によって構成されたものから成
っている。順番に並んだ各背景画像は、キーヤーとして
作用する合成器36に交互に供給される。コンピュータ
グラフィックスモデラによってライン33を通じて結合
器35から供給され、前景画像のピクセルを背景画像に
関係付けるためのキー情報に応じて、この合成器36は
作動する。表示器のための最終的な出力画像は、表示器
のためのビデオモニタに出力される。デジタルビデオ効
果装置16A、17A、18Aのおのおのは、画像を平
面的に拡大し、運動をシミュレートするために画像を水
平あるいは垂直に移動する。この場合、視点あるいは背
景を、背景のビデオ画像のすべてを一斉に移動すること
によって移動させることが可能であり、これによって車
の運動をシミュレートすることができるし、またコンピ
ュータグラフィックスモデラによってその他の構造体を
モデル化することも可能である。
The digital video effect device constitutes a suitable linear motion of the image viewed through a suitable window.
More specifically, the digital video effect device 16A, 1
7A and 18A are image memory units 16V, 17V, 1 according to the control information from the control unit 34.
Scaling and parallel processing are performed on the image from 8V to simulate a state in which the image is moving. The respective outputs from the digital video effect devices 16A, 17A, 18A are sent to a combiner 35, and the individual output information is combined to form a background image sequence. Each background image consists of background images 16S, 17S, 18S constructed according to the relationship shown by the dashed lines in FIG. The background images arranged in order are alternately supplied to the combiner 36 acting as a keyer. This synthesizer 36 operates in response to key information provided by the computer graphics modeler from line combiner 35 through line 33 to relate the pixels of the foreground image to the background image. The final output image for the display is output to the video monitor for the display. Each of the digital video effect devices 16A, 17A, 18A magnifies the image planarly and moves the image horizontally or vertically to simulate motion. In this case, the viewpoint or background can be moved by moving all of the background video images in unison, which can simulate the movement of a car, and a computer graphics modeler It is also possible to model the structure of.

【0017】図7は代表的なデジタルビデオ効果装置2
3の概略ブロック図であり、図6に示すシステム中のデ
ジタルビデオ効果装置16A、17A、18Aのうちの
1つとして、さらに図5に示すデジタルビデオ効果発生
器23として、使用することが可能である。また、この
デジタルビデオ効果装置は従来よりあるものなので、こ
こでは詳しく述べない。要約すると、デジタルビデオ効
果発生器は、以下のように作動する。操作のための各ソ
ース画像を表すビデオ信号はデジタルビデオ効果発生器
32に入力される。画像データを一時的に記憶するため
のメモリ50をアドレスするための読みだしアドレス及
び書き込みアドレスを制御することによって、デジタル
ビデオ効果装置の中においてソース画像の処理がなされ
る。図6に示すように、読みだし側からのアドレス動作
が採用されていて、これがアドレス発生器52によって
制御される。ピクセル補間器58は出力ピクセル値が計
算できるようにし、アドレス発生器52は、メモリ50
の記憶領域と出力ピクセルとの間の1対1のマッピング
を行わない。アドレス発生器52によって形成されたア
ドレスは、メモリ50をアドレスするための整数の部分
と、ピクセル補間器58をアドレスするための小数の部
分とを含む。
FIG. 7 shows a typical digital video effect device 2.
FIG. 3 is a schematic block diagram of FIG. 3 and can be used as one of the digital video effect devices 16A, 17A, 18A in the system shown in FIG. 6 and as the digital video effect generator 23 shown in FIG. is there. Also, since this digital video effect device is conventional, it will not be described in detail here. In summary, the digital video effect generator works as follows. The video signal representing each source image for operation is input to the digital video effect generator 32. Processing of the source image is done in the digital video effect device by controlling the read and write addresses for addressing the memory 50 for temporarily storing the image data. As shown in FIG. 6, the address operation from the read side is adopted, and this is controlled by the address generator 52. Pixel interpolator 58 allows the output pixel values to be calculated, and address generator 52 provides memory 50
There is no one-to-one mapping between the storage area and the output pixel. The address formed by the address generator 52 includes an integer portion for addressing the memory 50 and a fractional portion for addressing the pixel interpolator 58.

【0018】画像の処理にあたっては、画像の圧縮も操
作の中に含まれ、寸法の訂正を行わないときは、画像の
圧縮は出力画像の品質を低下させるエイリアシングを引
き起こす。フィルタ54は、圧縮の作用を補償するため
に設けられている。フィルタコントローラ56はフィル
タ54を制御するための部分的なスケールファクタを決
定する。アドレス発生器52は、制御ユニット34から
の制御データに応じて行われる特定の処理に従って、メ
モリ50からのピクセルデータをマッピングするための
アドレスを決定する。制御ユニット34からデジタルビ
デオ効果発生器へと供給されるデータの中には、アドレ
ス発生器が適当なアドレスを発生させるのに必要なマッ
ピングの内容が含まれている。制御ユニット34は、適
当なソフトウエアが装備されたパーソナルコンピュータ
またはコンピュータワークステーションの形態をとって
よく、デジタルビデオ効果装置の重要部分として、ある
いはハードウエアの特別な目的の部分として設けられて
よい。制御ユニット34の機能は、コンピュータグラフ
ィックスモデラのコンピュータワークステーションの中
に統合されてもよく、これによって個別の制御ユニット
をなくしてもよい。このとき、コンピュータグラフィッ
クスモデラが、デジタルビデオ効果装置及びその他のモ
デリングシステムの構成要素に直接必要な制御信号を供
給することになる。
In processing an image, compression of the image is also included in the operation, and compression of the image causes aliasing which degrades the quality of the output image when no size correction is performed. The filter 54 is provided to compensate for the effect of compression. The filter controller 56 determines the partial scale factor for controlling the filter 54. The address generator 52 determines an address for mapping the pixel data from the memory 50 according to a specific process performed according to the control data from the control unit 34. The data supplied from the control unit 34 to the digital video effect generator contains the contents of the mapping necessary for the address generator to generate the appropriate address. The control unit 34 may take the form of a personal computer or computer workstation equipped with suitable software and may be provided as an integral part of the digital video effect device or as a special purpose part of the hardware. The functionality of the control unit 34 may be integrated in the computer workstation of the computer graphics modeler, which may eliminate the separate control unit. The computer graphics modeler then provides the necessary control signals directly to the digital video effect device and other modeling system components.

【0019】3次元空間に於ける視点と方向及び背景に
対するモデルの位置と向きを決定付ける出力データを定
義すべくコンピュータグラフィクモデラをプログラミン
グすることによって、制御ユニット34は、デジタルビ
デオ効果装置を制御する適当な制御データを発生させる
ように構成することによって、モデリングされている画
像の透明部分に表示されるべき背景の画像を形成させる
ことが可能となる。もし視点と方向及びモデルの位置と
向きが変化すると、制御ユニットは、デジタルビデオ効
果装置に作用して、(例えば車が道に沿って移動するこ
とをシミュレートするなどの)変化に応じて背景を操作
して変化させるようにする。コンピュータグラフィック
スモデルの細部(例えばモデリングされている車のダッ
シュボード上のダイヤルの位置など)は、従来の方法に
よってコンピュータグラフィックスモデラ上のモデラデ
ータを再定義することによって変更させることができ
る。
The control unit 34 controls the digital video effects device by programming the computer graphics modeler to define output data that determines the position and orientation of the model with respect to the viewpoint and orientation in 3D space and the background. By being configured to generate the appropriate control data, it is possible to form a background image to be displayed in the transparent part of the image being modeled. If the viewpoint and direction and the position and orientation of the model change, the control unit acts on the digital video effect device and changes the background in response to the change (eg, simulating a car moving along a road). To change it. Details of the computer graphics model, such as the location of dials on the dashboard of the car being modeled, can be changed by redefining the modeler data on the computer graphics modeler by conventional methods.

【0020】このように、図6に示す画像発生システム
によって、コンピュータグラフィックスモデラから送ら
れて来るモデルの内部からの情景より成る2次元画像
は、デジタルビデオ効果装置によって操作されるビデオ
画像からの窓その他から観察される動く背景を伴うこと
ができ、この環境に於けるモデルを現実感豊かに描くこ
とが可能になる。典型的には1280個のピクセルと1
024本のライン、または2048個のピクセルと15
60本のラインの解像度を有する、現在の画像形成用コ
ンピュータグラフィックス発生器を用いることによっ
て、さらに典型的には1920個のピクセルと1035
本のラインによる高精細デジタルビデオ効果装置を用い
ることにより、現実世界と近似した環境においてコント
ロールパネルその他のコンピュータモデルの、現実感豊
かな実時間表示をすることが可能となる。また選択され
た視点及びこれの方向を変えることによって、実時間に
近いかたちでモデルを運動させるシミュレーションをす
ることが可能となり、モデリングシステムはこれらの変
化に応じて適当な出力画像を形成する。
Thus, with the image generation system shown in FIG. 6, a two-dimensional image of a scene from within a model sent from a computer graphics modeler is converted from a video image operated by a digital video effect device. It can be accompanied by a moving background as seen through a window, etc., making it possible to realistically portray models in this environment. Typically 1280 pixels and 1
024 lines or 2048 pixels and 15
By using a current imaging computer graphics generator with a resolution of 60 lines, it is more typical to have 1920 pixels and 1035 pixels.
By using the high-definition digital video effect device according to the book line, it becomes possible to display the control panel and other computer models in a real-time and realistic manner in an environment similar to the real world. Also, by changing the selected viewpoint and its direction, it is possible to perform a simulation of moving the model in a manner close to real time, and the modeling system forms an appropriate output image according to these changes.

【0021】図8は乗り物、ここでは自動車をシミュレ
ートする本発明に基づくシミュレータを表している。こ
のシミュレータは、乗り物の内部の模型画像110を具
えている。模型画像のなかにはハンドル、変速レバー、
制御スイッチその他の制御手段の組が含まれている。シ
ミュレータの内部では、これらは、接続線112を介し
て制御ユニット134に供給されるようになっている出
力信号を形成するためのセンサと接続している。この制
御ユニット134は、接続線112に制御信号を発生
し、第1、第2、第3の背景画像メモリ116V、11
7V、118V及びデジタルビデオ効果装置116A、
117A、118Aを制御し、ビデオスクリーン116
S、117S、118S上の表示器にビデオ画像を発生
させる。上述のモデリングシステムと同様に、制御ユニ
ットは、背景画像メモリ116V、117V、及び11
8Vからのビデオデータを選択し、またデジタルビデオ
効果装置116A、117A、118Aを制御するため
に信号を発生して、メモリからのビデオデータを適当に
処理し、スクリーン116S、117S、118Sに表
示する。このビデオ表示スクリーン116S、117
S、118Sは、操縦席の模型画像である110の窓1
16、117、118の各空間のところに配置される。
従って、ビデオデータに関してなされるべき特別な処理
は、窓に対するビデオ表示スクリーンの方向いかんであ
る(すなわち窓に対して平行であるのか、あるいはなん
らかの角度をなしているのかということ)ことが理解さ
れよう。本発明の先の例において、表示スクリーンは前
景画面と同一平面に存在しているが、適切な斜視効果を
作り出すために変換作業をしていることに留意された
い。
FIG. 8 represents a simulator according to the invention for simulating a vehicle, here a car. The simulator comprises a model image 110 of the interior of a vehicle. In the model image, there is a handle, a shift lever,
A set of control switches and other control means is included. Inside the simulator, they are connected via a connecting line 112 with a sensor for producing an output signal intended to be supplied to the control unit 134. The control unit 134 generates a control signal on the connection line 112, and the first, second, and third background image memories 116V, 11 are generated.
7V, 118V and digital video effect device 116A,
117A, 118A to control the video screen 116
A video image is generated on the display on S, 117S, 118S. Similar to the modeling system described above, the control unit uses background image memories 116V, 117V, and 11V.
Video data from 8V is selected and signals are generated to control the digital video effect devices 116A, 117A, 118A to properly process the video data from the memory for display on screens 116S, 117S, 118S. . This video display screen 116S, 117
S and 118S are 110 windows 1 which are model images of the cockpit.
It is arranged at each space of 16, 117 and 118.
It will therefore be appreciated that the special processing to be done on the video data is the orientation of the video display screen with respect to the window (ie whether it is parallel to the window or at some angle). . Note that in the previous example of the invention, the display screen was coplanar with the foreground screen, but it was transformed to create the proper perspective effect.

【0022】自動車のシミュレータの場合、第1、第
2、第3の背景画像メモリユニットは、同一のビデオデ
ータ、すなわち球面にマッピングされるビデオ画像のマ
トリクスを示したビデオデータを好ましくは含んでお
り、デジタル効果装置によって処理されるべく選択され
るビデオ画像の完全なアレイを提供する。個別の背景画
像のメモリは、データの帯域ゆえに各デジタルビデオ効
果装置に提供される。もしすべてのデジタルビデオ効果
装置を支援するに十分な速度にてビデオデータを抽出す
ることのできる高周波数帯域の背景画像メモリがあれ
ば、それひとつで十分である。
In the case of a car simulator, the first, second and third background image memory units preferably contain identical video data, ie video data representing a matrix of video images mapped onto a spherical surface. , Provides a complete array of video images selected to be processed by a digital effects device. A separate background image memory is provided for each digital video effect device due to the bandwidth of the data. If there is a high frequency band background image memory that can extract the video data at a rate sufficient to support all digital video effect devices, then only one is sufficient.

【0023】図9及び図10は画像マトリクスの概略を
示したものである。図9は、水平座標軸i−1,i,i
+1,i+2などと垂直座標軸j−1,j,j+1,j
+2などとがおりなす交点に関して配置された画像の格
子またはマトリクスを示している。各交点に関して4つ
の画像Iが記憶されている。例えば交点i及びjに関し
て4個の画像Ii,j,w,Ii,j,e,Ii,j,n,Ii,j,s が記憶
されている。画像Ii,j,w は、交点i、jと隣接する西
方向から観察され、撮影された画像を表している。画像
Ii,j,e は、交点i、jと隣接する東方向から観察さ
れ、撮影された画像を表している。画像Ii,j,n は、交
点i、jと隣接する北方向から観察され、撮影された画
像を表している。画像Ii,j,s は、交点i、jと隣接す
る南方向から観察され、撮影された画像を表している。
この場合の東西南北は、単に説明の便宜上導入したもの
である。画像はこのような特定の方向から撮影される必
要はないことを理解されたい。要は4個の画像を撮影す
ることの目的が、背景画像が交点i、jに隣接する位置
にどの方向から接近しても、この背景画像が形成される
ようにすることにある。このことは、マトリクスのそれ
ぞれの交点用に、さらに交点に隣接する画像の対のおの
おのを表す平行線と交差する短い線によって表されてい
るように、交点において画像が重なるようにするため
に、4個の画像を撮影することによって達成される。実
際には、撮影された画像は図7における背景画像メモリ
に記憶されているわけではない。そのかわり、記憶され
ている画像データは、球面または円筒面の部分にマッピ
ングされた撮像画像を表している。このことは図10に
おいて、交点i、jに関連した4個の画像に関してやや
拡大して示してある。このように、撮影された画像Ii,
j,w は、表面I’i,j,w として表面上にマッピングされ
て表される画像として記憶される。撮影された画像Ii,
j,s は、表面I’i,j,s として表面上にマッピングされ
て表される画像として記憶される。同様に、画像Ii,j,
e は、表面I’i,j,e として表面上にマッピングされて
表される画像として記憶され、画像Ii,j,n は、表面
I’i,j,n として表面上にマッピングされて表される画
像として記憶される。ここで表面I’i,j,e と表面I’
i,j,n は重なっていることに留意されたい。これは他の
隣接する画像についても成り立つ。このように、空間を
連続的に表現したものを発生させ、背景画像を適当に組
み合わせることによってマトリクスのどの位置において
も背景画像が形成できるようにする。運動の表現は、記
憶された背景画像の拡大縮小または移動の処理によって
行われる。このように、視点が記憶されている画像に接
近するにしたがって、必要なピクセル情報が拡大され、
観察者が画像の中に表されている対象物にあたかも近づ
いているかのように表現される。視点が画像が投影され
ている表面に実際に接触してしまう前に、この方向の次
の画像が選択されて、マトリクスを通じて連続的な運動
が表現されるようにする。
9 and 10 show the outline of the image matrix. FIG. 9 shows horizontal coordinate axes i-1, i, i.
+1, i + 2, etc. and vertical coordinate axes j-1, j, j + 1, j
It shows a grid or matrix of images arranged with respect to the intersection of +2 and so on. Four images I are stored for each intersection. For example, four images Ii, j, w, Ii, j, e, Ii, j, n, Ii, j, s are stored for intersection points i and j. The image Ii, j, w represents an image observed and photographed from the west direction adjacent to the intersection points i, j. The image Ii, j, e represents an image observed and photographed from the east direction adjacent to the intersection points i, j. The image Ii, j, n represents an image observed and photographed from the north direction adjacent to the intersection points i and j. The image Ii, j, s represents an image observed and photographed from the south direction adjacent to the intersection points i and j.
The north, south, east, and west in this case are simply introduced for convenience of explanation. It should be appreciated that the image need not be taken from such a particular direction. In short, the purpose of capturing four images is to form the background image regardless of the direction in which the background image approaches the position adjacent to the intersection points i and j. This is done so that for each intersection in the matrix, and in order for the images to overlap at the intersection, as represented by the short lines that intersect the parallel lines representing each pair of images adjacent to the intersection, This is achieved by taking 4 images. Actually, the captured image is not stored in the background image memory in FIG. 7. Instead, the stored image data represents a picked-up image that is mapped to a spherical or cylindrical surface portion. This is shown slightly enlarged in FIG. 10 for the four images associated with intersections i and j. In this way, the captured image Ii,
j, w is stored as an image which is mapped and represented on the surface as surface I'i, j, w. The captured image Ii,
j, s is stored as an image which is mapped and represented on the surface as surface I'i, j, s. Similarly, image Ii, j,
The image e is stored as an image that is mapped and represented on the surface as the surface I′i, j, e, and the image Ii, j, n is mapped and displayed on the surface as the surface I′i, j, n. Stored as an image. Where surface I'i, j, e and surface I '
Note that i, j, n overlap. This also holds for other adjacent images. In this way, a continuous representation of the space is generated, and the background images can be formed at any position of the matrix by appropriately combining the background images. The motion is expressed by the process of scaling or moving the stored background image. Thus, as the viewpoint approaches the stored image, the required pixel information is expanded,
It is represented as if the observer were approaching the object represented in the image. Before the viewpoint actually touches the surface on which the image is projected, the next image in this direction is selected so that continuous motion is represented through the matrix.

【0024】図9では、隣接する画像が多少重複する場
合を示したが、多くの実施例ではさらに重複の度合を大
きくして、ひとつの背景画像から次の背景画像へと動く
とき、出力背景画像において動きがなめらかに表現され
るようにする。図9及び図10に表現されるように、画
像のマトリクスの概念を3次元にまで拡張して、視点の
上下方向の移動をも扱うようにしてもよい。図9及び図
10を参照して説明した画像のマトリクスを用いる技法
は、図6を参照して説明した画像形成システムにも適用
可能である。画像のマトリクスの使用を通じて、画像を
拡大または縮小し、あるいは水平または垂直に画像を移
動させることによって画像が撮影されるようなシミュレ
ートされた3次元空間を通じて作動するシミュレータを
構成することが可能となる。図8のシミュレータは、デ
ジタルビデオ画像効果装置によって処理されるビデオ画
像からシミュレートされる車両、飛行機、宇宙船などの
乗り物の操縦席の窓(例えばウインドスクリーン、側面
窓その他)を通して観察される動く背景画像を高い品質
にて提供することが出来る。現在の高精細デジタルビデ
オ効果装置を用いることによって、また1920ピクセ
ルで1035本のラインの解像度にて典型的には作動す
ることによって、現実世界の環境から高品位の画像をつ
くることができる。このように、乗り物におけるユーザ
ーコントロールの操作に応じて、実時間にて現実世界の
環境に近いかたちでシミュレートすることが可能とな
り、乗り物のシミュレータの窓を通して観察されるビュ
ースクリーン上のディスプレイのために適当な画像を形
成することが可能となる。
FIG. 9 shows a case where adjacent images overlap each other to some extent. However, in many embodiments, when the degree of overlap is further increased to move from one background image to the next background image, the output background Make the motion smooth in the image. As shown in FIGS. 9 and 10, the concept of the matrix of the image may be extended to three dimensions to handle the movement of the viewpoint in the vertical direction. The technique using the matrix of images described with reference to FIGS. 9 and 10 is also applicable to the image forming system described with reference to FIG. 6. Through the use of an image matrix, it is possible to construct a simulator that operates through a simulated three-dimensional space in which the image is taken by enlarging or reducing the image or moving the image horizontally or vertically. Become. The simulator of FIG. 8 moves through a cockpit window (eg, windscreen, side window, etc.) of a vehicle, such as a vehicle, airplane, or space vehicle, simulated from a video image processed by a digital video image effect device. The background image can be provided with high quality. High quality images can be produced from the real world environment by using current high definition digital video effects devices and by typically operating at a resolution of 1035 lines at 1920 pixels. In this way, it becomes possible to simulate the real world environment in real time according to the operation of the user control in the vehicle, and for the display on the view screen observed through the window of the vehicle simulator. Therefore, it is possible to form an appropriate image.

【0025】[0025]

【発明の効果】本発明によると、コンピュータグラフィ
ックスモデラを、デジタルビデオ効果装置によって処理
されるビデオデータと組み合わせることによって、視点
は前景に対して位置が拘束され、背景に対しては位置が
拘束されていない乗り物などの制御レイアウトのような
対象物または構造物を現実感豊かにかつ費用効率よく構
成することができる。撮影されたビデオ画像をそのまま
用いるとすると、シミュレーションのとき画面の速い変
化や多様な運動の方向を可能にするために、おびただし
い数の撮像画面とこれらを高速にて処理する機械装置と
が必要になるところであるが、デジタルビデオ効果装置
を使用することによって、はるかに少ない撮像画像の組
を拡大縮小及び移動の処理をすることで済ませることが
でき、速い変化や多様な運動方向を表現することが可能
になる。
According to the present invention, by combining a computer graphics modeler with video data processed by a digital video effect device, the viewpoint is positionally constrained to the foreground and positionally constrained to the background. Objects or structures, such as uncontrolled vehicle layouts such as control layouts, can be constructed in a realistic and cost-effective manner. If the captured video images are used as they are, a large number of imaging screens and mechanical devices that process them at high speed are required in order to enable rapid changes in the screens and various directions of motion during simulation. However, by using a digital video effect device, a much smaller set of captured images can be processed by scaling and moving, and it is possible to express fast changes and various motion directions. It will be possible.

【図面の簡単な説明】[Brief description of drawings]

【図1】モデルのなかの特定の位置における視点から見
た情景を表す図である。
FIG. 1 is a diagram showing a scene viewed from a viewpoint at a specific position in a model.

【図2】情景シミュレーションの概念を表す図である。FIG. 2 is a diagram showing a concept of a scene simulation.

【図3】情景シミュレーションの概念を表す図である。FIG. 3 is a diagram showing a concept of a scene simulation.

【図4】3種類の前処理されたビデオ画像の連なりが、
図1に示す情景とどのように組み合わされるかを示す図
である。
FIG. 4 is a sequence of three types of pre-processed video images,
FIG. 2 is a diagram showing how it is combined with the scene shown in FIG. 1.

【図5】ビデオデータを前処理するための装置の概略ブ
ロック図である。
FIG. 5 is a schematic block diagram of an apparatus for preprocessing video data.

【図6】本発明のシステムの概略ブロック図である。FIG. 6 is a schematic block diagram of the system of the present invention.

【図7】デジタルビデオ効果装置の概略ブロック図であ
る。
FIG. 7 is a schematic block diagram of a digital video effect device.

【図8】本発明による乗り物のシミュレータの概略を示
す図である。
FIG. 8 is a schematic diagram of a vehicle simulator according to the present invention.

【図9】画像のマトリクスの概略を示す図である。FIG. 9 is a diagram showing an outline of an image matrix.

【図10】画像のマトリクスの概略を示す図である。FIG. 10 is a diagram showing an outline of an image matrix.

【符号の説明】[Explanation of symbols]

12 コントロールパネル 16 ウインドウスクリーン 16A、17A、18A、23、116A、117A、
118A デジタルビデオ効果装置 16V、17V、18V、116V、117V、118
V 背景画像メモリ 20 モデル 30 コンピュータグラフィックスモデラ 35 合成器 36 複合器 50 メモリ 52 アドレス発生器 134 制御ユニット
12 control panel 16 window screen 16A, 17A, 18A, 23, 116A, 117A,
118A Digital Video Effect Device 16V, 17V, 18V, 116V, 117V, 118
V background image memory 20 model 30 computer graphics modeler 35 synthesizer 36 compounder 50 memory 52 address generator 134 control unit

───────────────────────────────────────────────────── フロントページの続き (72)発明者 モーガン ウィリアム エイモス デビッ ド イギリス国 GU9 8NW,サリー,リ ッジウェイ ロード ファーンハム34 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Morgan William Amos David United Kingdom GU98NW, Surrey, Ridgeway Road Farnham 34

Claims (19)

【特許請求の範囲】[Claims] 【請求項1】 少なくとも1カ所の透明部分を含むコン
ピュータグラフィックス前景画像を形成するためのコン
ピュータグラフィックスモデラと、 背景ビデオデータの少なくとも1組を処理し、運動が制
御されたビデオ背景画像の列を形成するデジタルビデオ
効果装置と、 上記コンピュータグラフィックス前景画像を上記運動が
制御されたビデオ背景画像に対してキーイングし、前景
の上記透明部分を通して背景が観察できるようにしなが
ら出力画像列を形成するための手段とを具えた画像形成
システム。
1. A computer graphics modeler for forming a computer graphics foreground image including at least one transparent portion, and a sequence of motion controlled video background images for processing at least one set of background video data. A digital video effect device for forming an output image sequence while the computer graphics foreground image is keyed to the motion controlled video background image to allow the background to be viewed through the transparent portion of the foreground. And an image forming system including means for.
【請求項2】 上記コンピュータグラフィックスモデラ
は、コンピュータグラフィックスの3次元モデルの所定
の方向において、所定の視点からの情景を形成すること
を特徴とする請求項1の画像形成システム。
2. The image forming system according to claim 1, wherein the computer graphics modeler forms a scene from a predetermined viewpoint in a predetermined direction of a three-dimensional model of computer graphics.
【請求項3】 上記それぞれの背景ビデオデータの組
は、前景における透明部分を通して上記視点から、3次
元空間を見るために決められた各表面上にマッピングさ
れた少なくとも1個の静止ビデオ画像を表すことを特徴
とする請求項2の画像形成システム。
3. Each of the background video data sets represents at least one still video image mapped onto each surface defined to view a three-dimensional space from the viewpoint through a transparent portion in the foreground. The image forming system according to claim 2, wherein:
【請求項4】 上記背景ビデオデータはビデオ画像のマ
トリクスを表すことを特徴とする請求項1又は2又は3
の画像形成システム。
4. The background video data represents a matrix of video images.
Image forming system.
【請求項5】 上記それぞれの表面は、3次元空間にお
けるコンピュータグラフィックスモデルを取り囲む半球
面の内面の少なくとも一部であることを特徴とする請求
項3又は4の画像形成システム。
5. The image forming system according to claim 3, wherein each of the surfaces is at least a part of an inner surface of a hemisphere surrounding a computer graphics model in a three-dimensional space.
【請求項6】 上記デジタルビデオ効果装置は、連続す
る画像と同期させて異なる尺度で拡大縮小する処理及び
(又は)平行移動する処理を背景ビデオデータの組に対
して適用することによって、運動する背景ビデオ画像を
形成することを特徴とする請求項1、2、3、4及び5
のいずれか1項の画像形成システム。
6. The digital video effect device moves by applying scaling and / or translating processing on different scales in synchronism with successive images to a background video data set. 6. Forming a background video image.
The image forming system according to any one of 1.
【請求項7】 上記デジタルビデオ効果装置は、背景ビ
デオデータを一時的に記憶するためのメモリと、書き込
み及び読み出し操作時、メモリに異るアドレスを与え
て、線形の拡大縮小処理及び(又は)平行移動処理を行
わせるためのアドレス手段とを具えたことを特徴とする
請求項6の画像形成システム。
7. The digital video effect device comprises a memory for temporarily storing background video data and a linear scaling process by giving different addresses to the memory during write and read operations. 7. The image forming system according to claim 6, further comprising addressing means for performing a parallel movement process.
【請求項8】 上記コンピュータグラフィックスモデラ
からの位置データに応じて、連続する画像と同期させて
行うべき処理を規定した制御データを上記デジタルビデ
オ効果装置に対して発生する制御手段を具えたことを特
徴とする請求項7の画像形成システム。
8. A control means for generating control data for the digital video effect device, the control data defining a process to be performed in synchronization with a continuous image according to position data from the computer graphics modeler. The image forming system according to claim 7, wherein:
【請求項9】 上記コンピュータグラフィックスモデラ
は不透明部分によって分割された複数の透明部分を有す
る前景画像を形成し、 上記デジタルビデオ効果装置は複数のデジタルビデオ効
果ユニットを具え、該各ユニットはそれぞれの背景ビデ
オデータの組を処理し、構成要素となる背景画像の組を
それぞれ形成するとともに、該背景画像の構成要素の組
を結合して制御された背景画像の列を形成する手段をも
具えたことを特徴とする請求項1から5までのいずれか
1項の画像形成システム。
9. The computer graphics modeler forms a foreground image having a plurality of transparent portions separated by opaque portions, the digital video effect device comprising a plurality of digital video effect units, each unit comprising a respective digital video effect unit. Means are provided for processing the background video data sets to form respective constituent background image sets and for combining the background image constituent sets to form a controlled background image sequence. The image forming system according to any one of claims 1 to 5, wherein:
【請求項10】 上記各デジタルビデオ効果ユニット
は、それぞれの背景ビデオデータに対し、異なる線形拡
大縮小処理と平行移動処理を連続する画像と同期させて
行うことによって運動する背景画像を形成することを特
徴とする請求項9の画像形成システム。
10. Each of the digital video effect units is configured to form a moving background image by performing different linear scaling processing and translation processing on the respective background video data in synchronization with successive images. The image forming system according to claim 9, wherein the image forming system is an image forming system.
【請求項11】 上記各ビデオ効果ユニットは、背景ビ
デオデータを一時的に記憶するためのメモリと、書き込
み及び読み出し処理のときメモリの異なるアドレスを発
生して上記線形拡大縮小及び平行移動の処理を行わせる
アドレス手段とを具えたことを特徴とする請求項10の
画像形成システム。
11. Each of the video effect units generates a memory for temporarily storing background video data, and generates different addresses of the memory for writing and reading processes to perform the linear scaling and parallel moving processes. 11. The image forming system according to claim 10, further comprising addressing means for performing the operation.
【請求項12】 上記コンピュータグラフィックスモデ
ラからの位置データに応じて、連続する画像と同期させ
て行うべき処理を規定した制御データを、上記各デジタ
ルビデオ効果装置に対して発生する制御手段を具えたこ
とを特徴とする請求項11の画像形成システム。
12. A control means is provided for generating control data for each of the digital video effect devices, the control data defining a process to be performed in synchronism with a continuous image according to position data from the computer graphics modeler. The image forming system according to claim 11, wherein the image forming system comprises:
【請求項13】 ユーザが操作可能な乗り物の制御装置
及び少なくとも1つの開口を含む乗り物の操縦席と、該
開口を通して観察可能な観察スクリーンと、該スクリー
ンに表示するため少なくとも1組の背景ビデオデータを
処理して少なくとも1組の運動が制御されたビデオ画像
の列を形成するためのデジタルビデオ効果装置とを具え
たことを特徴とする乗り物用シミュレータシステム。
13. A vehicle cockpit including a user controllable vehicle controller and at least one opening, a viewing screen observable through the opening, and at least one set of background video data for display on the screen. And a digital video effect device for processing at least one set of motion-controlled sequences of video images.
【請求項14】 上記それぞれの背景ビデオデータの組
は、上記開口を通して与えられる視点から3次元空間を
見るために決められた各表面上にマッピングされた少な
くとも1個の静止ビデオ画像を表すことを特徴とする請
求項13のシミュレータシステム。
14. Each said background video data set represents at least one still video image mapped onto each surface defined for viewing a three-dimensional space from a viewpoint provided through said aperture. 14. The simulator system according to claim 13, which is characterized in that.
【請求項15】 上記背景ビデオデータはビデオ画像の
マトリクスを表すことを特徴とする請求項13または1
4のシミュレータシステム。
15. The background video data represents a matrix of video images, according to claim 13 or 1.
4 simulator system.
【請求項16】 上記それぞれの表面は、上記乗り物の
操縦席を取り囲む半球面の内面の少なくとも一部である
ことを特徴とする請求項13〜15の内いずれか1項の
シミュレータシステム。
16. The simulator system according to claim 13, wherein each of the surfaces is at least a part of an inner surface of a hemispherical surface which surrounds a cockpit of the vehicle.
【請求項17】 上記デジタルビデオ効果装置は、連続
する画像と同期させて異なる尺度で線形拡大縮小する処
理及び(又は)平行移動する処理を背景ビデオデータの
組に対して適用することによって、運動する背景ビデオ
画像を形成することを特徴とする請求項13〜16の
内、いずれか1項のシミュレータシステム。
17. The digital video effect device applies motion to a background video data set by applying linear scaling and / or translating processing on different scales in synchronism with successive images. The simulator system according to any one of claims 13 to 16, characterized in that a background video image is formed.
【請求項18】 上記デジタルビデオ効果装置は、背景
ビデオデータを一時的に記憶するためのメモリと、書き
込み及び読み出し操作時、メモリに異なるアドレスを与
えて線形の拡大または縮小の処理と平行移動の処理とを
行わせるためのアドレス手段とを具えたことを特徴とす
る請求項17のシミュレータシステム。
18. The digital video effect apparatus comprises a memory for temporarily storing background video data, and a linear enlargement or reduction process and a parallel movement by giving different addresses to the memory during write and read operations. 18. The simulator system according to claim 17, further comprising addressing means for performing processing.
【請求項19】 上記乗り物の制御装置の操作に応じ
て、連続する画像と同期して行うべき処理を規定した制
御データを、上記デジタルビデオ効果装置に対して発生
する制御手段を具えたことを特徴とする請求項18のシ
ミュレータシステム。
19. A control means for generating control data for the digital video effect device, the control data defining processing to be performed in synchronism with continuous images in response to an operation of the vehicle control device. 19. The simulator system of claim 18, characterized in that
JP14593492A 1991-06-05 1992-06-05 3D simulation image forming system Expired - Lifetime JP3200163B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9112073A GB2256568B (en) 1991-06-05 1991-06-05 Image generation system for 3-D simulations
GB9112073:3 1991-06-05

Publications (2)

Publication Number Publication Date
JPH0793579A true JPH0793579A (en) 1995-04-07
JP3200163B2 JP3200163B2 (en) 2001-08-20

Family

ID=10696124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14593492A Expired - Lifetime JP3200163B2 (en) 1991-06-05 1992-06-05 3D simulation image forming system

Country Status (2)

Country Link
JP (1) JP3200163B2 (en)
GB (1) GB2256568B (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835101A (en) * 1996-04-10 1998-11-10 Fujitsu Limited Image information processing apparatus having means for uniting virtual space and real space
US6201490B1 (en) 1997-11-14 2001-03-13 Yamaha Corporation DA conversion apparatus to reduce transient noise upon switching of analog signals
US6236412B1 (en) 1997-05-19 2001-05-22 Honda Giken Kogyo Kabushiki Kaisha Method and system for synthesizing actual scene image and graphic image
US6353404B1 (en) 1999-05-07 2002-03-05 Yamaha Corporation D/A conversion apparatus and D/A conversion method
US6356297B1 (en) 1998-01-15 2002-03-12 International Business Machines Corporation Method and apparatus for displaying panoramas with streaming video
US9425747B2 (en) 2008-03-03 2016-08-23 Qualcomm Incorporated System and method of reducing power consumption for audio playback
KR102256610B1 (en) * 2021-01-12 2021-05-26 서울특별시 Visual effect and sudden stop experience system of subway

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5660547A (en) * 1993-02-17 1997-08-26 Atari Games Corporation Scenario development system for vehicle simulators
US5474453A (en) * 1993-02-17 1995-12-12 Atari Games Corporation Scenario development system for vehicle simulators
FR2728995A1 (en) * 1994-12-29 1996-07-05 Renault Image projection system for automobile driving simulator
FR2730842B1 (en) * 1995-02-17 1997-04-04 Renault METHOD AND DEVICE FOR VIEWING IMAGES, ESPECIALLY IN A DRIVING SIMULATOR
GB2351199B (en) * 1996-09-13 2001-04-04 Pandora Int Ltd Image processing
US6525765B1 (en) 1997-04-07 2003-02-25 Pandora International, Inc. Image processing
FR2765015B1 (en) * 1997-06-20 2002-11-29 Thomson Csf COMPACT VIEWING DEVICE FOR VEHICLE SIMULATOR WITH WIDE DRIVING CAB
US6215505B1 (en) * 1997-06-20 2001-04-10 Nippon Telegraph And Telephone Corporation Scheme for interactive video manipulation and display of moving object on background image
WO2000035200A1 (en) * 1998-12-07 2000-06-15 Universal City Studios, Inc. Image correction method to compensate for point of view image distortion
US7117135B2 (en) 2002-05-14 2006-10-03 Cae Inc. System for providing a high-fidelity visual display coordinated with a full-scope simulation of a complex system and method of using same for training and practice
CN108922307A (en) * 2018-07-26 2018-11-30 杭州拓叭吧科技有限公司 Drive simulating training method, device and driving simulation system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3862358A (en) * 1971-11-04 1975-01-21 Us Navy Visual simulation system
US4663615A (en) * 1984-12-26 1987-05-05 International Business Machines Corporation Document creation
US4868765A (en) * 1986-01-02 1989-09-19 Texas Instruments Incorporated Porthole window system for computer displays
US4884199A (en) * 1987-03-02 1989-11-28 International Business Macines Corporation User transaction guidance

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835101A (en) * 1996-04-10 1998-11-10 Fujitsu Limited Image information processing apparatus having means for uniting virtual space and real space
US6236412B1 (en) 1997-05-19 2001-05-22 Honda Giken Kogyo Kabushiki Kaisha Method and system for synthesizing actual scene image and graphic image
US6201490B1 (en) 1997-11-14 2001-03-13 Yamaha Corporation DA conversion apparatus to reduce transient noise upon switching of analog signals
DE19852778C2 (en) * 1997-11-14 2001-12-20 Yamaha Corp D / A converter device
US6356297B1 (en) 1998-01-15 2002-03-12 International Business Machines Corporation Method and apparatus for displaying panoramas with streaming video
US6353404B1 (en) 1999-05-07 2002-03-05 Yamaha Corporation D/A conversion apparatus and D/A conversion method
US9425747B2 (en) 2008-03-03 2016-08-23 Qualcomm Incorporated System and method of reducing power consumption for audio playback
KR102256610B1 (en) * 2021-01-12 2021-05-26 서울특별시 Visual effect and sudden stop experience system of subway
WO2022154330A1 (en) * 2021-01-12 2022-07-21 서울특별시 System for experiencing sudden stop in subway train together with visual effect

Also Published As

Publication number Publication date
GB2256568A (en) 1992-12-09
GB2256568B (en) 1995-06-07
GB9112073D0 (en) 1991-07-24
JP3200163B2 (en) 2001-08-20

Similar Documents

Publication Publication Date Title
JP3200163B2 (en) 3D simulation image forming system
US5694533A (en) 3-Dimensional model composed against textured midground image and perspective enhancing hemispherically mapped backdrop image for visual realism
US5630043A (en) Animated texture map apparatus and method for 3-D image displays
US5459529A (en) Video processing for composite images
US5966132A (en) Three-dimensional image synthesis which represents images differently in multiple three dimensional spaces
US5751927A (en) Method and apparatus for producing three dimensional displays on a two dimensional surface
US5696892A (en) Method and apparatus for providing animation in a three-dimensional computer generated virtual world using a succession of textures derived from temporally related source images
US5097427A (en) Texture mapping for computer graphics display controller system
US5561745A (en) Computer graphics for animation by time-sequenced textures
US4679040A (en) Computer-generated image system to display translucent features with anti-aliasing
US5798762A (en) Controlling a real-time rendering engine using a list-based control mechanism
JP4481166B2 (en) Method and system enabling real-time mixing of composite and video images by a user
JPH0757117A (en) Forming method of index to texture map and computer control display system
JP2010129063A (en) Drive simulation apparatus, wide-angle camera image simulation apparatus and image deformation combination apparatus
JP3638637B2 (en) Polygon data conversion device and three-dimensional simulator device
KR910009102B1 (en) Image synthesizing apparatus
Yang et al. Nonlinear perspective projections and magic lenses: 3D view deformation
JP2883514B2 (en) Image synthesis device and game device using the same
CN112530005A (en) Three-dimensional model linear structure recognition and automatic restoration method
CA1322062C (en) Texture mapping for computer graphics display controller system
JP3364456B2 (en) 3D simulator apparatus and image composition method
JP3002972B2 (en) 3D image processing device
EP0549183B1 (en) System for displaying solid cuts for surfaces of solid models
JPH09190547A (en) Image compositing and display device and its method
CN107274467A (en) A kind of model animation interlock method based on Unity3D

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080615

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090615

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100615

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 11

EXPY Cancellation because of completion of term