JPH09265549A

JPH09265549A - 画像合成システム

Info

Publication number: JPH09265549A
Application number: JP8074481A
Authority: JP
Inventors: Yasuhiko Saito; 靖彦斎藤; Masahiro Uminaga; 正博海永
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1996-03-28
Filing date: 1996-03-28
Publication date: 1997-10-07

Abstract

(57)【要約】【課題】３次元コンピュータグラフィックにデジタル
ビデオ画像による背景画を低コストで高速に合成する。【解決手段】コンピュータグラフィックを生成しフレ
ームバッファ（１６）に描画する３次元グラフィック装
置（１２）、デジタルビデオ情報を再生しビデオバッフ
ァ（２２）に描画するデジタルビデオ描画装置（２
０）、ビデオバッファに描画されたディジタルビデオ画
像をフレームバッファに上書き制御する画像合成手段
（１５）を有する。画像合成手段は、コンピュータグラ
フィックの奥行きを示すＺ値とデジタルビデオ画像のＺ
値とを用いてＺバッファアルゴリズムに従った陰面消去
を行う。陰面消去の処理において、グラフィックオブジ
ェクトと重ならない領域ではＺ値比較を不要とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、３次元コンピュー
タグラフィックスとデジタルビデオ映像による画像を合
成する技術、さらにはデジタルビデオ映像による画像を
背景画像として３次元コンピュータグラフィックスに合
成する技術に関し、例えば、ゲーム機における背景画像
と前景画像の合成に適用して有効な技術に関する。

【０００２】

【従来の技術】テレビコマーシャルや映画の分野では、
３次元コンピュータグラフィックスとデジタルビデオ映
像を合成した映像が使用される。このような動画を生成
するには、画面や情景毎に画像をデジタル編集して出来
上がった多数のフレームから動画を作成する。このとき
３次元コンピュータグラフィックスの描画技術として
は、レイトレーシング、ラジオシティ、フォンシェーデ
ィング、アルファ・ブレンディングなどのアルゴリズム
が使用さている。これらの技術はリアルで美しい映像を
合成できる半面、膨大な計算コストを要する。

【０００３】ゲーム機におけるような対話的３次元コン
ピュータグラフィックスでは、人物などをポリゴン図形
（＝多角形面）の集合で表現し、入力信号に応じて、こ
れらの３次元ポリゴンを３次元的に座標変換し、ある視
点からみえる情景を描画する。ここで描画とは各ポリゴ
ンの色をあらかじめ与えられた照明モデル（例：グーロ
ー、フォンシェーディングなど）に従って計算し、視点
から投影したときみえるポリゴンをラスタ化および陰面
消去を行なってフレームバッファと呼ばれるメモリ領域
に書き込むことである。

【０００４】視点から見えるポリゴンのみを画面に表示
するための陰面消去アルゴリズムの一つとして、Ｚバッ
ファアルゴリズムがある。これは陰面消去アルゴリズム
のなかでも、比較的簡単で高速なアルゴリズムである。

【０００５】ここで、前記Ｚバッファアルゴリズムを説
明する。陰面消去は、あるポリゴンが、ある視点からど
のように見えるか（あるいは見えないか）を計算する。
あるポリゴンが別のポリゴンの後ろにすっぽり隠れてい
る場合、当然、隠れるはずのポリゴンは画面に表示され
てはいけない。ポリゴンを構成するある点Ａが他のポリ
ゴンのある点Ｂより視点に近い方にあり、しかも、どち
らも画面上の同一のピクセルＰに対応するとき、ピクセ
ルＰの色情報は、点Ｂより手前にある点Ａの色情報で、
上書きされる。各ピクセルに対応して、現在そのピクセ
ルが担っている色情報が、視点から見てどれだけ遠くの
地点に寄るものなのか（即ち視点からの深度）を意味す
るデータをもつ。それがＺ値である。例えば、ピクセル
Ｐの現在のＺ値が点ＢのＺ値であり、ピクセルＰの色情
報は点Ｂの色情報になっているとする。点Ａを処理する
とき、点ＡのＺ値Z(A)とピクセルＰのＺ値Z(P)を比較
し、Z(A)< Z(P)のとき、ピクセルＰの色情報およびＺ値
Z(P)を点Ａの色情報およびＺ値Z(A)で上書きする。

【０００６】その他のとき、ピクセルＰの色情報および
Ｚ値Z(P)は更新されない。このようにして、点Ｂより手
前にある点Ａの情報でピクセルＰを上書きできる。この
操作を描画対象のすべてのポリゴンに対して行い、全て
のポリゴンに対する処理が終了したとき、陰面消去が完
了する。

【０００７】上記したＺバッファアルゴリズムを要約す
ると、以下のように述べることができる。画面を構成す
る個々のピクセルはフレームバッファに色情報を保持
し、Ｚバッファに現在のＺ値を保持している。シーンを
構成するポリゴンには複数のピクセルが対応しており固
有の色情報とＺ値をもつ。ポリゴンの色で、対応するピ
クセルのフレームバッファ内の色情報を更新するか否か
を判定するには、当該ピクセルのＺバッファ内のＺ値と
ポリゴンの対応するピクセルのＺ値を比較する。もし、
ポリゴンのＺ値が小さければ、当該ピクセルのフレーム
バッファ内の色情報とＺバッファ内のＺ値をそのポリゴ
ンの色情報とＺ値に更新する。尚、Ｚバッファ技法およ
び他のグラフィックス技法の詳細について記載された文
献の例としては、「J.D.Foley & A.Van Dam "Fundament
als of Interactive Computer Graphics" Addison-Wesl
ey Publishing Co. 1982」がある。

【０００８】シーンの描画終了後、フレームバッファ内
の画像データはディスプレイに表示されて我々の目にう
つる。これら座標変換から、陰面消去を含む一連の計算
はグラフィックパイプラインと呼ばれ、計算コストの大
きな処理である。

【０００９】ところで、家庭用ゲーム機などで採用され
る低消費電力、低コストの安価なマイクロプロセッサに
とっては、３次元コンピュータグラフィックス計算は負
荷が大きいので、画面全体を高速且つ精彩に描画するの
は困難な傾向にある。何故なら、入力信号に応じて動的
に３次元ポリゴンを変化させて画面を生成する場合、高
度な描画アルゴリズムでは時間がかかり過ぎて応答が遅
くなってしまう。またＺバッファアルゴリズムのような
単純なアルゴリズムを採用したとしても、画面背景部ま
で精彩なポリゴン集合で表現すると、やはり応答は遅く
なる。

【００１０】このため、ゲーム機などのシステムでは、
単純で描画コストの小さな背景画を採用する場合が多
い。例えば、家庭用ゲーム機などの安価なシステムで
は、毎回画面全体をグラフィックパイプラインで計算す
ると時間がかかり画面応答が遅くなるので、応答時間を
速くするために、背景画などの動きの比較的少ない部分
を描画済みの画面のコピーで済ませることも可能であ
る。即ち、描画済み画面のコピーの上に３次元ポリゴン
を描画する。

【００１１】

【発明が解決しようとする課題】しかしながら、そのよ
ういな技術では、背景画像の色彩の単純さ、動きの乏し
さ、情景の種類の乏しさが顕在化され、ゲームなどの魅
力を半減させかねない。そこで、本発明者は、計算コス
トを低く抑えて品質のよい背景画像を高速に生成するこ
とを検討した。その場合に、背景画像としてデジタルビ
デオ画像を採用し、前景を成す３次元ポリゴンを描画し
た後でも背景画像を更新でき、しかも、背景画像の描画
に当たってはＺバッファアルゴリズムによる処理を軽減
できるようにすることの必要性が本発明者によって見出
された。

【００１２】本発明の目的は、３次元ポリゴンとデジタ
ルビデオ画像による背景画との合成を低コストで高速に
実現できるシステムを提供することにある。

【００１３】本発明の前記並びにその他の目的と新規な
特徴は本明細書の記述及び添付図面から明らかになるで
あろう。

【００１４】

【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば下記
の通りである。

【００１５】すなわち、画像合成システムは、コンピュ
ータグラフィック画像を生成し、これをフレームバッフ
ァ（１６）に描画する３次元グラフィック装置（１２）
と、デジタルビデオ情報を再生してビデオバッファ（２
２）に描画するデジタルビデオ描画装置（２０）と、ビ
デオバッファに描画されたディジタルビデオ画像を前記
フレームバッファ（１６）に上書き制御する画像合成手
段（１５）とを有する。前記画像合成手段（１５）は前
記上書きに際して、フレームバッファ（１６）に描画さ
れたコンピュータグラフィック画像の奥行きを示すＺ値
と前記ビデオバッファ（２２）に描画されたデジタルビ
デオ画像の奥行きを示すＺ値とを用いてＺバッファアル
ゴリズムに従った陰面消去を行う。これによれば、背景
画像としてデジタルビデオ画像を採用し、前景を成す３
次元グラフィック画像を描画した後でも背景画像を更新
できる。したがって、家庭用ゲーム機などで採用される
低消費電力、低コストの安価なマイクロプロセッサにと
っても、表示制御のための演算制御の負荷が極端に大き
くならず、それによって、ゲームなどの魅力を半減させ
るような、背景画像の色彩の単純さ、動きの乏しさ、情
景の種類の乏しさなどを惹起させず、情景表示の性能の
向上を図ることができる。

【００１６】前記画像合成手段（１５）は、前記ビデオ
バッファ（２２）を複数のタイル（４４）に分割してそ
のデータを扱うと共に、前記ビデオバッファの前記複数
のタイルに対応するように前記フレームバッファ（１
６）を複数のタイル（３４）に分割してそのデータを扱
い、ビデオバッファの各タイルのデータをビデオバッフ
ァのタイルに対応する前記フレームバッファのタイルに
上書き制御する。

【００１７】前記フレームバッファに格納される画像デ
ータフレームに対応してそのピクセル単位でＺ値を格納
するＺバッファ（１４）を更に備え、前記３次元グラフ
ィック装置（１２）は前記フレームバッファ（１６）に
描画するコンピュータグラフィック画像の領域に対応さ
れるピクセルのＺ値を前記Ｚバッファに設定する。

【００１８】前記フレームバッファのタイル単位にＺ値
比較要・不要情報が設定されるタイル情報バッファ（３
８）を更に備え、前記３次元グラフィック装置（１２）
は、前記フレームバッファ（１６）に描画されるコンピ
ュータグラフィック画像の領域を含むタイルに対応され
るタイル情報バッファのＺ値比較要・不要情報（３６）
を、Ｚ値比較要の状態に設定するものであり、前記画像
合成手段（１５）は、前記ビデオバッファ（２２）のタ
イルのデータをこれに対応する前記フレームバッファの
タイルに上書き制御するとき、当該タイルに対応される
前記Ｚ値比較要・不要情報（３６）を参照し、これがＺ
値比較不要状態である場合、前記Ｚ値を用いた陰面消去
の処理を省いて当該タイルのデータをそれに対応される
フレームバッファのタイルに上書き制御する。

【００１９】このように、デジタル画像情報の合成にお
いてフレームバッファ及びビデオバッファのデータをタ
イル領域に分割して把握し、タイル毎に、Ｚ値比較の要
否を判定して、無駄のない合成描画方式を選択するの
で、合成時間を短縮できる。これにより、デジタルビデ
オ描画装置におけるビデオの再生速度を損なうことな
く、しかも３次元グラフィックスの応答時間を犠牲にす
ることなく、品質の高い画面を合成して描画することが
できる。

【００２０】前記３次元グラフィック装置によるフレー
ムバッファへの描画のための動作に応じてセット状態に
され、その描画動作の終了に応じてリセット状態にされ
るシーン更新フラグ手段（３９）を更に備え、前記画像
合成手段（１５）による前記陰面消去の処理を省いた上
書き処理は、前記シーン更新フラグ手段がリセット状態
にされていることを条件として可能にされる。これによ
り、３次元グラフィック装置（１２）によるフレームバ
ッファ（１６）の描画処理と、画像合成手段（１５）に
よるフレームバッファ（１６）へのデジタルビデオ画像
の合成処理が並列的に行われる様な場合に、Ｚバッファ
アルゴリズムに従った描画結果を保証できる。

【００２１】以上のように、上記画像合成システムは、
Ｚバッファ（１４）を使用して、ポリゴンのような３次
元グラフィックオブジェクトから成る３次元グラフィッ
ク画像をフレームバッファに描画した後からでも、デジ
タルビデオ画像を背景画として描画することができる。
組み込もうとするデジタルビデオ画像は例えばＭＰＥＧ
デコーダーなどのビデオ再生装置から入力し、ビデオフ
レームを格納するメモリ領域としてのビデオバッファを
供え、ビデオの各フレームに対してＺ値を付加して各フ
レームを照明計算済みのポリゴンとみなし、画像合成手
段によりＺバッファアルゴリズムでフレームバッファに
描画される。このような合成の指示は、入力信号により
３次元ポリゴンの配置情報が変化したとき、プログラム
により３次元ポリゴンの再描画命令が発行されたとき、
又は新しいビデオフレームがビデオバッファに入力され
たときなどとされる。そして、ビデオバッファを矩形タ
イルで敷き詰め、各タイルごとにＺ値比較の要・不要情
報を生成し、タイル単位でデジタルビデオデータをフレ
ームバッファに描画する。このとき、描画しようとする
タイルがＺ値比較要であれば、Ｚ値比較の結果に応じて
対応するピクセルの情報（色情報）の上書きを行なう。
また、描画しようとするタイルがＺ値比較不要であれ
ば、Ｚ値比較を行なわないでピクセルの情報を上書きす
る。これによりグラフィックオブジェクトの存在しない
領域ではＺ値比較が不要となり高速にデジタルビデオデ
ータをフレームバッファに書き込むことが可能となる。
特に前景のグラフィックシーンの単位時間あたりの変化
が少ないときなど、背景ビデオ動画とグラフィックシー
ンを高速に合成できる。

【００２２】

【発明の実施の形態】図１には３次元グラフィックスと
デジタルビデオ画像を合成するシステム（単に画像合成
システムとも称する）のブロック図が示される。この画
像合成システムは、３次元グラフィック装置１２とデジ
タルビデオ描画装置２０を含み、３次元グラフィック装
置１２がポリゴンによるコンピュータグラフィック画像
をフレームバッファ１６に描画すると共に、前記デジタ
ルビデオ描画装置２０が背景画を構成するような動画の
ビデオ画像のフレームをビデオバッファ２２に再生す
る。画像合成装置１５は、ビデオバッファ２２のビデオ
画像をフレームバッファ１６のコンピュータグラフィッ
ク画像に合成する。この画像合成装置１５による画像合
成の制御内容については後で詳述するが、その内容は、
概略的には、ビデオバッファ２２に描画されたディジタ
ルビデオ画像を前記フレームバッファ１６に上書き制御
するものであり、フレームバッファ１６に描画されたコ
ンピュータグラフィック画像の奥行きを示すＺ値と前記
ビデオバッファ２２に描画されたデジタルビデオ画像の
奥行きを示すＺ値とを用いたＺバッファアルゴリズムに
よる陰面消去を伴った上書き処理、特定の条件下におい
て前記Ｚバッファアルゴリズムによる陰面消去処理を省
いた上書き処理、タイル単位での上書き処理などに大別
される。例えば画像合成装置１５は、図１０の（Ａ）に
例示されるように、ポリゴンによるコンピュータグラフ
ィック画像ＰＯに対して、デジタルビデオ画像ＶＭを背
景画として合成する。

【００２３】図１において１４で示されるものはＺバッ
ファである。このＺバッファ１４は、前記フレームバッ
ファ１６に格納される画像データフレームに対応してそ
のピクセル単位で、コンピュータグラフィック画像の奥
行き（深度）を示すＺ値を保有する。前記３次元グラフ
ィック装置１２は、前記フレームバッファ１６に描画す
るコンピュータグラフィック画像、即ちそれを構成する
ポリゴンに対応されるピクセルのＺ値をＺバッファ１４
に設定する。３次元グラフィック装置１２が生成するコ
ンピュータグラフィック画像は、基本的なグラフィック
・オブジェクトであるポリゴンを単位とする。

【００２４】前記デジタルビデオ描画装置２０は、ＩＯ
バス１０を介して供給されるデジタルビデオ入力（デジ
タルビデオ情報）の再生描画装置によって構成され、例
えば、ＭＰＥＧ規格で圧縮された画像情報を伸張し、デ
ジタルビデオ信号の規格で定められた周期をもって、１
画面若しくは１フレーム分ずつデジタル画像情報をビデ
オバッファ２２に描画する。

【００２５】画像合成装置１５による画像合成の単位は
図２に例示されるようなタイル単位とされる。すなわ
ち、画像合成装置１５は、図２の（Ａ）に例示されるよ
うに、前記ビデオバッファ２２の記憶領域を複数のタイ
ルに分割してそのデータを扱うと共に、前記ビデオバッ
ファ２２の前記複数のタイルに対応するように前記フレ
ームバッファ１６を複数のタイルに分割してそのデータ
を扱い、前記ビデオバッファ２２の各タイルのデータを
前記ビデオバッファ２２のタイルに対応する前記フレー
ムバッファ１６のタイルに上書き制御する。例えば図２
の（Ｂ）に例示されるように、一つのタイル３４は矩形
とされ、縦×横＝２×２個のピクセル３２よりなり、同
一サイズのタイル３４が２×３個マトリクス配置される
ように、フレームバッファ１６の記憶領域を分割して把
握する。画像合成装置１５は、ビデオバッファ２２に対
してもフレームバッファ１６と同様のサイズでタイルに
分割されてその記憶領域を把握する。図２の（Ａ）には
３つのピクセルから構成される三角形ポリゴン３９が、
ポリゴン（グラフィックオブジェクト）の一例として図
示されている。

【００２６】図１において３８で示されるものはタイル
情報バッファである。このタイル情報バッファ３８は、
前記フレームバッファ１６のタイル単位にＺ値比較要・
不要情報が設定されるバッファである。図２の（Ｃ）に
例示されるように、同一サイズのタイル３４が２×３個
マトリクス配置されるフレームバッファ１６に対して、
タイル情報バッファ３８は夫々のタイルに対応される配
置で２×３個の記憶ビットを有し、各記憶ビットにＺ値
比較要・不要情報３６が記憶される。Ｚ値比較要・不要
情報は、特に制限されないが、その論理値”１”によっ
てＺ値比較が必要であること（Ｚ値比較ＯＮ）を意味
し、また、その論理値”０”によってＺ値比較が不要で
あること（Ｚ値比較ＯＦＦ）を意味する。

【００２７】前記３次元グラフィック装置１２は、ＩＯ
バス１０を介してグラフィック制御入力６を受け取る。
このグラフィック制御入力６は、例えばポリゴンモデル
によるコンピュータグラフィック画像を変化させるため
の指示であり、ポリゴンモデルで記述された画像の位置
や形状などを変化させたりするための移動方向や移動量
等の制御情報とされる。３次元グラフィック装置１２
は、前記グラフィック制御入力６を受けると、ポリゴン
モデルによるコンピュータグラフィック画像を生成する
ための前処理として、公知の幾何変換、照明計算及びラ
スタ化等の処理を行い、これによって生成された画像を
フレームバッファ１４に描画する。このとき、３次元グ
ラフィック装置１２は、前記フレームバッファ１６に描
画するコンピュータグラフィック画像の領域（即ち描画
されるポリゴンの領域）に対応されるピクセルのＺ値を
前記Ｚバッファ１４に設定する。特に制限されないが、
３次元グラフィック装置１２は、グラフィック制御入力
６に応じてコンピュータグラフィック画像を生成してそ
の画像をフレームバッファ１６に描画する場合、予めＺ
バッファ１４のＺ値を初期値に設定する。ここで、初期
値とは、Ｚバッファ１４がＺ値として採り得る最深値
（奥行き方向の最深値）とされる。

【００２８】更に３次元グラフィック装置１２は、生成
した画像をフレームバッファ１４に描画するとき、描画
対象とされるタイルに対応されるタイル情報バッファ３
８のＺ値比較要・不要情報３６を、Ｚ値比較要の状態に
設定する。タイル情報バッファ３８も前記Ｚバッファ１
４と同様に、３次元グラフィック装置１２によって予め
初期化されており、Ｚ値比較要・不要情報３６の初期値
は、Ｚ値比較不要の状態とされる。

【００２９】図１において３９は、前記３次元グラフィ
ック装置１２によるフレームバッファ１６への描画のた
めの動作に応じてセット状態にされ、その描画動作の終
了に応じてリセット状態にされるシーン更新フラグであ
る。

【００３０】前記画像合成装置１５は、前記ビデオバッ
ファ２２のタイルのデータをこれに対応する前記フレー
ムバッファ１６のタイルに上書き制御するとき、当該タ
イルに対応される前記Ｚ値比較要・不要情報３６をタイ
ル情報バッファ３８から参照し、これがＺ値比較を必要
とする状態にされている場合には、合成対象とされるタ
イルに対応するＺ値をＺバッファ１４から読込み、この
値を、ビデオバッファ２２の対応タイルのデジタルビデ
オ画像のＺ値と比較する。比較対象とされるデジタルビ
デオ画像のＺ値は、例えば、デジタルビデオ画像が背景
として画面の奥行き方向の最深位置に存在するものとさ
れる場合には、Ｚバッファ１４のＺ値として採り得る最
深値が画像合成装置１５に設定されている。このよう
に、デジタルビデオ画像の全体ではＺ値は最深値とさ
れ、それは各画面を通じてデジタルビデオ動画全体で一
定値にされる。画像合成装置１５は、その比較結果によ
り、デジタルビデオ画像のＺ値の方が大きくされている
場合にはそのデジタルビデオ画像のＺが大きくされてい
る当該ピクセルを陰面として消去するようにして、フレ
ームバッファの当該タイルの画像情報をデジタルビデオ
画像情報で上書きする。このように、グラフィックオブ
ジェクトが存在されるタイルの領域に対して、当該グラ
フィックオブジェクトは、背景としてのデジタルビデオ
画像の前景を成すように、デジタルビデオ画像情報がフ
レームバッファに１６に上書きされる。

【００３１】一方、参照した前記Ｚ値比較要・不要情報
３６が、Ｚ値比較を必要としないことを意味する場合に
は、画像合成装置１５は、Ｚ値比較による陰面消去の処
理を省いて、ビデオバッファ２２の当該タイルのデータ
をそれに対応されるフレームバッファ１６のタイルに、
そのまま上書きする。このように、グラフィックオブジ
ェクトの存在しない領域では、Ｚ値比較が不要となり、
その分、高速にデジタルビデオ画像をフレームバッファ
に書き込むことができる。

【００３２】特にこの例では、ビデオバッファ２２が更
新された時点で、Ｚバッファ１４の情報に基づいてＺバ
ッファアルゴリズムによりビデオバッファ２２内のピク
セルの色情報をフレームバッファ１６に合成することに
なるが、ビデオバッファ２２の更新と３次元グラフィッ
ク装置１２によるフレームバッファ１６への描画は非同
期で実行される。すなわち、コンピュータグラフィック
シーンのフレームバッファ１６への書き込みとデジタル
ビデオ画像のフレームバッファ２２への書き込みの順序
は画像合成システムに対するコンピュータグラフィック
シーンの変更指示の状況や、画像合成の実行状況に応じ
て変化される。このため、３次元グラフィック装置１２
によるフレームバッファ１６の描画処理と、画像合成装
置１５によるフレームバッファ１６へのデジタルビデオ
画像の合成処理が並列的に行われる様な場合に、Ｚバッ
ファアルゴリズムに従った描画結果を保証するため、前
記画像合成装置１５による前記陰面消去の処理を省いた
上書き処理は、前記シーン更新フラグ３９がリセット状
態にされていることを条件として可能にされるようにな
っている。

【００３３】画像表示装置１８は、フレームバッファ１
６に合成された画像情報（各ピクセルのＲＧＢの色情
報）に基づいて、ディスプレイ１９に画像を表示する。

【００３４】図３には３次元グラフィック装置１２の動
作フローの一例が示される。３次元グラフィック画像の
シーン即ちポリゴンシーンに対する新規描画開始を指示
するイベントＩ６０が３次元グラフィック装置１２に与
えられる。このイベントＩ６０は、特に制限されない
が、２種類ある。一つめのイベントは、ユーザーからの
シーン変更指示であり、外部発生的なイベントである。
二つめのイベントは、シーンを制御しているプログラム
の実行状態に応じて発生される指示である。例えば、対
戦型ゲームにおいて、ユーザーとプログラムが対戦する
場合、プログラムが第２のプレイヤーとしてシーンを変
更させる信号を発生させる様な場合が第２のイベントに
相当される。このイベントＩ６０は前記グラフィック制
御入力６に含まれる。

【００３５】ポリゴンシーンを変更させるイベントＩ６
０を受け取った３次元グラフィック装置１２は、図２で
説明したようなポリゴン３９を描画する。そのために先
ず、計算のセットアップ処理を行なう。これは、Ｚバッ
ファ初期化操作（ステップＳ６２）とＺ値比較要・不要
情報初期化操作（ステップＳ６４）を含む。Ｚバッファ
１４の初期化は各ピクセルのＺ値を、視点から最も奥に
あることを意味するＺ値で初期化する。またＺ値比較要
・不要情報初期化は、Ｚ値比較を行なわないことを意味
する値、例えば値”０”で、タイル情報バッファ３８を
初期化する。

【００３６】さらにシーン更新中を意味するシーン更新
フラグ３９をセット状態にする（ステップＳ６６）。こ
のシーン更新フラグ３９がセット状態にされている間
は、ビデオバッファ２２からフレームバッファ１６への
書き込みは、図５で後述するように、Ｚ値比較付き描画
（ステップＳ５４）に限定される。

【００３７】３次元グラフィック装置１２は、前記グラ
フィック制御入力６に応じて各ポリゴンの座標変換およ
び視点、光源の移動などを行うための幾何（＝座標）変
換（ステップＳ６８）で行う。そして、描画すべき全て
のポリゴンに対して、ポリゴン毎に、以下の描画処理を
施す。

【００３８】描画すべきポリゴンが残っているかはステ
ップＳ７０で判定され、描画すべきポリゴンに対しては
照明計算（ステップＳ７２）が行われる。照明計算（ス
テップＳ７２）は与えられた照明モデルに基づいてポリ
ゴンの色を計算する処理である。照明モデルとしてはグ
ーロー・シェーディング(Gouraud Shading)またはフォ
ン・シェーディング(Phong Shading)を採用することが
できる。照明計算されたポリゴンに対してはラスタ化処
理（ステップＳ７４）が施される。ラスタ化処理（ステ
ップＳ７４）は、画面で見たときの水平方向に並ぶピク
セルの集まり（＝スパン）でポリゴンを分割する処理で
ある。そして、分割された各スパン毎にフレームバッフ
ァ１６への描画を行なうピクセル描画処理（フローＦ８
８）が実行される。

【００３９】前記ピクセルの描画処理（フローＦ８８）
では、与えられたスパンのピクセル毎にその色情報でフ
レームバッファ１６の対応するピクセルを更新するか否
かをＺ値の比較で決定する（ステップＳ８２）。当該ピ
クセルのＺ値がＺバッファ１４の対応するＺ値より小さ
い場合、当該ピクセル３２を含むタイル領域３４に対応
するＺ値比較要・不要情報３６をＺ値比較ＯＮ状態（＝
１）にし（ステップＳ８４）、当該ピクセルの色情報と
Ｚ値でフレームバッファ１６とＺバッファ１４を上書き
する（ステップＳ８６）。もしピクセル更新が不要なら
ば、次のピクセルの処理に進む（ステップＳ８０）。

【００４０】ポリゴン・シーンの描画が終了したら、シ
ーン更新フラグ３９をオフ（リセット）状態にし（ステ
ップＳ７８）、画像合成装置１５にビデオバッファ２２
内の背景画像を描画するように指示Ｉ７９を出す。

【００４１】画像合成装置１５は、ビデオバッファ２２
のデジタル画像をポリゴンシーンの描画が済んだフレー
ムバッファ１６へ上書き描画する。その処理はタイル単
位とされる。即ち、ビデオバッファは図４に示されるよ
うに矩形タイル４４で分割されている。ビデオバッファ
２２のタイルへの分割形式は前記フレームバッファ１６
に対するタイルの分割と同じとされる。すなわち、一つ
のフレーム対するタイルの分割数と、一つのタイルに含
まれるピクセル数は、フレームバッファ１６のタイル３
４とビデオバッファ２２のタイル４４との間で同一にさ
れている。画像合成装置１５は矩形のタイル４４単位で
デジタルビデオデータ（＝各ピクセルの色情報）をフレ
ームバッファ１６へ上書きする。タイルの描画順序は、
図４の矢印が示すように行方向を右に進み（タイル１、
タイル２、タイル３）、一つの行が済んだら、一つ下の
タイルの行をやはり左から右へ進む（タイル４、タイル
５、タイル６）ようにされる。

【００４２】図５には画像合成装置１５による個々のタ
イルの描画処理フローの一例が示される。画像合成装置
１５によるタイルの描画処理はビデオバッファ描画要求
Ｉ５０によって開始される。このビデオバッファ描画要
求Ｉ５０は、３次元グラフィック装置からのビデオバッ
ファ描画要求Ｉ７９、又はデジタルビデオ描画装置２０
から与えられる。前者は、ポリゴンシーンの変更後に背
景画像を更新させるためであり、後者はポリゴンシーン
の変更とは非同期で背景画像を更新させるためである。

【００４３】タイルの描画は、ビデオバッファ２２内の
タイル４４をポリゴンとみなしてＺバッファアルゴリズ
ムで行なう。描画対象タイルがビデオバッファ２２内に
残っているか否かをステップＳ５２で判定し、残ってい
れば当該タイル内の各ピクセルの描画を進める。タイル
内のピクセルを描画する場合、まず最初にシーン更新フ
ラグ３９を参照する（ステップＳ５３）。このフラグ３
９がシーン更新中を意味するとき（論理値”１”）、ポ
リゴンシーンの描画がまだ終了していないので、当該タ
イル内のピクセルをＺバッファアルゴリズムで描画する
（ステップＳ５４）。このときのデジタルビデオ画像の
ピクセルのＺ値は、視点から最も遠い距離にある値（す
なわち、最も遠景を示す値）とされ、そのＺ値は前述の
通り画像合成装置１５に設定されている。

【００４４】ステップＳ５３において、シーン更新フラ
グ３９の値がポリゴンシーンの更新中でないことを意味
すれば（論理値”０”）、３次元グラフィック装置１２
によるポリゴンシーンの描画が終了しているので、ポリ
ゴンが描画されなかったフレームバッファ１６内の矩形
タイルがどれであるかが確定される。したがって、その
場合には、フレームバッファ１６内の対応するタイルの
Ｚ値比較要・不要情報３６を調べ（ステップ５５）、Ｚ
値比較要であれば、Ｚ値比較を行なう描画方式（Ｚ値比
較付き描画）を選び、Ｚ値比較の結果にもとづいて、ビ
デオバッファ２２内の当該タイル内のピクセルの色情報
で、フレームバッファ１４内の対応するピクセルの色情
報の更新を行なう（ステップＳ５４）。

【００４５】ステップＳ５５において、Ｚ値比較不要と
判断されれば、対応するタイル内にポリゴンが存在しな
いことを意味するので、Ｚ値比較なしでビデオバ
ッファ２２内のタイルがフレームバッファ１６の対応タ
イルに描画される（ステップＳ５６）。

【００４６】描画に際して、ビデオバッファ２２からフ
レームバッファ１６へのデータ転送は、所謂帯域幅若し
くはバンド幅の高いメモリ・メモリ間転送モードであ
る、例えばＤＲＡＭ（ダイナミック・ランダム・アクセ
ス・メモリ）のバースト転送モード等を選択して、フレ
ームバッファ１６への高速な画像合成処理を行うことが
できる。

【００４７】次に背景画を多段階にして合成を行う例を
説明する。例えば、図１０の（Ｂ）に例示されるよう
に、前景を成すポリゴンシーンＰＯ、第１背景（遠方背
景）ＶＭ１及び第２背景（中間背景）ＶＭ２をＺバッフ
ァアルゴリズムで合成する。

【００４８】図６にはそのような中間背景を考慮したと
きの画像合成システムのブロック図が示される。図１の
システムに対して、Ｉ／Ｏバス９１を介して中間背景描
画制御入力９０が供給される中間背景画像合成装置９
２、データベース９３、中間背景更新フラグ９４を更に
備えている点が相違される。データベース９３は描画対
象とすることができる中間背景を蓄えている。中間背景
画像合成装置９２は、中間背景描画制御入力９０にした
がって、データベース９３が保有する中間背景画像をフ
レームバッファ１６の所要の位置に描画する。この描画
動作中、シーン更新フラグと同様に、中間背景更新フラ
グ９４がセット状態にされる。中間背景画像合成装置９
２による中間背景の合成並びに描画もＺバッファアルゴ
リズムに基本的に従い、３次元グラフィック装置１２と
同様に、Ｚバッファ１４５及びタイル情報バッファ３８
の値を自らの描画動作に応じて更新し、更に、画像合成
装置１５と同様に、中間背景のフレームバッファへの合
成並びに描画に当たっては、当該合成直前にＺバッファ
１４及びタイル情報バッファ３８の内容を参照する。以
下、その制御の詳細を説明する。

【００４９】図７には前記前景を成すポリゴンシーン、
第１背景（遠方背景）及び第２背景（中間背景）を、Ｚ
バッファアルゴリズムで合成する処理フローの全体が示
される。フレームバッファの更新要求Ｉ１００がある
と、ステップＳ１０２では、描画要求が背景の更新によ
るものか、ポリゴンシーンの更新によるものかを判定す
る。ポリゴンシーンの描画要求の場合は処理Ｔ１０４で
フレームバッファ１６にポリゴンシーンを描画する。こ
の処理は図３のフローと同様である。フレームバッファ
の更新要求が背景（第１背景又は第２背景）に対する更
新要求である場合、それが中間背景に対するものである
ときは、処理Ｔ１０６で、予め中間背景データベース９
３等に記憶されている中間背景データを図９のフローに
従ってフレームバッファ１６へ描画する。それが遠方背
景に対するものであるときは処理Ｔ１１０でビデオバッ
ファ２２内の画像（遠方背景）をフレームバッファ１６
へ描画する。このときの遠方背景の合成並びに描画処理
において、図５に基づいて説明した中間背景がない場合
の処理との違いは、図５のステップ５３ではシーン更新
フラグ３９のみチェックしたが、中間背景も採用してい
る場合には、中間背景更新フラグ９４もチェックし、双
方のフラグ３９，９４がオフ（ＯＦＦ）の場合（更新中
でない場合）にだけ、Ｚ値比較なしの高速描画で遠方背
景を合成して描画する、という点にある。

【００５０】図８には中間背景画像のデータ形式の概念
を示す。オブジェクトを構成するピクセルは中間的なＺ
値をもつとする。これは前面のポリゴンシーンより奥に
あり、かつ、遠方背景よりは前面にあるような中間値で
ある。また、中間背景はオブジェクトを構成するピクセ
ルを含む最小のタイル集合１２２として中間背景データ
ベース９３に格納されている。これらタイルの構成ピク
セルのうち、オブジェクト以外のピクセルは画面に影響
を与えないので、無限遠を意味する最も深いＺ値が与え
られている。したがって、ビデオバッファ２２内の画像
（遠方背景）のＺ値は、無限遠を意味する最も深いＺ値
よりも小さい値に設定されているものとする。これら中
間背景画像データは、様々なデジタル画像をあらかじめ
処理して中間背景オブジェクトとして抽出されて、デー
タベース９３を構成している。

【００５１】図９には中間背景の描画処理フローの一例
が示される。中間背景の描画要求Ｉ１４０があると、中
間背景画像合成装置９２は、ステップＳ１４２におい
て、中間背景更新フラグ９４をオンにする。図８に示し
た個々のタイル（この例では太線で示した４つのタイ
ル）をポリゴンと見なして描画する。このとき、図５と
同様に、Ｚ値比較付き描画（ステップＳ１５０）、又は
Ｚ値比較無し高速描画（ステップＳ１５２）が選択さ
れ、夫々における描画処理の詳細は図３のフローＦ８８
と同じであるのでその詳細についての説明は省略する。
中間背景を構成するタイル内のオブジェクトの描画が終
わると、ステップ１５６で中間背景更新フラグ９４がオ
フにされる。

【００５２】上記実施例によれば以下の作用効果を得
る。

【００５３】〔１〕画像合成システムは、コンピュータ
グラフィック画像を生成し、これをフレームバッファ１
６に描画する３次元グラフィック装置１２と、デジタル
ビデオ情報を再生してビデオバッファ２２に描画するデ
ジタルビデオ描画装置２０と、ビデオバッファに描画さ
れたディジタルビデオ画像を前記フレームバッファ１６
に上書き制御する画像合成装置１５とを有する。前記画
像合成装置１５は前記上書きに際して、フレームバッフ
ァ１６に描画されたコンピュータグラフィック画像の奥
行きを示すＺ値と前記ビデオバッファ２２に描画された
デジタルビデオ画像の奥行きを示すＺ値とを用いてＺバ
ッファアルゴリズムに従った陰面消去を行う。したがっ
て、背景画像としてデジタルビデオ画像を採用し、前景
を成す３次元グラフィック画像を描画した後でも背景画
像を更新できる。

【００５４】〔２〕上記より、家庭用ゲーム機などで採
用される低消費電力、低コストの安価なマイクロプロセ
ッサにとっても、表示制御のための演算制御の負荷が極
端に大きくならず、それによって、ゲームなどの魅力を
半減させるような、背景画像の色彩の単純さ、動きの乏
しさ、情景の種類の乏しさなどを惹起させず、情景表示
の性能の向上を図ることができる。

【００５５】〔３〕前記画像合成装置１５として、画面
をタイル領域に分割して、タイルごとに適切な描画方式
を選択するので、合成時間を短縮できる。これにより、
デジタルビデオ描画装置２０におけるビデオの再生速度
を損なうことなく、しかも３次元グラフィックスの応答
時間を犠牲にすることなく品質の高い画面を合成・描画
することができる。

【００５６】〔４〕描画しようとするタイルがＺ値比較
要であれば、Ｚ値比較の結果に応じて対応するピクセル
の色情報の上書きを行ない、描画しようとするタイルが
Ｚ値比較不要であれば、Ｚ値比較を行なわないでピクセ
ルの色情報を上書きする。これにより、グラフィックオ
ブジェクトの存在しない領域ではＺ値比較が不要となり
高速にデジタルビデオデータをフレームバッファに書き
込むことが可能となる。特に前景のグラフィックシーン
の単位時間あたりの変化が少ないときなど、背景ビデオ
動画とグラフィックシーンを高速に合成できる。

【００５７】〔５〕３次元コンピュータグラフィックス
を対話的に操作するアプリケーションにおいて、グラフ
ィックシーンとデジタルビデオ画像を高速に合成するこ
とができる。これによりグラフィックエンジンの計算パ
ワーを前景グラフィックスシーンの描画に集中させ、滑
らかで写実性の高い３次元コンピュータグラフィックス
・シーンを描画できる。

【００５８】〔６〕さらに、背景シーンとしてユーザー
の好みのデジタルビデオ画像を多段階に組み込むことも
可能である。

【００５９】以上本発明者によってなされた発明を実施
形態に基づいて具体的に説明したが、本発明はそれに限
定されるものではなく、その要旨を逸脱しない範囲にお
いて種々変更可能であることは言うまでもない。

【００６０】例えば、上記の説明ではデジタルビデオ画
像は動画を構成するものとして説明したが、同様にして
静止画像も背景画として採用できる。これは、デジタル
ビデオ入力８への入力データが、１シーンのみとして実
現可能となる。静止画をより高速に合成するには、３次
元グラフィック装置１２の初期化操作として、先に背景
静止画をフレームバッファ１６に、Ｚ値比較を一切行わ
ないで単にコピーする方式を採用することができる。

【００６１】以上の説明では主として本発明者によって
なされた発明をその背景となった利用分野である家庭用
のゲーム機に適用した場合について説明したが、本発明
はそれに限定されるものではなく、少なくとも、３次元
コンピュータグラフィック画像にデジタルビデオ画像を
背景として合成する条件のシステムに広く適用すること
が出来る。

【００６２】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば下記
の通りである。

【００６３】すなわち、本発明によれば、３次元コンピ
ュータグラフィックスを対話的に操作するアプリケーシ
ョンなどにおいて、グラフィックシーンとデジタルビデ
オ画像を高速に合成することができる。これによりグラ
フィックエンジンの計算パワーを前景グラフィックスシ
ーンの描画に集中させ、滑らかで写実性の高い３次元コ
ンピュータグラフィックスシーンを描画できる。さら
に、背景シーンとしてユーザーの好みのデジタルビデオ
画像を組み込むことが可能となる。３次元コンピュータ
グラフィックスとデジタルビデオ画像の合成において
は、画面をタイル領域に分割して、タイルごとに適切な
描画方式を選択するので、合成時間を短縮できる。これ
により、ビデオの再生速度を損なうことなく、しかも３
次元グラフィックスの応答時間を犠牲にすることなく品
質の高い画面を合成・描画を行うことができる。

【図面の簡単な説明】

【図１】３次元コンピュータグラフィックス画像とデジ
タルビデオ画像の画像合成システムの一例ブロック図で
ある。

【図２】フレームバッファの矩形タイルへの分割と個別
タイル対応のＺ値比較要・不要情報を保持するタイル情
報バッファを示す説明図である。

【図３】３次元グラフィックスシステムによるフレーム
バッファへの描画動作の一例フローチャートである。

【図４】ビデオバッファの矩形タイルへの分割とタイル
単位による描画方式の概念を示す説明図である。

【図５】画像合成装置によるデジタルビデオ画像のフレ
ームバッファへの合成処理の一例を示すフローチャート
である。

【図６】多段階で背景画像を合成するシステムの一例ブ
ロック図である。

【図７】多段階で背景画像を合成する処理の全体的なフ
ローチャートである。

【図８】中間背景画像のデータ形式の概念を示す説明図
である。

【図９】中間背景画像合成装置による合成処理の一例フ
ローチャートである。

【図１０】３次元グラフィック画像にデジタルビデオ画
像が合成された状態を例示する説明図である。

【符号の説明】

１２３次元グラフィック装置１４Ｚバッファ１６フレームバッファ２０デジタルビデオ描画装置２２ビデオバッファ３４フレームバッファのタイル３８タイル情報バッファ３９シーン更新フラグ４４ビデオバッファのタイル９２中間背景画像合成装置９３データベース９４中間背景更新フラグ

Claims

【特許請求の範囲】

【請求項１】コンピュータグラフィック画像を生成
し、これをフレームバッファに描画する３次元グラフィ
ック装置と、デジタルビデオ情報を再生してビデオバッ
ファに描画するデジタルビデオ描画装置と、ビデオバッ
ファに描画されたディジタルビデオ画像を前記フレーム
バッファに上書き制御する画像合成手段とを有し、前記画像合成手段は前記上書きに際して、フレームバッ
ファに描画されたコンピュータグラフィック画像の奥行
きを示すＺ値と前記ビデオバッファに描画されたデジタ
ルビデオ画像の奥行きを示すＺ値とを用いてＺバッファ
アルゴリズムに従った陰面消去を行うものであることを
特徴とする画像合成システム。
【請求項２】前記画像合成手段は、前記ビデオバッフ
ァを複数のタイルに分割してそのデータを扱うと共に、
前記ビデオバッファの前記複数のタイルに対応するよう
に前記フレームバッファを複数のタイルに分割してその
データを扱い、前記ビデオバッファの各タイルのデータ
を前記ビデオバッファのタイルに対応する前記フレーム
バッファのタイルに上書き制御することを特徴とする請
求項２記載の画像合成システム。
【請求項３】前記フレームバッファに格納される画像
データフレームに対応してそのピクセル単位でＺ値を格
納するＺバッファを更に備え、前記３次元グラフィック装置は、前記フレームバッファ
に描画するコンピュータグラフィック画像の領域に対応
されるピクセルのＺ値を前記Ｚバッファに設定するもの
であることを特徴とする請求項２記載の画像合成システ
ム。
【請求項４】前記フレームバッファのタイル単位にＺ
値比較要・不要情報が設定されるタイル情報バッファを
更に備え、前記３次元グラフィック装置は、前記フレームバッファ
に描画されるコンピュータグラフィック画像の領域を含
むタイルに対応されるタイル情報バッファのＺ値比較要
・不要情報を、Ｚ値比較要の状態に設定するものであ
り、前記画像合成手段は、前記ビデオバッファのタイルのデ
ータをこれに対応する前記フレームバッファのタイルに
上書き制御するとき、当該タイルに対応される前記Ｚ値
比較要・不要情報を参照し、これがＺ値比較不要状態で
ある場合、前記Ｚ値を用いた陰面消去の処理を省いて当
該タイルのデータをそれに対応されるフレームバッファ
のタイルに上書き制御するものであることを特徴とする
請求項３記載の画像合成システム。
【請求項５】前記３次元グラフィック装置によるフレ
ームバッファへの描画のための動作に応じてセット状態
にされ、その描画動作の終了に応じてリセット状態にさ
れるシーン更新フラグ手段を更に備え、前記画像合成手
段による前記陰面消去の処理を省いた上書き処理は、前
記シーン更新フラグ手段がリセット状態にされているこ
とを条件として可能にされるものであることを特徴とす
る請求項４記載の画像合成システム。