JP3727711B2

JP3727711B2 - 画像情報処理装置

Info

Publication number: JP3727711B2
Application number: JP08863896A
Authority: JP
Inventors: 竜志大塚
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1996-04-10
Filing date: 1996-04-10
Publication date: 2005-12-14
Anticipated expiration: 2016-04-10
Also published as: US5835101A; JPH09282482A

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置に係り、特にビデオカメラ等から得られる入力ビデオ信号に対して３次元コンピュータグラフィックスの情報処理を施す画像処理装置に関する。
【０００２】
近年、ゲーム等のエンタテイメントの分野やコンピュータを活用したマルチメディアの分野では、動きのある３次元物体を扱う３次元コンピュータグラフィックスが利用されている。しかし、３次元コンピュータグラフィックスでは、情報処理の高速性を追及するため、３次元物体の形状を複数の多角形に分割して、近似的に３時源の仮想物体を表現する手法を取っている。このため、３次元コンピュータグラフィックスは、人間の表情等の実在世界の微妙な表現には適していない。
【０００３】
そこで、３次元コンピュータグラフィックスにより、仮想空間と実在空間とを切れ目なく融合し、より高度な表現を可能とすることが求められている。
【０００４】
【従来の技術】
従来、ビデオカメラ等から得られる入力ビデオ信号に対して直接３次元コンピュータグラフィック処理を施して、仮想空間と実在空間とを融合したビデオ画像を表示する特種な装置が提案されている。このような、仮想空間と実在空間とを融合したビデオ画像の一例としては、実在空間を背景としてアニメーションのキャラクターが仮想空間で動くテレビのコマーシャル等がある。しかし、上記の如きビデオ画像専用の特種な装置は、構成が複雑であると共に非常に高価であった。
【０００５】
そこで、従来の３次元コンピュータグラフィックス生成装置でビデオ信号も処理できれば非常に便利であるが、従来の３次元コンピュータグラフィックス生成装置は、ホストプロセッサからの指示に基づいて３次元コンピュータグラフィックスを生成する構成であるため、ビデオ信号を直接取り込む機能が設けられていなかった。
【０００６】
図１８は、ビデオ信号も処理可能な、考えられる第１の３次元コンピュータグラフィックス生成装置の概略構成を示すブロック図である。同図中、３次元コンピュータグラフィックス生成装置５０１は、ビデオカメラ５０２から得られる入力ビデオ信号を供給され、処理された結果である３次元画像データをディスプレイ５０３に表示する。３次元コンピュータグラフィックス生成装置５０１は、大略ビデオ信号取り込みユニット５１０と、ホストプロセッサ５１１と、システムバス５１２を介してホストプロセッサ５１１に接続されている取り込みバッファメモリ５１３及び３次元画像生成ユニット５１４とからなる。
【０００７】
ビデオカメラ５０２から得られる入力ビデオ信号は、ビデオ信号取り込みユニット５１０により取り込まれて取り込みバッファメモリ５１３に画像データとして一旦格納される。取り込みバッファメモリ５１３に格納された画像データは、ホストプロセッサ５１１の制御下で、システムバス５１２を介して３次元画像生成ユニット５１４に供給される。３次元画像生成ユニット５１４は、ホストプロセッサ５１１からの指示に基づいて画像データに対して３次元コンピュータグラフィックス処理を施して、処理された３次元画像データをディスプレイ５０３に表示する。
【０００８】
図１９は、ビデオ信号も処理可能な、考えられる第２の３次元コンピュータグラフィックス生成装置の概略構成を示すブロック図である。同図中、３次元コンピュータグラフィックス生成装置６０１は、ビデオカメラ５０２から得られる入力ビデオ信号を供給され、処理された結果である３次元画像データをディスプレイ５０３に表示する。３次元コンピュータグラフィックス生成装置６０１は、大略ビデオ信号取り込みユニット６１０と、ホストプロセッサ６１１と、システムバス６１２を介してホストプロセッサ６１１に接続されている３次元画像生成ユニット６１４、ビデオ合成ユニット６１５とからなる。
【０００９】
ビデオカメラ５０２から得られる入力ビデオ信号は、ビデオ信号取り込みユニット６１０により取り込まれてビデオ合成ユニット６１５に画像データとして供給される。３次元画像生成ユニット６１４は、ホストプロセッサ６１１からの指示に基づいて３次元コンピュータグラフィックス処理を行い、グラフィックデータをビデオ合成ユニット６１５に供給する。ビデオ合成ユニット６１５は、ビデオ信号取り込みユニット６１０からの画像データと３次元画像生成ユニット６１４からのグラフィックデータとを合成し、合成された３次元画像データをディスプレイ５０３に表示する。
【００１０】
【発明が解決しようとする課題】
図１８に示す考えられる第１の３次元コンピュータグラフィックス生成装置の場合、ビデオ信号取り込みユニット６１０からの画像データは３次元画像生成ユニット６１４に供給されるので、ビデオ信号に対して直接３次元コンピュータグラフィック処理を施すことができる。しかし、画像データをシステムバス５１２を介して転送する必要があるため、画像データ転送のオーバーヘッドが生じ、リアルタイムの画像処理が困難であるという問題があった。
【００１１】
他方、図１９に示す考えられる第２の３次元コンピュータグラフィックス生成装置の場合、画像データ転送のオーバーヘッドがないために、リアルタイムの画像処理が可能である。ところが、ビデオ信号取り込みユニット６１０からの画像データは３次元画像生成ユニット６１４に供給されないので、ビデオ合成ユニット６１５では単に３次元画像生成ユニット６１４からのグラフィックデータにビデオカメラ５０２で撮像された画像データをスーパーインポーズするだけである。このため、ビデオ信号に対して直接３次元コンピュータグラフィック処理を施すことができないという問題があった。
【００１２】
即ち、従来の３次元コンピュータグラフィックス生成装置でビデオ信号も処理できれば非常に便利であるが、従来の３次元コンピュータグラフィックス生成装置は、ホストプロセッサからの指示に基づいて３次元コンピュータグラフィックスを生成する構成であるため、ビデオ信号を直接取り込む機能が設けられていなかった。そこで、図１８及び図１９に示すように、ビデオ信号を直接取り込む機能を付加した３次元コンピュータグラフィックス生成装置も考えられるものの、ビデオ信号のリアルタイム処理及びビデオ信号に対する自由な３次元コンピュータグラフィック処理を両立することはできなかった。
【００１３】
そこで、本発明は、ビデオ信号のリアルタイム処理及びビデオ信号に対する自由な３次元コンピュータグラフィック処理を両立可能とする画像情報処理装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記の課題は、請求項１記載の、２次元画像を示す第１の画像情報と、３次元物体を複数の多角形の近似により表現する３次元コンピュータグラフィックスを示す第２の画像情報とが入力されるクロスバースイッチ回路と、該第１の画像情報に関連した同期信号に基づいて該クロスバースイッチ回路の接続を予め定められた規則に従って制御する調停回路と、該クロスバースイッチ回路から出力される画像情報を第１のメモリ領域に書き込んでいる期間、画像情報を第１のメモリ領域とは異なる第２のメモリ領域から読み出し可能なメモリ手段と、該第２の画像情報を生成する３次元画像情報生成手段を更に備え、該３次元画像情報生成手段は、該メモリ手段の該第１のメモリ領域に書き込んでいる期間であっても該第２のメモリ領域に格納された画像情報を読み出して３次元的に加工して該第２の画像情報として出力ビデオ信号を出力可能である画像情報処理装置によって達成できる。
【００１６】
請求２記載の発明では、請求項１の発明において、前記３次元画像情報生成手段は、前記メモリ手段の第３の領域に格納された多角形の表面に張り付けるべき模様に関する画像情報を読み出して第２の画像情報を生成する。
請求項３記載の発明では、請求項１の発明において、前記３次元画像情報生成手段は、外部から入力される多角形の座標を解釈して多角形を１画素単位で分解したときの座標及び色値を計算する線形補間処理部と、前記メモリ手段の第３の領域をアクセスして多角形の表面に張り付けるべき模様の色値を計算するテクスチュア処理部と、最終的な色情報を格納するフレームメモリ手段と、画素の奥行き情報及び色情報に基づいて該フレームメモリ手段への描画を行うか否かを判定する描画判定部と、該フレームメモリ手段から読み出した色情報に基づいて出力ビデオ信号を生成出力するビデオコントローラとを有する。
【００１７】
請求項４記載の発明では、請求項３の発明において、前記描画判定部は、予め定められた複数の色判定モードを有し、色判定モードに応じて描画条件を決定することにより所定の色の画素を抽出可能である。
請求項５記載の発明では、請求項１〜４のいずれかの発明において、２次元画像を示す入力ビデオ信号に基づいて第１の画像情報を生成するビデオ信号取り込み手段を更に備えている。
【００１８】
請求項６記載の発明では、請求項５の発明において、前記ビデオ信号取り込み手段は、前記調停回路から得られる信号に基づいて複数の入力ビデオ信号から１つの入力ビデオ信号を選択出力するセレクタを有する。
請求項７記載の発明では、請求項５又は６の発明において、前記入力ビデオ信号は、ビデオカメラの出力から得られる。
【００１９】
請求項８記載の発明では、請求項５〜７のいずれかの発明において、前記ビデオ信号取り込み手段に入力される入力ビデオ信号に対する前記３次元画像情報生成手段から出力される出力ビデオ信号の遅れを所定時間に保つ手段を更に備えている。
【００２０】
請求項９記載の発明では、請求項１〜８のいずれかの発明において、前記メモリ手段は、第１のメモリ領域を構成する第１のメモリと、第２のメモリ領域を構成すると共に第１のメモリとは独立した第２のメモリとからなる。
請求項１０記載の発明では、請求項２〜４のいずれかの発明において、前記メモリ手段は、第１のメモリ領域を構成する第１のメモリと、第２のメモリ領域を構成すると共に第１のメモリとは独立した第２のメモリと、第３のメモリ領域を構成すると共に第１及び第２のメモリとは独立した第３のメモリとからなる。
【００２１】
請求項１〜３記載の発明によれば、ビデオ信号のリアルタイム処理及びビデオ信号に対する自由な３次元コンピュータグラフィック処理を、比較的簡単な回路構成を用いて両立させることが可能となり、仮想空間と実在空間とを切れ目なく融合することができる。
【００２２】
請求項４記載の発明によれば、ビデオ合成処理で一般的に行われているクロマキー処理を実現することができる。
請求項５〜７記載の発明によれば、比較的簡単な回路を設けることにより、ビデオ信号を直接取り込む機能を有さない画像情報処理装置においても、ビデオ信号を３次元的に加工することが可能となる。
【００２３】
請求項８記載の発明によれば、人間の目には確認できない程度の時間的な遅れで入力ビデオ信号を３次元的に加工することができる。
請求項９及び１０記載の発明によれば、入力ビデオ信号から導出される第１の画像情報が途切れないように、且つ、３次元画像生成時に用いられる模様と同様に扱うことができるようにすることが可能となる。
【００２４】
従って、本発明によれば、ビデオ信号のリアルタイム処理及びビデオ信号に対する自由な３次元コンピュータグラフィック処理を両立させることが可能となり、仮想空間と実在空間とを切れ目なく融合することができる。
【００２５】
【発明の実施の形態】
本発明になる画像情報処理装置は、３次元物体を複数の多角形の近似により表現する３次元コンピュータグラフィックス処理装置等に適用される。画像情報処理装置は、外界の情報を取り入れるための、ビデオカメラ等からのビデオ信号を取り込む画像情報入力機能を備えている。又、画像情報処理装置は、３次元コンピュータグラフィックスを生成する３次元画像生成機能も備えている。この３次元画像生成機能は、元のビデオ信号をリアルタイムで３次元的に加工することもできる。従って、３次元画像生成機能により、３次元コンピュータグラフィックスに関する画像データ、３次元的に加工されたビデオ信号に関する画像データ、又は、３次元コンピュータグラフィックス及び３次元的に加工されたビデオ信号の合成結果に関する画像データが出力される。出力された画像データは、例えば表示装置により３次元画像として表示される。
【００２６】
本発明によれば、ビデオ信号のリアルタイム処理及びビデオ信号に対する自由な３次元コンピュータグラフィック処理を両立させることが可能となる。
【００２７】
【実施例】
図１は、本発明になる画像情報処理装置の第１実施例の概略構成を示すブロック図である。同図中、３次元コンピュータグラフィックス生成装置１は、ビデオカメラ２から得られる入力ビデオ信号を供給され、処理された結果である３次元画像データをディスプレイ３に表示する。３次元コンピュータグラフィックス生成装置１は、大略ビデオ信号取り込みユニット１０と、ホストプロセッサ１１と、システムバス１２を介してホストプロセッサ１１に接続されている３次元画像生成ユニット１４と、ビデオ信号取り込みユニット１０と接続されたビデオ用テクスチュアメモリ部１５とからなる。
【００２８】
ビデオカメラ２から得られる入力ビデオ信号は、ビデオ信号取り込みユニット１０により取り込まれてビデオ用テクスチュアメモリ部１５に画像データとして供給される。３次元画像生成ユニット１４は、ホストプロセッサ１１からの指示に基づいて入力ビデオ信号に対して３次元コンピュータグラフィックス処理を施し、３次元画像データをディスプレイ３に供給する。これにより、ディスプレイ３は、３次元画像生成ユニット１４からの、３次元コンピュータグラフィックスに関する画像データ、３次元的に加工されたビデオ信号に関する画像データ、又は、３次元コンピュータグラフィックス及び３次元的に加工されたビデオ信号の合成結果に関する画像データを表示する。
【００２９】
ホストプロセッサ１１は、模様等の２次元画像データを予めテクスチュアメモリ部１５に転送しておく。３次元画像生成ユニット１４は、適宜テクスチュアメモリ部１５をアクセスし、生成するべき多角形の表面に、２次元画像を模様として張り付ける処理を行う。本実施例では、テクスチュアメモリ部１５に対して、３次元画像生成ユニット１４からの読み込み処理が可能であると共に、ビデオ信号から導出される２次元画像データをビデオ信号取り込みユニット１０から直接書き込む処理を行うことも可能である。これにより、３次元画像生成ユニット１４は、オーバーヘッドなしでテクスチュアメモリ部１５からの通常の模様等の２次元画像データの場合と同様に、ビデオ信号から導出された２次元画像データを模様として生成するべき多角形の表面に張り付ける処理を行うことも可能となる。
【００３０】
図２は、ビデオ信号取り込みユニット１０の一実施例の概略構成を示すブロック図である。ビデオ信号取り込みユニット１０は、大略同図の如く接続されたセレクタ２１と、同期分離回路２２と、色分離回路２３と、垂直カウント回路２４と、水平カウント回路２５とからなる。
【００３１】
セレクタ２１は、後述するテクスチュアメモリ部１５からの待ち合わせ信号ＴＳに応答して、複数の入力ビデオ信号Ｖ１〜Ｖｎから１つのビデオ信号を選択して同期分離回路２２及び色分離回路２３に供給する。例えば、２つの画像を合成する場合、セレクタ２１は２つの入力ビデオ信号を順次出力する。複数の入力ビデオ信号Ｖ１〜Ｖｎは、ビデオカメラ２等から供給されるＮＴＳＣ方式やＰＡＬ方式等のビデオ信号である。尚、入力ビデオ信号Ｖ１は、出力ビデオ信号を生成する際に用いられる基準信号として、後述する３次元画像生成ユニット１４のビデオコントローラにも供給される。
【００３２】
同期分離回路２２は、セレクタ２１から得られる１つのビデオ信号Ｖｉ（ｉ＝１〜ｎ）に基づいて、垂直同期信号ＳＶ及び水平同期信号ＳＨを分離すると共に、ビデオ信号Ｖｉの画素単位のタイミング信号ＴＭを生成する。垂直同期信号ＳＶは、垂直カウント回路２４のリセット端子ＲＳに供給され、水平同期信号ＳＨは、垂直カウント回路２４のカウント端子ＣＮＴ及び水平カウント回路２５のリセット端子ＲＳに供給される。又、タイミング信号ＴＭは、水平カウント回路２５のカウント端子ＣＮＴに供給される。
【００３３】
色分離回路２３は、セレクタ２１から得られる１つのビデオ信号Ｖｉに基づいて、各画素毎の赤、緑、青の各色成分のデジタル値ＲＣ，ＧＣ，ＢＣを分離する。通常のビデオ信号処理では、輝度−色差成分で信号処理を行う場合が多いが、３次元画像生成では、赤、緑、青の各色成分でテクスチュアメモリを構成することが多いので、本実施例では、色分離回路２３は赤、緑、青の各色成分のデジタル値ＲＣ，ＧＣ，ＢＣを分離して出力する。尚、テクスチュアメモリ部１５が輝度−色差成分で信号処理を行える構成であれば、色分離回路２３は必ずしも赤、緑、青の各色成分を分離する構成である必要はないことは言うまでもない。
【００３４】
垂直カウント回路２４は、水平同期信号ＳＨをカウントして、赤、緑、青の各色成分のデジタル値ＲＣ，ＧＣ，ＢＣを格納するべきテクスチュアメモリ部１５内の垂直座標ＶＣを生成する。ビデオ信号Ｖｉの画面（フレーム）は、垂直同期信号ＳＶ毎に繰り返される。従って、垂直カウント回路２４は、垂直同期信号ＳＶでリセットされ、垂直同期後に水平同期信号ＳＨ毎にカウントアップされることで垂直座標ＶＣを得る。尚、垂直同期信号ＳＶは、１画面の完了を示すフレーム信号Ｆとして、後述するテクスチュアメモリ部１５に供給される。
【００３５】
水平カウント回路２５は、画素タイミング信号ＴＭをカウントして、赤、緑、青の各色成分のデジタル値ＲＣ，ＧＣ，ＢＣを格納するべきテクスチュアメモリ部１５内の水平座標ＨＣを生成する。水平カウント回路２５は、水平同期信号ＳＨでリセットされ、水平同期後に、画素タイミング信号ＴＭ毎にカウントアップされることで水平座標ＨＣを得る。尚、画素タイミング信号ＴＭは、テクスチュアメモリ部１５への書き込みタイミングを示すライト信号Ｗとして、テクスチュアメモリ部１５に供給される。
【００３６】
図３は、テクスチュアメモリ部１５の一実施例の概略構成を示すブロック図である。テクスチュアメモリ部１５は、図示の如く接続された調停回路３１と、クロスバースイッチ回路３２と、メモリ３３，３４とからなる。
メモリ３３，３４は、テクスチュアメモリを構成し、ビデオ信号Ｖｉから導出される２次元画像データを保持するのにも使用される。各メモリ３３，３４は、ライトイネーブル端子／ＷＥに印加されるライトイネーブル信号／ＷＥが有効（「０」）であると、アドレス端子ＡＤＲに印加されるアドレス信号ＡＤＲにより指定される座標に対してデータ端子Ｄに印加された２次元画像データを書き込む。又、各メモリ３３，３４は、リード（出力）イネーブル端子／ＯＥに印加されるリード（出力）イネーブル信号／ＯＥが有効（「０」）であると、アドレス端子ＡＤＲに印加されるアドレス信号ＡＤＲにより指定される座標から書き込まれている２次元画像データを読み出してデータ端子Ｄより出力する。
【００３７】
アドレス信号ＡＤＲは、垂直及び水平座標ＶＣ，ＨＣ又は後述する垂直及び水平座標ｖｃ，ｈｃに基づいて生成された信号である。
クロスバースイッチ回路３２には、ビデオ信号取り込みユニット１０からの垂直及び水平座標ＶＣ，ＨＣ及び赤、緑、青の各色成分のデジタル値ＲＣ，ＧＣ，ＢＣと、後述する３次元画像生成ユニット１４からの垂直及び水平座標ｖｃ，ｈｃ、赤、緑、青の各色成分のデジタル値ｒｃ，ｇｃ，ｂｃ、画像完了信号Ｅ及びリード信号Ｒと、調停回路３１からの信号とが供給される。クロスバースイッチ回路３２は、調停回路３１からの信号に応じて接続状態が決定され、ビデオ信号取り込みユニット１０からの信号をメモリ３３に格納して３次元画像生成ユニット１４からの信号をメモリ３４に格納するか、或いは、ビデオ信号取り込みユニット１０からの信号をメモリ３４に格納して３次元画像生成ユニット１４からの信号をメモリ３３に格納する。尚、基本的には、ビデオ信号取り込みユニット１０からはメモリ３３，３４に対して書き込み処理のみが行われるため、メモリ３３又は３４に対するリードイネーブル信号／ＯＥは無効状態となるようにする。他方、基本的には、３次元画像生成ユニット１４からはメモリ３３，３４に対して読み出し処理のみが行われるため、メモリ３３又は３４に対するライトイネーブル信号／ＷＥは無効状態となるようにする。
【００３８】
調停回路３１は、ビデオ信号取り込みユニット１０からのフレーム信号Ｆ及び３次元画像生成ユニット１４からの画像完了信号Ｅにより、図４及び図５に示す状態遷移に従ってクロスバースイッチ回路３２の接続状態を決定する。図４は、調停回路３１の状態遷移図であり、図５は、調停回路３２の状態とクロスバースイッチ回路３２の接続状態との関係を示す図である。図４中、「○」印は有効、「×」印は無効を示す。図４及び図５に示すように、調停回路３１には８つの状態Ｉ〜ＶＩＩＩがあり、各状態ではクロスバースイッチ回路３２の接続状態が図示の如く決定される。
【００３９】
又、調停回路３１は、ビデオ信号取り込みユニット１０からのライト信号Ｗを供給され、調停回路３１の状態に基づいてメモリ３３又は３４へのライトイネーブル信号／ＷＥを強制的に無効状態にする処理及びビデオ信号取り込みユニット１０及び３次元画像生成ユニット１４に対して待ち合わせ信号ＴＳを生成出力する。この待ち合わせ信号ＴＳが有効の場合、３次元画像生成ユニット１４は待ち合わせ信号ＴＳが無効となるまで次の３次元画像の生成を待つ。
【００４０】
このように、調停回路３１と２系統のメモリ３３，３４からなるテクスチュアメモリを設けることにより、３次元画像生成ユニット１４が一方のメモリ３３（又は３４）から画像データの読み出しを行っている間でも、ビデオ信号取り込みユニット１０からの画像データを他方のメモリ３４（又は３３）に書き込むことが可能である。従って、ビデオ信号Ｖｉから導出される２次元画像データを、途切れることなく、３次元画像生成の際に張り付けられる模様として使用できる。つまり、３次元画像生成ユニット１４は、オーバーヘッドなしでテクスチュアメモリ部１５からの模様等の２次元画像データの場合と同様に、ビデオ信号Ｖｉから導出された２次元画像データを、模様として、生成するべき多角形の表面に張り付ける処理を行うことも可能となる。
【００４１】
図６は、本実施例の動作タイミングを説明するためのタイミングチャートである。同図は、フレーム信号Ｆ、画像完了信号Ｅ、３次元画像生成ユニット１４によるメモリ３３，３４からの読み出し、入力ビデオ信号取り込みユニット１０によるメモリ３３，３４への書き込み及び調停回路３１の状態遷移のタイミングを示す。同図中、「３３」，「３４」は、アクセスされる側のテクスチュアメモリ部１５のメモリ３３，３４を示し、Ｉ〜ＶＩＩＩは調停回路３１の状態を示す。
【００４２】
図６において、初期状態では調停回路３１は状態ＩＶをとり、入力ビデオ信号はメモリ３４に書き込まれると共に、メモリ３３に書き込まれているビデオ信号は３次元画像生成ユニット１４により読み出される。この状態で、フレーム信号Ｆと画像完了信号Ｅとが時刻ｔ１で同時に発生すると、メモリ３３，３４へのアクセスが逆転し、調停回路３１は状態Ｉをとる。
【００４３】
１画面分の入力ビデオ信号のメモリ３３への書き込みが完了し、時刻ｔ２でフレーム信号Ｆが発生すると、調停回路３１の状態は状態ＩＩへ遷移し、ライト信号Ｗは無効となる。このため、入力ビデオ信号のメモリ３３への書き込みは中断され、３次元画像生成ユニット１４によるメモリ３４からのビデオ信号の読み出しが完了するまで待ち状態となる。
【００４４】
３次元画像生成ユニット１４によるメモリ３４からのビデオ信号の読み出しが完了し、時刻ｔ３でフレーム信号Ｆが発生すると、調停回路３１の状態は状態ＶＩＩへ遷移し、メモリ３３，３４へのアクセスが逆転する。ただし、この場合、入力ビデオ信号のメモリ３４への書き込みは、次のフレーム信号Ｆが発生するまで中断されたままであり、調停回路３１は状態ＶＩＩを維持する。このように、次のフレーム信号Ｆが発生するまで入力ビデオ信号のメモリ３４への書き込みを中断しないと、ビデオ信号がフレーム信号Ｆ間で１フレーム書き込まれるため、時刻ｔ３の状態ではフレームの途中の画像から書き込みが開始されてしまう。時刻ｔ４で次のフレーム信号Ｆが発生すると、調停回路３１は状態ＩＶをとり、入力ビデオ信号のメモリ３４への書き込みが開始される。
【００４５】
次に、時刻ｔ５で３次元画像生成ユニット１４からの画像完了信号Ｅが先に発生すると、入力ビデオ信号のメモリ３４への書き込みがまだ完了していないため、待ち合わせ信号ＴＳが有効となり、調停回路３１は状態ＶＩをとる。調停回路３１は、フレーム信号Ｆが発生するまで状態ＶＩを維持し、メモリ３４へのアクセスの待ち合わせが行われる。入力ビデオ信号のメモリ３４への書き込みが完了すると、時刻ｔ６でフレーム信号Ｆが発生し、メモリ３３，３４へのアクセスが逆転し、調停回路３１は状態Ｉをとる。
【００４６】
図７は、３次元画像生成ユニット１４の一実施例の概略構成を示すブロック図である。３次元画像生成ユニット１４は、図示の如く接続された制御部４１と、線形補間処理（ＤＤＡ）部４２と、テクスチュア処理部４３と、描画判定部４４と、ローカルメモリ４６と、フレームメモリ４７，４８と、ビデオコントローラ４９とからなる。テクスチュアメモリ部１５は、テクスチュアバス５０を介してテクスチュア処理部４３及び描画判定部４４に接続されている。本実施例では、テクスチュアメモリ部１５は、図３に示すメモリ３３，３４の他に、第３のメモリ（図示せず）を有する。
【００４７】
制御部４１は、システムバス１２に接続されており、図１に示すホストプロセッサ１１から供給される多角形の座標を解析してＤＤＡ部４２に必要な情報を設定する。ＤＤＡ部４２は、多角形を１画素単位に分解した時の座標や色値を計算する。テクスチュア処理部４３は、テクスチュアバス５０を介してテクスチュアメモリ部１５の第３のメモリをアクセスして、多角形の表面に張り付ける、即ち、投影するべき模様の色値を計算する。
【００４８】
テクスチュアメモリ部１５は、３次元画像生成ユニット１４が生成するべき多角形の表面に張り付ける模様等の２次元画像データを予め第３のメモリに格納している。又、ビデオ信号Ｖｉから導出された２次元画像データもテクスチュアメモリ部１５のメモリ３３，３４に格納してテクスチュア処理部４３よりアクセス可能とするために、テクスチュアメモリ部１５に接続するテクスチュアバス５０が拡張されている。テクスチュアバス５０上では、垂直及び水平座標ＶＣ，ｖｃ，ＨＣ，ｈｃ、色値ＲＣ，ｒｃ，ＧＣ，ｇｃ，ＢＣ，ｂｃ、ライト信号Ｗ、リード信号Ｒ、待ち合わせ信号ＴＳ等が転送される。これにより、３次元画像生成ユニット１４のテクスチュア処理部４３がテクスチュアメモリ部１５にアクセス可能なテクスチュア情報は、多角形の表面に張り付けるべき模様等の２次元画像データに加えて、ビデオ信号Ｖｉから導出された２次元画像データとなる。
【００４９】
描画判定部４４は、ローカルメモリ４６に格納される、画素の奥行き情報や色情報を元に、フレームメモリ４７，４８に描画を行うか否かを判定する。描画判定部４４は、既に描画されている画素上の奥行き情報と、ＤＤＡ部４２で生成された新たに描画しようとする画素の奥行き情報とを比較し、より手前にある画素のみを新たに描画し、奥にある画素は描画しないという判定を行うことで、３次元画像データの処理を実現している。このような描画判定部４４の機能自体は周知である。本実施例では、このような機能に加えて、描画判定部４４はテクスチュア処理部４３で得られた描画するべき画素の色情報に対して、図８に示すような判定処理を行うと共に、図９及び図１０に示すような６４通りの色判定モードを有する。尚、赤、緑、青各々の値の最小値及び最大値と、どの色判定モードを用いるかは、予め指定しておく。これにより、各色の値の最小値及び最大値と色判定モードに加えて、背景等の不要な色以外を指定しておくことにより、背景を除いた注目するべき画素のみを抽出することができ、ビデオ信号合成処理で一般的に行われているクロマキー処理等と同等な処理を実現することが可能である。
【００５０】
図８は、画素の各色値に対する描画判定部４４の処理を説明するフローチャートであり、同図（ａ）は画素の赤色値に対する処理、同図（ｂ）は画素の緑色値に対する処理、同図（ｃ）は画素の青色値に対する処理を示す。図８（ａ）〜（ｃ）に示す処理は、並列に行われる。
【００５１】
図８（ａ）中、ステップＳ１は画素の赤色値と赤色値の最小値とを比較し、赤色値の方が最小値より小さい場合は、状態がｓｔ４に設定される。赤色値の方が最小値より大きい場合は、ステップＳ２で赤色値と赤色値の最大値とを比較し、赤色値の方が最大値より小さい場合は、状態がｓｔ５に設定される。他方、赤色値の方が最大値より大きい場合は、状態がｓｔ６に設定される。
【００５２】
図８（ｂ）中、ステップＳ１１は画素の緑色値と緑色値の最小値とを比較し、緑色値の方が最小値より小さい場合は、状態がｓｔ１に設定される。緑色値の方が最小値より大きい場合は、ステップＳ１２で緑色値と緑色値の最大値とを比較し、緑色値の方が最大値より小さい場合は、状態がｓｔ２に設定される。他方、緑色値の方が最大値より大きい場合は、状態がｓｔ３に設定される。
【００５３】
図８（ｃ）中、ステップＳ２１は画素の青色値と青色値の最小値とを比較し、青色値の方が最小値より小さい場合は、状態がｓｔ７に設定される。青色値の方が最小値より大きい場合は、ステップＳ２２で青色値と青色値の最大値とを比較し、青色値の方が最大値より小さい場合は、状態がｓｔ８に設定される。他方、青色値の方が最大値より大きい場合は、状態がｓｔ９に設定される。
【００５４】
図９に示すように、例えば色判定モードが「４」の場合は、描画判定部４４は状態ｓｔ４の時に描画を行う。又、例えば色判定モードが「１５」の場合は、描画判定部４４は状態ｓｔ６、且つ、状態ｓｔ３の時に描画を行う。更に、図１０に示すように、例えば色判定モードが「５１」の場合は、描画判定部４４は状態ｓｔ９、且つ、状態ｓｔ３の時に描画を行う。図９及び図１０に示す描画条件より明らかな如く、上記の色判定モードを設けることにより、例えばクロマキー処理等のように、画像中の所定の色の部分のみを編集して分離する等といった画像編集も容易に行うことができる。図９及び図１０に示す如き色判定モードと描画条件との関係は、描画判定部４４内に格納されていても、例えばローカルメモリ４６に格納されていても良い。
【００５５】
フレームメモリ４７，４８は、最終的な色情報を格納するために設けられている。描画判定部４４での描画判定の結果、描画を行うべきと判定されると、描画するべき画素情報が描画判定部４４によりフレームメモリ４７又は４８に書き込まれる。ビデオコントローラ４９は、描画判定部４４が書き込みを行っているフレームメモリ４７（又は４８）とは異なるフレームメモリ４８（又は４７）から画素情報を読み出して画像データ（出力ビデオ信号）ＶＯＵＴを生成して、ディスプレイ３に出力する。１画面分の描画処理が完了すると、制御部４１は画像完了信号を生成して、フレームメモリ４７，４８の書き込み／読み出しの役割を逆転させる。これにより、描画判定部４４がフレームメモリに書き込み途中の画素情報が出力ビデオ信号ＶＯＵＴとして出力されることを確実に防止することができる。
【００５６】
入力ビデオ信号Ｖｉと出力ビデオ信号ＶＯＵＴとの関係は、３次元画像生成処理において多角形で近似して表現される３次元物体が１フレーム以内で描画完了する程度の複雑さであり、且つ、入力ビデオ信号Ｖｉが１つのみであると仮定すると、例えば図１１に示すようになる。図１１は、フレーム信号Ｆと、ビデオ信号取り込みユニット１０のビデオ信号取り込み処理、３次元画像生成ユニット１４の３次元画像生成処理及びビデオコントローラ４９による出力ビデオ信号生成処理（ディスプレイ３によるビデオ表示処理）とのタイミングの関係を示すタイミングチャートである。
【００５７】
図１１において、フレーム単位で見ると、時刻Ｔ１での入力ビデオ信号Ｖｉはテクスチュアメモリ部１５のメモリ３３に取り込まれる。この間、３次元画像生成ユニット１４では、以前にテクスチュアメモリ部１５のメモリ３４に取り込まれているビデオ信号を使用して３次元画像生成処理を行っている。時刻Ｔ１で取り込まれたビデオ信号Ｖｉは、次のフレームの時刻Ｔ２で３次元画像生成ユニット１４により３次元的な加工を施されてからフレームメモリ４７に書き込まれる。この間、ビデオコントローラ４９では、以前にフレームメモリ４８に書き込まれている画素情報を元に、出力ビデオ信号ＶＯＵＴを生成してディスプレイ３に出力している。時刻Ｔ１でテクスチュアメモリ部１５のメモリ３３に取り込まれた入力ビデオ信号Ｖｉは、更に次のフレームの時刻Ｔ３になって初めてビデオコントローラ４９によりフレームメモリ４７から読み出され、これを元に出力ビデオ信号ＶＯＵＴが生成されてディスプレイ３に出力される。
【００５８】
従って、本実施例では、入力ビデオ信号と出力ビデオ信号との時間的なずれは、最小で３フレーム期間である。入力ビデオ信号と出力ビデオ信号との時間的なずれが例えば３フレーム期間であると、人間の目ではそのずれが確認できない程度の遅れでビデオ信号を３次元的に加工することが可能である。
【００５９】
多角形で近似して表現される３次元物体が複雑になり、１フレーム期間内で３次元画像生成処理が完了しない場合には、超過時間分に対応するフレーム数が、最小の３フレーム期間に加えビデオ信号の遅れとして発生する。このような、ビデオ信号の著しい遅れを回避するため、本実施例では、ビデオコントローラ４９が１フレーム期間の完了時点で制御部４１に対して打ち切り信号ＳＴＰを供給する。３次元画像生成処理中にこの打ち切り信号ＳＴＰが有効になると、制御部４１は強制的に３次元画像生成処理を打ち切って画像完了信号Ｅを有効にすると共に、ビデオコントローラ４９が読み出すフレームメモリ及び描画判定部４４が書き込むフレームメモリを切り換える。これにより、出力ビデオ信号ＶＯＵＴの遅れを、一定の値に制限することができる。
【００６０】
尚、３次元画像生成処理を途中で打ち切ることによって生じる不都合は、画面上の主要な画素を先に描画して、打ち切られても支障のない画面の周辺部分の情報を後で描画する等の、３次元形状の作り方により違和感がないようにする対策を取ることにより、回避することができる。
【００６１】
次に、本発明になる画像情報処理装置の第２実施例を、図１２と共に説明する。図１２は、第２実施例の概略構成を示すブロック図であり、同図中、図１と同一部分には同一符号を付し、その説明は省略する。
図１２において、３次元コンピュータグラフィックス生成装置１は、マザーボード７０及びドーターボード７１からなる。マザーボード７０は、大略図示の如く接続されたインタフェースコントローラ７０１と、コントローラ７０２と、３次元画像生成部７０３と、ローカルメモリ７０４と、フレームメモリ７０５，７０６と、ビデオエンコーダ７０７とからなる。他方、ドーターボード７１は、大略図示の如く接続されたビデオデコーダ７１１と、コントローラ７１２と、クロスバースイッチ７１３と、テクスチュアメモリ７１４〜７１６とからなる。インタフェースコントローラ７０１は、システムバス１２を介してホストプロセッサ１１に接続されている。ビデオエンコーダ７１７の出力は、例えばＣＲＴからなるディスプレイ３に接続されている。又、ビデオカメラ２等からの入力ビデオ信号は、ビデオデコーダ７１１に供給される。
【００６２】
３次元画像生成部７０３と、ローカルメモリ７０４と、フレームメモリ７０５，７０６と、ビデオエンコーダ７０７とからなる部分は、図１に示す３次元画像生成ユニット１４に対応する。ビデオデコーダ７１１と、コントローラ７１２とからなる部分は、図１に示すビデオ信号取り込みユニット１０に対応する。又、クロスバースイッチ７１３と、テクスチュアメモリ７１４〜７１６とからなる部分は、図１に示すテクスチュアメモリ部１５に対応する。
【００６３】
インタフェースコントローラ７０１及びコントローラ７０２は、システムバス１２の制御を行う。例えば、インタフェースコントローラ７０１にはＡＭＣＣ社製の半導体回路ＡＭＣＣ−Ｓ５９３３が使用され、コントローラ７０２にはザイリンクス社製の半導体回路ＸＣ３１９０Ａが使用される。３次元画像生成部７０３は、入力ビデオ信号関連の制御以外の全ての機能を有し、図７に示す制御部４１、ＤＤＡ部４２、テクスチュア処理部４３及び描画判定部４４からなる部分に対応する。３次元画像生成部７０３には、例えば富士通社製の半導体回路ＭＢ８６２７１が使用される。ローカルメモリ７０４は、図７に示すローカルメモリ４６に対応し、例えば日本電気社製のＳＤＲＡＭｕＰｄ４５１６１６１Ｇ５−Ａ１２を使用し得る。フレームメモリ７０５，７０６は、夫々図７に示すフレームメモリ４７，４８に対応し、例えば日本電気社製のＶＲＡＭｕＰＤ４８２４４５を使用し得る。ビデオエンコーダ７０７は、３次元画像生成部７０３によりフレームメモリ７０５，７０６上に生成された画像情報をビデオ信号に変換して出力する。このビデオ信号への変換を行う際には、ビデオデコーダ７１１で入力ビデオ信号から分離された同期信号を使用するので、入力ビデオ信号と同期した出力ビデオ信号を出力することができる。ビデオエンコーダ７０７には、例えばブルックツリー社製の半導体回路Ｂｔ８５５を使用し得る。
【００６４】
ビデオデコーダ７１１には、例えばブルックツリー社製の半導体回路Ｂｔ８１２を使用し得る。コントローラ７１２は、図３に示す調停回路３１を含み、例えばザイリンクス社製の半導体回路ＸＣ３１９０Ａを使用し得る。クロスバースイッチ７１３は、図３に示すクロスバースイッチ回路３２に対応し、例えばテキサスインスツルメンツ社製の半導体回路ＳＮ７４ＣＢＴ１６２０９を使用し得る。テクスチュアメモリ７１４〜７１６は、図３に示すテクスチュアメモリ３３，３４及び図示しない第３のメモリに対応する。この場合、テクスチュアメモリ７１６は、３次元画像生成ユニット１４が生成するべき多角形の表面に模様として張り付ける２次元画像情報を格納するための専用の第３のメモリとして設けられている。テクスチュアメモリ７１４〜７１６には、夫々例えば東芝社製のＳＲＡＭＴＣ５５１６６４ＡＪを使用し得る。
【００６５】
本実施例によれば、既存の半導体回路を用いた比較的簡単な構成で、ビデオ信号のリアルタイム処理及びビデオ信号に対する自由な３次元コンピュータグラフィック処理を両立可能とする安価な画像情報処理装置を実現できる。
尚、上記実施例では、説明の便宜上、テクスチュアメモリ及びフレームメモリは、各々２つ以上設けてリード／ライトアクセスを切り換えているが、デュアルポートメモリのような単一のメモリ素子を用いてリード／ライトアクセスされる複数のメモリ領域を切り換えるようにしても良いことは、言うまでもない。
【００６６】
又、本発明は、基本的にはテクスチュアメモリを用いてテクスチュア処理を行う構成の画像情報処理装置又はシステムであれば、適用可能である。そこで、本発明を適用し得る画像情報処理システムの一例を、図１３〜図１６と共により詳細に説明する。
【００６７】
図１３は、本発明を適用可能な画像情報処理システムの構成を示すブロック図である。同図において、画像情報処理システム１１１は、三次元画像データをディスプレイ等の表示部１１７に表示できるデータに変換して出力する。この情報処理システム１１１は、三次元画像データを供給して上位システムとして動作するホストコンピュータ１１２、ホストコンピュータ１１２から供給されるデータを処理し、描画しようとする画像のデータに展開する情報処理装置１１３、情報処理装置１１３で展開された画像データを格納するフレームメモリ１１４、情報処理装置１１３での処理プログラムや表示しようとする三次元画像データ等が格納されるローカルメモリ１１５、表示体表面に模様をはり付けるためのテクスチャデータが格納されたテクスチャメモリ１１６、及びフレームメモリ１１４に格納された二次元の画像データを読み出して表示する表示部１１７より構成される。
【００６８】
ホストコンピュータ１１２は、三次元の画像データを図形要素に分解し、幾何変換を行なった後、パケット形式のデータとして情報処理装置１１３に供給する。
情報処理装置１１３は、ホストコンピュータ１１２から供給される三次元の画像データに対して予め設定された処理を実行し、描画しようとする画像データを作成してフレームメモリ１１４上に展開する。情報処理装置１１３は、供給された画像データを内部に予め設定された専用ハードウェアにより処理するグラフィック専用ハードウェア部１１８、グラフィック専用ハードウェア部１１８と並列に動作してプログラムに応じた処理を実行するマイクロプログラム（μＰ）実行部１１９、グラフィック専用ハードウェア部１１８、マイクロプログラム実行部１１９からの指示に応じてフレームメモリ１１４に対して画像データの書込み、読み出しを制御するフレームメモリ制御部１２０、ローカルメモリ１１５に対してマイクロプログラム及び処理済みの画像データの書き込み、読み出し制御を行なうローカルメモリ制御部１２１、及びテクスチャメモリ１１６に対してテクスチャデータの書き込み、読み出し制御を行なうテクスチャメモリ制御部１２２より構成される。
【００６９】
フレームメモリ１１４は、ＶＲＡＭ（ビデオ・ランダム・アクセス・メモリ）等よりなり、Ｒ，Ｇ，Ｂの色データ及びα値を各８ビットで格納する。
ローカルメモリ１１５は、ＳＤＲＡＭ等よりなり、マイクロプログラム、Ｒ，Ｇ，Ｂの色データ、ブレンディングに関するα値、奥行に関するＺ値等の描画データやユーザデータを格納する。
【００７０】
テクスチャメモリ１１６は、ＳＤＲＡＭ，ＳＲＡＭ，ＰＲＯＭ等よりなり、Ｒ，Ｇ，Ｂの色データ、α値より構成されるテクスチャデータを格納する。
テクスチャメモリ１１６では、テクスチャデータのパターン毎にページ単位でデータが管理されていており、ページ毎にデータを参照すればよいため、テクスチュアメモリ１１６へのアクセスは高速で行なえる。
【００７１】
グラフィック専用ハードウェア部１１８は、三次元グラフィックス描画を行なう為の専用のハードウェア部で、三次元グラフィックスを構成する図形（ポリゴン）の内部を構成する各ピクセルを補間する処理を行なう線形補間演算（ＤＤＡ）部１２３、線形補間演算部１２３で補間された部分の文様を設定する処理をテクスチャメモリ１１６内のデータに基づいて実行するテクスチャ処理部１２４、画素単位のデータをもとにその画素を描画すべきか否かの判定を行う描画条件判定部１２５、及び描画する画素の色値とその画素の下にすでに描画されている画素の色値との混ぜ合わせを行なうブレンダ部１２６より構成され、必要なパラメータを設定して起動をかけることによりマイクロプログラム実行部１１９とは独立して処理が行われる。
【００７２】
ＤＤＡ部１２３には補間の開始点のピクセルの座標（Ｘ，Ｙ，Ｚ）、色（Ｒ，Ｇ，Ｂ，α）、テクスチャ座標（Ｓ，Ｔ，Ｑ）、デプスキュー値（Ｄ）、補間の開始点への各値の増分値（ΔＸ，ΔＹ，ΔＺ，ΔＲ，ΔＧ，ΔＢ，ΔＡ，ΔＳ，ΔＴ，ΔＱ，ΔＤ）及び補間演算の回数が与えられる。ＤＤＡ部１２３は、設定された補間演算回数だけ初期値に増分値を加算し、補間値として出力する。
【００７３】
マイクロプログラム実行部１１９は、ホストコンピュータ１１２から供給されるパケット形式のデータの解析処理を行なうと共に、情報処理装置１１３と接続されるフレームメモリ１１４、ローカルメモリ１１５及びテクスチャメモリ１１６に対するアクセス制御を行なうホストインタフェース（Ｉ／Ｆ）部１２７、情報処理装置１１３全体をローカルメモリ１１５に格納されたプログラムに従って制御する実行制御部１２８、実行制御部２８により解釈・実行される命令ブロックを一時格納する命令キャッシュ１２９、実行制御部１２８からの命令に従って各種演算を実行する主演算部１３０、実行制御部１２８からの命令に従って主演算部１３０と並列に各種演算を実行する副演算部１３１、主演算部１３０及び副演算部１３１に対して並列にデータの読み出し、書き込み可能な共有レジスタ１３２、及び共有メモリ１３３より構成される。
【００７４】
ホストインタフェース部１２７は、描画しようとするポリゴンのデータを一時的に格納するバッファ（図示せず）を有し、データはホストインタフェース部１２７から順次読み込まれる。
主演算部１３０はプログラム実行制御機能を有し、副演算部１３１はグラフィック専用ハードウェア部１１８を制御する機能を有する。又、主副演算部１３０，１３１は並列命令コードによって同期して動作する構成とされている。
【００７５】
マイクロプログラム実行部１１９は、処理をマイクロプログラムにより制御するため、基本的な命令を組み合わせることにより各種処理に対応するＲＩＳＣ型命令セットに対応する構成とされている。
フレームメモリ制御部１２０はフレームメモリ１１４、グラフィック専用ハードウェア部１１８及びマイクロプログラム実行部１１９のメインバスと接続されていて、グラフィック専用ハードウェア部１１８及びマイクロプログラム実行部１１９からの要求に応じてグラフィック専用ハードウェア部１１８、マイクロプログラム実行部１１９からフレームメモリ１１４への画像データの書き込み、フレームメモリ１１４からグラフィック専用ハードウェア部１１８及びマイクロプログラム実行部１１９への画像データの読み出しを制御する。
【００７６】
フレームメモリ制御部１２０は、三次元画像描画時にはフレームメモリ１１４へのアクセスを書き込み専用とし、フレームメモリ１１４へのアクセス速度を向上させている。
ローカルメモリ制御部１２１は、ローカルメモリ１１５、グラフィック専用ハードウェア部１１８及びマイクロプログラム実行部１１９と接続されていて、グラフィック専用ハードウェア部１１８、マイクロプログラム実行部１１９からローカルメモリ１１５へのマイクロプログラム、色データ（Ｒ，Ｇ，Ｂ，α）、Ｚ値、ウィンドウＩＤ等の各種データの書き込みやローカルメモリ１１５からグラフィック専用ハードウェア部１１８及びマイクロプログラム実行部１１９への各種データの読み出しを制御する。
【００７７】
ローカルメモリ制御部１２１は、三次元画像描画時にはローカルメモリに色系データ（Ｒ，Ｇ，Ｂ，α）の他に（Ｚ，Ｓ，Ｔ，Ｑ，Ｄ）等のテクスチャ系のデータをコピーさせる。このため、フレームメモリ１１４へのテクスチャ系データの記憶が不要となり、フレームメモリ１１４へのアクセス速度を向上させることができ、処理の高速化が実現されている。
【００７８】
テクスチャメモリ制御部１２２はテクスチャメモリ１１６、グラフィック専用ハードウェア部１１８及びマイクロプログラム実行部１１９と接続され、グラフィック専用ハードウェア部１１８及びマイクロプログラム実行部１１９からの要求によりテクスチャメモリ１１６からグラフィック専用ハードウェア部１１８及びマイクロプログラム実行部１１９へのテクスチャデータの読み出しを制御すると共にマイクロプログラム実行部１１９からの要求によりマイクロプログラム実行部１１９からテクスチャメモリ１２２へのテクスチャデータの書き込みを制御する。
【００７９】
フレームメモリ制御部１２０、ローカルメモリ制御部１２１、テクスチャメモリ制御部１２２によりグラフィック専用ハードウェア部１１８、マイクロプログラム実行部１１９から夫々フレームメモリ１１４、ローカルメモリ１１５、テクスチャメモリ１１６にアクセスできるため、メモリへのアクセスの競合が生じず、処理にデータの待ち時間が生じないため、効率的にデータ処理が行なえる。
【００８０】
実行制御部１２８は４ステージパイプラインによって命令フェッチ（Ｆ）、命令解釈（Ｄ）、データ読み込み（Ｒ）、演算実行・データ格納（Ｅ）の順で実行を制御する。
実行制御部１２８は主演算部１３０、副演算部１３１、グラフィック専用ハードウェア部１１８の処理を制御する３フィールド命令系統を有し、夫々に処理の制御が行なえる構成とされている。
【００８１】
表示部１１７はフレームメモリ１１４に格納された色系データ（Ｒ，Ｇ，Ｂ，α）に基づいて画像を表示する。
図１４は、上記画像情報処理システム１１１における情報処理時の全体的な流れを示す動作フローチャートである。
【００８２】
本実施例の情報処理装置１１３では、情報処理を行なう際に、先ずステップＳ１−１で初期化を行なう。
次に、未処理パケットの有無が判断され、未処理パケットが有れば、パケットに対応したデータ処理を実行する。具体的には、ステップＳ１−２で未処理パケットがあるか否かを判定し、判定結果が有となるとステップＳ１−３でパケットに対応したデータ処理を行う。
【００８３】
パケットに対応したデータ処理が終了すると、ステップＳ１−４で次の未処理パケットに対してデータに対応したパケット処理を実行する。
また、未処理パケットが無い場合には、ステップＳ１−２で次のパケットが供給されるまで待機する。
【００８４】
以上のように、情報処理装置１１３はホストコンピュータ１２から処理データをパケット形式で受け取り、パケット毎に処理を実行する。
次に具体的なデータ処理三次元グラフィックス情報の描画処理について説明する。
【００８５】
図１５は、上記画像情報処理システム１１１におけるラスタライズ処理時のマイクロプログラム実行部１１９の動作を説明する動作フローチャートである。
マイクロプログラム実行部１１９では、ステップＳ２−１で先ずホストインタフェース部１２７より画像の描画に必要となるポリゴンの頂点の座標（Ｘ，Ｙ，Ｚ）色値（Ｒ，Ｇ，Ｂ，α）、テクスチャ座標（Ｓ，Ｔ，Ｑ）、デプスキュー値（Ｄ）よりなる初期値（Ｘ，Ｙ，Ｚ，Ｒ，Ｇ，Ｂ，α，Ｄ，Ｓ，Ｔ，Ｑ）頂点間における各値の増分値（ｄＸ，ｄＹ，ｄＺ，ｄＲ，ｄＧ，ｄＢ，ｄα，ｄＤ，ｄＳ，ｄＴ，ｄＱ）を読み込む。
【００８６】
次に、ステップＳ２−２で、ポリゴンの頂点間の辺を構成する端点を算出する。このとき、後述するようにポリゴンの辺と画素とは必ずしも一致しないため、ポリゴンが正確に描画されるように、グラフィック専用ハードウェア部１１８のＤＤＡ部１２３に端点の補正計算が実行させる。
【００８７】
ステップＳ２−３は、グラフィック専用ハードウェア部１１８からの一つの端点に対する補間処理が終了したことを示す補間処理終了通知の有無を判定する。ここで、マイクロプログラム実行部１１９はグラフィック専用ハードウェア部１１８から補間処理終了通知が供給されると、ステップＳ２−４でグラフィック専用ハードウェア部１１８の線形補間処理を実行する専用ハードウェアであるＤＤＡ部１２３にステップＳ１−２で既に計算した端点の（Ｘ，Ｙ，Ｚ，Ｒ，Ｇ，Ｂ，α，Ｄ，Ｓ，Ｔ，Ｑ）値を供給する。
【００８８】
マイクロプログラム実行部１１９は、グラフィック専用ハードウェア部１１８より補間処理終了通知が供給されない、つまり、グラフィック専用ハードウェア部１１８のＤＤＡ部１２３での補間処理が終了していない間は、ステップＳ２−５で示すように次の処理を行なわず、待機状態となる。
【００８９】
ステップＳ２−６は、全端点の計算が終了したか否かを判定し、判定結果がＮＯであると処理がステップＳ２−２へ戻る。これにより、上記ステップＳ２−２〜Ｓ２−５の処理が一つのポリゴンが形成されるまで繰り返される。
図１６は、上記画像情報処理システム１１１におけるラスタライズ処理時のグラフィック処理専用ハードウェア部１１８のＤＤＡ部１２３の動作を説明する動作フローチャートである。
【００９０】
グラフィック専用ハードウェア部１１８は先ずステップＳ３−１で、マイクロプログラム実行部１１９から補正計算された端点の（Ｘ，Ｙ，Ｚ，Ｒ，Ｇ，Ｂ，α，Ｄ，Ｓ，Ｔ，Ｑ）値及び一ラインの補間に必要な補間処理回数ｎ、隣接する画素間の（Ｘ，Ｙ，Ｚ，Ｒ，Ｇ，Ｂ，α，Ｄ，Ｓ，Ｔ，Ｑ）値の増分値（ｄＸ，ｄＹ，ｄＺ，ｄＲ，ｄＧ，ｄＢ，ｄα，ｄＤ，ｄＳ，ｄＴ，ｄＱ）を読み込む。
【００９１】
次に、ステップＳ３−２でグラフィック専用ハードウェア部１１８での読み込んだ補間処理回数ｎをグラフィック専用ハードウェア部１１８に内蔵されたリピートカウンタ（ＲＣ）にセットする。
ステップＳ３−３では、グラフィック専用ハードウェア部１１８はマイクロプログラム実行部１１９から読み込まれた端点の（Ｘ₀，Ｙ₀，Ｚ₀，Ｒ₀，Ｇ₀，Ｂ₀，α₀，Ｄ₀，Ｓ₀，Ｔ₀，Ｑ₀）値をＤＤＡ部１２３での初回のデータとしてテクスチャ処理部１２４に供給する。
【００９２】
ステップＳ３−４では、グラフィック専用ハードウェア部１１８のＤＤＡ部１２３において、初回の値（Ｘ₀，Ｙ₀，Ｚ₀，Ｒ₀，Ｇ₀，Ｂ₀，α₀，Ｄ₀，Ｓ₀，Ｔ₀，Ｑ₀）にステップＳ２−１で読み込んだ増分値（ｄＸ（＝１），ｄＹ（＝０），ｄＺ，ｄＲ，ｄＧ，ｄＢ，ｄα，ｄＤ，ｄＳ，ｄＴ，ｄＱ）を加算した値（Ｘ₀＋１，Ｙ₀，Ｚ₀＋ｄＺ，Ｒ₀＋ｄＲ，Ｇ₀＋ｄＧ，Ｂ₀＋ｄＢ，α₀＋ｄα，Ｄ₀＋ｄＤ，Ｓ₀＋ｄＳ，Ｔ₀＋ｄＴ，Ｑ₀＋ｄＱ）を今回の画素の値とする。
【００９３】
次に、ステップＳ３−５では、今回求めた画素の値（Ｘ₀＋１，Ｙ₀，Ｚ₀＋ｄＺ，Ｒ₀＋ｄＲ，Ｇ₀＋ｄＧ，Ｂ₀＋ｄＢ，α₀＋ｄα，Ｄ₀＋ｄＤ，Ｓ₀＋ｄＳ，Ｔ₀＋ｄＴ，Ｑ₀＋ｄＱ）をテクスチャ処理部１２４に供給し、リピートカウンタＲＣを起動して、セトされた補間処理回数ｎから１を減算し、補間処理回数を（ｎ−１）とする。
【００９４】
ステップＳ３−６では、グラフィック専用ハードウェア部１１８は前回の画素値（Ｘｎ_-1，Ｙｎ_-1，Ｚｎ_-1，Ｒｎ_-1，Ｇｎ_-1，Ｂｎ_-1，αｎ_-1，Ｄｎ_-1，Ｓｎ_-1，Ｔｎ_-1，Ｑｎ_-1）に増分値（１，０，ｄＺ，ｄＲ，ｄＧ，ｄＢ，ｄα，ｄＤ，ｄＳ，ｄＴ，ｄＱ）を加算し、今回の画素値とし、テクスチャ処理部１２４に供給し、補間処理回数から１を減算する。
【００９５】
上記ステップＳ３−５，Ｓ３−６をリピートカウンタＲＣの値が「０」となるまで繰り返し、リピートカウンタＲＣの値が「０」となった時点で補間処理終了通知をマイクロプログラム実行部１１９に通知する。具体的には、ステップＳ３−７は設定回数が「０」であるか否かを判定し、判定結果がＹＥＳであるとステップＳ３−８で補間処理終了通知をマイクロプログラム実行部１９に通知し、処理が終了する。他方、ステップＳ３−７の判定結果がＮＯであると、ステップＳ３−６は前回のデータに増分値を加算して今回のデータとした後、処理がステップＳ３−５へ戻る。以上のように、端点から所定の補間処理を設定回数分繰り返すだけでポリゴン内部のデータの補間が実行できる。このため、補間のための処理が単純化され、簡単なパイプライン処理で実現できる。
【００９６】
図１７は、図１３に示すグラフィック専用ハードウェア部１１８の概略構成を、マイクロプログラム実行部１１９、フレームメモリ制御部１２０、ローカルメモリ制御部１２１及びテクスチュアメモリ制御部１２２等の図示を省略し、本発明の特徴部分と共に示すブロック図である。同図中、図１、図７及び図１３と同一部分には同一符号を付し、その説明は省略する。
【００９７】
図１７に示すように、テクスチュアメモリ部１５−１は、テクスチュアメモリ１１６を除き、図３に示すテクスチュアメモリ部１５と同じ構成を有する。テクスチュアメモリ１１６は、図３に示すメモリ３３，３４及び第３のメモリ（図示せず）に対応するので、テクスチュアメモリ部１５−１は大略図３に示す調停回路３１とクロスバースイッチ回路３２とからなる。テクスチュアメモリ１１６及びテクスチュアメモリ部１５−１は、夫々テクスチュアバス５０を介してテクスチュア処理部１２４に接続されている。
【００９８】
尚、ビデオ信号取り込みユニット１０に供給される入力ビデオ信号は、ビデオカメラ２から出力されるものに限定されず、例えばビデオテープレコーダ（ＶＴＲ）から出力されるものでも良い。
以上、本発明を実施例により説明下が、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
【００９９】
【発明の効果】
請求項１〜３記載の発明によれば、ビデオ信号のリアルタイム処理及びビデオ信号に対する自由な３次元コンピュータグラフィック処理を、比較的簡単な回路構成を用いて両立させることが可能となり、仮想空間と実在空間とを切れ目なく融合することができる。
【０１００】
請求項４記載の発明によれば、ビデオ合成処理で一般的に行われているクロマキー処理を実現することができる。
請求項５〜７記載の発明によれば、比較的簡単な回路を設けることにより、ビデオ信号を直接取り込む機能を有さない画像情報処理装置においても、ビデオ信号を３次元的に加工することが可能となる。
【０１０１】
請求項８記載の発明によれば、人間の目には確認できない程度の時間的な遅れで入力ビデオ信号を３次元的に加工することができる。
請求項９及び１０記載の発明によれば、入力ビデオ信号から導出される第１の画像情報が途切れないように、且つ、３次元画像生成時に用いられる模様と同様に扱うことができるようにすることが可能となる。
【０１０２】
従って、本発明によれば、ビデオ信号のリアルタイム処理及びビデオ信号に対する自由な３次元コンピュータグラフィック処理を両立させることが可能となり、仮想空間と実在空間とを切れ目なく融合することができる。
【図面の簡単な説明】
【図１】本発明になる画像情報処理装置の第１実施例の概略構成を示すブロック図である。
【図２】ビデオ信号取り込みユニットの一実施例の概略構成を示すブロック図である。
【図３】テクスチュアメモリ部の一実施例の概略構成を示すブロック図である。
【図４】調停回路の状態遷移図である。
【図５】調停回路の状態とクロスバースイッチ回路の接続状態との関係を示す図である。
【図６】実施例の動作タイミングを説明するためのタイミングチャートである。
【図７】３次元画像生成ユニットの一実施例の概略構成を示すブロック図である。
【図８】画素の各色値に対する描画判定部の処理を説明するフローチャートである。
【図９】色判定モードと描画条件を説明する図である。
【図１０】色判定モードと描画条件を説明する図である。
【図１１】フレーム信号と、ビデオ信号取り込み処理、３次元画像生成処理及び出力ビデオ信号生成処理とのタイミングの関係を示すタイミングチャートである。
【図１２】本発明になる画像情報処理装置の第２実施例の概略構成を示すブロック図である。
【図１３】本発明を適用可能な画像情報処理システムの構成を示すブロック図である。
【図１４】画像情報処理システムにおける情報処理時の全体的な流れを示す動作フローチャートである。
【図１５】画像情報処理システムにおけるラスタライズ処理時のマイクロプログラム実行部の動作を説明する動作フローチャートである。
【図１６】画像情報処理システムにおけるラスタライズ処理時のグラフィック処理専用ハードウェア部のＤＤＡ部の動作を説明する動作フローチャートである。
【図１７】グラフィック専用ハードウェア部の概略構成を本発明の特徴部分と共に示すブロック図である。
【図１８】ビデオ信号も処理可能な、考えられる第１の３次元コンピュータグラフィックス生成装置の概略構成を示すブロック図である。
【図１９】ビデオ信号も処理可能な、考えられる第２の３次元コンピュータグラフィックス生成装置の概略構成を示すブロック図である。
【符号の説明】
１３次元画像生成装置
２ビデオカメラ
３ディスプレイ
１０ビデオ信号取り込みユニット
１１ホストプロセッサ
１２システムバス
１４３次元画層生成ユニット
１５テクスチュアメモリ部
３１調停回路
３２クロスバースイッチ回路
３３，３４メモリ

Claims

２次元画像を示す第１の画像情報と、３次元物体を複数の多角形の近似により表現する３次元コンピュータグラフィックスを示す第２の画像情報とが入力されるクロスバースイッチ回路と、
該第１の画像情報に関連した同期信号に基づいて該クロスバースイッチ回路の接続を予め定められた規則に従って制御する調停回路と、
該クロスバースイッチ回路から出力される画像情報を第１のメモリ領域に書き込んでいる期間、画像情報を第１のメモリ領域とは異なる第２のメモリ領域から読み出し可能なメモリ手段と、
該第２の画像情報を生成する３次元画像情報生成手段を更に備え、
該３次元画像情報生成手段は、該メモリ手段の該第１のメモリ領域に書き込んでいる期間であっても該第２のメモリ領域に格納された画像情報を読み出して３次元的に加工して該第２の画像情報として出力ビデオ信号を出力可能である、画像情報処理装置。
前記３次元画像情報生成手段は、前記メモリ手段の第３の領域に格納された多角形の表面に張り付けるべき模様に関する画像情報を読み出して第２の画像情報を生成する、請求項１記載の画像情報処理装置。
前記３次元画像情報生成手段は、外部から入力される多角形の座標を解釈して多角形を１画素単位で分解したときの座標及び色値を計算する線形補間処理部と、前記メモリ手段の第３の領域をアクセスして多角形の表面に張り付けるべき模様の色値を計算するテクスチュア処理部と、最終的な色情報を格納するフレームメモリ手段と、画素の奥行き情報及び色情報に基づいて該フレームメモリ手段への描画を行うか否かを判定する描画判定部と、該フレームメモリ手段から読み出した色情報に基づいて出力ビデオ信号を生成出力するビデオコントローラとを有する、請求項１記載の画像情報処理装置。
前記描画判定部は、予め定められた複数の色判定モードを有し、色判定モードに応じて描画条件を決定することにより所定の色の画素を抽出可能である、請求項３記載の画像情報処理装置。
２次元画像を示す入力ビデオ信号に基づいて第１の画像情報を生成するビデオ信号取り込み手段を更に備えた、請求項１〜４のいずれか一項記載の画像情報処理装置。
前記ビデオ信号取り込み手段は、前記調停回路から得られる信号に基づいて複数の入力ビデオ信号から１つの入力ビデオ信号を選択出力するセレクタを有する、請求項５記載の画像情報処理装置。
前記入力ビデオ信号は、ビデオカメラの出力から得られる、請求項５又は６記載の画像情報処理装置。
前記ビデオ信号取り込み手段に入力される入力ビデオ信号に対する前記３次元画像情報生成手段から出力される出力ビデオ信号の遅れを所定時間に保つ手段を更に備えた、請求項５〜７のいずれか一項記載の画像情報処理装置。
前記メモリ手段は、第１のメモリ領域を構成する第１のメモリと、第２のメモリ領域を構成すると共に第１のメモリとは独立した第２のメモリとからなる、請求項１〜８のいずれか一項記載の画像情報処理装置。
前記メモリ手段は、第１のメモリ領域を構成する第１のメモリと、第２のメモリ領域を構成すると共に第１のメモリとは独立した第２のメモリと、第３のメモリ領域を構成すると共に第１及び第２のメモリとは独立した第３のメモリとからなる、請求項２〜４のいずれか一項記載の画像情報処理装置。