JP3620857B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP3620857B2 JP3620857B2 JP53078697A JP53078697A JP3620857B2 JP 3620857 B2 JP3620857 B2 JP 3620857B2 JP 53078697 A JP53078697 A JP 53078697A JP 53078697 A JP53078697 A JP 53078697A JP 3620857 B2 JP3620857 B2 JP 3620857B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- packet
- procedure
- data
- unpacketization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/153—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using cathode-ray tubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Image Generation (AREA)
- Bus Control (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Input (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
技術分野
本発明は、コンピュータを用いた映像機器であるグラフィックコンピュータ、特殊効果装置、ビデオゲーム機等に用いられる画像処理装置及び画像処理方法に関する。
背景技術
家庭用TVゲーム機やパーソナルコンピュータあるいはグラフィックコンピュータなどにおいて、テレビジョン受像機やモニタ受像機あるいは陰極線管（CRT:Cathode Ray Tube）ディスプレイ装置などに出力して表示する画像のデータすなわち表示出力画像データを生成する画像処理装置は、汎用メモリチップ、中央演算処理装置（CPU:Central Processing Unit）やその他の演算チップが組み合わせて構成され、CPUとフレームバッファの間に専用の描画装置を設けることにより、高速処理を可能にしている。
すなわち、上記画像処理装置において、CPU側では、画像を生成する際に、直接フレームバッファをアクセスするのではなく、座標変換やクリッピング、光源計算等のジオメトリ処理を行い、３角形や４角形などの基本的な単位図形（ポロゴン）の組み合わせとして３次元モデルを定義して３次元画像を描画するための描画命令を作成し、その描画命令を外部バスを介して描画装置に送る。例えば、３次元のオブジェクトを表示する場合は、オブジェクトを複数のポリゴンに分解して、各ポリゴン対応する描画命令をCPUから描画装置に転送する。そして、描画装置は、CPUから外部バスを介して送られてきた描画命令を解釈して、頂点の色データと奥行きを示すＺ値から、ポリゴンを構成する全ての画素の色とＺ値を演算して、画素データをフレームバッファに書き込むレンダリング処理を行い、フレームバッファに図形を描画する。なお、上記Ｚ値は、視点からの奥行き方向の距離を示す情報である。
例えば、上記画像生成装置において、３次元のオブジェクトを表示する場合は、オブジェクトを複数のポリゴンに分解して、各ポリゴンに対応する描画命令をCPUから描画装置に転送する。この際に、オブジェクトをより実際に近く表現するするために、テクスチャマッピングやミップマッピングと呼ばれる手法が採用されている。さらに、色変換データを記憶したカラールックアップテーブル（CLUT:Color Look Up Table）を介して画像の色データを変換することにより、表示色を変化させる手法も広く知られている。
ここで、テクスチャマッピングとは、テクスチャソース画像として別に用意された２次元画像（絵柄）すなわちテクスチャパターンを物体を構成するポリゴンの表面に張り付ける技術である。また、ミップマッピングは、３次元モデルに近づいたり、そこから遠ざかった場合に、ポリゴンの張り付ける絵柄が不自然にならないように画素データを補間するようにしたテクスチャマッピングの手法の１つである。
ところで、家庭用TVゲーム機やパーソナルコンピュータのような汎用メモリチップ、CPUやその他の演算チップが組み合わせて構成された演算処理システムでは、演算チップの動作周波数や回路規模などの性能向上に比べてメモリの動作速度や外部バスの性能の向上が十分でなく、外部バスがボトルネックとなっていた。また、大きなデータ転送量を持つメモリバスシステムも一般にレイテンシィが大きく、大容量のバースト転送では高性能だが、通常のCPUアクセスのような小容量でランダムな転送では、性能を発揮できていない。
コマンドパケット等の予め固定されたパケットを用いる場合、ダイレクトメモリアクセスコントローラ（DMAC:Direct Memory Access Controller）の利用により、効率よく転送できるが、多様なアルゴリズムには対応できず、冗長となる場合も多かった。
パケットのフォーマットとリフォーマットにCPU命令が消費され効率を下げていた。また、キャッシュを持ったシステムであっても、パケット長に適合するほど長いバーストを設定することができず、通常４ワード程度に固定されており、大きなデータ転送量のメモリシステムの性能を発揮できない。
そこで、本発明は、上述したような実情に鑑みてなされたものであり、次のような目的を有する。
すなわち、本発明の目的は、汎用メモリチップ、CPUやその他の演算チップが組み合わせて構成された画像処理装置における上述ようなボトルネックを軽減することにある。
本発明の他の目的は、データ転送の高効率化を図った画像処理装置及び画像処理方法を提供することにある。
また、本発明の他の目的は、メモリ上のデータの高効率化を図った画像処理装置及び画像処理方法を提供することにある。
また、本発明の他の目的は、ポケットデータの展開・梱包の高効率化を図った画像処理装置及び画像処理方法を提供することにある。
また、本発明の他の目的は、パケット形式に自由度を持たせた画像処理装置及び画像処理方法を提供することにある。
さらに、本発明の他の目的は、パケット形式に適したバースト転送を可能にした画像処理装置及び画像処理方法を提供することにある。
発明の開示
本発明は、外部バスを介して接続される複数の画像処理ユニット及びメモリを備える画像処理装置であって、少なくとも１つの画像処理ユニットのデータ入力段にデータのアンパケット化の手順が変更可能な第１のパケットエンジンを設けたことを特徴とする。これにより、本発明に係る画像処理装置では、パケット形式に自由度を持たせ、データ転送の高効率化を図るとともに、メモリ上のデータの高効率化を図ることができる。
本発明に係る画像処理装置では、他の画像処理ユニットのデータ出力段にデータをパケット化する第２のパケットエンジンを有するものとすることができる。
本発明に係る画像処理装置において、上記第２のパケットエンジンは、データのパケット化の際にそのパケット化の手順に対応するアンパケット化の手順を示す付加情報をパケットに付加し、上記第１のパケットエンジンは、アンパケット化の際に上記付加情報により示される手順に従ってアンパケット化を行うようにすることができる。これにより、本発明に係る画像処理装置における各パケットエンジンは、パケット形式に自由度を持たせ、パケットデータの展開・梱包を効率よく行うことができる。
また、本発明に係る画像処理装置において、上記第１及び第２のパケットエンジンは、データのパケット化／アンパケット化の手順を選択する手順選択手段を備えることにより、上記第２のパケットエンジンは、パケット化の際に上記手順選択手段により選択されたアンパケット化の手順を示すタグ情報をパケットに付加し、上記第２のパケットエンジンは、アンパケット化の際に上記タグ情報により指定される手順を上記手順選択手段で選択することができる。これにより、本発明に係る画像処理装置におけるパケットエンジンは、パケット形式に自由度を持たせ、パケットデータの展開・梱包を効率よく行うことができる。
さらに、本発明に係る画像処理装置は、例えば、単位図形の組み合わせとして３次元モデルを定義して３次元画像を描画するための描画命令を作成するジオメトリ処理を行うジオメトリ処理機能を有し、作成した描画命令を第２のパケットエンジンによりパケット化してコマンドパケットとして外部バスに送出する第１の画像処理ユニットと、上記第１の画像処理ユニットから送られてくるコマンドパケットを第１のパケットエンジンによりアンパケット化し、上記コマンドパケットとして送られてきた描画命令を解釈して画素データをフレームバッファに書き込むレンダリング処理を行うレンダリング処理機能を有する第２の画像処理ユニットを上記複数の画像処理ユニットとして備えることができる。これにより、本発明に係る画像処理装置では、効率よく描画処理を行うことができる。
また、本発明は、外部バスを介して接続される複数の画像処理ユニット及びメモリを備える画像処理装置における画像処理方法であって、少なくとも１つの画像処理ユニットのデータ入力段に設けたデータのアンパケット化の手順が変更可能な第１のパケットエンジンにより、アンパケット化を行うことを特徴とする。これにより、本発明に係る画像処理方法では、パケット形式に自由度を持たせ、データ転送の高効率化を図るとともに、メモリ上のデータの高効率化を図ることができる。
本発明に係る画像処理方法では、他の画像処理ユニットのデータ出力段に設けた第２のパケットエンジンにより、データをパケット化することができる。
また、本発明に係る画像処理方法では、第２のパケットエンジンにより、データのパケット化の際にそのパケット化の手順に対応するアンパケット化の手順を示す付加情報をパケットに付加し、第１のパケットエンジンにより、アンパケット化の際に上記付加情報により示される手順に従ってアンパケット化を行うようにすることができる。これにより、本発明に係る画像処理方法では、各パケットエンジンのパケット形式に自由度を持たせ、パケットデータの展開・梱包を効率よく行うことができる。
また、本発明に係る画像処理方法では、第２のパケットエンジンにより、データのパケット化の際にデータのパケット化／アンパケット化の手順を選択し、選択されたアンパケット化の手順を示すタグ情報をパケットに付加し、第１のパケットエンジンにより、アンパケット化の際に上記タグ情報により指定されるアンパケット化の手順を選択して、アンパケット化を行うようにすることができる。これにより、本発明に係る画像処理方法では、各パケットエンジンのパケット形式に自由度を持たせ、パケットデータの展開・梱包を効率よく行うことができる。
さらに、本発明に係る画像処理方法では、例えば、第１の画像処理ユニットにおいて、単位図形の組み合わせとして３次元モデルを定義して３次元画像を描画するための描画命令を作成するジオメトリ処理を行い、作成した描画命令を第２のパケットエンジンによりパケット化してコマンドパケットとして外部バスに送出し、第２の画像処理ユニットにおいて、上記第１の画像処理ユニットから送られてくるコマンドパケットを第１のパケットエンジンによりアンパケット化し、上記コマンドパケットとして送られてきた描画命令を解釈して画素データをフレームバッファに書き込むレンダリング処理を行うようにすることができる。これにより、本発明に係る画像処理装置では、効率よく描画処理を行うことができる。
したがって、本発明によれば、汎用メモリチップ、CPUやその他の演算チップが組み合わせて構成された従来の画像処理装置におけるボトルネックを軽減することができる。
【図面の簡単な説明】
図１は、本発明を適用したビデオゲーム装置の構成を示すブロック図である。
図２は、上記ビデオゲーム装置におけるプログラマブルパケットエンジンPPEの設置状態を模式的に示す図である。
図３は、上記PPEの構成を示すブロック図である。
図４は、上記PPEの動作例を示す図である。
図５は、上記PPEの他の動作例を示す図である。
図６は、上記PPEの他の動作例を示す図である。
図７は、上記ビデオゲーム装置における可変長リード／ライトバッファVLBFの動作例を示す図である。
図８は、本発明を適用したビデオゲーム装置の平面図である。
図９は、上記ビデオゲーム装置の背面図である。
図10は、上記ビデオゲーム装置の側面図である。
図11は、上記ビデオゲーム装置に装着されるCD−ROMの平面図である。
発明を実施するための最良の形態
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
本発明は、例えば図１に示すような構成のビデオゲーム装置に適用される。このビデオゲーム装置は、例えば光学ディスク等に記憶されているゲームプログラムを読み出して実行することにより、使用者からの指示に応じてゲームを行うものであって、図１に示すような構成を有している。
すなわち、このビデオゲーム装置は、２種類のバスすなわち、メインバス１とサブバス２を備える。上記メインバス１とサブバス２は、バスコントローラ10を介して接続されている。
そして、上記メインバス１には、マイクロプロセッサなどからなる主中央演算処理部（メインCPU:Central Processing Unit）11、ランダムアクセスメモリ（RAM:Random Access Memory）からなる主記憶装置（メインメモリ）12、主ダイレクトメモリアクセスコントローラ（メインDMAC:Direct Memory Access Controller）13、MPEGデコーダ（MDEC:MPEG Decoder）14及び画像処理部（GPU:Graphic Processing Unit）15が接続されている。また、上記サブバス２には、マイクロプロセッサなどからなる副中央演算処理部（サブCPU:Central Processing Unit）21、ランダムアクセスメモリ（RAM:Random Access Memory）からなる副記憶装置（サブメモリ）22、副ダイレクトメモリアクセスコントローラ（サブDMAC:Direct Memory Access Controller）23、オペレーティングシステム等のプログラムが格納されたリードオンリーメモリ（ROM:Read Only Memory）24、音声処理部（SPU:Sound Processing Unit）25、通信制御部（ATM:Asynchronous Transmission mode）26、補助記憶装置27、入力デバイス28及びCD−ROMドライブ30が接続されている。
上記バスコントローラ10は、メインバス１とサブバス２との間のスイッチングを行う上記メインバス１上のデバイスであって、初期状態ではオープンになっている。
また、上記メインCPU11は、上記メインメモリ12上のプログラムで動作する上記メインバス１上のデバイスである。このメインCPU11は、起動時には上記バスコントローラ10がオープンになっていることにより、上記サブバス２上のROM24からブートプログラムを読み込んで実行し、CD−ROMドライバ30によりCD−ROMからアプリケーションプログラム及び必要なデータを再生して上記メインメモリ12や上記サブバス２上のデバイスにロードする。このメインCPU11には、座標変換等の処理を行うジオミトリトランスファエンジン（GTE:Geometry Transfer Engine）17が搭載されているとともに、その入出力部にデータのパケット化／アンパケット化を行うとともに、その手順が変更可能なプログラマブルパケットエンジン（PPE:Programmable Packet Engine）112及び可変長リード／ライトバッファ（VLBF:Variable Length Read/Write Buffer）117が設けられている。
上記GTE17は、例えば複数の演算を並列に実行する並列演算機構を備え、上記メインCPU11からの演算要求に応じて座標変換，光源計算，行列あるいはベクトルなどの演算を高速に行う。そして、上記メインCPU11は、上記GTE17による演算結果に基づいて３角形や４角形などの基本的な単位図形（ポリゴン）の組み合わせとして３次元モデルを定義して３次元画像を描画するための各ポリゴンに対応する描画命令を作成する。そして、上記PPE112は、この描画命令をパケット化してコマンドパケットとして、上記メインバス１を介して上記GPU15に転送する。
また、上記メインDMAC13は、メインバス１上のデバイスを対象とするDMA転送の制御等を行う上記メインバス１上のデバイスである。このメインDMAC13は、上記バスコントローラ10がオープンになっているときにはサブバス２上のデバイスも対象とする。
また、上記GPU15は、レンダリングプロセッサとして機能する上記メインバス１上のデバイスである。このGPU15は、その入出力部にデータのパケット化／アンパケット化の手順が変更可能なプログラマブルパケットエンジン（PPE:Programmable Packet Engine）152が設けられており、上記メインCPU11又はメインDMAC13から送られてくるコマンドパケット及びオブジェクトデータを上記PPE152によりアンパケット化する。そして、このGPU15は、上記コマンドパケットとして送られてきた描画命令解釈して、頂点の色データと奥行きを示すＺ値から、ポリゴンを構成する全ての画素の色を演算する。そして、画素データをＺ値に応じてフレームバッファ18に書き込むレンダリング処理を行う。
また、GPU15は、上記オブジェクトデータとして送られてきた３次元の画像データに対して、図示しないプリプロセッサにより座標変換、光源計算などの演算を行い、各ポリゴンに対応する描画命令を内部で生成することもできるようになっている。そして、上記と同様にレンダリング処理を行う。
また、上記MDEC14は、CPUと並列に動作可能なI/O接続デバイスであって、画像伸張エンジンとして機能する上記メインバス１上のデバイスである。このMDEC14は、離散コサイン変換などの直行変換により圧縮されて符号化された画像データを復号化する。
また、上記サブCPU21は、上記サブメモリ22上のプログラムで動作する上記サブバス２上のデバイスである。また、上記サブDMAC23は、サブバス２上のデバイスを対象とするDMA転送の制御等を行う上記サブバス２上のデバイスである。このサブDMAC23は、上記バスコントローラ10がクローズなっているときにのみバス権利を獲得することができる。また、上記SPU25は、サウンドプロセッサとして機能する上記サブバス２上のデバイスである。このSPU25は、上記サブCPU21又はサブDMAC23からコマンドパケットとして送られてくるサウンドコマンドに応じて、サウンドメモリ29から音源データ読み出して出力する。また、上記ATM26は、サブバス２上の通信用デバイスである。また、上記補助記憶装置27は、サブバス２上のデータ入出力デバイスであってフラッシュメモリ等の不揮発性メモリなどからなる。この補助記憶装置27は、ゲームの進行経過やスコア等のデータを一時記憶する。入力デバイス28は、サブバス２上のコントロールパッド、マウスなどのマンマシンインターフェースや、画像入力、音声入力などの他の機器からの入力用デバイスである。さらに、CD−ROMドライバ30は、サブバス２上のデータ入力デバイスであってCD−ROMからアプリケーションプログラム及び必要なデータを再生する。
すなわち、このビデオゲーム装置では、座標変換やクリッピング、光源計算等のジオメトリ処理を行い、３角形や４角形などの基本的な単位図形（ポリゴン）の組み合わせとして３次元モデルを定義して３次元画像を描画するための描画命令を作成し、各ポリゴンに対応する描画命令をコマンドパケットとしてメインバス１に送出するジオメトリ処理手段が上記メインバス１上のメインCPU11及びGTE17などにより構成され、上記ジオメトリ処理手段からの描画命令に基づいて各ポリゴンの画素データを生成してフレームバッファ18に書き込むレンダリング処理を行い、フレームバッファ18に図形を描画するレンダリング処理手段が上記GPU15により構成されている。
ここで、上記ジオメトリ処理手段を構成しているメインCPU11側のPPE112及びレンダリング処理手段を構成しているGPU15側のPPE152は、図２に示すように、それぞれ各演算ユニット内のFIFO（First In First Out）メモリによる入出力バッファ111,151と内部レジスタ113,153との間に置かれている。上記入出力バッファ111,151はデータ転送のアルゴリズムに適したビット長で構成され、内部レジスタ113,153は演算に適したビット長で構成される。
そして、各PPE112,152は、図３に示すように、入出力バッファ111,151と内部レジスタ113,153を指定するアドレス部112A,152A、データマスク部112B,152B、シフタ部112C,152C、符号拡張部112D,152D、データのパケット化／アンパケット化の各種手順を記述したリストが書き込まれているプログラム部112E,152E及び上記プログラム部112E,152Eのリストに基づいて、各部を制御するとともに、リード／ライトを制御する制御部112F,152Fで構成され、演算制御とは独立に並行して動作して、上記プログラム部112E,152Eのリストで示される手順に従ってデータのパケット化／アンパケット化を行うようになっている。
例えば、上記メインCPU11側のPPE112では、上記GTE17による演算結果に基づいて作成された描画命令をパケット化するに当たり、その描画命令に適したパケット化の手順が上記プログラム部112Eのリストの選択により指定され、この指定されたリストで示される手順に従って描画命令をフォーマッティングして梱包すなわちパケット化する。このパケット化の際に、上記リストで示されるパケット化の手順に対応するアンパケット化の手順を示すタグ情報をパケットに付加する。そして、上記GPU15側のPPE152では、上記メインCPU11又はメインDMAC13から送られてくるコマンドパケットに付加されているタグ情報により指定されるリストに記述された手順に従って上記コマンドパケットをリフォーマッティングして開包すなわちアンパケット化する。
具体的には、上記メインCPU11側のPPE112におけるプログラム部112Eは、三種類のパッキングリストPL0,PL1,PL2が記録されている。
パッキングリストPL0には、図４の（Ａ）に示すように、メインCPU11の内部レジスタ113にオブジェクトデータとして生成された頂点情報（VX0,VY0,VZ0），（VX1,VY1,VZ1），（VX2,VY2,VZ2）、各頂点の法線情報（NX0,NY0,NZ0），（NX1,NY1,NZ1），（NX2,NY2,NZ2）、各頂点の色情報（R0,G0,B0），（R1,G1,B1），（R2,G2,B2）で示される３次元の三角形情報を入出力バッファ111にパケット化してパケットコマンドとして書き込むための手順が記述されている。このパッキングリストPL0に従ったパッキング処理では、32ビットで演算された各頂点情報VX0,VY0,VZ0,VX1,VY1,VZ1,VX2,VY2,VZ2と各頂点の各法線情報NX0,NY0,NZ0,NX1,NY1,NZ1,NX2,NY2,NZ2を16ビットにしてパッキングし、また、16ビットで演算された各頂点の色情報R0,G0,B0,R1,G1,B1,R2,G2,B2を各頂点毎に16ビット、すなわちR,G,Bそれぞれ５ビット及び半透明に用いられる処理などに用いられる制御ビットの計16ビットにパッキングするとともに、当該パッキングリストPL0に対応するアンパッキングリストUL0を指定するタグ情報TAGを付加する。
また、パッキングリストPL1には、図５の（Ａ）に示すように、頂点データ（VX0,VY0,VZ0），差分データ（ΔX1,ΔY1,ΔZ1），（ΔVX2,ΔY2,ΔZ2），（ΔX3,ΔY3,ΔZ3）・・・で構成される連結三角形情報をパケット化するための手順が記述されている。このパッキングリストPL1に従ったパッキング処理では、32ビットで演算された各頂点情報VX0,VY0,VZ0を16ビットにしてパッキングし、また、32ビットで演算された各差分データΔX1,ΔY1,ΔZ1,ΔVX2,ΔY2,ΔZ2,ΔX3,ΔY3,ΔZ3・・・を８ビットにしてパッキングするとともに、当該パッキングリストPL1に対応するアンパッキングリストUL1を指定するタグ情報TAGを付加する。
さらに、パッキングリストPL2には、図６の（Ａ）に示すように、メインCPU11の内部レジスタ113に描画命令としてセットされた頂点座標（X0,Y0），（X1,Y1），（X2,Y2），（X3,Y3）及び各頂点に対応するテクスチャ座標（U0,V0），（U1,V1），（U2,V2），（U3,V3）、色情報（R0,G0,B0），（R1,G1,B1），（R2,G2,B2），（R3,G3,B3）で構成される２次元の四角形情報をパケット化するための手順が記述されている。このパッキングリストPL2に従ったパッキング処理では、32ビットで演算された各頂点座標X0,Y0,X1,Y1,X2,Y2,X3,Y3を16ビットにしてパッキングし、また、16ビットで演算された各テクスチャ座標U0,V0,U1,V1,U2,V2,U3,V3と各頂点の各色情報R0,G0,B0,R1,G1,B1,R2,G2,B2,R3,G3,B3を８ビットにしてパッキングするとともに、当該パッキングリストPL2に対応するアンパッキングリストUL2を指定するタグ情報TAGを付加する。
また、上記GPU15側のPPE152におけるプログラム部152Eは、上記パッキングリストPL0,PL1,PL2に対応する三種類のアンパッキングリストPU0,PU1,PU2が記録されている。
すなわち、アンパッキングリストUL0には、図４の（Ｂ）に示すように、入出力バッファ151に転送されてくるパケットコマンドをそのタグ情報TAGに基づいて32ビットの頂点情報（VX0,VY0,VZ0），（VX1,VY1,VZ1），（VX2,VY2,VZ2）、法線（NX0,NY0,NZ0），（NX1,NY1,NZ1），（NX2,NY2,NZ2）、16ビットの色情報（R0,G0,B0），（R1,G1,B1）,R2,G2,B2）で示される３次元の三角形情報に展開して内部レジスタ153に書き込むための手順が記述されている。
また、アンパッキングリストUL1には、図５の（Ｂ）に示すように、入出力バッファ151に転送されていくるパケットコマンドをそのタグ情報TAGに基づいて32ビットの頂点データ（VX0,VY0,VZ0）と差分データ（ΔX1,ΔY1,ΔZ1），（ΔVX2,ΔY2、ΔZ2），（ΔX3,ΔY3,ΔZ3）・・・で構成される連結三角形情報に展開して内部レジスタ153に書き込むための手順が記述されている。
さらに、パッキングリストUL2には、図６の（Ｂ）に示すように、入出力バッファ151に転送されてくるパケットコマンドをそのタグ情報TAGに基づいて32ビットの頂点座標（X0,Y0），（X1,Y1），（X2,Y2），（X3,Y3）と各頂点に対応する16ビットのテクスチャ座標（U0,V0），（U1,V1），（U2,V2），（U3,V3）及び色情報（R0,G0,B0），（R1,G1,B1），（R2,G2,B2），（R3,G3,B3）で構成される四角形情報に展開して内部レジスタ153に書き込むための手順が記述されている。
また、上記メインCPU11の入出力部に設けられているVLBF117は、図７の（Ａ），（Ｂ）に示すように、最長バースト転送に対応するリードバッファ117Rとライトバッファ117Wと、それぞれのバースト長を設定する各バースト長設定レジスタ117RL,117WLとで構成される。上記バースト長設定レジスタ117RL,117WLは、キャッシュオンする特定のルーチンの先頭でルーチン内で処理するパケットの読み込み、作成に適した長さに設定される。これにより、パケット形式に適したバースト転送を可能にし転送効率を向上させることができる。
このような本発明を適用したビデオゲーム装置は、例えば、図８の平面図、図９の正面図及び図10の側面図に示すような構成となっている。
すなわち、このビデオゲーム装置201は、図８に示すように、基本的に、装置本体202と、この装置本体202に対してケーブル227を介して接続される操作装置217により構成されている。装置本体202の上面の中央部には、ディスク装着部203が設けられ、その内部に図11に示すようなCD−ROM251が装着されるようになされている。ディスク装着部203の左側には、装置の電源をオン又はオフするときに操作される電源スイッチ205と、ゲームを一旦リセットするときに操作されるリセットスイッチ204が設けられている。また、ディスク装着部203の右側には、ディスク装着部203に対してCD−ROM251を着脱するときに操作されるディスク操作スイッチ206が設けられている。
また、装置本体202の正面には、図９に示すように、接続部207A,207Bが設けられている。これらの接続部207A,207Bには、操作装置217から導出されたケーブル227の先端に設けられている接続端子部226と、メモリーカードなどよりなる記録装置228を接続するため接続端子挿入部212と記録挿入部208がそれぞれ設けられている。すなわち、この装置本体202には、操作装置217と記録装置228がそれぞれ２個接続できるようになされている。
ここで、図９の正面図には、右側の接続部207Bに接続端子部226と記録装置228が装着され、左側の接続部207Aには接続端子部226と記録装置228のいずれも装着されていない状態が示されている。この図９に示すように、記録装置228を装着する記録挿入部208にはシャッタ209が設けられており、記録装置238を装置本体202に対して装着するときに、記録装置238の先端で、このシャッタ209を押し込むようにして、装着が行われるようになっている。
また、接続端子部226の把持部231Aと記録装置238には把持部242Aには、それぞれ例えばローレット加工などによる滑り止め加工が施されている。なお、図10の側面図に示すように、接続端子部226と記録装置238の長さＬは、ほぼ同一の長さとされている。
操作装置17には、左右の手で把持される支持部220,221が設けられ、支持部220,221の先端には、操作部218,219が設けられている。操作に224,225は、左右の手の人差し指で操作され、操作部218,219は、左右の親指で操作されるようになっている。
操作部218,219の間には、ゲーム中においてセレクト操作を行うときに操作されるセレクトスイッチ222と、ゲームを開始するときに操作されるスタートスイッチ223が設けられている。
このビデオゲーム装置201では、上記ディスク装着部203に装着されたCD−ROM251が上述CD−ROMドライブ30により再生される。また、上記操作装置217は、上述の入力デバイス28に相当するものであり、また、上記記録装置228は、上述補助記憶装置27に相当するものである。
合に広く適用することができる。
本発明は、コンピュータを用いた映像機器であるグラフィックコンピュータ、特殊効果装置、ビデオゲーム機等に用いられる画像処理装置及び画像処理方法に関する。
背景技術
家庭用TVゲーム機やパーソナルコンピュータあるいはグラフィックコンピュータなどにおいて、テレビジョン受像機やモニタ受像機あるいは陰極線管（CRT:Cathode Ray Tube）ディスプレイ装置などに出力して表示する画像のデータすなわち表示出力画像データを生成する画像処理装置は、汎用メモリチップ、中央演算処理装置（CPU:Central Processing Unit）やその他の演算チップが組み合わせて構成され、CPUとフレームバッファの間に専用の描画装置を設けることにより、高速処理を可能にしている。
すなわち、上記画像処理装置において、CPU側では、画像を生成する際に、直接フレームバッファをアクセスするのではなく、座標変換やクリッピング、光源計算等のジオメトリ処理を行い、３角形や４角形などの基本的な単位図形（ポロゴン）の組み合わせとして３次元モデルを定義して３次元画像を描画するための描画命令を作成し、その描画命令を外部バスを介して描画装置に送る。例えば、３次元のオブジェクトを表示する場合は、オブジェクトを複数のポリゴンに分解して、各ポリゴン対応する描画命令をCPUから描画装置に転送する。そして、描画装置は、CPUから外部バスを介して送られてきた描画命令を解釈して、頂点の色データと奥行きを示すＺ値から、ポリゴンを構成する全ての画素の色とＺ値を演算して、画素データをフレームバッファに書き込むレンダリング処理を行い、フレームバッファに図形を描画する。なお、上記Ｚ値は、視点からの奥行き方向の距離を示す情報である。
例えば、上記画像生成装置において、３次元のオブジェクトを表示する場合は、オブジェクトを複数のポリゴンに分解して、各ポリゴンに対応する描画命令をCPUから描画装置に転送する。この際に、オブジェクトをより実際に近く表現するするために、テクスチャマッピングやミップマッピングと呼ばれる手法が採用されている。さらに、色変換データを記憶したカラールックアップテーブル（CLUT:Color Look Up Table）を介して画像の色データを変換することにより、表示色を変化させる手法も広く知られている。
ここで、テクスチャマッピングとは、テクスチャソース画像として別に用意された２次元画像（絵柄）すなわちテクスチャパターンを物体を構成するポリゴンの表面に張り付ける技術である。また、ミップマッピングは、３次元モデルに近づいたり、そこから遠ざかった場合に、ポリゴンの張り付ける絵柄が不自然にならないように画素データを補間するようにしたテクスチャマッピングの手法の１つである。
ところで、家庭用TVゲーム機やパーソナルコンピュータのような汎用メモリチップ、CPUやその他の演算チップが組み合わせて構成された演算処理システムでは、演算チップの動作周波数や回路規模などの性能向上に比べてメモリの動作速度や外部バスの性能の向上が十分でなく、外部バスがボトルネックとなっていた。また、大きなデータ転送量を持つメモリバスシステムも一般にレイテンシィが大きく、大容量のバースト転送では高性能だが、通常のCPUアクセスのような小容量でランダムな転送では、性能を発揮できていない。
コマンドパケット等の予め固定されたパケットを用いる場合、ダイレクトメモリアクセスコントローラ（DMAC:Direct Memory Access Controller）の利用により、効率よく転送できるが、多様なアルゴリズムには対応できず、冗長となる場合も多かった。
パケットのフォーマットとリフォーマットにCPU命令が消費され効率を下げていた。また、キャッシュを持ったシステムであっても、パケット長に適合するほど長いバーストを設定することができず、通常４ワード程度に固定されており、大きなデータ転送量のメモリシステムの性能を発揮できない。
そこで、本発明は、上述したような実情に鑑みてなされたものであり、次のような目的を有する。
すなわち、本発明の目的は、汎用メモリチップ、CPUやその他の演算チップが組み合わせて構成された画像処理装置における上述ようなボトルネックを軽減することにある。
本発明の他の目的は、データ転送の高効率化を図った画像処理装置及び画像処理方法を提供することにある。
また、本発明の他の目的は、メモリ上のデータの高効率化を図った画像処理装置及び画像処理方法を提供することにある。
また、本発明の他の目的は、ポケットデータの展開・梱包の高効率化を図った画像処理装置及び画像処理方法を提供することにある。
また、本発明の他の目的は、パケット形式に自由度を持たせた画像処理装置及び画像処理方法を提供することにある。
さらに、本発明の他の目的は、パケット形式に適したバースト転送を可能にした画像処理装置及び画像処理方法を提供することにある。
発明の開示
本発明は、外部バスを介して接続される複数の画像処理ユニット及びメモリを備える画像処理装置であって、少なくとも１つの画像処理ユニットのデータ入力段にデータのアンパケット化の手順が変更可能な第１のパケットエンジンを設けたことを特徴とする。これにより、本発明に係る画像処理装置では、パケット形式に自由度を持たせ、データ転送の高効率化を図るとともに、メモリ上のデータの高効率化を図ることができる。
本発明に係る画像処理装置では、他の画像処理ユニットのデータ出力段にデータをパケット化する第２のパケットエンジンを有するものとすることができる。
本発明に係る画像処理装置において、上記第２のパケットエンジンは、データのパケット化の際にそのパケット化の手順に対応するアンパケット化の手順を示す付加情報をパケットに付加し、上記第１のパケットエンジンは、アンパケット化の際に上記付加情報により示される手順に従ってアンパケット化を行うようにすることができる。これにより、本発明に係る画像処理装置における各パケットエンジンは、パケット形式に自由度を持たせ、パケットデータの展開・梱包を効率よく行うことができる。
また、本発明に係る画像処理装置において、上記第１及び第２のパケットエンジンは、データのパケット化／アンパケット化の手順を選択する手順選択手段を備えることにより、上記第２のパケットエンジンは、パケット化の際に上記手順選択手段により選択されたアンパケット化の手順を示すタグ情報をパケットに付加し、上記第２のパケットエンジンは、アンパケット化の際に上記タグ情報により指定される手順を上記手順選択手段で選択することができる。これにより、本発明に係る画像処理装置におけるパケットエンジンは、パケット形式に自由度を持たせ、パケットデータの展開・梱包を効率よく行うことができる。
さらに、本発明に係る画像処理装置は、例えば、単位図形の組み合わせとして３次元モデルを定義して３次元画像を描画するための描画命令を作成するジオメトリ処理を行うジオメトリ処理機能を有し、作成した描画命令を第２のパケットエンジンによりパケット化してコマンドパケットとして外部バスに送出する第１の画像処理ユニットと、上記第１の画像処理ユニットから送られてくるコマンドパケットを第１のパケットエンジンによりアンパケット化し、上記コマンドパケットとして送られてきた描画命令を解釈して画素データをフレームバッファに書き込むレンダリング処理を行うレンダリング処理機能を有する第２の画像処理ユニットを上記複数の画像処理ユニットとして備えることができる。これにより、本発明に係る画像処理装置では、効率よく描画処理を行うことができる。
また、本発明は、外部バスを介して接続される複数の画像処理ユニット及びメモリを備える画像処理装置における画像処理方法であって、少なくとも１つの画像処理ユニットのデータ入力段に設けたデータのアンパケット化の手順が変更可能な第１のパケットエンジンにより、アンパケット化を行うことを特徴とする。これにより、本発明に係る画像処理方法では、パケット形式に自由度を持たせ、データ転送の高効率化を図るとともに、メモリ上のデータの高効率化を図ることができる。
本発明に係る画像処理方法では、他の画像処理ユニットのデータ出力段に設けた第２のパケットエンジンにより、データをパケット化することができる。
また、本発明に係る画像処理方法では、第２のパケットエンジンにより、データのパケット化の際にそのパケット化の手順に対応するアンパケット化の手順を示す付加情報をパケットに付加し、第１のパケットエンジンにより、アンパケット化の際に上記付加情報により示される手順に従ってアンパケット化を行うようにすることができる。これにより、本発明に係る画像処理方法では、各パケットエンジンのパケット形式に自由度を持たせ、パケットデータの展開・梱包を効率よく行うことができる。
また、本発明に係る画像処理方法では、第２のパケットエンジンにより、データのパケット化の際にデータのパケット化／アンパケット化の手順を選択し、選択されたアンパケット化の手順を示すタグ情報をパケットに付加し、第１のパケットエンジンにより、アンパケット化の際に上記タグ情報により指定されるアンパケット化の手順を選択して、アンパケット化を行うようにすることができる。これにより、本発明に係る画像処理方法では、各パケットエンジンのパケット形式に自由度を持たせ、パケットデータの展開・梱包を効率よく行うことができる。
さらに、本発明に係る画像処理方法では、例えば、第１の画像処理ユニットにおいて、単位図形の組み合わせとして３次元モデルを定義して３次元画像を描画するための描画命令を作成するジオメトリ処理を行い、作成した描画命令を第２のパケットエンジンによりパケット化してコマンドパケットとして外部バスに送出し、第２の画像処理ユニットにおいて、上記第１の画像処理ユニットから送られてくるコマンドパケットを第１のパケットエンジンによりアンパケット化し、上記コマンドパケットとして送られてきた描画命令を解釈して画素データをフレームバッファに書き込むレンダリング処理を行うようにすることができる。これにより、本発明に係る画像処理装置では、効率よく描画処理を行うことができる。
したがって、本発明によれば、汎用メモリチップ、CPUやその他の演算チップが組み合わせて構成された従来の画像処理装置におけるボトルネックを軽減することができる。
【図面の簡単な説明】
図１は、本発明を適用したビデオゲーム装置の構成を示すブロック図である。
図２は、上記ビデオゲーム装置におけるプログラマブルパケットエンジンPPEの設置状態を模式的に示す図である。
図３は、上記PPEの構成を示すブロック図である。
図４は、上記PPEの動作例を示す図である。
図５は、上記PPEの他の動作例を示す図である。
図６は、上記PPEの他の動作例を示す図である。
図７は、上記ビデオゲーム装置における可変長リード／ライトバッファVLBFの動作例を示す図である。
図８は、本発明を適用したビデオゲーム装置の平面図である。
図９は、上記ビデオゲーム装置の背面図である。
図10は、上記ビデオゲーム装置の側面図である。
図11は、上記ビデオゲーム装置に装着されるCD−ROMの平面図である。
発明を実施するための最良の形態
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
本発明は、例えば図１に示すような構成のビデオゲーム装置に適用される。このビデオゲーム装置は、例えば光学ディスク等に記憶されているゲームプログラムを読み出して実行することにより、使用者からの指示に応じてゲームを行うものであって、図１に示すような構成を有している。
すなわち、このビデオゲーム装置は、２種類のバスすなわち、メインバス１とサブバス２を備える。上記メインバス１とサブバス２は、バスコントローラ10を介して接続されている。
そして、上記メインバス１には、マイクロプロセッサなどからなる主中央演算処理部（メインCPU:Central Processing Unit）11、ランダムアクセスメモリ（RAM:Random Access Memory）からなる主記憶装置（メインメモリ）12、主ダイレクトメモリアクセスコントローラ（メインDMAC:Direct Memory Access Controller）13、MPEGデコーダ（MDEC:MPEG Decoder）14及び画像処理部（GPU:Graphic Processing Unit）15が接続されている。また、上記サブバス２には、マイクロプロセッサなどからなる副中央演算処理部（サブCPU:Central Processing Unit）21、ランダムアクセスメモリ（RAM:Random Access Memory）からなる副記憶装置（サブメモリ）22、副ダイレクトメモリアクセスコントローラ（サブDMAC:Direct Memory Access Controller）23、オペレーティングシステム等のプログラムが格納されたリードオンリーメモリ（ROM:Read Only Memory）24、音声処理部（SPU:Sound Processing Unit）25、通信制御部（ATM:Asynchronous Transmission mode）26、補助記憶装置27、入力デバイス28及びCD−ROMドライブ30が接続されている。
上記バスコントローラ10は、メインバス１とサブバス２との間のスイッチングを行う上記メインバス１上のデバイスであって、初期状態ではオープンになっている。
また、上記メインCPU11は、上記メインメモリ12上のプログラムで動作する上記メインバス１上のデバイスである。このメインCPU11は、起動時には上記バスコントローラ10がオープンになっていることにより、上記サブバス２上のROM24からブートプログラムを読み込んで実行し、CD−ROMドライバ30によりCD−ROMからアプリケーションプログラム及び必要なデータを再生して上記メインメモリ12や上記サブバス２上のデバイスにロードする。このメインCPU11には、座標変換等の処理を行うジオミトリトランスファエンジン（GTE:Geometry Transfer Engine）17が搭載されているとともに、その入出力部にデータのパケット化／アンパケット化を行うとともに、その手順が変更可能なプログラマブルパケットエンジン（PPE:Programmable Packet Engine）112及び可変長リード／ライトバッファ（VLBF:Variable Length Read/Write Buffer）117が設けられている。
上記GTE17は、例えば複数の演算を並列に実行する並列演算機構を備え、上記メインCPU11からの演算要求に応じて座標変換，光源計算，行列あるいはベクトルなどの演算を高速に行う。そして、上記メインCPU11は、上記GTE17による演算結果に基づいて３角形や４角形などの基本的な単位図形（ポリゴン）の組み合わせとして３次元モデルを定義して３次元画像を描画するための各ポリゴンに対応する描画命令を作成する。そして、上記PPE112は、この描画命令をパケット化してコマンドパケットとして、上記メインバス１を介して上記GPU15に転送する。
また、上記メインDMAC13は、メインバス１上のデバイスを対象とするDMA転送の制御等を行う上記メインバス１上のデバイスである。このメインDMAC13は、上記バスコントローラ10がオープンになっているときにはサブバス２上のデバイスも対象とする。
また、上記GPU15は、レンダリングプロセッサとして機能する上記メインバス１上のデバイスである。このGPU15は、その入出力部にデータのパケット化／アンパケット化の手順が変更可能なプログラマブルパケットエンジン（PPE:Programmable Packet Engine）152が設けられており、上記メインCPU11又はメインDMAC13から送られてくるコマンドパケット及びオブジェクトデータを上記PPE152によりアンパケット化する。そして、このGPU15は、上記コマンドパケットとして送られてきた描画命令解釈して、頂点の色データと奥行きを示すＺ値から、ポリゴンを構成する全ての画素の色を演算する。そして、画素データをＺ値に応じてフレームバッファ18に書き込むレンダリング処理を行う。
また、GPU15は、上記オブジェクトデータとして送られてきた３次元の画像データに対して、図示しないプリプロセッサにより座標変換、光源計算などの演算を行い、各ポリゴンに対応する描画命令を内部で生成することもできるようになっている。そして、上記と同様にレンダリング処理を行う。
また、上記MDEC14は、CPUと並列に動作可能なI/O接続デバイスであって、画像伸張エンジンとして機能する上記メインバス１上のデバイスである。このMDEC14は、離散コサイン変換などの直行変換により圧縮されて符号化された画像データを復号化する。
また、上記サブCPU21は、上記サブメモリ22上のプログラムで動作する上記サブバス２上のデバイスである。また、上記サブDMAC23は、サブバス２上のデバイスを対象とするDMA転送の制御等を行う上記サブバス２上のデバイスである。このサブDMAC23は、上記バスコントローラ10がクローズなっているときにのみバス権利を獲得することができる。また、上記SPU25は、サウンドプロセッサとして機能する上記サブバス２上のデバイスである。このSPU25は、上記サブCPU21又はサブDMAC23からコマンドパケットとして送られてくるサウンドコマンドに応じて、サウンドメモリ29から音源データ読み出して出力する。また、上記ATM26は、サブバス２上の通信用デバイスである。また、上記補助記憶装置27は、サブバス２上のデータ入出力デバイスであってフラッシュメモリ等の不揮発性メモリなどからなる。この補助記憶装置27は、ゲームの進行経過やスコア等のデータを一時記憶する。入力デバイス28は、サブバス２上のコントロールパッド、マウスなどのマンマシンインターフェースや、画像入力、音声入力などの他の機器からの入力用デバイスである。さらに、CD−ROMドライバ30は、サブバス２上のデータ入力デバイスであってCD−ROMからアプリケーションプログラム及び必要なデータを再生する。
すなわち、このビデオゲーム装置では、座標変換やクリッピング、光源計算等のジオメトリ処理を行い、３角形や４角形などの基本的な単位図形（ポリゴン）の組み合わせとして３次元モデルを定義して３次元画像を描画するための描画命令を作成し、各ポリゴンに対応する描画命令をコマンドパケットとしてメインバス１に送出するジオメトリ処理手段が上記メインバス１上のメインCPU11及びGTE17などにより構成され、上記ジオメトリ処理手段からの描画命令に基づいて各ポリゴンの画素データを生成してフレームバッファ18に書き込むレンダリング処理を行い、フレームバッファ18に図形を描画するレンダリング処理手段が上記GPU15により構成されている。
ここで、上記ジオメトリ処理手段を構成しているメインCPU11側のPPE112及びレンダリング処理手段を構成しているGPU15側のPPE152は、図２に示すように、それぞれ各演算ユニット内のFIFO（First In First Out）メモリによる入出力バッファ111,151と内部レジスタ113,153との間に置かれている。上記入出力バッファ111,151はデータ転送のアルゴリズムに適したビット長で構成され、内部レジスタ113,153は演算に適したビット長で構成される。
そして、各PPE112,152は、図３に示すように、入出力バッファ111,151と内部レジスタ113,153を指定するアドレス部112A,152A、データマスク部112B,152B、シフタ部112C,152C、符号拡張部112D,152D、データのパケット化／アンパケット化の各種手順を記述したリストが書き込まれているプログラム部112E,152E及び上記プログラム部112E,152Eのリストに基づいて、各部を制御するとともに、リード／ライトを制御する制御部112F,152Fで構成され、演算制御とは独立に並行して動作して、上記プログラム部112E,152Eのリストで示される手順に従ってデータのパケット化／アンパケット化を行うようになっている。
例えば、上記メインCPU11側のPPE112では、上記GTE17による演算結果に基づいて作成された描画命令をパケット化するに当たり、その描画命令に適したパケット化の手順が上記プログラム部112Eのリストの選択により指定され、この指定されたリストで示される手順に従って描画命令をフォーマッティングして梱包すなわちパケット化する。このパケット化の際に、上記リストで示されるパケット化の手順に対応するアンパケット化の手順を示すタグ情報をパケットに付加する。そして、上記GPU15側のPPE152では、上記メインCPU11又はメインDMAC13から送られてくるコマンドパケットに付加されているタグ情報により指定されるリストに記述された手順に従って上記コマンドパケットをリフォーマッティングして開包すなわちアンパケット化する。
具体的には、上記メインCPU11側のPPE112におけるプログラム部112Eは、三種類のパッキングリストPL0,PL1,PL2が記録されている。
パッキングリストPL0には、図４の（Ａ）に示すように、メインCPU11の内部レジスタ113にオブジェクトデータとして生成された頂点情報（VX0,VY0,VZ0），（VX1,VY1,VZ1），（VX2,VY2,VZ2）、各頂点の法線情報（NX0,NY0,NZ0），（NX1,NY1,NZ1），（NX2,NY2,NZ2）、各頂点の色情報（R0,G0,B0），（R1,G1,B1），（R2,G2,B2）で示される３次元の三角形情報を入出力バッファ111にパケット化してパケットコマンドとして書き込むための手順が記述されている。このパッキングリストPL0に従ったパッキング処理では、32ビットで演算された各頂点情報VX0,VY0,VZ0,VX1,VY1,VZ1,VX2,VY2,VZ2と各頂点の各法線情報NX0,NY0,NZ0,NX1,NY1,NZ1,NX2,NY2,NZ2を16ビットにしてパッキングし、また、16ビットで演算された各頂点の色情報R0,G0,B0,R1,G1,B1,R2,G2,B2を各頂点毎に16ビット、すなわちR,G,Bそれぞれ５ビット及び半透明に用いられる処理などに用いられる制御ビットの計16ビットにパッキングするとともに、当該パッキングリストPL0に対応するアンパッキングリストUL0を指定するタグ情報TAGを付加する。
また、パッキングリストPL1には、図５の（Ａ）に示すように、頂点データ（VX0,VY0,VZ0），差分データ（ΔX1,ΔY1,ΔZ1），（ΔVX2,ΔY2,ΔZ2），（ΔX3,ΔY3,ΔZ3）・・・で構成される連結三角形情報をパケット化するための手順が記述されている。このパッキングリストPL1に従ったパッキング処理では、32ビットで演算された各頂点情報VX0,VY0,VZ0を16ビットにしてパッキングし、また、32ビットで演算された各差分データΔX1,ΔY1,ΔZ1,ΔVX2,ΔY2,ΔZ2,ΔX3,ΔY3,ΔZ3・・・を８ビットにしてパッキングするとともに、当該パッキングリストPL1に対応するアンパッキングリストUL1を指定するタグ情報TAGを付加する。
さらに、パッキングリストPL2には、図６の（Ａ）に示すように、メインCPU11の内部レジスタ113に描画命令としてセットされた頂点座標（X0,Y0），（X1,Y1），（X2,Y2），（X3,Y3）及び各頂点に対応するテクスチャ座標（U0,V0），（U1,V1），（U2,V2），（U3,V3）、色情報（R0,G0,B0），（R1,G1,B1），（R2,G2,B2），（R3,G3,B3）で構成される２次元の四角形情報をパケット化するための手順が記述されている。このパッキングリストPL2に従ったパッキング処理では、32ビットで演算された各頂点座標X0,Y0,X1,Y1,X2,Y2,X3,Y3を16ビットにしてパッキングし、また、16ビットで演算された各テクスチャ座標U0,V0,U1,V1,U2,V2,U3,V3と各頂点の各色情報R0,G0,B0,R1,G1,B1,R2,G2,B2,R3,G3,B3を８ビットにしてパッキングするとともに、当該パッキングリストPL2に対応するアンパッキングリストUL2を指定するタグ情報TAGを付加する。
また、上記GPU15側のPPE152におけるプログラム部152Eは、上記パッキングリストPL0,PL1,PL2に対応する三種類のアンパッキングリストPU0,PU1,PU2が記録されている。
すなわち、アンパッキングリストUL0には、図４の（Ｂ）に示すように、入出力バッファ151に転送されてくるパケットコマンドをそのタグ情報TAGに基づいて32ビットの頂点情報（VX0,VY0,VZ0），（VX1,VY1,VZ1），（VX2,VY2,VZ2）、法線（NX0,NY0,NZ0），（NX1,NY1,NZ1），（NX2,NY2,NZ2）、16ビットの色情報（R0,G0,B0），（R1,G1,B1）,R2,G2,B2）で示される３次元の三角形情報に展開して内部レジスタ153に書き込むための手順が記述されている。
また、アンパッキングリストUL1には、図５の（Ｂ）に示すように、入出力バッファ151に転送されていくるパケットコマンドをそのタグ情報TAGに基づいて32ビットの頂点データ（VX0,VY0,VZ0）と差分データ（ΔX1,ΔY1,ΔZ1），（ΔVX2,ΔY2、ΔZ2），（ΔX3,ΔY3,ΔZ3）・・・で構成される連結三角形情報に展開して内部レジスタ153に書き込むための手順が記述されている。
さらに、パッキングリストUL2には、図６の（Ｂ）に示すように、入出力バッファ151に転送されてくるパケットコマンドをそのタグ情報TAGに基づいて32ビットの頂点座標（X0,Y0），（X1,Y1），（X2,Y2），（X3,Y3）と各頂点に対応する16ビットのテクスチャ座標（U0,V0），（U1,V1），（U2,V2），（U3,V3）及び色情報（R0,G0,B0），（R1,G1,B1），（R2,G2,B2），（R3,G3,B3）で構成される四角形情報に展開して内部レジスタ153に書き込むための手順が記述されている。
また、上記メインCPU11の入出力部に設けられているVLBF117は、図７の（Ａ），（Ｂ）に示すように、最長バースト転送に対応するリードバッファ117Rとライトバッファ117Wと、それぞれのバースト長を設定する各バースト長設定レジスタ117RL,117WLとで構成される。上記バースト長設定レジスタ117RL,117WLは、キャッシュオンする特定のルーチンの先頭でルーチン内で処理するパケットの読み込み、作成に適した長さに設定される。これにより、パケット形式に適したバースト転送を可能にし転送効率を向上させることができる。
このような本発明を適用したビデオゲーム装置は、例えば、図８の平面図、図９の正面図及び図10の側面図に示すような構成となっている。
すなわち、このビデオゲーム装置201は、図８に示すように、基本的に、装置本体202と、この装置本体202に対してケーブル227を介して接続される操作装置217により構成されている。装置本体202の上面の中央部には、ディスク装着部203が設けられ、その内部に図11に示すようなCD−ROM251が装着されるようになされている。ディスク装着部203の左側には、装置の電源をオン又はオフするときに操作される電源スイッチ205と、ゲームを一旦リセットするときに操作されるリセットスイッチ204が設けられている。また、ディスク装着部203の右側には、ディスク装着部203に対してCD−ROM251を着脱するときに操作されるディスク操作スイッチ206が設けられている。
また、装置本体202の正面には、図９に示すように、接続部207A,207Bが設けられている。これらの接続部207A,207Bには、操作装置217から導出されたケーブル227の先端に設けられている接続端子部226と、メモリーカードなどよりなる記録装置228を接続するため接続端子挿入部212と記録挿入部208がそれぞれ設けられている。すなわち、この装置本体202には、操作装置217と記録装置228がそれぞれ２個接続できるようになされている。
ここで、図９の正面図には、右側の接続部207Bに接続端子部226と記録装置228が装着され、左側の接続部207Aには接続端子部226と記録装置228のいずれも装着されていない状態が示されている。この図９に示すように、記録装置228を装着する記録挿入部208にはシャッタ209が設けられており、記録装置238を装置本体202に対して装着するときに、記録装置238の先端で、このシャッタ209を押し込むようにして、装着が行われるようになっている。
また、接続端子部226の把持部231Aと記録装置238には把持部242Aには、それぞれ例えばローレット加工などによる滑り止め加工が施されている。なお、図10の側面図に示すように、接続端子部226と記録装置238の長さＬは、ほぼ同一の長さとされている。
操作装置17には、左右の手で把持される支持部220,221が設けられ、支持部220,221の先端には、操作部218,219が設けられている。操作に224,225は、左右の手の人差し指で操作され、操作部218,219は、左右の親指で操作されるようになっている。
操作部218,219の間には、ゲーム中においてセレクト操作を行うときに操作されるセレクトスイッチ222と、ゲームを開始するときに操作されるスタートスイッチ223が設けられている。
このビデオゲーム装置201では、上記ディスク装着部203に装着されたCD−ROM251が上述CD−ROMドライブ30により再生される。また、上記操作装置217は、上述の入力デバイス28に相当するものであり、また、上記記録装置228は、上述補助記憶装置27に相当するものである。
合に広く適用することができる。
Claims (10)
- 外部バスを介して接続される複数の画像処理ユニット及びメモリを備える画像処理装置であって、
少なくとも１つの画像処理ユニットのデータ入力段にデータのアンパケット化の手順が変更可能な第１のパケットエンジンを設けたことを特徴とする画像処理装置。 - 他の画像処理ユニットのデータ出力段にデータをパケット化する第２のパケットエンジンを有することを特徴とする請求項１記載の画像処理装置。
- 上記第２のパケットエンジンは、データのパケット化の際にそのパケット化の手順に対応するアンパケット化の手順を示す付加情報をパケットに付加し、上記第１のパケットエンジンは、アンパケット化の際に上記付加情報により示される手順に従ってアンパケット化を行うことを特徴とする請求項２記載の画像処理装置。
- 上記第１及び第２のパケットエンジンは、データのパケット化／アンパケット化の手順を選択する手順選択手段を備え、上記第２のパケットエンジンは、パケット化の際に上記手順選択手段により選択されたアンパケット化の手順を示すタグ情報をパケットに付加し、上記第１のパケットエンジンは、アンパケット化の際に上記タグ情報により指定される手順を上記手順選択手段で選択することを特徴とする請求項２記載の画像処理装置。
- 単位図形の組み合わせとして３次元モデルを定義して３次元画像を描画するための描画命令を作成するジオメトリ処理を行うジオメトリ処理機能を有し、作成した描画命令を第１のパケットエンジンによりパケット化してコマンドパケットとして外部バスに送出する第１の画像処理ユニットと、
上記第１の画像処理ユニットから送られてくるコマンドパケットを第１のパケットエンジンによりアンパケット化し、上記コマンドパケットとして送られてきた描画命令を解釈して画素データをフレームバッファに書き込むレンダリング処理を行うレンダリング処理機能を有する第２の画像処理ユニットを上記複数の画像処理ユニットとして備えることを特徴とする請求項１記載の画像処理装置。 - 外部バスを介して接続される複数の画像処理ユニット及びメモリを備える画像処理装置における画像処理方法であって、
少なくとも１つの画像処理ユニットのデータ入力段に設けたデータのアンパケット化の手順が変更可能な第１のパケットエンジンにより、アンパケット化を行うことを特徴とする画像処理方法。 - 他の画像処理ユニットのデータ出力段に設けた第２のパケットエンジンにより、データをパケット化することを特徴とする請求項６記載の画像処理方法。
- 第２のパケットエンジンにより、データのパケット化の際にそのパケット化の手順に対応するアンパケット化の手順を示す付加情報をパケットに付加し、
第１のパケットエンジンにより、アンパケット化の際に上記付加情報により示される手順に従ってアンパケット化を行うことを特徴とする請求項７記載の画像処理方法。 - 第２のパケットエンジンにより、データのパケット化の際にデータのパケット化／アンパケット化の手順を選択し、選択されたアンパケット化の手順を示すタグ情報をパケットに付加し、
第１のパケットエンジンにより、アンパケット化の際に上記タグ情報により指定されるアンパケット化の手順を選択して、アンパケット化を行うことを特徴とする請求項７記載の画像処理方法。 - 第１の画像処理ユニットにおいて、単位図形の組み合わせとして３次元モデルを定義して３次元画像を描画するための描画命令を作成するジオメトリ処理を行い、作成した描画命令を第２のパケットエンジンによりパケット化してコマンドパケットとして外部バスに送出し、
第２の画像処理ユニットにおいて、上記第１の画像処理ユニットから送られてくるコマンドパケットを第１のパケットエンジンによりアンパケット化し、上記コマンドパケットとして送られてきた描画命令を解釈して画素データをフレームバッファに書き込むレンダリング処理を行うことを特徴とする請求項６記載の画像処理方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4376096 | 1996-02-29 | ||
| PCT/JP1997/000535 WO1997032248A1 (fr) | 1996-02-29 | 1997-02-25 | Processeur d'images et procede de traitement d'images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP3620857B2 true JP3620857B2 (ja) | 2005-02-16 |
Family
ID=12672725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP53078697A Expired - Lifetime JP3620857B2 (ja) | 1996-02-29 | 1997-02-25 | 画像処理装置及び画像処理方法 |
Country Status (11)
| Country | Link |
|---|---|
| US (2) | US6211890B1 (ja) |
| EP (2) | EP0827067B1 (ja) |
| JP (1) | JP3620857B2 (ja) |
| KR (1) | KR100506959B1 (ja) |
| CN (1) | CN1209736C (ja) |
| AT (2) | ATE253235T1 (ja) |
| CA (1) | CA2218227C (ja) |
| DE (2) | DE69725807T2 (ja) |
| ES (1) | ES2205176T3 (ja) |
| TW (1) | TW329497B (ja) |
| WO (1) | WO1997032248A1 (ja) |
Families Citing this family (46)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| NO993483L (no) * | 1999-07-15 | 2001-01-16 | Ericsson Telefon Ab L M | Fremgangsmåte og anordning for effektiv overföring av datapakker |
| US20040145603A1 (en) * | 2002-09-27 | 2004-07-29 | Soares Stephen Michael | Online multimedia presentation builder and presentation player |
| JP4542308B2 (ja) * | 2002-12-16 | 2010-09-15 | 株式会社ソニー・コンピュータエンタテインメント | 信号処理用デバイス及び情報処理機器 |
| EP1434419B1 (en) * | 2002-12-26 | 2009-05-27 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US7681112B1 (en) | 2003-05-30 | 2010-03-16 | Adobe Systems Incorporated | Embedded reuse meta information |
| US8134561B2 (en) * | 2004-04-16 | 2012-03-13 | Apple Inc. | System for optimizing graphics operations |
| US8704837B2 (en) * | 2004-04-16 | 2014-04-22 | Apple Inc. | High-level program interface for graphics operations |
| US7248265B2 (en) * | 2004-04-16 | 2007-07-24 | Apple Inc. | System and method for processing graphics operations with graphics processing unit |
| US7231632B2 (en) | 2004-04-16 | 2007-06-12 | Apple Computer, Inc. | System for reducing the number of programs necessary to render an image |
| US7636489B2 (en) * | 2004-04-16 | 2009-12-22 | Apple Inc. | Blur computation algorithm |
| US7847800B2 (en) * | 2004-04-16 | 2010-12-07 | Apple Inc. | System for emulating graphics operations |
| US8068103B2 (en) * | 2004-06-24 | 2011-11-29 | Apple Inc. | User-interface design |
| US8130237B2 (en) * | 2004-06-24 | 2012-03-06 | Apple Inc. | Resolution independent user interface design |
| US7397964B2 (en) * | 2004-06-24 | 2008-07-08 | Apple Inc. | Gaussian blur approximation suitable for GPU |
| US8239749B2 (en) * | 2004-06-25 | 2012-08-07 | Apple Inc. | Procedurally expressing graphic objects for web pages |
| US8566732B2 (en) | 2004-06-25 | 2013-10-22 | Apple Inc. | Synchronization of widgets and dashboards |
| US8453065B2 (en) * | 2004-06-25 | 2013-05-28 | Apple Inc. | Preview and installation of user interface elements in a display environment |
| US7652678B2 (en) * | 2004-06-25 | 2010-01-26 | Apple Inc. | Partial display updates in a windowing system using a programmable graphics processing unit |
| US7546543B2 (en) * | 2004-06-25 | 2009-06-09 | Apple Inc. | Widget authoring and editing environment |
| US7761800B2 (en) * | 2004-06-25 | 2010-07-20 | Apple Inc. | Unified interest layer for user interface |
| US8302020B2 (en) * | 2004-06-25 | 2012-10-30 | Apple Inc. | Widget authoring and editing environment |
| US20050285866A1 (en) * | 2004-06-25 | 2005-12-29 | Apple Computer, Inc. | Display-wide visual effects for a windowing system using a programmable graphics processing unit |
| US7490295B2 (en) | 2004-06-25 | 2009-02-10 | Apple Inc. | Layer for accessing user interface elements |
| US7227551B2 (en) * | 2004-12-23 | 2007-06-05 | Apple Inc. | Manipulating text and graphic appearance |
| US8140975B2 (en) * | 2005-01-07 | 2012-03-20 | Apple Inc. | Slide show navigation |
| US8543931B2 (en) | 2005-06-07 | 2013-09-24 | Apple Inc. | Preview including theme based installation of user interface elements in a display environment |
| US20070101279A1 (en) * | 2005-10-27 | 2007-05-03 | Chaudhri Imran A | Selection of user interface elements for unified display in a display environment |
| US7743336B2 (en) * | 2005-10-27 | 2010-06-22 | Apple Inc. | Widget security |
| US8543824B2 (en) | 2005-10-27 | 2013-09-24 | Apple Inc. | Safe distribution and use of content |
| US7954064B2 (en) | 2005-10-27 | 2011-05-31 | Apple Inc. | Multiple dashboards |
| US7752556B2 (en) * | 2005-10-27 | 2010-07-06 | Apple Inc. | Workflow widgets |
| US9104294B2 (en) * | 2005-10-27 | 2015-08-11 | Apple Inc. | Linked widgets |
| US7707514B2 (en) | 2005-11-18 | 2010-04-27 | Apple Inc. | Management of user interface elements in a display environment |
| US20070162850A1 (en) * | 2006-01-06 | 2007-07-12 | Darin Adler | Sports-related widgets |
| US8155682B2 (en) * | 2006-05-05 | 2012-04-10 | Research In Motion Limited | Handheld electronic device including automatic mobile phone number management, and associated method |
| US8869027B2 (en) | 2006-08-04 | 2014-10-21 | Apple Inc. | Management and generation of dashboards |
| US20080168367A1 (en) * | 2007-01-07 | 2008-07-10 | Chaudhri Imran A | Dashboards, Widgets and Devices |
| US20090005071A1 (en) * | 2007-06-28 | 2009-01-01 | Apple Inc. | Event Triggered Content Presentation |
| US8954871B2 (en) | 2007-07-18 | 2015-02-10 | Apple Inc. | User-centric widgets and dashboards |
| US20090021486A1 (en) * | 2007-07-19 | 2009-01-22 | Apple Inc. | Dashboard Surfaces |
| US8667415B2 (en) | 2007-08-06 | 2014-03-04 | Apple Inc. | Web widgets |
| US8156467B2 (en) * | 2007-08-27 | 2012-04-10 | Adobe Systems Incorporated | Reusing components in a running application |
| US8176466B2 (en) | 2007-10-01 | 2012-05-08 | Adobe Systems Incorporated | System and method for generating an application fragment |
| US9619304B2 (en) | 2008-02-05 | 2017-04-11 | Adobe Systems Incorporated | Automatic connections between application components |
| US8656293B1 (en) | 2008-07-29 | 2014-02-18 | Adobe Systems Incorporated | Configuring mobile devices |
| CN102521190A (zh) * | 2011-12-19 | 2012-06-27 | 中国科学院自动化研究所 | 一种应用于实时数据处理的多级总线系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4945500A (en) * | 1987-11-04 | 1990-07-31 | Schlumberger Technologies, Inc. | Triangle processor for 3-D graphics display system |
| JPH0264779A (ja) * | 1988-08-30 | 1990-03-05 | Canon Inc | 画像生成装置 |
| JPH0530138A (ja) * | 1991-07-25 | 1993-02-05 | Nippon Telegr & Teleph Corp <Ntt> | マルチメデイア転送方式 |
| JPH066781A (ja) * | 1992-06-22 | 1994-01-14 | Hitachi Ltd | 多地点動画像符号化復号装置 |
| US5617537A (en) | 1993-10-05 | 1997-04-01 | Nippon Telegraph And Telephone Corporation | Message passing system for distributed shared memory multiprocessor system and message passing method using the same |
| JPH07262152A (ja) | 1994-03-24 | 1995-10-13 | Hitachi Ltd | コンピュータシステム |
| JP3220328B2 (ja) * | 1994-06-01 | 2001-10-22 | 株式会社ソニー・コンピュータエンタテインメント | ビデオゲーム機 |
| JP3578498B2 (ja) * | 1994-12-02 | 2004-10-20 | 株式会社ソニー・コンピュータエンタテインメント | 画像情報処理装置 |
| JP3698747B2 (ja) * | 1994-12-19 | 2005-09-21 | 株式会社ソニー・コンピュータエンタテインメント | 画像データ生成方法及び画像処理システム |
-
1997
- 1997-02-25 AT AT97904636T patent/ATE253235T1/de active
- 1997-02-25 JP JP53078697A patent/JP3620857B2/ja not_active Expired - Lifetime
- 1997-02-25 EP EP97904636A patent/EP0827067B1/en not_active Expired - Lifetime
- 1997-02-25 CN CNB971900884A patent/CN1209736C/zh not_active Expired - Lifetime
- 1997-02-25 US US08/945,580 patent/US6211890B1/en not_active Expired - Lifetime
- 1997-02-25 EP EP03078283A patent/EP1387287B1/en not_active Expired - Lifetime
- 1997-02-25 ES ES97904636T patent/ES2205176T3/es not_active Expired - Lifetime
- 1997-02-25 AT AT03078283T patent/ATE404922T1/de not_active IP Right Cessation
- 1997-02-25 WO PCT/JP1997/000535 patent/WO1997032248A1/ja active IP Right Grant
- 1997-02-25 DE DE69725807T patent/DE69725807T2/de not_active Expired - Lifetime
- 1997-02-25 DE DE69738920T patent/DE69738920D1/de not_active Expired - Lifetime
- 1997-02-25 KR KR1019970707688A patent/KR100506959B1/ko not_active IP Right Cessation
- 1997-02-25 CA CA002218227A patent/CA2218227C/en not_active Expired - Lifetime
- 1997-02-26 TW TW086102345A patent/TW329497B/zh not_active IP Right Cessation
-
2001
- 2001-02-05 US US09/778,159 patent/US6369823B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1387287B1 (en) | 2008-08-13 |
| KR19990008163A (ko) | 1999-01-25 |
| US20010005206A1 (en) | 2001-06-28 |
| DE69725807T2 (de) | 2004-08-05 |
| DE69738920D1 (de) | 2008-09-25 |
| US6211890B1 (en) | 2001-04-03 |
| EP1387287A1 (en) | 2004-02-04 |
| EP0827067A1 (en) | 1998-03-04 |
| TW329497B (en) | 1998-04-11 |
| EP0827067A4 (en) | 1998-06-24 |
| EP0827067B1 (en) | 2003-10-29 |
| CN1180426A (zh) | 1998-04-29 |
| KR100506959B1 (ko) | 2005-11-11 |
| ES2205176T3 (es) | 2004-05-01 |
| CA2218227A1 (en) | 1997-09-04 |
| ATE404922T1 (de) | 2008-08-15 |
| DE69725807D1 (de) | 2003-12-04 |
| CA2218227C (en) | 2002-10-01 |
| US6369823B2 (en) | 2002-04-09 |
| CN1209736C (zh) | 2005-07-06 |
| ATE253235T1 (de) | 2003-11-15 |
| WO1997032248A1 (fr) | 1997-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3620857B2 (ja) | 画像処理装置及び画像処理方法 | |
| KR100482391B1 (ko) | 화상정보처리시스템및방법,및화상처리시스템및방법 | |
| JP3647487B2 (ja) | テクスチャマッピング装置 | |
| EP0715277A2 (en) | Method of producing image data, image data processing apparatus, and recording medium | |
| KR100422082B1 (ko) | 묘화장치및묘화방법 | |
| JP2000132706A (ja) | 記録媒体、画像処理装置および画像処理方法 | |
| EP1312047B1 (en) | Apparatus and method for rendering antialiased image | |
| JP3495189B2 (ja) | 描画装置および描画方法 | |
| JPH10295934A (ja) | ビデオゲーム装置及びモデルのテクスチャの変化方法 | |
| JP3809294B2 (ja) | ゲーム装置、ゲーム方法、コンピュータ読取可能な記録媒体 | |
| JP3297410B2 (ja) | 画像生成システム及び情報記憶媒体 | |
| JP2000218036A (ja) | ゲーム装置、ゲーム制御方法およびその記録媒体 | |
| JP3643036B2 (ja) | 透視変換する装置及び方法 | |
| WO2002041257A1 (fr) | Procédé de dessin de textures, dispositif pour divertissements et support d'enregistrement | |
| JP3617960B2 (ja) | ３次元ゲーム画像処理プログラム、３次元ゲーム画像処理方法及びビデオゲーム装置 | |
| JP4394211B2 (ja) | 画像生成システム及び情報記憶媒体 | |
| JP4391633B2 (ja) | 画像生成システム及び情報記憶媒体 | |
| JP3468985B2 (ja) | グラフィック描画装置、グラフィック描画方法 | |
| JPH09305777A (ja) | 描画処理装置および方法、並びに記録媒体 | |
| JPH08161465A (ja) | 画像データファイル作成方法、記録媒体及び画像作成方法 | |
| JPH1011611A (ja) | 描画装置および描画方法 | |
| JP2004139625A (ja) | データ処理装置およびデータ処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041102 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041116 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071126 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111126 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121126 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131126 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |