JPH1098719A - 画像データ伝送方法および画像処理装置並びに記録媒体 - Google Patents

画像データ伝送方法および画像処理装置並びに記録媒体

Info

Publication number
JPH1098719A
JPH1098719A JP27190996A JP27190996A JPH1098719A JP H1098719 A JPH1098719 A JP H1098719A JP 27190996 A JP27190996 A JP 27190996A JP 27190996 A JP27190996 A JP 27190996A JP H1098719 A JPH1098719 A JP H1098719A
Authority
JP
Japan
Prior art keywords
image data
pixel
data
transparent
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP27190996A
Other languages
English (en)
Other versions
JP3886184B2 (ja
Inventor
Masakazu Suzuoki
雅一 鈴置
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to JP27190996A priority Critical patent/JP3886184B2/ja
Priority to AU37499/97A priority patent/AU719650B2/en
Priority to CA 2215634 priority patent/CA2215634A1/en
Priority to US08/932,226 priority patent/US6071193A/en
Priority to ES97307333T priority patent/ES2210461T3/es
Priority to EP20020079439 priority patent/EP1283500A3/en
Priority to CNB971141460A priority patent/CN1149851C/zh
Priority to DE1997627109 priority patent/DE69727109T2/de
Priority to EP19970307333 priority patent/EP0831424B1/en
Priority to KR1019970047879A priority patent/KR100609614B1/ko
Publication of JPH1098719A publication Critical patent/JPH1098719A/ja
Application granted granted Critical
Publication of JP3886184B2 publication Critical patent/JP3886184B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94Vector quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/203Image generating hardware
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60Methods for processing data by generating or executing the game program
    • A63F2300/66Methods for processing data by generating or executing the game program for rendering three dimensional images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Generation (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 高画質の画像を非可逆圧縮して伝送しても、
伸長デコード後の画像として、透明画素は正しく透明画
素として復元できる。 【解決手段】 画素値として透明を表現する値が割り当
てられた画像データであって、予め定められた所定の大
きさの画面領域分の画像データ単位で、データ圧縮して
画像データを伝送する。画像データ単位の元の画像デー
タのそれぞれの画素について、それが透明であるか不透
明であるかを識別する付加データとしてのマスクパター
ンを、データ圧縮された画像データ単位との対応関係を
もって伝送する。データ圧縮された画像データを伸長し
たときに、マスクパターンにより透明画素とされている
画素は、伸長画像データに関係なく、強制的に透明画素
とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、例えば、ビデオ
ゲーム機やパーソナルコンピュータのように、高い精度
は求められないものの、限られたハードウェア資源の中
で、ユーザの入力や演算結果に応じてリアルタイムに3
次元物体を表示することが求められるシステムにおける
画像データ伝送方法および画像処理装置、さらには、画
像伝送用の記録媒体に適用して好適なものに関する。
【0002】
【従来の技術】家庭用TVゲーム機やパーソナルコンピ
ュータあるいはグラフィックコンピュータなどにおい
て、TV受像機やモニタ受像機などに出力して表示する
画像データを生成するための画像処理装置は、バスを通
じて互いに接続される、汎用メモリ、CPUやその他の
演算LSIが組み合わされて構成され、描画用の画像デ
ータの流れとして、CPUとフレームバッファの間に専
用の描画装置を設けることにより、高速処理を可能にし
ている。
【0003】すなわち、上記画像処理装置においては、
CPU側では、画像を生成する際に、直接、表示画面に
対応する表示メモリとしてのフレームバッファにアクセ
スするのではなく、座標変換やクリッピング、光源計算
等のジオメトリ処理を行ない、3角形・4角形などの基
本的な単位図形(ポリゴン)の組合せとして3次元モデ
ルを定義して3次元画像を描画するための描画命令を作
成する。そして、CPUは、その描画命令を外部バスを
介して描画装置に送る。
【0004】描画命令には、描画しようとするポリゴン
の形、位置、向き、色、模様などの情報が含まれる。ポ
リゴンの形、位置、向きは、その頂点の座標で決まる。
【0005】上記画像生成装置において、例えば、3次
元のオブジェクトを表示する場合は、当該オブジェクト
を複数のポリゴンに分解して、各ポリゴンに対応する描
画命令をCPUが生成し、その生成した描画命令をバス
を通じて描画装置に転送する。描画装置は、当該描画命
令を実行して、フレームバッファに表示データを書き込
み、目的の3次元オブジェクトを表示する。
【0006】この際に、オブジェクトをより実際に近く
表現するために、所定の画像パターンを用意してその画
像パターンによりポリゴン内部を修飾するテクスチャマ
ッピングやミップマッピングと呼ばれる手法が採用され
ている。
【0007】さらに、色変換データを記録した色変換テ
ーブル(以下CLUT(ColorLook Up T
able)と称する)を介して画像の色データを変換す
ることにより、表示色を変化させる手法も広く知られて
いる。
【0008】
【発明が解決しようとする課題】ところで、家庭用TV
ゲーム機や、パーソナルコンピュータを構成する演算L
SIは、コストの上昇なしに、その動作周波数の高速
化、回路規模の縮小などの性能向上が計られているが、
コスト上昇なしで使用できる汎用メモリの容量はさして
増加していない。このため、家庭用TVゲーム機や、パ
ーソナルコンピュータでは、メモリ容量がいわゆるボト
ルネックとなっている。
【0009】特に、前もって高性能のワークステーショ
ンで作成された高品質の画像(プリレンダリングパター
ン)をテクスチャパターンとしてテクスチャマッピング
をする場合、一連の動画の切片を構成するパターンをす
べてメモリに保持しておく必要があるが、テクスチャパ
ターンの解像度が上がれば、それに伴いメモリ容量が圧
迫されることになる。
【0010】そのため、テクスチャパターンをデータ圧
縮してメモリに保持するようにすると共に、圧縮された
テクスチャパターンのデータを使用の都度、メモリから
読み出し、専用の画像伸長装置(圧縮を解凍する装置)
を用いて、伸長デコードして使用する方法がとられてい
る。
【0011】ところで、テクスチャパターンは、例え
ば、縦×横=64画素×64画素の大きさの画面領域分
の画像データで構成される。しかし、テクスチャパター
ンは、矩形であるとは限らないので、前記の矩形の画面
領域分の画像データの内に、描画しない画素、つまり透
明の画素を設定して、必要なテクスチャパターンを表す
ようにしなければならない。
【0012】そこで、描画装置において、前記の矩形領
域分のテクスチャのデータについて描画しない画素を判
別する方法が必要になるが、そのためには、通常は、α
プレーンと呼ばれる透明度を表す同じ画面領域分の情報
を別途用意するようにしている。
【0013】しかし、この方法の場合には、描画装置が
当該αプレーンを用いて描画処理をする必要があるた
め、このαプレーンの情報をテクスチャ画像データと共
にメモリに蓄積しておく必要があり、その分のメモリ容
量を必要とする。
【0014】このメモリ容量の増大を避けるために、画
素値として、透明を表す特別な値、例えば、各画素値を
3原色赤(R),緑(G),青(B)で表す場合に、
(R,G,B)=(0,0,0)のような値、を予め決
めておき、描画装置で、画素値がその値のときには、表
示画面に応じたフレームバッファの値を書き換えない
(つまりテクスチャ画像としては、その画素は透明とな
る)という処理を行うようにすることも提案されてい
る。
【0015】しかしながら、テクスチャ画像データなど
の画像データの高能率圧縮方法は、一般に非可逆的であ
り、透明部分が誤って不透明として復号される場合があ
り、その場合には、その不透明画素部分はテクスチャパ
ターンの周辺エッジのノイズとなって表示されてしまう
問題がある。
【0016】また、画素値として透明を表す特別の値を
用いる方式の場合、不透明画素から急激に描画しない透
明画素になるため、テクスチャパターンを縮小・拡大し
て表示する場合に、テクスチャパターンのエッジに、ぎ
ざぎざしたノイズ、いわゆるエイリアシングノイズが現
れることがある。これは、テレビジョン放送技術におけ
る、いわゆるクロマキーのブルーバックを用いた画面合
成が不完全の場合に生じる現象に近似している。
【0017】この発明は、以上のように、例えばプリレ
ンダリングされたテクスチャパターンのように、画像と
して、高画質のものを用意しても、描画時にそれが劣化
されて表示されてしまう問題を改善することを目的とす
る。
【0018】
【課題を解決するための手段】上記課題を解決するため
に、この発明による画像データ伝送方法は、画素値とし
て透明を表現する値が割り当てられた画像データであっ
て、予め定められた所定の大きさの画面領域分の画像デ
ータ単位で、データ圧縮して画像データを伝送すると共
に、前記画像データ単位の元の画像データのそれぞれの
画素について、それが透明であるか不透明であるかを識
別する付加データを、前記データ圧縮された画像データ
単位との対応関係をもって伝送することを特徴とする。
【0019】そして、前記データ圧縮された画像データ
を伸長したときに、前記付加データにより透明画素とさ
れている画素は、伸長画像データに関係なく、強制的に
透明画素とすることを特徴とする。
【0020】この画像データ伝送方法によれば、データ
圧縮された画像データが伸長復号されたときに、誤差に
より透明とされるべき画素が不透明となっても、付加デ
ータにより、強制的に透明画素に変換される。そして、
このように補正された伸長画像データがメモリに蓄えら
れ、描画装置による描画に用いられる。したがって、付
加データをメモリに蓄える必要はなく、付加データの分
のメモリ容量は不要であり、しかも、本来の透明部分は
透明部分として描画処理されるので、再現画像上におい
ては、非可逆圧縮によるノイズも軽減されることにな
る。
【0021】また、この発明による画像処理装置は、画
素値として透明を表現するための値が割り当てられ、透
明を含む描画を行う画像処理装置において、前記透明の
画素に隣り合う不透明の画素は、半透明にして描画を行
うことを特徴とする。
【0022】この構成の画像処理装置によれば、透明画
素の隣りは、半透明の画素に強制的に変換されるため、
エイリアシングノイズは軽減される。
【0023】
【発明の実施の形態】以下、この発明による画像処理装
置の一実施の形態を、テレビゲーム機の場合について、
図を参照しながら説明する。
【0024】図2は、この発明の一実施の形態のテレビ
ゲーム機の構成例を示すもので、この例は3次元グラフ
ィックス機能と、動画再生機能とを備えるゲーム機の場
合の例である。
【0025】図3は、この例のゲーム機の外観を示すも
ので、この例のゲーム機は、ゲーム機本体1と、ユーザ
の操作入力部を構成するコントロールパッド2とからな
る。コントロールパッド2は、このコントロールパッド
2に接続されているケーブル3の先端に取り付けられて
いるコネクタプラグ4を、ゲーム機本体1のコネクタジ
ャック5Aに結合させることにより、ゲーム機本体1に
接続される。この例では、いわゆる対戦ゲーム等のため
に、2個のコントロールパッド2がゲーム機本体1に対
して接続することができるように、2個のコネクタジャ
ック5A,5Bがゲーム機本体1に設けられている。
【0026】この例のゲーム機は、ゲームプログラムや
画像データが書き込まれた補助記憶手段としての、例え
ばCD−ROMディスク6をゲーム機本体1に装填する
ことにより、ゲームを楽しむことができる。
【0027】次に、図2を参照しながら、この例のゲー
ム機の構成について説明する。この例のゲーム機は、メ
インバス10と、サブバス20とからなる2つのシステ
ムバスを備える構成を有している。これらメインバス1
0と、サブバス20との間のデータのやり取りは、バス
コントローラ30により制御される。
【0028】そして、メインバス10には、メインCP
U11と、メインメモリ12と、画像伸長デコード部1
3と、前処理部14と、描画処理部15と、メインのD
MAコントローラ16が接続されている。描画処理部1
5には、処理用メモリ17が接続されていると共に、こ
の描画処理部15は表示データ用のフレームバッファ
(フレームメモリ)と、D/A変換回路を含み、この描
画処理部15からのアナログビデオ信号がビデオ出力端
子18に出力される。図示しないが、このビデオ出力端
子18は、表示装置としての例えばCRTディスプレイ
に接続される。
【0029】サブバス20には、サブCPU21と、サ
ブメモリ22と、ブートROM23と、サブのDMAコ
ントローラ24と、音声処理用プロセッサ25と、入力
部26と、補助記憶装置部27と、拡張用の通信インタ
ーフェース部28とが接続される。補助記憶装置部27
は、この例ではCD−ROMデコーダ41とCD−RO
Mドライバ42を備える。ブートROM23には、ゲー
ム機としての立ち上げを行うためのプログラムが格納さ
れている。また、音声処理用プロセッサ25に対して
は、音声処理用メモリ25Mが接続されている。そし
て、この音声処理用プロセッサ25はD/A変換回路を
備え、これよりはアナログ音声信号を音声出力端子29
に出力する。
【0030】そして、補助記憶装置部27は、CD−R
OMドライバ42に装填されたCD−ROMディスク6
に記録されているアプリケーションプログラム(例えば
ゲームのプログラム)やデータをデコードする。CD−
ROMディスク6には、例えば離散コサイン変換(DC
T)を用いたMPEG2方式により画像圧縮された動画
や静止画の画像データや、ポリゴンを修飾するためのテ
クスチャ画像の画像データも記録されている。また、C
D−ROMディスク6のアプリケーションプログラムに
は、ポリゴン描画命令が含まれている。
【0031】入力部26は、前述した操作入力手段とし
てのコントロールパッド2と、ビデオ信号の入力端子
と、音声信号の入力端子を備えるものである。
【0032】メインCPU11は、メインバス10側の
各部の管理および制御を行なう。また、このメインCP
U11は、物体を多数のポリゴンの集まりとして描画す
る場合の処理の一部を行う。メインCPU11は、後述
もするように、1画面分の描画画像を生成するための描
画命令列をメインメモリ12上に作成する。メインCP
U11とメインバス10とのデータのやり取りは、デー
タをパケット形式にしてパケット単位に行い、バースト
転送を可能にしている。
【0033】メインメモリ12は、動画や静止画の画像
データに対しては、圧縮された画像データのメモリ領域
と、伸長デコード処理された伸長画像データのメモリ領
域とを備えている。また、メインメモリ12は、描画命
令列などのグラフィックスデータのメモリ領域(これを
パケットバッファという)を備える。このパケットバッ
ファは、メインCPU11による描画命令列の設定と、
描画命令列の描画処理部への転送とに使用される。
【0034】画像伸長デコード部13は、CD−ROM
ディスク6から再生され、メインメモリに転送された圧
縮動画データやメインメモリ12上の圧縮されたテクス
チャパターンデータの伸長処理を行なうもので、この例
では、MPEG2の画像圧縮方式を採用するので、後述
もするように、それに対応したデコーダの構成を有して
いる。
【0035】そして、後述するように、この画像伸長デ
コード部13の出力段には、瞬時の、つまりほぼリアル
タイムでの可逆圧縮/伸長が可能で、圧縮率が例えば1
/4〜1/2程度の瞬時圧縮部50が設けられている。
また、この例の画像伸長デコード部13は、その出力画
像データの出力形式として、画像データの各画素の値を
再量子化して出力する第1の出力データ形式(以下、こ
の第1の出力データ形式をダイレクトカラー形式とい
う)と、前記各画素を、予め定められた限定された数の
再現色の中の、当該画素の色が近似する色を示すインデ
ックスデータに変換して出力する第2の出力データ形式
(以下、この第2の出力データ形式をインデックスカラ
ー形式という)とを、描画処理部15での処理に適合さ
せて選択可能としている。
【0036】描画処理部15は、メインメモリ12から
転送されてくる描画命令を実行して、その結果をフレー
ムメモリに書き込む。フレームメモリから読み出された
画像データは、D/A変換器を介してビデオ出力端子1
8に出力され、画像モニター装置の画面に表示される。
【0037】なお、描画処理部15は、メインメモリ1
2から受け取る画像データの出力形式がインデックスカ
ラー形式の場合にあっては、各画素データをインデック
スデータから対応する代表色データに変換する処理を行
う。このために、描画処理部15は、インデックスデー
タと代表色データとの変換テーブルであるCLUT(C
olor Look Up Table)を格納できる
ようにしている。
【0038】前処理部14は、CPUを備えるプロセッ
サの構成とされるもので、メインCPU11の処理の一
部を分担することができるようにするものである。例え
ばポリゴンデータを、表示のための2次元座標データに
変換する処理も、この前処理部14が行う場合がある。
【0039】そして、この例では、前処理部14とメイ
ンバス10との間に、瞬時圧縮部50による瞬時圧縮を
解凍する瞬時解凍部60が設けられる。
【0040】次に、このゲーム機の基本的な処理につい
て以下に、簡単に説明する。
【0041】[補助記憶装置部27からのデータの取り
込み]図2の例のゲーム機に電源が投入され、ゲーム機
本体1にCD−ROMディスク6が装填されると、ブー
トROM23の、ゲームを実行するためのいわゆる初期
化処理をするためのプログラムが、サブCPU21によ
り実行される。すると、CD−ROMディスク6の記録
データが次のようにして取り込まれる。
【0042】すなわち、補助記憶装置部27において
は、CD−ROMディスク6から、圧縮画像データ、描
画命令及びメインCPU11が実行するプログラムが、
CD−ROMドライバ42、CD−ROMデコーダ41
を介して読み出され、サブDMAコントローラ24によ
ってサブメモリ22に一旦ロードされる。
【0043】そして、このサブメモリ22に取り込まれ
たデータは、サブDMAコントローラおよびバスコント
ローラ30、さらにはメインDMAコントローラ16に
よってメインメモリ12に転送される。なお、サブCP
U21は、描画処理部15のフレームに対して直接的に
アクセスできるように構成されており、このサブCPU
21によっても表示画像内容の変更が、描画処理部15
の制御とは離れて可能とされている。
【0044】[圧縮画像データの伸長及び転送]図4
は、図2のブロック図において、画像データの流れを主
体として、より詳細に説明するためのブロック図であ
る。図4において、点線の矢線が画像データの流れを表
している。
【0045】図4に示すように、画像伸長デコード部1
3は、この例では、DMAコントローラ131と、FI
FOメモリ132と、MPEGのデコーダ(以下、MD
ECという)133と、パッカー134と、FIFOメ
モリ135と、瞬時圧縮部50を備える。瞬時圧縮部5
0は、瞬時圧縮を行うための変換テーブル52と、DM
Aコントローラ51とからなる。
【0046】DMAコントローラ131および51は、
メインバス10のアービトレーションを行い、メインバ
ス10が空いている時間を縫って圧縮画像データおよび
伸長画像データ(瞬時圧縮されている)を、メインメモ
リ12と、この画像伸長デコード13との間でDMA転
送するためのものである。FIFOメモリ132および
FIFOメモリ135は、複数のバス要求が衝突しても
データが失われないようにするための、最低限の段数の
バッファである。
【0047】MDEC133は、MPEG2方式の圧縮
が施された画像データを伸長デコードする。
【0048】このMDEC133における伸長デコード
について説明する前に、画像データがどのように圧縮さ
れてCD−ROM6に記録されているかについて、図1
のブロック図を参照しながら、テクスチャパターンの画
像データの場合を例にとって説明する。
【0049】この例では、テクスチャパターンのデータ
は、前述もしたように、64画素×64画素の矩形領域
の2次元画像データであり、各画素データが、赤
(R)、緑(G)、青(B)の成分のそれぞれが8ビッ
トからなる。このとき、(R,G,B)=(0,0,
0)に割り当てられた画素は、透明色と解釈されるよう
に割り当てられている。図5に、プリレンダリングされ
て得られた高画質の元のテクスチャパターンの例を示
す。
【0050】図1に示すように、入力端101を通じて
入力されたテクスチャパターンの画像データは、ブロッ
ク分割部102において、図5に示すような16画素×
16画素の16個の矩形領域に分割される。この矩形領
域はマクロブロックと呼ばれる。このブロック分割部1
02以降、テクスチャパターンのデータは、このマクロ
ブロック単位で処理される。
【0051】この例の場合、ブロック分割部102で
は、16個のマクロブロックの中で、画素値がすべて透
明色なものは、あらかじめ除去されてパックされ、出力
される。同時に、テクスチャパターン内におけるマクロ
ブロックの位置情報を示すテーブルMtbが、ブロック
分割部102で生成され、記録信号生成部108に供給
されて、テクスチャパターンデータの付加情報であるヘ
ッダ情報に含めて記録されるようにされる。
【0052】このマクロブロックの位置テーブルPtb
は、例えば図5のようなテクスチャパターンの場合に
は、図6に示すようなものとなる。すなわち、マクロブ
ロックの位置テーブルPtbは、すべて透明色の画素か
らなるマクロブロック位置に対しては「0」、マクロブ
ロック内に不透明の画素が1画素でも存在する場合には
「1」が割り当てられた4×4×1ビットのテーブルで
ある。この例の場合には、画素値がすべて透明色のマク
ロブロックが除去されてパックされたテクスチャパター
ンの出力画像データは、図7に示すように10個のマク
ロブロックからなるものとなる。
【0053】このパックされたテクスチャパターンのデ
ータは、圧縮部103に供給される。この圧縮部103
では、各マクロブロックは、図8に示すように、3原色
信号表現から、輝度信号と色差信号とからなる表現に変
換される。これを、以下、CSC(Color Spa
ce Convertion)と呼ぶことにする。この
際に用いられるCSC係数の例を図9の表1に示す。
【0054】マクロブロックは、輝度信号成分について
は、図8に示すように、4分割されて、それぞれ8画素
×8画素の領域からなる4個の輝度ブロックY0,Y
1,Y2,Y3により構成される。また、色差信号成分
からなるマクロブロックは、それぞれ隣り合う4画素が
まとめられて、8画素×8画素のブロックにまとめられ
た2つの色差信号ブロックから構成される。こうして、
マクロブロックは、合計6個のブロックに分けられる。
【0055】このマクロブロックに対して、圧縮部10
3でDCT(Discrite Cosine Tra
nsformation)がかけられる。DCTは、一
般的には直交変換と呼ばれる相似変換の一種で、ブロッ
クの各輝度値を成分とする8画素×8画素の行列Xを考
えると、DCT行列P、その逆行列Piを用いて、 Y=P・X・Pi の形で定義される変換を指す。上記DCT行列Pの係数
は、図10に示す表2の通りである。
【0056】DCT変換されたブロックは成分ごとに異
なる分解能で量子化される。成分ごとの量子化の幅(ス
テップ)を指定するテーブルを量子化テーブル(Qテー
ブル)と呼ぶ。その量子化テーブルの例を図11の表3
に示す。
【0057】実際の量子化は成分ごとに対応するQテー
ブルの値に、全体の量子化ステップを決める値QUAN
Tの積で割ることによって行なわれる。
【0058】ここで、全体の量子化ステップQUANT
の値を大きくするとデコ−ド後の画質は劣化するが、ブ
ロック内の0成分の個数が多くなるため、圧縮率を向上
することができる。
【0059】量子化されたブロックはジグザグオーダー
と呼ばれる順序で1次元に番号づけされた後、ハフマン
符号化による可変長符号化が行われる。そして、この圧
縮部103よりの圧縮画像データは、記録信号生成部1
09に供給される。
【0060】ブロック分割部102からのパックされた
テクスチャパターンの画像データは、また、マスクパタ
ーン生成部104に供給され、パックされたマクロブロ
ックごとに、透明色に対応するビットが1になる、16
×16×1ビットのαパターン(マスクパターン)が用
意され、これがマスクパターンバッファ105を介して
記録信号生成部109に供給される。
【0061】例えば、テクスチャパターンの一つのマク
ロブロックが、図12に示すようなパターンを有する場
合、そのマクロブロックのマスクパターンMskは、図
13に示すようなものとなる。なお、図12において、
右側に示したのは、各画素値を8ビット表現したときの
レベル値であり、画素値=0は、前述したように、3原
色からなる画素値が(R,G,B)=(0,0,0)に
相当し、透明を意味するものである。マスクパターンM
skのデータは、透明である画素に対して「0」、不透
明である画素に対して「1」が設定されたものであり、
16×16×1ビットのデータである。
【0062】また、この例では、インデックスカラー方
式のデータ処理を行うためのCLUT(色変換テーブ
ル)が生成され、このCLUTのデータも、CD−RO
M6に記録される。このため、ブロック分割部102か
らのマクロブロック単位の画像データは、CLUT生成
部106に供給される。このCLUT生成部106で
は、ベクトル量子化により、マクロブロック単位で、そ
のマクロブロックで使用すべき代表色を選定する。そし
て、その代表色とインデックスとからなる図14に示す
ようなCLUTを生成する。
【0063】CLUT生成部106でのベクトル量子化
の手法としては、例えば、赤、緑、青の原色信号成分を
互いに直交する方向にとって3次元空間を考え、各画素
間のその色空間上の距離を求め、互いに距離の短い画素
同志をまとめることにより、マクロブロック内の画素の
色が、この例では、16色の代表色以内に収まるように
画素データを丸める方法を採用する。なお、この方法の
ほかにも、従来から提案されている種々のベクトル量子
化の手法を用いることももちろんできる。しかし、この
実施の形態においては、いずれの方法を用いる場合であ
っても、透明色の画素がマクロブロック内に含まれてい
る場合には、代表色の一つは必ず、透明色が割り当てら
れるように構成される。
【0064】こうして16色、あるいはそれ以下に代表
色を丸めることができたなら、その16色あるいはそれ
以下の代表色と、各代表色のインデックスとからなる、
前述した図14に示す色変換テーブル、つまりCLUT
を作成する。そして、作成したCLUTは、CLUTバ
ッファ107を介して記録信号生成部108に供給す
る。
【0065】記録信号生成部108は、以上の結果をマ
クロブロック単位にまとめ、書き込み部109を通じて
CD−ROM6に書き込むようにする。この場合、例え
ば、図15に示すように、マクロブロック単位の圧縮画
像データの次にそのマクロブロックのマスクパターンM
skおよびCLUTのデータを挿入するようなデータの
形式となり、これをビットストリームと呼ぶ。すなわ
ち、マクロブロック単位の圧縮画像データとマスクパタ
ーン等との組みの連続が、64画素×64画素分のテク
スチャパターンのデータとされ、これがCD−ROM6
に記録されている。なお、一つのテクスチャパターンの
データの先頭には、ヘッダ情報が付加される。このヘッ
ダ情報には、テクスチャパターンのデータであることを
示す識別データのほか、前述したように、テクスチャパ
ターン内でのマクロブロックの位置情報を示す図6に示
したマクロブロック位置テーブルPtbが含められて記
録される。
【0066】以上のようにして圧縮されてCD−ROM
6に記録されている画像データの画像伸長デコードの手
順は、上記の画像圧縮の手順の逆を辿ることで行なわれ
る。この場合の圧縮は非可逆であるので、画像伸長デコ
ード部13では、後述もするように、伸長したマクロブ
ロックの透明色画素が正しく復号されるように、画素値
の圧縮データにインターリーブされて記録されている、
マスクパターンMskを使用して、復号後の画素で対応
するマスクパターンMskのビットが「0」の画素は、
復号結果の画素値に関わらず強制的に透明色に変更され
る。
【0067】画像伸長デコード部13のMDEC133
は、以下の処理により構成される。 (1)CD−ROM6には、圧縮画像および付加情報
(ジオメトリ情報など)がインターリーブして記録され
ている。これらの情報は、CD−ROMドライバ42お
よびCD−ROMデコーダ41により、連続的に読み出
され、前述したように、一旦、メインメモリ12に格納
された後に、圧縮された画像情報のみが切り出されて、
画像伸長デコード部13に転送されてくる。この圧縮画
像情報には、マスクパターンMskが付随している。な
お、ジオメトリ情報などの付加情報は、CPU11にお
いて処理されて、これにより解凍画像がテクスチャとし
て使用されるオブジェクトの位置情報が計算される。 (2)MDEC133は、可変長復号化器を備え、ハフ
マン符号化されたブロックを復号する。このときのハフ
マンの木は固定であるが、対応する符号の値は変更でき
る。 (3)MDEC133は、また、逆量子化器を備える。
この逆量子化器は、復号されたブロックに逆量子化をか
け、前述したジグザグオーダーに対応してブロック順序
を変換する。逆量子化はブロックの各係数単位に異なる
ステップで行なわれる。 (4)MDEC133が備える逆DCT変換器は、8×
8画素の逆直交変換を行なう。 (5)MDEC133は、さらにCSC処理部を備え、
輝度信号・色差信号で表現されたマクロブロック画像を
3原色信号R、G、Bで表現されたものに変換する。
【0068】以上のようにして、補助記憶装置部27か
らメインメモリ12に転送された入力データのうち、圧
縮画像データは、DMAコントローラ131によりメイ
ンメモリ12から画像伸長デコード部13に転送され、
MDEC133で、MPEG2に対応したデコード処理
が行われて、圧縮された画像データが解凍され、各画素
が上述のような3原色信号R,G,Bからなるダイレク
トカラー形式の画像データとしてデコードされる。
【0069】この画像データは、パッカー134に供給
される。このパッカー134は、伸長デコードされた画
像データを、その画素単位で描画処理部15に適合する
形式に梱包するものである。すなわち、前述したよう
に、この例においては、描画処理部15に送る画像デー
タの出力形式をダイレクトカラー形式と、インデックス
カラー形式とのいずれかにすることができるが、この出
力形式の変換をパッカー134は行う。また、このパッ
カー134は、マクロブロック単位のデータについて、
マスクパターンMskを用いて、非可逆圧縮/伸長によ
り、透明画素が不透明画素に変化していても、それを強
制的に透明画素に変換する処理も行う。
【0070】このパッカー134は、図16に示すよう
な構成を有する。すなわち、パッカー134は、ディザ
マトリクステーブル72に基づいてディザ処理を行うデ
ィザ処理部71と、インデックスカラー形式に変換する
ために、画素データをCLUT格納部74に用意される
CLUTの代表色に纏めるようにするベクトル量子化器
73と、パック処理部75と、マスクパターンMskを
格納するマスクパターン格納部76とからなる。
【0071】CLUT格納部74には、テクスチャパタ
ーン画像データにインターリーブされて付加されている
各マクロブロック単位のCLUTが、メインメモリ12
から転送されて格納される。また、マスクパターン格納
部76には、同様にして、テクスチャパターン画像デー
タにインターリーブされて付加されている各マクロブロ
ック単位のマスクパターンMskが、メインメモリ12
から転送されて格納されている。なお、これらCLUT
やマスクパターンMskは、メインメモリを経由せず
に、CD−ROM6から直接的に、格納部74および7
6に転送するようにすることもできる。
【0072】パック処理部75では、復号データを画素
単位にパッキングして出力する。この際に、マスクパタ
ーン格納部76に格納されているマスクパターンMsk
を用いて、圧縮前のもとのテクスチャ画像で、透明であ
った画素の伸長データを強制的に透明色の値に変更する
処理を行う。
【0073】例えば、圧縮前の元のマクロブロックのパ
ターンが、図12のようなもので、そのマスクパターン
Mskが図13に示すようなものであった場合に、MP
EG2による非可逆圧縮/伸長により、伸長デコードさ
れたマクロブロックのパターンが図17に示すように、
透明であった画素が不透明の画素として伸長されたもの
となった場合を考える。
【0074】この場合、パック処理部75には図17に
示すようなマクロブロックのデータが入力されるが、マ
スクパターン格納部76には、図13に示したマスクパ
ターンMskが格納されているので、パック処理部75
では、図13のマスクパターンMskで「0」となって
いる画素は、入力伸長画像データの画素値の如何に関係
なく、すべて透明色であることを示す(R,G,B)=
(0,0,0)に変更する。これにより、パック処理部
75からは図18に示すように、もともと透明色であっ
た画素は、すべて正しく透明色とされた伸長画像データ
が得られる。
【0075】パッカー134から、伸長画像データを、
ダイレクトカラー形式で出力する場合であって、入力画
素のビット数と、出力画素のビット数が等しいときに
は、ディザ処理部71およびベクトル量子化器73はバ
イパスされ、復号データがパック処理部75において画
素単位にパッキングされて出力される。
【0076】ダイレクトカラー形式で出力する場合であ
っても、入力画素のビット数よりも、出力画素のビット
数Nが小さいときには、ディザ処理部71において適当
な丸め処理が行われる。この例の場合、MDEC133
からは16ビットの符号付き固定小数点形式で復号デー
タが得られるもので、丸め処理は、以下のうちのいずれ
かとされる。 a)入力画素がNビットの範囲に収まるようにクリップ
処理がされた後、入力画素値の整数部の下位Nビットが
出力される。 b)入力画素の上位N+1ビットが四捨五入され、その
上位Nビットが出力される。 c)入力画素に固定のディザマトリクステーブル72の
オーダードディザが掛けられた後に、上位N+1ビット
が四捨五入され、その上位Nビットが出力される。
【0077】次に、インデックスカラー形式で出力する
場合には、前述したようにしてCLUT格納部74に格
納された図14に示したようなCLUTの代表色を用い
た逆ベクトル量子化が、ベクトル量子化器73において
行われ、各画素値の代わりに、対応する代表色のインデ
ックスのデータが出力される。
【0078】ベクトル量子化の手法としては、例えば、
伸長デコード後の画素値(3原色R,G,Bのそれぞれ
の色成分について、例えば8ビットからなる色データ)
と、CLUTとして与えられた16種類の代表色データ
(3原色R,G,Bのそれぞれの色成分について、例え
ば4ビットからなる)とを比較して、CLUT74中
で、最も、色が近い色データのインデックスを画素値の
代わりに出力する。
【0079】図19は、このベクトル量子化器3の処理
動作のフローチャートである。
【0080】まず、ステップ201において、伸長デコ
ードされたマクロブロックのデータの最初の画素を取り
出し、次のステップ202でその画素Px,yの画素値
(R,G,B)を読む。次に、ベクトル量子化のための
初期化を行う。この初期化は、CLUTの参照欄をポイ
ンタk(ここで、kは図14におけるインデックス番号
に等しい)を初期値にすると共に、CLUTの代表色デ
ータと画素Px,yの画素値との距離D(R,G,B色
空間上の距離、つまり、色の近似の度合い)の最小値D
min を所定の大きい値にする。
【0081】次に、ステップ204に進み、ポインタk
で示されるCLUTの代表色データを参照し、ステップ
205で、その参照代表色データと、画素Px,yとの
距離Dを求める。
【0082】この場合、2つの色(R1,G1,B1)
と(R2,G2,B2)との距離Dは、例えば以下の式
で計算される。
【0083】 D=(R1-R2)*(R1-R2)+(G1-G2)*(G1-G2)+(B1-B2)*(B1-B2) …(Q1) この式(Q1)で、*は、掛け算を示している。
【0084】次のステップ206で、求めた距離Dと最
小距離Dmin の値の比較を行い、求めた距離Dがそれま
での最小距離Dmin よりも小さければ、ステップ207
において、最小距離Dmin を求めた距離Dに置き換える
と共に、求めるインデックス値kmin を、その代表色の
欄のポインタ値kに置き換える。一方、求めた距離Dが
それまでの最小距離Dmin よりも大きければ、ステップ
208に進み、最小距離Dmin および求めるインデック
ス値kmin をそれまでの値のままとする。
【0085】ステップ207およびステップ208の次
にはステップ209に進み、CLUTのすべての代表色
を参照したか否か判断し、未だ参照がされていない代表
色が残っていれば、ステップ210に進み、ポインタk
の値をインクリメントし、ステップ204に戻って、上
述のステップ204からステップ209までの動作を繰
り返す。
【0086】ステップ209で、当該画素について、C
LUTのすべての代表色の参照が終了したと判断された
ときには、ステップ211に進み、インデックス値kmi
n を、その画素のデータとして出力する。そして、ステ
ップ212に進み、マクロブロック内のすべての画素に
ついて、上述のCLUTを用いたインデックスデータへ
の変換が終了したか否か判断し、終了していない次の画
素があれば、ステップ213に進んで、当該次の画素を
読み出した後、ステップ202に戻り、その画素につい
ての上述の処理を行う。また、マクロブロック内のすべ
ての画素についての処理が終了したと判断したときに
は、次のマクロブロックの処理に移る。
【0087】このようにして、圧縮伸長デコード部13
は、インデックスカラー方式では、伸長デコード後の2
4ビットの画素値を、この例では、4ビットのインデッ
クスのデータに圧縮変換して出力する。この伸長出力画
像データには、マスクパターンMskのデータやCLU
Tのデータは、含まれていないことはいうまでもない。
【0088】以上のようにして、パッカー134で梱包
された画素データは、FIFOメモリ135を通じて瞬
時圧縮部50に送られ、画像データが瞬時圧縮される。
ここでの瞬時圧縮は、MPEG2のような高能率圧縮と
は異なり、1/4〜1/2と圧縮率は低いが、ハードウ
エア規模が小さな圧縮/復号回路で高速に可逆的に圧縮
/復号ができるものが使用される。
【0089】この例の場合には、圧縮にはランレングス
符号化とハフマン符号化が同時に行なわれる。この圧縮
のための辞書としてのコードブックである変換テーブル
52が、瞬時圧縮部50に設けられる。このコードブッ
クである変換テーブル52の生成は、予め行われて、保
持されている。
【0090】図示のように、瞬時圧縮部50は、機能的
にDMAコントローラ51を備え、変換テーブル52を
用いて、ランレングス符号化とハフマン符号化が同時に
行って瞬時圧縮しながら、MPEG伸長デコードされた
画像データを、メインメモリ12に転送する。以上が、
画像伸長デコード部13の動作である。この場合、圧縮
後のデータは、透明色として特定の値が与えられた画像
データであるので、メインメモリ12には、透明度を表
すαプレーンを記憶することは不要であり、その分だ
け、メモリ容量が少なくて済む。しかも、この実施の形
態では、瞬時圧縮部50により、圧縮されたデータがメ
インメモリ12に記憶されるため、データ量が少なくな
る。
【0091】なお、動き補償を行なう場合は、瞬時圧縮
部50での瞬時可逆圧縮を行なわない。この場合、画像
伸長デコード部13はビットストリームを読み込む際
に、同時にメインメモリ12上に展開された前フレーム
の画像データを同時に読み込んで処理を行なう。
【0092】[描画命令列についての処理と転送]物体
の面を構成するポリゴンは、3次元的な奥行きの情報で
あるZデータに従って奥行き方向の深い位置にあるポリ
ゴンから順に描画することにより、2次元画像表示面に
立体的に画像を表示することができる。メインCPU1
1は、このように奥行き方向の深い位置にあるポリゴン
から順に、描画処理部15で描画が行われるようにする
ための描画命令列をメインメモリ12上に作成する。
【0093】メインCPU11は、入力部26のコント
ロールパッドからのユーザーの操作入力に基づいて、物
体や視点の動きを計算し、メインメモリ12上にポリゴ
ン描画命令列を作成する。
【0094】この描画命令列が完成すると、メインDM
AC16は、前処理部14を通じて、描画命令毎に、メ
インメモリ12から描画処理部15に転送する。
【0095】描画処理部15では、送られてきたデータ
を順次実行して、その結果を、フレームメモリの描画領
域に格納する。このポリゴン描画の際、データは、描画
処理部15の勾配計算ユニットに送られ、勾配計算が行
なわれる。勾配計算は、ポリゴン描画で多角形の内側を
マッピングデータで埋めていく際、マッピングデータの
平面の傾きを求める計算である。テクスチャの場合はテ
クスチャ画像データでポリゴンが埋められ、また、グー
ローシェーディングの場合は輝度値でポリゴンが埋めら
れる。
【0096】更に、動画のテクスチャが可能である。つ
まり、動画テクスチャの場合には、前述したように、C
D−ROMディスク6からの圧縮された動画データは、
一旦、メインメモリ12に読み込まれる。そして、この
圧縮画像データは、画像伸長デコード部13に送られ
る。画像伸長デコード部13で、画像データが伸長され
る。
【0097】そして、前述したようにして、伸長された
動画データは描画処理部15のフレームメモリ上のテク
スチャ領域に送られる。テクスチャ領域は、この描画処
理部15のフレームバッファ内に設けられているので、
テクスチャパターン自身も、フレーム毎に書き換えるこ
とが可能である。このように、テクスチャ領域に動画を
送ると、テクスチャが1フレーム毎に動的に書き換えら
れて変化する。このテクスチャ領域の動画により、ポリ
ゴンへのテクスチャマッピングを行えば、動画のテクス
チャが実現される。
【0098】メインCPU11は、伸長されたマクロブ
ロック単位の画像データが一定量、メインメモリ12に
蓄積された時点で、当該伸長データを、メインバス10
を通じ、瞬時解凍部60および前処理部14を介して描
画処理部15のフレームバッファに転送するようにす
る。この際に、伸長画像データがフレームバッファの画
像メモリ領域に転送されれば、そのまま背景動画像とし
て画像モニター装置で表示されることになる。また、フ
レームバッファのテクスチャ領域に転送されれば、この
テクスチャ領域の画像データは、テクスチャ画像とし
て、ポリゴンの修飾に使用される。
【0099】瞬時解凍部60は、機能ブロックとしての
DMAコントローラ61と、瞬時圧縮部50の変換テー
ブル52とは逆変換を行うための変換テーブル62とか
らなり、メインメモリ12からの瞬時圧縮されている画
像データを、変換テーブル62を用いて解凍し、MPE
G伸長デコードされた画像データとし、前処理部14を
通じて描画処理部15に送る。
【0100】この例の場合、出力形式がダイレクトカラ
ー形式の場合には、前処理部14から、各画素のデータ
が指定された所定のビット数のR,G,Bの3原色信号
からなる画像データが描画処理部15に供給されて、描
画処理が実行される。
【0101】一方、インデックスカラー形式の場合に
は、描画処理部15には、前述したようなインデックス
データが供給される。描画処理部15は、前述のCLU
T格納部74に格納されるものと同様のCLUTがメイ
ンメモリ12から転送されて格納されており、描画処理
部15は、このCLUTを用いて、インデックスカラー
形式の画像データを、対応する代表色データに変換する
処理を行い、画像データを復元する。そして、この復元
した画像データを用いて描画処理を実行する。
【0102】そして、描画処理部15では、上述のよう
なテクスチャパターンを用いたテクスチャマッピング処
理を行う場合において、透明の画素に隣り合う不透明の
画素は、半透明にして描画する処理をも行う。
【0103】図20は、描画処理部15で実行される半
透明処理の一例のフローチャートである。この例の半透
明処理においては、画像の水平方向について、透明画素
の隣りは半透明とするものである。
【0104】すなわち、まず、ステップ301におい
て、マクロブロックのデータの最初の画素を取り出し、
次のステップ302でその画素Px,yの画素値を読
む。この画素値は、インデックスデータである場合に
は、CLUTから得た代表色データである。次に、ステ
ップ303において、当該画素が透明であるか否か判断
する。透明であるか否かは、前述したように、画素値
が、予め設定された透明色(R,G,B,)=(0,
0,0)であるか否かにより判断する。
【0105】当該画素Px,yが透明であれば、描画処
理部15では、ステップ307に進み、当該画素Px,
yは透明画素として描画する。すなわち、フレームバッ
ファの当該画素Px,yの位置の画素データは書き換え
ず、背景の色のままとする。
【0106】ステップ303で、画素Px,yが不透明
であると判別されたときには、ステップ304に進み、
当該画素Px,yがマクロブロックの水平方向の端部の
画素であるか否か判断し、水平方向の端部の画素であれ
ば、ステップ309に進み、その画素Px,yは、半透
明の画素として描画する。すなわち、フレームバッファ
の当該画素Px,yの位置の画素データは、背景の色と
当該画素Px,yの色の1:1の混合とする。
【0107】ステップ304で、当該画素Px,yがマ
クロブロックの水平方向の端部の画素でないと判別され
たときには、ステップ305に進み、当該画素Px,y
に対し、水平方向に一つ手前の隣接画素Px−1,yが
透明であるか否か判断する。隣接画素Px−1,yが透
明であれば、ステップ309に進み、当該画素Px,y
は、半透明の画素として描画する。
【0108】ステップ305で、隣接画素Px−1,y
が透明でないと判別されたときには、ステップ306に
進む。ステップ306では、当該画素Px,yの水平方
向に一つ後の隣接画素Px+1,yが透明であるか否か
判断する。隣接画素Px+1,yが透明であれば、ステ
ップ309に進み、当該画素Px,yは、半透明の画素
として描画する。
【0109】ステップ306で、隣接画素Px+1,y
が透明でないと判断されたときには、画素Px,yに対
して水平方向に隣接する2個の画素は共に不透明である
ので、ステップ308に進んで、当該画素Px,yは、
不透明の画素として描画する。すなわち、フレームバッ
ファの対応する画素値を当該画素Px,yの値に書き換
える。
【0110】今、当該画素Px,yの混合率をαとする
と、α=0.0は透明、α=0.5は半透明、α=1.
0は不透明の描画処理となる。上述の半透明処理を、図
12に示したようなマクロブロックのパターンの例につ
いて適用した場合の結果の例を示すと、図21のような
ものとなる。これにより、テクスチャマッピングにおけ
るエイリアシングノイズを軽減することができる。
【0111】なお、以上の半透明処理においては、水平
方向の隣接画素のみが透明であるときに、不透明画素を
半透明に描画するようにしたが、垂直方向の隣接画素の
みを参照して半透明にするか否かを決定するようにして
もよい。また、水平方向および垂直方向のいずれかの隣
接画素が透明であるときに、当該不透明画素を半透明で
描画するようにしてもよい。さらには、斜め方向の隣接
画素をも参照して半透明処理をするようにしてもよい。
【0112】また、単に隣接する画素が透明であるかに
より半透明の描画を行うのではなく、例えば、水平方向
または垂直方向に連続して透明画素が続いている状態か
ら、不透明画素に変化したときの最初の不透明画素を半
透明で描画し、また、不透明画素が連続している状態か
ら、透明画素に変化したとき、透明画素への変化直前の
不透明画素を半透明で描画するようにしてもよい。
【0113】以上のようにして、この実施の形態によれ
ば、透明色の画素に対しては予め特定の画素値を与えた
画像データに対して、非可逆圧縮方式により高能率に圧
縮するが、透明色の画素と不透明の画素を認識するため
に、1画素あたり1ビットからなるマスクパターンMs
kを付加データとして、圧縮画像データに付加するよう
にし、圧縮画像データを伸長したときに、このマスクパ
ターンMskを用いて、本来透明である画素は強制的に
透明画素データに変更するようにするので、透明画素は
常に正しく透明の描画がなされる。
【0114】また、描画のためには、αプレーンは不要
であるので、メインメモリ12の容量がその分、少なく
てすむ。
【0115】また、透明画素に隣接する不透明画素は、
半透明に描画するようにすることにより、描画画像の輪
郭部分のエイリアシングノイズを軽減することができ
る。
【0116】また、この実施の形態によれば、伸長画像
データは、瞬時圧縮されてメインバス10を通じてメイ
ンメモリに転送される。したがって、圧縮されている分
だけ、メモリの利用効率が向上する。しかも、伸長画像
データの出力形式としてインデックスカラー形式とした
場合には、画素データがインデックスのデータで構成さ
れるために、データ量が少なくなり、その分だけ、メイ
ンメモリの利用効率がよくなる。
【0117】また、メインバス10を通じて画像伸長デ
コード部13からメインメモリ12に転送される伸長画
像データおよび、メインメモリ12からメインバス10
を通じて描画処理部15に転送される伸長画像データ
は、それぞれ瞬時圧縮されているデータであり、データ
量が少ないので、バスの転送速度が向上する。
【0118】また、この実施の形態では、入力圧縮画像
データの形式が1種類であっても、画像伸長デコード部
13からの出力データの出力形式をダイレクトカラー形
式とインデックスカラー形式とのいずれかを選択するこ
とが可能であり、別々の出力形式を得るために、入力画
像データを別途用意する必要がないので、その点でも、
メインメモリの利用効率が向上する。
【0119】また、ダイレクトカラー形式の場合におい
ても、ディザ処理により、描画処理部15での処理に適
合したビット数に丸めることができるので、所望のビッ
ト数の出力データを容易に得ることができる。
【0120】なお、以上の例は、この発明による画像処
理装置をゲーム機に適用した場合であるが、この発明に
よる画像処理装置は、種々の用途に使用できることはい
うまでもない。
【0121】
【発明の効果】以上説明したように、この発明によれ
ば、透明画素については常に正しく透明の描画を行うこ
とができる。しかも、透明の描画処理時には、αプレー
ンのような付加的なデータを用いないので、このような
付加的なデータをメモリに保存する必要がない。
【0122】また、透明画素に隣接する不透明画素は、
半透明の描画処理をすることにより、エイリアシングノ
イズを軽減することができる。
【図面の簡単な説明】
【図1】この発明による画像データ伝送方法の一実施の
形態を説明するための記録処理部の例を示すブロック図
である。
【図2】この発明による画像処理装置の一実施の形態と
してのゲーム機の構成例を示すブロック図である。
【図3】図2の例のゲーム機の外観例を示す図である。
【図4】この発明の一実施の形態における圧縮画像デー
タの処理の流れを説明するための図である。
【図5】この発明の一実施の形態における元の画像およ
びその処理単位を説明するための図である。
【図6】図5の画像の処理に用いる付加的なデータを説
明するための図である。
【図7】図5の元の画像を記録するときのデータを説明
するための図である。
【図8】この発明の一実施の形態における圧縮画像デー
タの処理単位を説明するための図である。
【図9】この発明の一実施の形態における圧縮画像デー
タの圧縮方式を説明するための図である。
【図10】この発明の一実施の形態における圧縮画像デ
ータの圧縮方式を説明するための図である。
【図11】この発明の一実施の形態における圧縮画像デ
ータの圧縮方式を説明するための図である。
【図12】この発明の一実施の形態における圧縮画像デ
ータの処理単位の元の画像パターンの例を示す図であ
る。
【図13】図12の画像パターンに付随する付加的なデ
ータを示す図である。
【図14】インデックスカラー形式のための色変換テー
ブルを説明するための図である。
【図15】この発明の一実施の形態における圧縮画像デ
ータの記録時のフォーマットの例を示す図である。
【図16】図2の一部のブロックの詳細例を示すブロッ
ク図である。
【図17】非可逆圧縮より、画像データに生じるノイズ
を説明するための図である。
【図18】この発明の一実施の形態により、非可逆圧縮
により生じたノイズを除去した後の画像パターンを示す
図である。
【図19】インデックスカラー形式のデータに変換する
処理のフローチャートの例を示す図である。
【図20】半透明処理を含む描画処理動作のフローチャ
ートの例を示す図である。
【図21】半透明処理を説明するための図である。
【符号の説明】
10…メインバス、11…メインCPU、12…メイン
メモリ、13…画像伸長デコード部、14…前処理部、
15…描画処理部、16…メインDMAコントローラ、
50…瞬時圧縮部、51…瞬時圧縮用の変換テーブル、
60…瞬時解凍部、61…圧縮解凍用の変換テーブル、
71…ディザ処理部、72…ディザマトリクステーブ
ル、73…ベクトル量子化器、74…CLUT格納部、
75…パック処理部、76…マスクパターン格納部、1
02…ブロック分割部、103…画像データの圧縮部、
104…マスクパターン生成部、106…CLUT生成
部、108…記録信号生成部、132および135…F
IFOメモリ、133…MPEGのデコーダ、134…
パッカー

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】画素値として透明を表現する値が割り当て
    られた画像データであって、予め定められた所定の大き
    さの画面領域分の画像データ単位で、データ圧縮して画
    像データを伝送すると共に、 前記画像データ単位の元の画像データのそれぞれの画素
    について、それが透明であるか不透明であるかを識別す
    る付加データを、前記データ圧縮された画像データ単位
    との対応関係をもって伝送することを特徴とする画像デ
    ータ伝送方法。
  2. 【請求項2】前記データ圧縮された画像データを伸長し
    たときに、前記付加データにより透明画素とされている
    画素は、伸長画像データに関係なく、強制的に透明画素
    とすることを特徴とする請求項1に記載の画像データの
    伝送方法。
  3. 【請求項3】画素値として透明を表現する値が割り当て
    られた画像データであって、予め定められた所定の大き
    さの画面領域分の画像データ単位で、データ圧縮された
    画像データと、前記画像データ単位の元の画像データの
    それぞれの画素について、それが透明であるか不透明で
    あるかを識別する付加データとが対とされた入力画像デ
    ータの処理装置であって、 前記データ圧縮された単位画像データごとにデータ伸長
    する伸長デコード手段と、 前記伸長デコード手段からのデータ伸長された単位画像
    データごとに、前記付加データにより透明画素とされて
    いる画素は、強制的に透明画素とする画像補正手段と、 を備えることを特徴とする画像処理装置。
  4. 【請求項4】画素値として透明を表現するための値が割
    り当てられ画像データにより、透明を含む描画を行う画
    像処理装置において、 前記透明の画素に隣り合う不透明の画素は、半透明にし
    て描画を行うことを特徴とする画像処理装置。
  5. 【請求項5】予め定められた所定の大きさの画面領域分
    の画像データ単位で、データ圧縮された画像データが記
    録されると共に、 前記画像データ単位の元の画像データのそれぞれの画素
    について、それが透明であるか不透明であるかを識別す
    る付加データが、前記データ圧縮された画像データ単位
    との対応関係を持って記録された記録媒体。
JP27190996A 1996-09-20 1996-09-20 画像データの処理方法および画像処理装置 Expired - Lifetime JP3886184B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP27190996A JP3886184B2 (ja) 1996-09-20 1996-09-20 画像データの処理方法および画像処理装置
AU37499/97A AU719650B2 (en) 1996-09-20 1997-09-12 Method and apparatus for transmitting picture data, processing pictures and recording medium therefor
CA 2215634 CA2215634A1 (en) 1996-09-20 1997-09-16 Method and apparatus for transmitting picture data, processing pictures and recording medium therefor
US08/932,226 US6071193A (en) 1996-09-20 1997-09-17 Method and apparatus for transmitting picture data, processing pictures and recording medium therefor
EP20020079439 EP1283500A3 (en) 1996-09-20 1997-09-19 Processing picture data
CNB971141460A CN1149851C (zh) 1996-09-20 1997-09-19 发送图像数据和处理图像的方法和装置
ES97307333T ES2210461T3 (es) 1996-09-20 1997-09-19 Metodos y aparatos para transmitir datos de imagenes, tratamiento de imagenes y medios de registro para ello.
DE1997627109 DE69727109T2 (de) 1996-09-20 1997-09-19 Verfahren und Gerät zur Bilddatenübertragung, Bildverarbeitung und Aufzeichnungsmedien dafür
EP19970307333 EP0831424B1 (en) 1996-09-20 1997-09-19 Methods and apparatus for transmitting picture data, processing pictures and recording media therefor
KR1019970047879A KR100609614B1 (ko) 1996-09-20 1997-09-20 화상데이터전송및화상처리를위한방법및장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27190996A JP3886184B2 (ja) 1996-09-20 1996-09-20 画像データの処理方法および画像処理装置

Publications (2)

Publication Number Publication Date
JPH1098719A true JPH1098719A (ja) 1998-04-14
JP3886184B2 JP3886184B2 (ja) 2007-02-28

Family

ID=17506580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27190996A Expired - Lifetime JP3886184B2 (ja) 1996-09-20 1996-09-20 画像データの処理方法および画像処理装置

Country Status (9)

Country Link
US (1) US6071193A (ja)
EP (2) EP1283500A3 (ja)
JP (1) JP3886184B2 (ja)
KR (1) KR100609614B1 (ja)
CN (1) CN1149851C (ja)
AU (1) AU719650B2 (ja)
CA (1) CA2215634A1 (ja)
DE (1) DE69727109T2 (ja)
ES (1) ES2210461T3 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092628A (ja) * 2000-09-20 2002-03-29 Namco Ltd ゲームシステム、情報記憶媒体及び圧縮データの生成方法
US6970642B1 (en) 1999-09-12 2005-11-29 Sony Computer Entertainment Inc. Method and electronic device for decoding compressed image data and auxiliary recording device
JP2009176167A (ja) * 2008-01-25 2009-08-06 Sammy Corp 画像圧縮装置、画像再生装置、および画像圧縮プログラム
JP2009176244A (ja) * 2008-01-28 2009-08-06 Sammy Corp 画像作成装置及びプログラム
JP2013074550A (ja) * 2011-09-28 2013-04-22 Axell Corp 画像圧縮方法、画像伸長方法、及び画像処理装置
JP2015099562A (ja) * 2013-11-20 2015-05-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030008715A1 (en) * 1995-06-01 2003-01-09 Anton Huber Program-controlled, money-operated entertainment and gaming apparatus
JP3524247B2 (ja) * 1995-10-09 2004-05-10 任天堂株式会社 ゲーム機およびそれを用いたゲーム機システム
JP3886184B2 (ja) * 1996-09-20 2007-02-28 株式会社ソニー・コンピュータエンタテインメント 画像データの処理方法および画像処理装置
US6639945B2 (en) * 1997-03-14 2003-10-28 Microsoft Corporation Method and apparatus for implementing motion detection in video compression
US6775417B2 (en) 1997-10-02 2004-08-10 S3 Graphics Co., Ltd. Fixed-rate block-based image compression with inferred pixel values
US6610917B2 (en) 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
JP3898347B2 (ja) * 1998-06-30 2007-03-28 富士通株式会社 動画データ制御装置、動画データ制御方法、及び動画データ制御プログラムを記録したコンピュータ読みとり可能な記録媒体
US6298169B1 (en) * 1998-10-27 2001-10-02 Microsoft Corporation Residual vector quantization for texture pattern compression and decompression
US6401143B1 (en) * 1999-12-02 2002-06-04 Xerox Corporation Loopback direct memory access control system for a digital scanner
US6463481B1 (en) * 1999-12-02 2002-10-08 Xerox Corporation Direct memory access control system for a digital scanner
US7505046B1 (en) 2000-05-02 2009-03-17 Adobe Systems Incorporated Preserving opaque-like rendering in transparent 2D graphics using knockout groups
US7102651B1 (en) * 1999-12-22 2006-09-05 Adobe Systems Incorporated Hierarchical 2-D color compositing with blending mode and opacity controls at all levels
US7151546B1 (en) 1999-12-22 2006-12-19 Adobe Systems Incorporated Restricting scope of blending modes in 2-D compositing using isolated groups
US6842177B2 (en) * 2001-12-14 2005-01-11 University Of Washington Macroblock padding
US7050067B2 (en) * 2003-01-13 2006-05-23 Microsoft Corporation Hardware accelerated anti-aliased primitives using alpha gradients
WO2006028093A1 (ja) * 2004-09-06 2006-03-16 Matsushita Electric Industrial Co., Ltd. 画像生成装置および画像生成方法
GB0504570D0 (en) * 2005-03-04 2005-04-13 Falanx Microsystems As Method of and apparatus for encoding data
US8345014B2 (en) 2008-07-12 2013-01-01 Lester F. Ludwig Control of the operating system on a computing device via finger angle using a high dimensional touchpad (HDTP) touch user interface
CN101754034B (zh) * 2008-12-05 2012-08-22 凌阳多媒体股份有限公司 透明属性的离散余弦转换压缩图数据的解压缩系统及方法
JP5642457B2 (ja) * 2010-08-31 2014-12-17 オリンパス株式会社 表示制御装置および表示制御方法
US9442652B2 (en) * 2011-03-07 2016-09-13 Lester F. Ludwig General user interface gesture lexicon and grammar frameworks for multi-touch, high dimensional touch pad (HDTP), free-space camera, and other user interfaces
CN103974062B (zh) * 2013-06-24 2018-10-26 福州瑞芯微电子股份有限公司 图像显示装置、图像显示系统和图像显示方法
CN105393541B (zh) * 2013-07-19 2018-10-12 华为技术有限公司 使用基于深度的块分割编解码纹理块的方法和装置
CN104715441A (zh) * 2015-03-13 2015-06-17 小米科技有限责任公司 图片处理方法及装置
US11145107B2 (en) 2019-11-04 2021-10-12 Facebook Technologies, Llc Artificial reality system using superframes to communicate surface data
US11430141B2 (en) 2019-11-04 2022-08-30 Facebook Technologies, Llc Artificial reality system using a multisurface display protocol to communicate surface data
CN112019278B (zh) * 2020-08-18 2022-05-27 南京信息工程大学 三维mamsk-cap光子接入方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5327509A (en) * 1992-04-27 1994-07-05 Star Technologies, Inc. Compressed image system for texture patterns
JPH0728986A (ja) * 1993-07-09 1995-01-31 Fuji Xerox Co Ltd 画像合成処理装置
JPH07240845A (ja) * 1994-02-28 1995-09-12 Fuji Film Micro Device Kk 画像のデータ圧縮および伸張
US5568167A (en) * 1994-09-23 1996-10-22 C-Cube Microsystems, Inc. System for providing antialiased video overlays
JP3334384B2 (ja) * 1994-12-20 2002-10-15 松下電器産業株式会社 画像予測符号化方法
US5892518A (en) * 1995-07-28 1999-04-06 Matsushita Electric Industrial Co., Ltd. Image generating apparatus with pixel calculation circuit including texture mapping and motion compensation
JP3764765B2 (ja) * 1995-09-06 2006-04-12 インターナショナル・ビジネス・マシーンズ・コーポレーション ディジタル画像の処理方法及びシステム
JP3886184B2 (ja) * 1996-09-20 2007-02-28 株式会社ソニー・コンピュータエンタテインメント 画像データの処理方法および画像処理装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970642B1 (en) 1999-09-12 2005-11-29 Sony Computer Entertainment Inc. Method and electronic device for decoding compressed image data and auxiliary recording device
JP2002092628A (ja) * 2000-09-20 2002-03-29 Namco Ltd ゲームシステム、情報記憶媒体及び圧縮データの生成方法
JP4530314B2 (ja) * 2000-09-20 2010-08-25 株式会社バンダイナムコゲームス ゲームシステム、情報記憶媒体及び圧縮データの生成方法
JP2009176167A (ja) * 2008-01-25 2009-08-06 Sammy Corp 画像圧縮装置、画像再生装置、および画像圧縮プログラム
JP2009176244A (ja) * 2008-01-28 2009-08-06 Sammy Corp 画像作成装置及びプログラム
JP2013074550A (ja) * 2011-09-28 2013-04-22 Axell Corp 画像圧縮方法、画像伸長方法、及び画像処理装置
JP2015099562A (ja) * 2013-11-20 2015-05-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US6071193A (en) 2000-06-06
KR100609614B1 (ko) 2006-12-07
DE69727109T2 (de) 2004-11-18
CA2215634A1 (en) 1998-03-20
EP0831424A3 (en) 1998-12-02
EP1283500A3 (en) 2004-11-03
EP0831424A2 (en) 1998-03-25
EP0831424B1 (en) 2004-01-07
JP3886184B2 (ja) 2007-02-28
ES2210461T3 (es) 2004-07-01
CN1149851C (zh) 2004-05-12
AU3749997A (en) 1998-03-26
CN1189654A (zh) 1998-08-05
DE69727109D1 (de) 2004-02-12
AU719650B2 (en) 2000-05-11
KR19980024801A (ko) 1998-07-06
EP1283500A2 (en) 2003-02-12

Similar Documents

Publication Publication Date Title
JP3886184B2 (ja) 画像データの処理方法および画像処理装置
US5949409A (en) Image processing in which the image is divided into image areas with specific color lookup tables for enhanced color resolution
JP3578498B2 (ja) 画像情報処理装置
US5933148A (en) Method and apparatus for mapping texture
US6275239B1 (en) Media coprocessor with graphics video and audio tasks partitioned by time division multiplexing
KR100363504B1 (ko) 영상처리장치
JP3492761B2 (ja) 画像生成方法及び装置
JP2006014341A (ja) Mcuバッファを用いて画像データを格納するための方法及び装置
CN104137548A (zh) 运动图像压缩装置、图像处理装置、运动图像压缩方法、图像处理方法、以及运动图像压缩文件的数据结构
CN111402380A (zh) 一种gpu压缩纹理处理方法
US7796823B1 (en) Texture compression
US5999112A (en) Data compression apparatus and method, data expansion apparatus and method, and recording medium
WO2014167609A1 (ja) 情報処理装置、制御方法、プログラム、及び記録媒体
JP3556777B2 (ja) 画像処理装置
JPH08163560A (ja) 画像情報生成方法及び画像情報処理方法、並びに記録媒体
KR20000029715A (ko) 화상매핑장치및방법과화상생성장치및방법
TW201021578A (en) Decompression system and method for DCT-based compressed graphic data with transparent attribute
JP3547236B2 (ja) 画像情報生成装置及び方法、並びに画像情報処理装置及び方法
JP2005045797A (ja) 画像データの伝送に要する帯域幅を縮小するための方法及び装置
JP3238567B2 (ja) 画像生成方法及び装置
JPH0488749A (ja) 画像処理装置
JP2011175542A (ja) 画像データ処理装置
JPH077732A (ja) 画像処理装置
JP3698747B2 (ja) 画像データ生成方法及び画像処理システム
JP4364729B2 (ja) 画像データ圧縮/伸張方法および画像処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050509

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060404

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060825

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20061017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061121

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101201

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101201

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111201

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111201

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121201

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121201

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131201

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term