JP3715222B2 - 描画方法、描画装置、描画処理プログラム、描画処理プログラムを記録した記録媒体、および描画処理プログラム実行装置 - Google Patents

描画方法、描画装置、描画処理プログラム、描画処理プログラムを記録した記録媒体、および描画処理プログラム実行装置 Download PDF

Info

Publication number
JP3715222B2
JP3715222B2 JP2001236325A JP2001236325A JP3715222B2 JP 3715222 B2 JP3715222 B2 JP 3715222B2 JP 2001236325 A JP2001236325 A JP 2001236325A JP 2001236325 A JP2001236325 A JP 2001236325A JP 3715222 B2 JP3715222 B2 JP 3715222B2
Authority
JP
Japan
Prior art keywords
image
distance
coefficient
structural unit
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001236325A
Other languages
English (en)
Other versions
JP2002260007A (ja
Inventor
浩 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to JP2001236325A priority Critical patent/JP3715222B2/ja
Priority to US10/012,203 priority patent/US7167600B2/en
Priority to EP01309140A priority patent/EP1223559A3/en
Priority to KR1020010071070A priority patent/KR20020053708A/ko
Priority to CNB011393831A priority patent/CN1267859C/zh
Publication of JP2002260007A publication Critical patent/JP2002260007A/ja
Application granted granted Critical
Publication of JP3715222B2 publication Critical patent/JP3715222B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えばテレビジョンモニタ装置などの2次元画面上へ画像を描画する描画方法及び描画装置、コンピュータに実行させるための描画処理プログラムを記録したコンピュータ読み取り可能な記録媒体、描画処理プログラムを実行するプログラム実行装置、コンピュータに実行させるための描画処理プログラムに関する。
【0002】
【従来の技術】
近年のテレビゲーム機やパーソナルコンピュータは、プロセッサやメモリ等の高集積化、高速化等が進んでおり、その結果、例えば臨場感が有り且つ遠近感(奥行き感)のある3次元画像をリアルタイムに生成し、2次元モニタ画面上に描画するようなことが可能となっている。
【0003】
上記2次元モニタ画面上に表示する3次元画像を描画する場合は、例えば、3次元ポリゴンのデータに対して座標変換処理,クリッピング(Clipping)処理,ライティング(Lighting)処理等のジオメトリ(Geometry)処理を施し、その処理の結果得られるデータを透視投影変換処理するようなことが行われる。
【0004】
【発明が解決しようとする課題】
ところで、上記2次元モニタ画面上に3次元画像を描画する際には、例えば遠近感を表現したり、遠方のポリゴンの縮小描画によるフリッカの影響を少なくすることなどを目的として、仮想視点からの距離が近い部分にはピントが合った状態となる画像を描画し、一方で、仮想視点からの距離が遠くなるほど暈けた画像を描画するような手法がとられている。
【0005】
上記仮想視点からの距離に応じて暈けた画像を描画するために、従来は、例えば元画像を上記仮想視点からの距離に応じて多段階的に縮小した後に拡大し、その拡大した画像を、各ピクセル毎に設定されている仮想視点からの奥行き方向の距離(Z値)に応じて元画像と合成するようなことが行われている。
【0006】
しかしながら、上記仮想視点からの距離に応じた多段階の縮小処理とそれに対応する拡大処理を行うことは、CPUによる画像処理量の増大を招き、その結果として、例えばゲーム進行上の他の処理へ悪影響が及んでしまうことなどの問題が発生する。
【0007】
一方で、例えばCPUへの負荷を軽減するために、暈け画像生成時の縮小、拡大の段階数を減らすようなことを行うと、所望の暈け具合を得ることができず、良好な遠近感が得られなくなる。
【0008】
そこで、本発明は、このような課題に鑑みてなされたものであり、仮想視点からの距離に応じて暈かした画像を描画する場合に、CPUの負荷を減らすことができ、また、仮想視点からの距離に応じた所望の暈け具合を得ることができ、良好な遠近感を実現することを可能とする、描画方法及び描画装置、コンピュータに実行させるための描画処理プログラムを記録したコンピュータ読み取り可能な記録媒体、描画処理プログラムを実行するプログラム実行装置、コンピュータに実行させるための描画処理プログラムを提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明は、第1の画像の所定の構成単位毎に仮想視点からの距離を表す値を設定し、所定の構成単位毎の距離を表す値に対応する係数を決定し、所定の構成単位毎に決定された係数に応じて、第1の画像と第2の画像を合成する。
【0010】
特に、本発明では、第1の画像を暈かした第2の画像を生成し、所定の構成単位の距離が遠くなるほど、大きい値となる半透明係数を用いて、第1の画像に第2の画像を合成することにより、仮想視点近傍ではピントが合い、仮想視点から遠くなるほど暈けた画像を得るようにしている。
【0011】
【発明の実施の形態】
[本実施の形態の描画装置の構成]
図1には、本発明実施の形態の描画装置1における主要部の概略構成を示す。なお、本実施の形態の描画装置1は、3次元ポリゴンへのテクスチャマッピングにより2次元画像を描画する装置であり、例えば、テレビゲーム機やパーソナルコンピュータ、3次元グラフィック装置などに適用可能(特に、いわゆるグラフィックシンセサイザなどに適用可能)なものである。
【0012】
図1において、本実施の形態の描画装置1は、主要な構成要素として、輝度計算及び座標変換ユニット2と、LOD(Level Of Detail)計算ユニット3と、テクスチャ座標計算ユニット4と、DDA(Digital Differential Analyzer)ユニット5と、ピクセルエンジン(Pixel Engine)6と、画像メモリ7とを備えている。
【0013】
また、上記画像メモリ7は、仮想視点からの奥行き方向の値(例えば3バイトの24ビットで表されるZ値)が記憶されるZバッファ8と、マッピングによりポリゴン上の全体的な色および模様を生成するためのテクスチャおよびCLUT(カラールックアップテーブル)などのデータが記憶されるテクスチャバッファ9と、2次元モニタ画面上に表示されるフレームデータ(2次元画像データ)を記憶及び合成するためのフレームバッファ10の各記憶領域を備えている。
【0014】
これらの各構成要素を備えた描画装置1の入力端子13には、3次元画像を描画するための各種情報として、例えば3次元ポリゴン情報、テクスチャ情報、光源情報及び視点情報等が入力される。なお、これら各種情報は、例えば通信回線或いは記憶装置等を介して供給される。
【0015】
上記3次元ポリゴン情報は、例えば三角形のポリゴンの各頂点の(x,y,z)座標とこれら各頂点の法線の情報などからなり、また、上記視点情報及び光源情報は、ポリゴンに対する輝度計算及び座標変換を行うための情報である。なお、上記光源情報は、1つの光源だけに限らず複数の光源を表す情報であっても良い。
【0016】
上記テクスチャ情報は、三角形ポリゴンの各頂点に対応するテクスチャ座標情報と、上記色や模様を描画する際に用いられるCLUTの情報などからなる。
【0017】
ここで、上記CLUTは、R(赤),G(緑),B(青)の3原色テーブルと、α値のテーブルとからなる。上記R,G,Bの3原色テーブルは、テクスチャの各ピクセルの色を決定するために使用され、また、上記α値は、テクスチャをマッピングする際の画像のブレンド(αブレンディング)の割合をピクセル毎に決定するための係数値、つまり半透明度を表す係数値である。詳細については後述するが、本実施の形態の場合、上記CLUTのα値は、複数段階に階調化(グラデーション)されている。すなわち、CLUTのテーブル番号とα値の関係は、例えばテーブル番号が大きくなるに従ってα値が小さくなる(或いは大きくなる)ような関係となされている。
【0018】
また、上記CLUTから上記R,G,Bの3原色の値を取り出すためのインデックス(CLUTのテーブル番号を指定するための値)は、テクスチャのXY座標で表されるピクセル毎に設定される。一方、詳細については後述するが、本発明実施の形態の場合、上記CLUTからα値を取り出すためのインデックスとしては、各ピクセルのZ値(24ビットの3バイトで表される値)の例えば2バイト目が使用される。なお、本実施の形態の場合、上記Z値は、仮想視点からの距離が遠くなるほどその値が小さくなるものとしている。
【0019】
これらの各種情報は、先ず、描画装置1の輝度計算及び座標変換ユニット2に入力される。
【0020】
当該輝度計算及び座標変換ユニット2は、入力されたポリゴンの各座標情報を、視点情報に基づいて2次元描画用の座標系の座標値に変換すると共に、各ポリゴンの各頂点の輝度を視点情報及び光源情報に基づいて計算する。また、輝度計算及び座標変換ユニット2は、上述した計算を行うと共に、透視変換等の処理をも行う。上記輝度計算及び座標変換ユニット2において算出された各値は、LOD計算ユニット3に入力される。
【0021】
LOD計算ユニット3は、ピクセルエンジン6がテクスチャバッファ9からテクスチャを読み出す際に使用されるLOD(Level Of Detail)値を、上記変換されたポリゴンのZ座標から計算する。なお、LOD値は、ポリゴンを縮小する際の縮小率から計算される値であり、当該縮小率は例えば視点からポリゴンまでの距離の対数として求められるものである。上記LOD値は、テクスチャ座標計算ユニット4,DDAユニット5を経てピクセルエンジン6に送られる。
【0022】
テクスチャ座標計算ユニット4は、ピクセルエンジン6がテクスチャバッファ9からテクスチャを読み出す際に使用されるテクスチャ座標値を計算する。当該テクスチャ座標値は、DDAユニット5を経てピクセルエンジン6に送られる。
【0023】
DDAユニット5は、上記2次元のポリゴン頂点情報、Z座標の値及び輝度情報等をピクセル情報に変換する。具体的には、各画素について、その座標値、Z値、輝度及びテクスチャ座標値を線形補間により順次求める。このDDAユニット5からの出力は、ピクセルエンジン6に送られる。
【0024】
ピクセルエンジン6は、Zバッファ8、テクスチャバッファ9、フレームバッファ10の読み出し及び書き込みの制御を行うとともに、テクスチャマッピングや、Z座標の比較、画素値計算などを行う。
【0025】
また、詳細な処理の流れについては後述するが、上記ピクセルエンジン6は、上記テクスチャのインデックスに応じて上記CLUTからR,G,Bの3原色データを取り出して各ピクセルの色を設定するだけでなく、各ピクセルのZ値の2バイト目をインデックスとして上記CLUTのα値を取り出し、αブレンディングに使用する。
【0026】
その他、ピクセルエンジン6は、シザリング、ディザリング、カラークランプ等の処理も行う。なお、上記シザリングとは画面からはみ出したデータを取り除く処理であり、ディザリングとは少ない色数で多くの色を表現するための色の配置を入り組ませる処理、カラークランプとは色の計算の時に値が255を越えたり0より小さくなったりしないように制限する処理である。
【0027】
上記ピクセルエンジン6にて上述した各処理を行うことにより得られた画像データは、フレームバッファ10に記憶されて2次元モニタ画面に描画するフレームデータ(2次元画像データ)が形成され、その後、当該形成された2次元画像データがフレームバッファ10から読み出され、出力端子14から出力されて2次元モニタ装置へ送られることになる。
【0028】
[本実施の形態の描画処理]
以下、一般的なCLUTを用いたテクスチャの色或いは模様の設定とαブレンディング処理と比較しつつ、本発明実施の形態におけるCLUTの詳細な内容と、そのCLUTを用いたテクスチャの色或いは模様の設定、及びαブレンディング処理について説明する。
【0029】
[一般的なCLUTによる描画処理例の説明]
先ず、本実施の形態のCLUTによる描画例の説明を行う前に、図2および図3を用いて、テクスチャのインデックスと、一般的なCLUTのR,G,Bの3原色データ及びα値の関係を説明する。図2は一般的なCLUTの一例を示し、図3はテクスチャを構成する各ピクセルのX,Y座標とそれら各ピクセルの色または模様を決定するインデックスの一例を示す。
【0030】
図2に示すCLUTは、テーブルNo(テーブル番号)とR,G,Bデータとα値(図中のA欄の各値)とからなる。上記テーブルNo、R,G,Bデータ、α値はそれぞれ16進数にて表現されており、上記テーブルNoは図3に示す各ピクセルのインデックスにより指定される番号であり、R,G,Bデータの値はそれら3原色のレベルを示し、上記α値は半透明度の割合を示している。
【0031】
すなわちこの図2および図3によれば、図3のインデックス「00」と図2のテーブルNo「00」が対応しており、インデックス「01」とテーブルNo「01」が対応し、以下同様に、インデックス「02」とテーブルNo「02」、インデックス「03」とテーブルNo「03」・・・のようにそれぞれ対応している。したがって、図3のインデックスが「00」となっている各ピクセルには、図2のテーブルNo「00」で示されるRが「ff」となり、Gが「00」、Bが「00」となっていることからわかるように、Rすなわち赤のみの色が割り当てられることになる。同様に、図3のインデックスが「01」となっている各ピクセルには、図2のテーブルNo「01」で示されるRが「00」、Gが「ff」、Bが「00」となっていることからわかるように、Gすなわち緑のみの色が割り当てられることになる。これらのことから、図2および図3の例では、赤地に緑の十字模様のテクスチャが描画されることになる。
【0032】
また、図2のCLUTの例の場合、図3のインデックスが「00」となっているピクセルには、図2のテーブルNo「00」で示されるα値の「80」が割り当てられており、同じく、図3のインデックスが「01」となっているピクセルにも、図2のテーブルNo「01」で示されるα値の「80」が割り当てられている。ここで、上記α値の「80」は半透明度が略々0.5(すなわち50%)であることを表しているため、この図2及び図3の例によれば、既に描画されている画像に対して上記赤地に緑の十字模様が50%だけ透けたような状態で描画されることになる。
【0033】
以上の説明からわかるように、図2及び図3に示した一般的なCLUTとインデックスによれば、テクスチャの色若しくは模様と、αブレンディングの際の画像のブレンドの割合のみを決定できることになる。
【0034】
[本実施の形態のCLUTによる描画処理例の説明]
上記図2及び図3は一般的なCLUTとその使用例を示しているが、本発明実施の形態では、図4に示すように、α値が階調化(グラデーション)されたCLUTを用いるとともに、当該CLUTのα値を決定するためのインデックスとして、各ピクセルのZ値のうちの所定の値(本実施の形態では図5に示すように3バイトで表されるZ値の2バイト目)を使用することにより、描画される各オブジェクトの仮想視点からの奥行き距離に応じたαブレンディング処理を可能としている。なお、テクスチャの色若しくは模様の決定については、前述の図2及び図3の例の場合と同様に行われる。
【0035】
すなわち、本実施の形態においては、CLUTのα値をその値が大きいほど半透明度が高くなる(透明度が低下する)ようなグラデーションに設定しておき、また、仮想視点からの距離が遠くなるほどその値が小さくなるZ値の2バイト目をα値のインデックスとし、当該インデックスにより決定されたαプレーンを使用して、例えば現在の画面とそれを暈かした画面とをαブレンディングすることにより、仮想視点に近いオブジェクト等についてはピントが正確に合っているような状態に描画でき、一方で、仮想視点から遠くになるほど徐々に暈けたような画像を描画することを可能としている。
【0036】
言い換えると、本実施の形態によれば、例えば、写真光学系における撮影レンズの被写界深度を深くして撮影されたパンフォーカス状態の画像のように、視点からの奥行き距離によらずにピントが合っている画像ではなく、被写界深度をある程度浅くし且つ近距離の物体にピントを合わせて撮影された画像のように、上記近距離の物体等についてはピントが合い、そのピント位置から遠くになるほど徐々に暈けるようになり、さらに上記ピント位置から遠い物体等であってもその色がなくなってしまうようなことがない、自然な遠近感を得ることのできる画像を描画可能にしている。
【0037】
ここで、本実施の形態において、上記図4に示すCLUTのα値を決定するためのインデックスとして、図5に示すように3バイト(24ビット)で表されるZ値の2バイト目を使用することにしたのは、Z値のバイトと各バイト内のビット値の変化量との関係が図6に示すように反比例の関係を有しているからである。つまり、この図6からわかるように、Z値の最下位バイトを用いたのでは値の変化が大き過ぎ、最悪の場合、ビット値のループによって同じビット値が繰り返し発生するようなことが起き、一方で、Z値の最上位バイトを用いたのでは逆に値の変化が少な過ぎることになるため、上記CLUTのα値を決定するためのインデックスとしてZ値の2バイト目を使用することにしている。
【0038】
すなわち、Z値の所定のバイトをα値のインデックスとして用いた場合において、当該所定のバイトにより指定されるインデックスの変化が例えば大き過ぎると、当該インデックスにより決定されるα値の変化も大きくなり、その結果、αブレンディングされた画像の変化が急激になって上記遠近感が不自然になる。また、上記所定のバイト値のビットが例えばループしてしまった場合には、仮想視点からの距離と上記α値の関係が維持できなくなり、非常に不自然な画像になってしまう。一方、当該所定のバイトにより指定されるインデックスの変化が例えば少な過ぎると、そのインデックスにより決定されるα値の変化も少なくなり、その結果、αブレンディングされた画像にほとんど変化が見られず、上記遠近感を出すことができなくなる。このようなことから、本実施の形態では、適度な遠近感を得ることが可能な、上記Z値の2バイト目をα値のインデックスとして使用することにしている。
【0039】
[本実施の形態のCLUTとZ値を用いた描画処理の流れ]
以下、本実施の形態のCLUT(α値をグラデーションとしたCLUT)と、α値のインデックスとしてZ値の2バイト目を使用し、上述したような自然な遠近感を得る描画処理の流れを、具体的な描画例を用いつつ説明する。
【0040】
図7には、本実施の形態における描画処理の概略的な流れを示す。なお、以下に説明する処理は、主にピクセルエンジン6が画像メモリ7に記憶されているデータを用いて行う処理である。
【0041】
この図7において、ピクセルエンジン6は、先ず、ステップS1の処理として、フレームバッファ10へ現在の画像(本発明における第1の画像)を描画し、また、Zバッファ8に対してZ値を書き込む。
【0042】
なお、上記現在の画像は、例えば図8に示すように「山」のオブジェクト20と「家」のオブジェクト21と「人」のオブジェクト22とからなり、上記「山」のオブジェクト20は仮想視点から最も遠方に位置し、一方、上記「人」のオブジェクト22は仮想視点近傍に位置し、上記「家」のオブジェクト21はそれら「山」のオブジェクト20と「人」のオブジェクト22の中間に位置するものであるとする。但し、ここでは説明を簡略化するため、それら各オブジェクト以外の背景画像については省略している。
【0043】
次に、ピクセルエンジン6は、ステップS2の処理として、上記現在の画像を暈かした画像(本発明における第2の画像)を生成し、当該暈かし画像を上記フレームバッファ10の別の記憶領域に保存する。なお、上記フレームバッファ10とは別にフレームバッファを設け、当該別のフレームバッファに上記暈かし画像を保存するようにしてもよい。また、上記暈かし画像を生成する手法は種々存在し、その一例として上記現在の画像を例えばずらして合成するなどの手法がある。
【0044】
このとき、上記ステップS2により生成された暈かし画像は、例えば図9に示すように、上記図8に示した「山」のオブジェクト20が暈かされた画像23と、上記「家」のオブジェクト21が暈かされた画像24と、上記「人」のオブジェクト22が暈かされた画像25とにより構成される画像となる。なお、これら各画像23,24,25の暈かし量はそれぞれ同じになっている。
【0045】
次に、ピクセルエンジン6は、ステップS3の処理として、Zバッファ8に書き込まれた上記図8の現在の画像の各ピクセルのZ値の2バイト目を、インデックスとして、前記図4に示したCLUTからα値を読みとる。
【0046】
ここで、図8に示した現在の画像は、上述したように、「山」のオブジェクト20が仮想視点から最も遠く、一方、上記「人」のオブジェクト22が仮想視点から最も近く、上記「家」のオブジェクト21がそれらの中間の距離となっている。このため、当該図8に示した現在の画像の各ピクセルのZ値は、「山」のオブジェクト20を構成する各ピクセルのZ値が最も小さく、一方、上記「人」のオブジェクト22を構成する各ピクセルのZ値は最も大きく、上記「家」のオブジェクト21を構成する各ピクセルのZ値はそれらの中間の値となる。したがって、それらZ値の2バイト目をインデックスとして前記図4のCLUTからα値を取り出すと、上記「山」のオブジェクト20を構成する各ピクセルに対応するα値は最も大きく(半透明度が最も大きく)、上記「人」のオブジェクト22を構成する各ピクセルに対応するα値が最も小さく(半透明度が最も小さく)、上記「家」のオブジェクト21を構成する各ピクセルに対応するα値がそれらの中間の値(中間の半透明度)となる。
【0047】
その後、ピクセルエンジン6は、ステップS4の処理として、上記ステップS3の処理で読みとったα値からなるαプレーンを使用して、上記フレームバッファ10に保存されている図8に示した現在の画像と上記図9に示した暈かし画像とをαブレンドする。
【0048】
このとき、上記αプレーンは、上記「山」のオブジェクト20を構成する各ピクセルの半透明度が最も大きく、上記「人」のオブジェクト22を構成する各ピクセルの半透明度が最も小さく、上記「家」のオブジェクト21を構成する各ピクセルの半透明度がそれらの中間の値となっているため、上記図8に示した現在の画像と上記図9に示した暈かし画像とをαブレンディングした画像は、図10に示すような画像となる。
【0049】
すなわち、図10において、上記「山」のオブジェクト部分は、上記半透明度が最も大きいため、上記現在の画像よりも上記暈かし画像の割合が大きくなって暈けた画像26として描画される。一方、上記「人」のオブジェクト部分は、上記半透明度が最も小さいため、上記暈かし画像よりも上記現在の画像の割合が大きくなってピントが合った状態の画像28として描画される。また、上記「家」のオブジェクト部分は、中間の半透明度であるため、上記画像28よりも暈けているが上記画像26よりははっきりした画像27となる。
【0050】
なお、上記ピクセルエンジン6では、上記図7に示したフローチャートの処理を例えばDSPのようなハードウェア的な構成により実現することも、或いは、CPUのように例えば通信回線を介して伝送された描画処理プログラムやDVD,CD−ROM等の記憶媒体から記憶装置により読み出した描画処理プログラムによりソフトウェア的に実現することもできる。特に、上記ピクセルエンジン6での描画処理をソフトウェア的に実現する場合の描画処理プログラムは、上記図7のフローチャートで説明した各ステップの処理を順次行うようなプログラムとなる。当該描画処理プログラムは、予めピクセルエンジン6用の処理プログラムとして用意しておく場合のみならず、例えば前記図1の入力端子13から前記ポリゴン情報等と共に、或いはそれに先だって入力することも可能である。
【0051】
ソフトウェア的に本実施の形態の描画処理を実現するための具体的構成例として、図11には、図7に示した流れの描画処理プログラムを実行するパーソナルコンピュータの概略構成を示す。なお、本実施の形態の描画処理プログラムは、主に図11のCPU123が実行する。
【0052】
この図11において、記憶部128は、例えばハードディスク及びそのドライブからなる。当該ハードディスク内には、オペレーティングシステムプログラムや、例えばCD−ROMやDVD−ROM等の各種の記録媒体から取り込まれたり、通信回線を介して取り込まれた、本実施の形態の描画処理プログラム129や、ポリゴン描画のための図形情報、テクスチャ、Z値、通常テクスチャ、カラー値、α値等の各種のデータ130等が記憶されている。
【0053】
通信部121は、例えば、アナログ公衆電話回線に接続するためのモデム、ケーブルテレビジョン網に接続するためのケーブルモデム、ISDN(総合ディジタル通信網)に接続するためのターミナルアダプタ、ADSL(Asymmetric Digital Subscriber Line)に接続するためのモデムなどのように、外部とデータ通信を行うための通信デバイスである。通信I/F部122は、上記通信部121と内部バス(BUS)との間でデータのやりとりを可能とするためのプロトコル変換等を行うインターフェイスデバイスである。
【0054】
入力部133は、例えばキーボードやマウス、タッチパッドなどの入力装置であり、ユーザI/F部132は、上記入力部133からの信号を内部に供給するためのインターフェイスデバイスである。
【0055】
ドライブ部135は、例えばCD−ROMやDVD−ROM等のディスク媒体151や、カード状等の半導体メモリなどの記録媒体から、本実施の形態にかかる描画処理プログラムを含む各種のプログラムやデータを読み出し可能なドライブ装置である。ドライブI/F部134は、上記ドライブ部135からの信号を内部に供給するためのインターフェイスデバイスである。
【0056】
表示部137は、例えばCRT(陰極線管)や液晶等の表示デバイスであり、表示ドライブ部136は上記表示部137を表示駆動させるドライブデバイスである。
【0057】
ROM124は、例えばフラッシュメモリ等の書き換え可能な不揮発性メモリからなり、当該パーソナルコンピュータのBIOS(Basic Input/Output System)や各種の初期設定値を記憶している。RAM125は、記憶部128のハードディスクから読み出されたアプリケーションプログラムや各種データなどがロードされ、また、CPU123のワークRAMとして用いられる。
【0058】
CPU123は、上記記憶部128に記憶されているオペレーティングシステムプログラムや本実施の形態の描画処理プログラム129に基づいて、当該パーソナルコンピュータの全動作を制御すると共に前述した描画処理を実行する。すなわち、この図11に示す構成において、CPU123は、上記記憶部128のハードディスクから読み出されてRAM125にロードされたアプリケーションプログラムの一つである、本実施の形態の描画処理プログラムを実行することにより、前述の本実施の形態で説明した描画処理を実現する。
【0059】
[本発明実施の形態のまとめ]
以上のように、本実施の形態によれば、視点に近い物体等についてはピントが合い、仮想視点から遠くになるほど徐々に暈け、さらに仮想視点から遠い物体等であってもその色がなくなってしまうようなことがない、自然な遠近感が得られる画像を描画可能となっている。
【0060】
また、前述した従来の描画手法の場合は、仮想視点からの距離に応じた多段階の縮小処理とそれに対応する拡大処理を行うことで暈けた画像を生成し、それら多段階の処理により得られた暈かし画像を元画像と合成することで遠近感を得るようにしていたため、画像処理量の増加が避けられなかったのに対し、本実施の形態では、上記仮想視点からの距離に応じたα値からなるαプレーンを使用して現在の画像と1種類の暈かし画像とをαブレンディングして遠近感を得るようにしているため、例えば仮想視点からの距離を256段階(1バイト分)で表すようにした場合であっても、画像生成処理量が増加することはなく、CPUの負荷の軽減と処理の高速化も可能となっている。
【0061】
なお、上述した実施の形態の説明は、本発明の一例である。このため、本発明は上述した実施の形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。
【0062】
本実施の形態では、現在の画像と暈かし画像を上記αプレーンによりαブレンドする例を挙げたが、例えば、上記αプレーンを使用して、任意の色と現在の画面をαブレンドすれば、距離が遠くなるにつれて、各オブジェクト等が当該任意の色に溶け込んでいくように見せることができる。この手法は、距離が遠くなるほど、霧がかかったように描画する、いわゆるフォグを実現する場合にも使用することができる。さらに、上記αプレーンを使用し、例えば任意の模様の画像と現在の画像をαブレンドするようなことを行えば、特殊な画像効果を実現することも可能になる。
【0063】
また、上述の実施の形態では、各ピクセル毎のZ値からα値を決定するようにしているが、例えばポリゴンやオブジェクト毎の仮想視点からの距離に基づいてα値を決定するようなことも可能である。
【0064】
【発明の効果】
本発明は、第1の画像の所定の構成単位毎に仮想視点からの距離を表す値を設定し、所定の構成単位毎の距離を表す値に対応する係数を決定し、所定の構成単位毎に決定された係数に応じて、第1の画像と第2の画像を合成すること、すなわち例えば、第1の画像を暈かした第2の画像を生成し、所定の構成単位の距離が遠くなるほど大きい値となる半透明係数を用いて、第1の画像に第2の画像を半透明合成することにより、仮想視点からの距離に応じて暈けた自然な遠近感をもった画像を、少ないCPU負荷で実現可能となっている。
【図面の簡単な説明】
【図1】本発明実施の形態の描画装置の主要部の概略構成例を示す図である。
【図2】一般的なCLUTの説明に用いる図である。
【図3】CLUTからR,G,Bを決定するためのインデックスの説明に用いる図である。
【図4】α値が階調化(グラデーション)された本実施の形態にかかるCLUTの説明に用いる図である。
【図5】3バイトで表されるZ値の説明に用いる図である。
【図6】本実施の形態のCLUTからα値を決定するためのインデックスとして、Z値の2バイト目を使用することにした理由の説明に用いる図である。
【図7】本実施の形態における描画処理の概略的な流れを示すフローチャートである。
【図8】遠近感を付加する前の現在の画像の一例を示す図である。
【図9】現在の画像の全面に暈かしをかけた暈かし画像の一例を示す図である。
【図10】本実施の形態の描画処理により生成された、自然な遠近感を持った画像例を示す図である。
【図11】図7のフローチャートで示した流れの描画処理プログラムを実行するパーソナルコンピュータの概略構成を示すブロック図である。
【符号の説明】
1…描画装置、2…輝度計算および座標変換ユニット、3…LOD計算ユニット、4…テクスチャ座標計算ユニット、5…DDAユニット、6…ピクセルエンジン、7…画像メモリ、8…Zバッファ、9…テクスチャバッファ、10…フレームバッファ

Claims (23)

  1. 第1の画像の所定の構成単位毎に仮想視点からの距離を表す値を設定し、
    第2の画像を生成し、
    上記所定の構成単位毎の距離を表す値に対応する係数を決定し、
    上記所定の構成単位毎に決定された係数に応じて、上記第1の画像と第2の画像を合成する描画方法であって、
    上記所定の構成単位の距離を表す値が3バイトからなるとき、上記3バイトのうち第2バイト目を用いて、上記係数を決定する
    ことを特徴とする描画方法。
  2. 請求項1記載の描画方法であって、
    複数の係数を階調構成したテーブルから、上記所定の構成単位毎の距離を表す値をインデックスとして上記係数を取り出す
    ことを特徴とする描画方法。
  3. 請求項1は請求項記載の描画方法であって、
    上記仮想視点からの距離が大きくなるほど、上記第2の画像の割合が大きくなる半透明係数を、上記係数として決定する
    ことを特徴とする描画方法。
  4. 請求項1から請求項のうち、いずれか一項記載の描画方法であって、
    上記第1の画像に対して所定の画像処理を施して上記第2の画像を生成する
    ことを特徴とする描画方法。
  5. 請求項記載の描画方法であって、
    上記所定の画像処理は、上記第1の画像を暈かす処理である
    ことを特徴とする描画方法。
  6. 請求項1から請求項のうち、いずれか一項記載の描画方法であって、
    任意の色からなる画像を上記第2の画像として生成する
    ことを特徴とする描画方法。
  7. 請求項1から請求項のうち、いずれか一項記載の描画方法であって、
    上記所定の構成単位は画像のピクセルである
    ことを特徴とする描画方法。
  8. 第1の画像の所定の構成単位毎に仮想視点からの距離を表す値を設定する距離設定手段と、
    第2の画像を生成する画像生成手段と、
    上記所定の構成単位毎の距離を表す値に対応する係数を決定する係数決定手段と、
    上記所定の構成単位毎に決定された係数に応じて、上記第1の画像と第2の画像を合成する合成手段とを有する描画装置であって、
    上記係数決定手段は、上記所定の構成単位の距離を表す値が3バイトからなるとき、上記3バイトのうち第2バイト目を用いて、上記係数を決定する
    ことを特徴とする描画装置。
  9. 請求項記載の描画装置であって、
    上記係数決定手段は、複数の係数を階調構成したテーブルから、上記所定の構成単位毎の距離を表す値をインデックスとして上記係数を取り出す
    ことを特徴とする描画装置。
  10. 請求項8又は請求項記載の描画装置であって、
    上記係数決定手段は、上記仮想視点からの距離が大きくなるほど、上記第2の画像の割合が大きくなる半透明係数を、上記係数として決定する
    ことを特徴とする描画装置。
  11. 請求項から請求項1のうち、いずれか一項記載の描画装置であって、
    上記画像生成手段は、上記第1の画像に対して所定の画像処理を施して上記第2の画像を生成する
    ことを特徴とする描画装置。
  12. 請求項1記載の描画装置であって、
    上記画像生成手段は、上記所定の画像処理として上記第1の画像を暈かす処理を行う
    ことを特徴とする描画装置。
  13. 請求項から請求項10のうち、いずれか一項記載の描画装置であって、
    上記画像生成手段は、任意の色からなる画像を上記第2の画像として生成する
    ことを特徴とする描画装置。
  14. 請求項から請求項1のうち、いずれか一項記載の描画装置であって、
    上記距離設定手段は、上記所定の構成単位として画像のピクセル毎に距離を表す値を設定する
    ことを特徴とする描画装置。
  15. 第1の画像の所定の構成単位毎に仮想視点からの距離を表す値を設定するステップと、
    第2の画像を生成するステップと、
    上記所定の構成単位毎の距離を表す値に対応する係数を決定するステップと、
    上記所定の構成単位毎に決定された係数に応じて、上記第1の画像と第2の画像を合成するステップとを含む処理をコンピュータに実行させるための描画処理プログラムであって、
    上記処理は、上記所定の構成単位の距離を表す値が3バイトからなるとき、上記3バイトのうち第2バイト目を用いて、上記係数を決定するステップを含む
    ことを特徴とする描画処理プログラム。
  16. 請求項1記載の描画処理プログラムであって、
    上記処理は、複数の係数を階調構成したテーブルから、上記所定の構成単位毎の距離関係を表す値をインデックスとして上記係数を取り出すステップを含む
    ことを特徴とする描画処理プログラム。
  17. 請求項15又は請求項16記載の描画処理プログラムであって、
    上記処理は、上記仮想視点からの距離が大きくなるほど、上記第2の画像の割合が大きくなる半透明係数を、上記係数として決定するステップを含む
    ことを特徴とする描画処理プログラム。
  18. 請求項1から請求項17のうち、いずれか一項記載の描画処理プログラムであって、
    上記処理は、上記第1の画像に対して所定の画像処理を施して上記第2の画像を生成するステップを含む
    ことを特徴とする描画処理プログラム。
  19. 請求項18記載の描画処理プログラムであって、
    上記処理は、上記所定の画像処理として上記第1の画像を暈かす処理を行うステップを含む
    ことを特徴とする描画処理プログラム。
  20. 請求項1から請求項17のうち、いずれか一項記載の描画処理プログラムであって、
    上記処理は、任意の色からなる画像を上記第2の画像として生成するステップを含む
    ことを特徴とする描画処理プログラム。
  21. 請求項1から請求項2のうち、いずれか一項記載の描画処理プログラムであって、
    上記所定の構成単位は画像のピクセルである
    ことを特徴とする描画処理プログラム。
  22. 請求項1から請求項2のうち、いずれか一項記載の描画処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
  23. 第1の画像の所定の構成単位毎に仮想視点からの距離を表す値を設定するステップと、
    第2の画像を生成するステップと、
    上記所定の構成単位毎の距離を表す値に対応する係数を決定するステップと、
    上記所定の構成単位毎に決定された係数に応じて、上記第1の画像と第2の画像を合成するステップとを含む処理を実行するプログラム実行装置であって、
    上記処理は、上記所定の構成単位の距離を表す値が3バイトからなるとき、上記3バイトのうち第2バイト目の値を用いて、上記係数を決定するステップを含む
    ことを特徴とするプログラム実行装置。
JP2001236325A 2000-12-27 2001-08-03 描画方法、描画装置、描画処理プログラム、描画処理プログラムを記録した記録媒体、および描画処理プログラム実行装置 Expired - Fee Related JP3715222B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2001236325A JP3715222B2 (ja) 2000-12-27 2001-08-03 描画方法、描画装置、描画処理プログラム、描画処理プログラムを記録した記録媒体、および描画処理プログラム実行装置
US10/012,203 US7167600B2 (en) 2000-12-27 2001-10-19 Drawing method for drawing image on two-dimensional screen
EP01309140A EP1223559A3 (en) 2000-12-27 2001-10-29 Drawing method on two-dimensional screen
KR1020010071070A KR20020053708A (ko) 2000-12-27 2001-11-15 2차원 화면상에 영상을 묘사하는 묘사 방법
CNB011393831A CN1267859C (zh) 2000-12-27 2001-11-23 用于在二维屏幕上绘制图像的绘制方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-399461 2000-12-27
JP2000399461 2000-12-27
JP2001236325A JP3715222B2 (ja) 2000-12-27 2001-08-03 描画方法、描画装置、描画処理プログラム、描画処理プログラムを記録した記録媒体、および描画処理プログラム実行装置

Publications (2)

Publication Number Publication Date
JP2002260007A JP2002260007A (ja) 2002-09-13
JP3715222B2 true JP3715222B2 (ja) 2005-11-09

Family

ID=26606957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001236325A Expired - Fee Related JP3715222B2 (ja) 2000-12-27 2001-08-03 描画方法、描画装置、描画処理プログラム、描画処理プログラムを記録した記録媒体、および描画処理プログラム実行装置

Country Status (5)

Country Link
US (1) US7167600B2 (ja)
EP (1) EP1223559A3 (ja)
JP (1) JP3715222B2 (ja)
KR (1) KR20020053708A (ja)
CN (1) CN1267859C (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030076904A (ko) * 2002-03-23 2003-09-29 (주)맥스소프트 중간 시점 영상 합성 방법
AT503743B1 (de) * 2002-10-09 2008-05-15 Vrvis Zentrum Fuer Virtual Rea Verfahren zur rechnergestützten darstellung von objekten
JP3639286B2 (ja) * 2003-09-25 2005-04-20 コナミ株式会社 ゲームプログラム、及びゲーム装置
JP3993863B2 (ja) * 2004-04-29 2007-10-17 株式会社コナミデジタルエンタテインメント 画像生成装置、速度表現方法、および、プログラム
US7755678B2 (en) * 2005-10-28 2010-07-13 Hewlett-Packard Development Company, L.P. Programmable anti-aliasing systems and methods for cameras
JP4749198B2 (ja) * 2006-03-30 2011-08-17 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
KR100829564B1 (ko) * 2006-09-29 2008-05-14 삼성전자주식회사 효율적으로 모션 블러 효과를 제공하는 3차원 그래픽스렌더링 방법 및 장치
JP4805094B2 (ja) * 2006-10-31 2011-11-02 富士通セミコンダクター株式会社 フォグ効果処理方法、グラフィックス装置、グラフィックス用半導体集積回路装置及びフォグ効果処理プログラム
JP4896761B2 (ja) * 2007-02-16 2012-03-14 株式会社日立製作所 立体地図表示システム、立体地図の表示方法、及びそのプログラム
US20090080803A1 (en) * 2007-09-20 2009-03-26 Mitsugu Hara Image processing program, computer-readable recording medium recording the program, image processing apparatus and image processing method
JP4847572B2 (ja) * 2009-11-13 2011-12-28 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理装置の制御方法、及びプログラム
JP5508878B2 (ja) * 2010-01-29 2014-06-04 京楽産業.株式会社 遊技機、遊技機の演出方法及び演出プログラム
JP5483699B2 (ja) * 2010-01-29 2014-05-07 京楽産業.株式会社 遊技機、遊技機の演出方法及び演出プログラム
JP5924833B2 (ja) * 2011-09-22 2016-05-25 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び撮像装置
EP3113159A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Method and device for processing a part of an immersive video content according to the position of reference parts
JP2019130148A (ja) * 2018-01-31 2019-08-08 株式会社三洋物産 遊技機
JP6407460B1 (ja) 2018-02-16 2018-10-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7157160B2 (ja) * 2018-08-06 2022-10-19 株式会社ソニー・インタラクティブエンタテインメント アルファ値決定装置、アルファ値決定方法及びプログラム
CN112087648B (zh) * 2019-06-14 2022-02-25 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5280357A (en) * 1992-10-13 1994-01-18 The Grass Valley Group, Inc. Depth-based recursive video effects
JP2792376B2 (ja) 1993-02-02 1998-09-03 松下電器産業株式会社 画像ぼかし処理装置
JPH087124A (ja) 1994-06-17 1996-01-12 Hitachi Ltd 映像模擬方式
AUPM822294A0 (en) * 1994-09-16 1994-10-13 Canon Inc. Colour blend system
GB9422089D0 (en) * 1994-11-02 1994-12-21 Philips Electronics Uk Ltd Blurring for computer graphics
KR100277803B1 (ko) * 1995-03-10 2001-01-15 가나이 쓰도무 3차원 그래픽 표시장치
JP4291892B2 (ja) * 1996-12-06 2009-07-08 株式会社セガ 画像処理装置およびその方法
JP3372832B2 (ja) 1997-07-25 2003-02-04 コナミ株式会社 ゲーム装置、ゲーム画像処理方法およびゲーム画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3580682B2 (ja) * 1997-09-26 2004-10-27 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および方法
JPH11242753A (ja) 1998-02-25 1999-09-07 Hitachi Ltd 3次元描画方法および装置
US6266068B1 (en) * 1998-03-13 2001-07-24 Compaq Computer Corporation Multi-layer image-based rendering for video synthesis
JP3668019B2 (ja) 1998-10-27 2005-07-06 株式会社ソニー・コンピュータエンタテインメント 記録媒体、画像処理装置および画像処理方法
JP2000251090A (ja) 1999-03-01 2000-09-14 Sony Computer Entertainment Inc 描画装置及び該描画装置で被写界深度を表現する方法
JP3448536B2 (ja) 1999-12-31 2003-09-22 株式会社スクウェア・エニックス 三次元コンピュータ画像処理のプログラムを記録したコンピュータ読み取り可能な記録媒体、ぼかし描画処理方法およびビデオゲーム装置
JP3404347B2 (ja) * 2000-01-28 2003-05-06 株式会社スクウェア 3次元コンピュータ画像処理のプログラムを記録したコンピュータ読み取り可能な記録媒体およびぼかし描画処理方法
JP4656616B2 (ja) 2000-01-28 2011-03-23 株式会社バンダイナムコゲームス ゲームシステム、プログラム及び情報記憶媒体
JP2001204964A (ja) * 2000-01-28 2001-07-31 Square Co Ltd 球技用ゲームのプログラムを記録したコンピュータ読み取り可能な記録媒体および球技用ゲームの画像表示処理方法およびビデオゲーム装置

Also Published As

Publication number Publication date
US20020089515A1 (en) 2002-07-11
CN1267859C (zh) 2006-08-02
EP1223559A2 (en) 2002-07-17
JP2002260007A (ja) 2002-09-13
KR20020053708A (ko) 2002-07-05
US7167600B2 (en) 2007-01-23
EP1223559A3 (en) 2004-10-20
CN1361506A (zh) 2002-07-31

Similar Documents

Publication Publication Date Title
JP3715222B2 (ja) 描画方法、描画装置、描画処理プログラム、描画処理プログラムを記録した記録媒体、および描画処理プログラム実行装置
JP3635051B2 (ja) 画像生成方法及び装置、画像処理プログラムを記録した記録媒体、画像処理プログラム
JP3725524B2 (ja) コンピュータディスプレイ画像を生成する方法ならびに画像データを生成するコンピュータ処理システムおよびグラフィックスプロセッサ
JP3782709B2 (ja) 画像生成の方法および装置
JP3529759B2 (ja) 画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、プログラム実行装置、画像処理装置、及び画像処理方法
JP3527489B2 (ja) 描画処理方法及び装置、描画処理プログラムを記録した記録媒体、描画処理プログラム
US7133052B1 (en) Morph map based simulated real-time rendering
KR20040011525A (ko) 드로잉 방법
JP7460641B2 (ja) 光強度画像を生成するための装置及び方法
JP2004334661A (ja) 画像生成システム、プログラム及び情報記憶媒体
JP2002163671A (ja) ゲームシステム、プログラム及び情報記憶媒体
JP3524529B2 (ja) コンピュータに実行させるための描画処理プログラム、コンピュータに実行させるための描画処理プログラムを記録した記録媒体、プログラム実行装置、描画装置及び方法
US20030038816A1 (en) Image generating apparatus and image generating program
JP3652586B2 (ja) 画像描画システム
JP2004240910A (ja) 画像処理装置および画像処理方法
JP2003187260A (ja) 描画処理プログラム、描画処理プログラムを記録した記録媒体、描画処理装置及び方法
JP2003109035A (ja) 画像生成システム、プログラム及び情報記憶媒体
JP2004158032A (ja) コンピュータに実行させるための描画処理プログラム、コンピュータに実行させるための描画処理プログラムを記録した記録媒体、プログラム実行装置、描画装置及び方法
JP2003323633A (ja) 画像処理装置及びプログラム
JP2002169530A (ja) 画像表示装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050517

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050824

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080902

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090902

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090902

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100902

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100902

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110902

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120902

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130902

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees