JP3612239B2 - 画像生成装置及び記録媒体 - Google Patents

画像生成装置及び記録媒体 Download PDF

Info

Publication number
JP3612239B2
JP3612239B2 JP13110999A JP13110999A JP3612239B2 JP 3612239 B2 JP3612239 B2 JP 3612239B2 JP 13110999 A JP13110999 A JP 13110999A JP 13110999 A JP13110999 A JP 13110999A JP 3612239 B2 JP3612239 B2 JP 3612239B2
Authority
JP
Japan
Prior art keywords
information
reflection
image
refraction
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP13110999A
Other languages
English (en)
Other versions
JP2000322597A (ja
Inventor
盛孝 荒井
政行 島田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP13110999A priority Critical patent/JP3612239B2/ja
Publication of JP2000322597A publication Critical patent/JP2000322597A/ja
Application granted granted Critical
Publication of JP3612239B2 publication Critical patent/JP3612239B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Generation (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像生成装置及び記録媒体に関するものである。
【0002】
【従来の技術】
昨今、コンピュータグラフィックス(CG)の発展は目覚ましく、様々な物がコンピュータ上で表現されるようになった。特に、グラフィックハードウェアには、形状データの座標変換や照光処理、最終的な画像の生成処理を高速に演算するものや、混合処理によりフレームバッファに保存されている画像と現在処理中の画像とを高速に合成するものなどがある。
また、CGに対する要求は益々高まり、単にコンピュータ上で物体を描画するだけでなく、よりリアルな描画、例えば物体表面における反射や屈折、加えて視点情報や運動情報を考慮した描画が求められつつある。
【0003】
【発明が解決しようとする課題】
このような反射や屈折を考慮する描写は従来理想的な平滑面を対象としており、入射ベクトルに対して反射ベクトルが一本のみ存在すると仮定して行われた。しかしながら、表面がブラシ仕上げのように複雑な凹凸を持つ場合、入射光に対する反射光が一位的にならないため、その面に対する反射や屈折を考慮した画像はリアリティに欠ける。
【0004】
本発明はこのような問題に鑑みてなされたもので、その目的とするところは、複雑な凹凸のある面に対する反射効果や屈折効果を考慮した高品位な画像を高速に生成する画像生成装置を提供することにある。
【0005】
【課題を解決するための手段】
前述した目的を達成するために本発明は、コンピュータ画像を生成する画像生成装置であって、物体の形状情報を入力する手段と、視点情報を入力する手段と、前記物体の形状情報と前記視点情報を基に、前記物体の画像を生成する第1の画像生成手段と、前記物体の形状情報と前記物体表面の材質と前記視点情報を基にして、前記物体表面における複数の反射ベクトルのそれぞれまたは複数の屈折ベクトルのそれぞれに対する反射情報または屈折情報を算出する算出手段と、前記物体表面上の点における、反射角または屈折角が異なる複数の反射ベクトルまたは複数の屈折ベクトルについての前記反射情報または前記屈折情報を合成して合成反射情報または合成屈折情報を算出する、合成手段と、前記第1の画像生成手段によって作成された画像と、前記合成反射情報または前記合成屈折情報と、を合成して画像を生成する第2の画像生成手段と、を具備することを特徴とする画像生成装置である。
【0006】
また第2の発明は、コンピュータ画像を生成する画像生成装置であって、物体の形状情報を入力する手段と、視点情報を入力する手段と、前記物体の運動情報を入力する手段と、前記物体の形状情報と前記視点情報と前記運動情報を基に、前記物体の画像を生成する第1の画像生成手段と、前記物体の形状情報と前記物体表面の材質と前記運動情報を基にして、前記物体表面における複数の反射ベクトルのそれぞれまたは複数の屈折ベクトルのそれぞれに対する反射情報または屈折情報を算出する算出手段と、前記物体表面上の点における、反射角または屈折角が異なる複数の反射ベクトルまたは複数の屈折ベクトルについての前記反射情報または前記屈折情報を合成して合成反射情報または合成屈折情報を算出する、合成手段と、前記第1の画像生成手段によって作成された画像と、前記合成反射情報または前記合成屈折情報と、を合成して画像を生成する第2の画像生成手段と、を具備することを特徴とする画像生成装置である。
【0007】
【発明の実施の形態】
以下、図面に基づいて本発明の実施の形態を詳細に説明する。図1は、本実施の形態に係る画像生成装置1の概略構成を示す図である。
【0008】
図1において、画像生成装置1は、外部記憶装置2より読み込んだ3次元CGデータと、外部入力装置3より入力された視点情報を基にCG画像データを作成し、外部表示装置4に出力する。
【0009】
画像生成装置1に接続される外部記憶装置2は物体の形状、質感等を含む物体情報、及び種類、位置、属性等を含む光源情報を記憶するものであり、例えばハードディスクやCD−ROM等である。また、ネットワークに接続された他の外部記憶装置を用いることもできる。
【0010】
また、外部入力装置3はマウス、キーボード及びジョイスティック等の機器であり、物体形状を観察する位置等の視点情報を入力する。
外部表示装置4は画像を表示する機器であり、CRTディスプレイ等である。
【0011】
図1に示すように、画像生成装置1はCGデータ読み込み部5、CGデータ記憶部6、視点情報算出部7、視点情報記憶部8、第1レンダリング処理部9、反射情報算出部10、第2レンダリング処理部11を有する。画像生成装置1は例えば一台のコンピュータよりなる。
【0012】
図1において、CGデータ読み込み部5は外部記憶装置2から物体のCGデータを読み出し、CGデータ記憶部6はそれを記憶する。また、視点情報算出部7は外部入力装置3によって入力された視点情報から視点位置座標等を算出し、視点情報記憶部8に記憶させる。
【0013】
第1レンダリング処理部9は物体の画像を生成し、反射情報算出部10は物体表面における反射情報を算出する。生成された物体画像と反射情報は第2レンダリング処理部11によって合成される。
【0014】
以下に画像生成装置1の各部における処理について説明する。図2は、画像生成装置1による画像生成処理を示すフローチャートである。
図1において、CGデータ読み込み部5が外部記憶装置2から物体の3次元CGデータを読み出し、CGデータ記憶部6に記憶する(ステップ201)。
【0015】
次に、外部入力装置3により入力された視点情報から、視点情報算出部7にて視点位置座標等を算出し、視点情報記憶部8に記憶する(ステップ202)。第1レンダリング処理部9は、物体のCGデータ及び視点情報から、照光効果等を考慮して物体のレンダリング処理を行う(ステップ203)。このレンダリング処理はコンピュータのグラフィックスハードウェアにて行われる。
【0016】
図3は描画対象物体である車41を示す図であり、図4はピクセル63におけるレンダリングデータを示す図である。車41の座標等のCGデータは外部記憶装置2からCGデータ読み込み部5に読み出され、CGデータ記憶部6に保管される。第1レンダリング処理部9は、車41のCGデータと、視点位置や光源位置などから照光効果を考慮した車41のレンダリング処理を行う。
【0017】
図4に示すように、第1レンダリング処理部9による第1レンダリング終了時のピクセル63のレンダリングデータは、ピクセル色R(赤)、G(緑)、B(青)の各成分が(r1,g1,b1)、アルファ値(重み係数)がα1である。反射効果を実現するためには、通常α1は「1.0」であるが、任意の値を設定することが可能である。
【0018】
次に、反射情報算出部10は物体形状の各頂点において反射率及び反射色を算出し(ステップ204)、第2レンダリング処理部11はステップ203で処理された画像に、ステップ204で算出された反射色及び反射率を用いて算出した反射効果を合成レンダリングする(ステップ205)。合成レンダリングした画像は、外部表示装置4に表示される(ステップ206)。
【0019】
図1に示す反射情報算出部10は、後述する方法により反射色を算出する。第2レンダリング処理部11は、算出された反射色と第1レンダリング処理部9で生成された画像とを合成レンダリングする。
【0020】
即ち、例えば、図4に示すピクセル63において反射色が(r2,g2,b2)であるとき、第2レンダリング処理終了時のピクセル63における最終的な値は(α1×r1+α2×r2,α1×g1+α2×g2,α1×b1+α2×b2)となる。尚、この場合α2=1とするが、α2には任意の値が設定できる。
【0021】
このような合成レンダリング処理はコンピュータのグラフィックスハードウェアで行われるため、非常に高速に処理される。
このようにして作成された最終的な画像は、図1に示す外部出力装置4によって表示される。
【0022】
以下、反射情報の算出方法について詳細に説明する。
図3に示す車41において例えばホイール表面は異方性反射面33である。異方性反射面33とは複雑な凹凸を有する面であり、例えば金属加工におけるスピン仕上げ、ヘアライン仕上げ等のように方向性のある細かな傷を持つ面などである。
【0023】
図5は異方性反射面33における反射光37を示す図であり、図6は反射ベクトルを示す図である。図5に示すように、視点35から異方性反射面33上の点Pへの入射ベクトル36に対する反射光37は広がりのある形状となり、1つの反射ベクトルでは表せない。この反射光37は物体の材質や入射ベクトル36、即ち入射角度により決定され、理想的な平滑な面に比べて複雑な形状になる。
【0024】
そこで、本画像生成装置1では異方性反射面33に対する反射光37の形状を予め記憶しておき、この反射光37をn個の反射ベクトルLi(i=1,…,n、但しnは1以上の整数)でサンプリングし、近似する。ここでnが大きいほど反射光37は正確に近似される。
【0025】
図7は異方性反射面33に対する反射情報計算のフローチャートである。視点35の位置座標等から異方性反射面33上の頂点Pにおける入射ベクトル36を算出する(ステップ601)。
【0026】
次に、入射ベクトル36に対する異方性反射ベクトルLiを算出する(ステップ602)。前述のように異方性反射ベクトルLiは物体の材質や入射ベクトル36とで決定されるが、入射ベクトル毎にプログラム内で生成することも可能であるし、材質と入射角度ごとの反射ベクトルLiを保持しておいてもよい。
尚、各反射ベクトルLiは最も成分の大きなベクトルで正規化しておく。
【0027】
次に、各反射ベクトルLiの反射色と反射率を算出する(ステップ603)。反射色とは、反射ベクトルLiと反射ベクトルLi上に存在する物体との交点における色である。交点を求める対象の物体は実際に描画されている物体に限らず、仮想物体でも構わない。例えば、図3に示すように、車41の周囲に仮想球43を設けて、車41の周囲にある物体の画像、即ちテクスチャ画像45を仮想球43に写した場合、反射色は反射ベクトルLiと仮想球43の交点の色となる。
【0028】
図8は反射角γに対する反射率W(γ)の一例を示す図である。反射率は材質によって異なる。反射角γは点Pにおける法線ベクトル39と反射ベクトルとがなす角度である。
【0029】
ステップ603では、例えば、図6に示す反射ベクトルL1、L2、L3のそれぞれと仮想球43との交点の反射色、及び反射ベクトルL1、L2、L3の反射角γ1、γ2、γ3に対する反射率W(γ1)、W(γ2)、W(γ3)が求められる。
【0030】
次に、ステップ603で算出された反射ベクトルLiの反射色を合成し(ステップ604)、合成反射色を算出する。合成反射色R(r,g,b)は次式で求められる。
R(r,g,b)=1/nΣW(γi)×|Li|×Li(r,g,b) …(1)
ここでnは反射ベクトルのサンプリング数、W(γi)は反射ベクトルLiの反射率、|Li|は反射ベクトルLiの大きさ、Li(r,g,b)は反射ベクトルLiの反射色である。
【0031】
式(1)に示される反射色の合成処理は、画像生成装置1が有する前述のグラフィックスハードウェアを利用して行われる。
すなわち、R(r,g,b)が、図4における、α2×r2、α2×g2、α2×b2に相当する。
【0032】
第2レンダリング処理部11はこうして求めた合成反射色と第1レンダリング処理部9で求めた物体の画像との合成レンダリング処理を行い、最終的な画像が外部表示装置4に表示される。
【0033】
合成反射色を求める計算処理や合成レンダリング処理はプログラムで行うこともできるが、多くの演算時間を要するため高速の描画が行えない。しかしながら、本実施の形態のようにグラフィックスハードウェアを利用すれば、リアルな描画が高速に行える。
【0034】
次に、画像描画のリアリティをより高めるための方法について説明する。
図9は反射角ごとに用意するテクスチャ画像を示す図である。図9に示すように、反射角が0度に近い場合は明瞭なテクスチャ画像45−1を仮想球43に張り、反射角が90度に近い場合はぼけたテクスチャ画像45−2を仮想球に張る。このように反射角ごとに異なるテクスチャ画像を用いることによって、更にリアルな反射効果を実現できる。
【0035】
図10はテクスチャ画像45−3を示す図である。このようにテクスチャ画像45−3において画像がクリアな領域A及び画像がぼけた領域Bとに分ける事で、よりリアルな反射効果を実現することもできる。
例えば、物体の中央部には明瞭な反射画像を貼付け、物体の端の方には、ぼけた反射画像を貼付ける。
【0036】
以上説明したように、本実施の形態によれば、コンピュータのグラフィックハードウェアを利用して、異方性反射面を含む物体における反射効果を考慮した精巧な画像を高速に生成し、表示させることが可能である。これによりグラフィックエンジンを持たないパソコンにおいても高品位な画像を生成することができる。
【0037】
尚、本実施の形態では視点35の位置を外部入力装置3より入力したが、視点位置を固定し、外部入力装置3より車41の移動量等を入力することも可能である。この場合、車41の移動量や移動方向に合わせて像を写す仮想物体の形状を選択すると、より効率的に反射効果の算出が行える。
【0038】
また、本実施の形態では反射効果について説明したが、反射ベクトルを屈折ベクトルとして屈折色を算出し、材質に応じた屈折率を用意すれば、屈折情報を算出し、同様に合成レンダリング処理を行うことが可能である。
尚、本実施の形態における図2や図7に示す処理を行うプログラムをCD−ROM等の記録媒体に格納して流通させることもできる。
【0039】
【発明の効果】
以上、詳細に説明したように本発明によれば、反射効果や屈折効果を考慮した高品位な画像を高速に生成することができる。
【図面の簡単な説明】
【図1】本発明の1実施の形態に係る画像生成装置1を示す図
【図2】画像生成装置1による画像生成処理を示すフローチャート
【図3】車41を示す図
【図4】ピクセル63の画像データを示す図
【図5】異方性反射面33における反射光37を示す図
【図6】反射ベクトルLiを示す図
【図7】異方性反射面33における反射情報計算のフローチャート
【図8】反射角度との反射率を示す図
【図9】反射角度ごとに用意するテクスチャ画像を示す図
【図10】テクスチャ画像45−3を示す図
【符号の説明】
1………画像生成装置
2………外部記憶装置
3………外部入力装置
4………外部表示装置
5………CGデータ読み込み部
6………CGデータ記憶部
7………視点情報算出部
8………視点情報記憶部
9………第1レンダリング処理部
10………反射情報算出部
11………第2レンダリング処理部

Claims (8)

  1. コンピュータ画像を生成する画像生成装置であって、
    物体の形状情報を入力する手段と、
    視点情報を入力する手段と、
    前記物体の形状情報と前記視点情報を基に、前記物体の画像を生成する第1の画像生成手段と、
    前記物体の形状情報と前記物体表面の材質と前記視点情報を基にして、前記物体表面における複数の反射ベクトルのそれぞれまたは複数の屈折ベクトルのそれぞれに対する反射情報または屈折情報を算出する算出手段と、
    前記物体表面上の点における、反射角または屈折角が異なる複数の反射ベクトルまたは複数の屈折ベクトルについての前記反射情報または前記屈折情報を合成して合成反射情報または合成屈折情報を算出する、合成手段と、
    前記第1の画像生成手段によって作成された画像と、前記合成反射情報または前記合成屈折情報と、を合成して画像を生成する第2の画像生成手段と、
    を具備することを特徴とする画像生成装置。
  2. コンピュータ画像を生成する画像生成装置であって、
    物体の形状情報を入力する手段と、
    視点情報を入力する手段と、
    前記物体の運動情報を入力する手段と、
    前記物体の形状情報と前記視点情報と前記運動情報を基に、前記物体の画像を生成する第1の画像生成手段と、
    前記物体の形状情報と前記物体表面の材質と前記運動情報を基にして、前記物体表面における複数の反射ベクトルのそれぞれまたは複数の屈折ベクトルのそれぞれに対する反射情報または屈折情報を算出する算出手段と、
    前記物体表面上の点における、反射角または屈折角が異なる複数の反射ベクトルまたは複数の屈折ベクトルについての前記反射情報または前記屈折情報を合成して合成反射情報または合成屈折情報を算出する、合成手段と、
    前記第1の画像生成手段によって作成された画像と、前記合成反射情報または前記合成屈折情報と、を合成して画像を生成する第2の画像生成手段と、
    を具備することを特徴とする画像生成装置。
  3. 請求項1或いは請求項2に記載された第2の画像生成手段は、
    第1の画像生成手段によって作成され、前記物体情報をピクセル色とアルファ値で表した第1の画像と、前記合成反射情報または前記合成屈折情報をピクセル色とアルファ値で表した第2の画像と、を合成することを特徴とする画像生成装置。
  4. 前記反射情報または前記屈折情報は、前記物体の周囲に任意形状の仮想物体を設け、前記仮想物体と反射ベクトル或いは屈折ベクトルとの交点の情報であることを特徴とする請求項1または請求項2記載の画像生成装置。
  5. コンピュータ画像を生成する画像生成装置であって、
    物体の形状情報を入力する手段と、
    視点情報または前記物体の運動情報を入力する手段と、
    前記物体の形状情報と前記視点情報または前記運動情報を基に、前記物体の画像を生成する第1の画像生成手段と、
    前記物体の形状情報と前記物体表面の材質と前記視点情報または前記運動情報を基にして、前記物体表面における複数の反射ベクトルまたは複数の屈折ベクトルに対する反射情報または屈折情報を算出する算出手段と、
    前記第1の画像生成手段によって作成された画像と、前記反射情報または前記屈折情報とを合成して画像を生成する第2の画像生成手段と、
    を具備し、
    前記反射情報または前記屈折情報は、反射ベクトルまたは屈折ベクトルの角度に応じて明瞭さが異なることを特徴とする画像生成装置。
  6. コンピュータ画像を生成する画像生成装置であって、
    物体の形状情報を入力する手段と、
    視点情報または前記物体の運動情報を入力する手段と、
    前記物体の形状情報と前記視点情報または前記運動情報を基に、前記物体の画像を生成する第1の画像生成手段と、
    前記物体の形状情報と前記物体表面の材質と前記視点情報または前記運動情報を基にして、前記物体表面における複数の反射ベクトルまたは複数の屈折ベクトルに対する反射情報または屈折情報を算出する算出手段と、
    前記第1の画像生成手段によって作成された画像と、前記反射情報または前記屈折情報とを合成して画像を生成する第2の画像生成手段と、
    を具備し、
    前記反射情報または前記屈折情報は、物体の位置に応じて明瞭さが異なることを特徴とする画像生成装置。
  7. コンピュータ画像を生成する画像生成装置であって、
    物体の形状情報を入力する手段と、
    視点情報を入力する手段と、
    前記物体の形状情報と前記視点情報を基に、前記物体の画像を生成する第1の画像生成手段と、
    前記物体の形状情報と前記物体表面の材質と前記視点情報を基にして、前記物体表面における複数の反射ベクトルのそれぞれまたは複数の屈折ベクトルのそれぞれに対する反射情報または屈折情報を算出する算出手段と、
    前記物体表面上の点における、反射角または屈折角が異なる複数の反射ベクトルまたは複数の屈折ベクトルについての前記反射情報または前記屈折情報を合成して合成反射情報または合成屈折情報を算出する、合成手段と、
    前記第1の画像生成手段によって作成された画像と、前記合成反射情報または前記合成屈折情報と、を合成して画像を生成する第2の画像生成手段と、
    を具備する画像生成装置としてコンピュータを機能させるプログラムを記録した記録媒体。
  8. コンピュータ画像を生成する画像生成装置であって、
    物体の形状情報を入力する手段と、
    視点情報を入力する手段と、
    前記物体の運動情報を入力する手段と、
    前記物体の形状情報と前記視点情報と前記運動情報を基に、前記物体の画像を生成する第1の画像生成手段と、
    前記物体の形状情報と前記物体表面の材質と前記運動情報を基にして、前記物体表面における複数の反射ベクトルのそれぞれまたは複数の屈折ベクトルのそれぞれに対する反射情報または屈折情報を算出する算出手段と、
    前記物体表面上の点における、反射角または屈折角が異なる複数の反射ベクトルまたは複数の屈折ベクトルについての前記反射情報または前記屈折情報を合成して合成反射情報または合成屈折情報を算出する、合成手段と、
    前記第1の画像生成手段によって作成された画像と、前記合成反射情報または前記合成屈折情報と、を合成して画像を生成する第2の画像生成手段と、
    を具備する画像生成装置としてコンピュータを機能させるプログラムを記録した記録媒体。
JP13110999A 1999-05-12 1999-05-12 画像生成装置及び記録媒体 Expired - Fee Related JP3612239B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13110999A JP3612239B2 (ja) 1999-05-12 1999-05-12 画像生成装置及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13110999A JP3612239B2 (ja) 1999-05-12 1999-05-12 画像生成装置及び記録媒体

Publications (2)

Publication Number Publication Date
JP2000322597A JP2000322597A (ja) 2000-11-24
JP3612239B2 true JP3612239B2 (ja) 2005-01-19

Family

ID=15050202

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13110999A Expired - Fee Related JP3612239B2 (ja) 1999-05-12 1999-05-12 画像生成装置及び記録媒体

Country Status (1)

Country Link
JP (1) JP3612239B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004079663A1 (ja) * 2003-03-06 2004-09-16 Digital Media Professionals Inc. 光反射強度計算回路

Also Published As

Publication number Publication date
JP2000322597A (ja) 2000-11-24

Similar Documents

Publication Publication Date Title
US8223149B2 (en) Cone-culled soft shadows
US20120249562A1 (en) Floating point computer system with fog
JP2002074388A (ja) グラフィクスシステムにおいて環境を写し込んだバンプマッピングのための方法および装置
JPH11149567A (ja) 画像処理装置及び画像処理方法
US8004522B1 (en) Using coverage information in computer graphics
US6972758B2 (en) Methods and apparatus for rendering an image including portions seen through one or more objects of the image
JP4584956B2 (ja) グラフィックスプロセッサおよび描画処理方法
US7133052B1 (en) Morph map based simulated real-time rendering
JP2002063596A (ja) ゲームシステム、プログラム及び情報記憶媒体
JP3035571B2 (ja) 画像処理装置
US7164421B2 (en) Image generation system, program, and information storage medium
JP3612239B2 (ja) 画像生成装置及び記録媒体
JP4096710B2 (ja) 画像生成装置
JPH05298460A (ja) 貝殻質感表現装置
JP3648404B2 (ja) 画像生成装置及び記録媒体
US7724255B2 (en) Program, information storage medium, and image generation system
GB2432499A (en) Image generation of objects distant from and near to a virtual camera
JP2002251627A (ja) 画像データ生成方法および装置
US11727638B1 (en) Adaptive geometric smoothing
JP4726347B2 (ja) 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム
JP2007299080A (ja) 画像生成方法及び画像生成装置
Peddie The GPUs’ Functions
JP2000348210A (ja) 画像合成方法、画像合成装置、及びプログラム提供媒体
JP2000040164A (ja) 画像生成装置
JP3453410B2 (ja) 画像処理装置及びその方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040622

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041022

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071029

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081029

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091029

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091029

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101029

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111029

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121029

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131029

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees