JP4125251B2 - 情報処理方法および装置 - Google Patents

情報処理方法および装置 Download PDF

Info

Publication number
JP4125251B2
JP4125251B2 JP2004036814A JP2004036814A JP4125251B2 JP 4125251 B2 JP4125251 B2 JP 4125251B2 JP 2004036814 A JP2004036814 A JP 2004036814A JP 2004036814 A JP2004036814 A JP 2004036814A JP 4125251 B2 JP4125251 B2 JP 4125251B2
Authority
JP
Japan
Prior art keywords
detail
parameter
distance
level
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004036814A
Other languages
English (en)
Other versions
JP2005228110A (ja
Inventor
登志一 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004036814A priority Critical patent/JP4125251B2/ja
Priority to US11/054,745 priority patent/US20050179689A1/en
Publication of JP2005228110A publication Critical patent/JP2005228110A/ja
Application granted granted Critical
Publication of JP4125251B2 publication Critical patent/JP4125251B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/36Level of detail

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、オブジェクトを描画する際に使用するモデルの詳細度を決定するものに関する。
3次元コンピュータ・グラフィックスにおいて3次元図形を描画する場合、描画に使用する3次元モデルは、ポリゴンと呼ばれる多角形の集合体で構成される。3次元モデルを構成するポリゴンの数が多ければ多いほど、現実により近い3次元モデルを生成することができる。しかし、ポリゴン数の増加に伴い描画にかかる処理時間も増えるため、描画速度の低下という問題が起こってくる。
ここで、ディスプレイ上に表示される3次元図形の大きさについて考えてみる。図6に示すように視点61から見た画像が投影面62に投影されるわけであるから、ディスプレイに表示される3次元図形の大きさは、視点61と対象となる3次元モデル63との距離64に関係してくる。視点から遠くに離れるほどディスプレイ上での表示は小さくなるため、詳細な3次元モデルを生成する必要がなくなるわけである。そこで、視点と対象となる3次元モデルとの距離により3次元モデルを変えて描画する方法がある。
図7のように、オブジェクトである球71が視点の近くに位置する場合は、ディスプレイに表示される領域72が大きいため、球73を構成するポリゴンを小さくし詳細な3次元モデルを生成する必要があるが、球74のように視点から遠くに位置する場合は、ディスプレイに表示される領域75も小さいので、粗いポリゴンで球76を構成しても、人間の視覚において現実感を損なうことはない。
これは一般に、LOD(Level Of Detail:詳細度)と呼ばれている手法で、視点と対象となる3次元モデルの位置関係にレベル付けをし、そのレベル毎に描画に使用する3次元モデルを変えるという手法である。LODを用いて描画することにより、3次元モデルをリアルに高速に描画することが可能となっている。
このように従来は、視点と対象となる3次元モデルとの距離によりLODを変えていた。この場合、各3次元モデル(オブジェクト)毎に距離をマニュアルにより設定する必要がある。仮想空間を生成するためには、非常に多くのオブジェクトを使用する場合があり、各オブジェクト毎にLODを制御するための距離を設定することは、ユーザに多大なる負荷を与えていた。
本発明は上述の点に鑑みてなされたものであり、LODの制御を距離に比べて見た目に近いパラメータにすることにより、複数のオブジェクトに対して同一のパラメータでLODを制御可能にし、LODの切り替えパラメータの設定にかかるユーザの負荷を低減することを目的とする。
上記目的を達成するために、本願請求項1の発明は、ユーザ指示に応じて、複数のオブジェクトに対して共通して使用するパラメータであり、モデルの詳細度を切り替えるためのパラメータを設定する設定工程と、オブジェクトのサイズを示す情報を入力する工程と、視点位置とオブジェクトの位置との間の距離を求める工程と、前記パラメータと前記サイズを示す情報と前記距離とを用いて、前記モデルの詳細度を決定する決定工程と、前記決定された詳細度に対応するモデルを用いてオブジェクトを描画する描画工程とを有することを特徴とする。
また、本願請求項7の発明は、視点位置とオブジェクト位置の関係に応じて、詳細度が異なるモデルを用いてオブジェクトを描画する情報処理方法であって、詳細度の制御パラメータとして視点位置からオブジェクトを見込む角度を設定する設定工程と、視点位置を取得する取得工程と、前記視点位置とオブジェクトの位置との間の距離を求める工程と、前記求められた距離と前記設定された角度とに応じて詳細度を決定する詳細度決定工程と、前記決定された詳細度に対応するモデルを用いて、前記オブジェクトを描画する描画工程とを有することを特徴とする。
本発明によれば、LODの制御を距離に比べて見た目に近いパラメータにすることにより、複数のオブジェクトに対して同一のパラメータでLODを制御可能にし、LODの切り替えパラメータの設定にかかるユーザの負荷を低減することができる。
以下、図面を用いて本実施形態のLOD(詳細度)の切り替え方法について説明する。LODの切り替え方法として、Angular(角度)またはDistalを使用することができる。
(Angular)
Angular(角度)について図1を用いて説明する。
Angular(角度)は、視点からオブジェクトを包みこむ球体までの角度であり、視点と物体の距離が近いと値は大きくなり、距離が遠いと値は小さくなる。そして、大きいオブジェクトは小さいオブジェクトに比べて、距離が遠くても値は大きくなる。
オブジェクトの角度が大きいということは、現在の視点においてオブジェクトが大きく見えているということであり、オブジェクトを詳細に描画する必要があるということである。
よって、角度が大きいほどオブジェクトの詳細度を上げる。例えば、図1に示される車のボディの場合、角度が40度の場合はLevel0とし、角度が20度の場合はLevel1とし、角度が10度の場合はLevel2とし、Level0で最も詳細なモデルファイルを表示させ、Level1、Level2と徐々に表示精度を落とすようにLODを設定している。
本実施形態では、LODの切り替えを高速に処理するために、角度そのものを使用するのではなく、式(1)で示される角度に応じた値であるLOD切り替えパラメータ距離(d)を用いる。
d=r/tan−1θ ・・・・・(1)
Angular(角度)は、物体の見かけの大きを基準としてLODを切り替えることができる。しかも、LOD切り替えパラメータ距離(d)はオブジェクトの大きさに応じて算出されるので、ユーザは、Angularを複数のオブジェクトに対して同一の値を設定することで、適切なLODの切り替えを設定することができる。オブジェクト毎に距離を設定することが必要であった、従来の方法に比べてユーザの不可を格段に減らすことができる。
(Distal)
Distalについて図2を用いて説明する。
Distalは、オブジェクトを囲むような球の半径rに基づきLODの切り替えを制御する方法である。半径rはオブジェクトのサイズを示す。大きいオブジェクトは小さいオブジェクトと比較して、視点から距離が離れたとしても詳細に描画することが必要となる。
Distalでは、LODのレベルを切り替える距離を、オブジェクトの半径rに基づき求めることにより、オブジェクトに適した値を設定できるようにしている。
DistalにおけるLOD切り替えパラメータ距離(d)は、オブジェクトを囲むような球の半径rと、係数kとを用いて、式(2)により求められる。
d=k×r ・・・・・(2)
係数kは、LOD切り替えパラメータ距離(d)の値を半径の何倍にするかを制御するための係数であります。
図2に示されるように、LOD切り替えパラメータ距離(d)と、視点とオブジェクト間の距離との比較結果に基づき、LODを切り替える。
Distalも、物体の見かけの大きさを基準としており、Angularと同様に、複数のオブジェクトに対して同一の値を設定することができる。
以下、図3から図5を用いて、本実施形態におけるLOD切り替えパラメータの算出方法、およびLOD切り替えパラメータに応じたオブジェクトの生成方法の処理手順を説明する。なお、これらの処理は、例えば、図3および図5の処理を実現するためのプログラムをCPUがメモリを用いて実行することにより実現される。
まず、図3および図4を用いてLOD切り替えパラメータの設定にかかる処理手順を説明する。
ステップS31は、レベルを初期化するためにレベルとして0を設定する。
ステップS32は、図4に示されるユーザインターフェースを用いて、LODの切り替え方法の選択およびLOD切り替え方法に応じた値などを設定する。
「LODレベル選択ボックス」は、以下の各種条件を設定するLODのレベルを設定するボックスである。
「RangeFactor種別スイッチ」は、LODの切り替え方法として、図1で説明したAngular(角度)または図2で説明したDistalのいずれを用いるのかを選択するスイッチである。
「Range設定フィールド」は、LOD切り替え方法に応じた値を設定するフィールドである。Angularを選択した場合は角度(式(1)のθ、単位は゜)、Distalを選択した場合は係数(式(2)のk)を入力することになる。
「Center座標入力フィールド」は、オブジェクトの中心座標を入力するフィールドである。「AutoCenter設定スイッチ」は、オブジェクトの中心座標を自動的に算出し設定するモードを選択するスイッチである。オブジェクトの中心座標を自動的に算出する方法については、ステップS34、S35において後述する。
「LOD内容表示エリア」は、登録されているLODの一覧を表示する領域である。
ステップS33は、最初のオブジェクトを選択する。
ステップS34は、対象となるオブジェクトのバウンダリを計算する。オブジェクトのバウンダリとは、オブジェクトの大きさの概略を示す立体であり、例えばオブジェクト全体を含む6面体である。バウンダリは、対象オブジェクトのモデルデータをサンプリングし、X、Y、Z軸それぞれの最小値および最大値を検出し、その検出結果を格子点とする6面体を求めることにより、求めることができる。なお、バウンダリの形状としては球など他の形状でも構わないし、算出方法としても他の方法を用いても構わない。
ステップ35は、オブジェクトの中心座標を算出する。「Center座標入力フィールド」にマニュアルで値が設定されている場合は、設定されている値を読み出す。「AutoCenter設定スイッチ」でオブジェクトの中心座標を自動的に算出し設定するモードが選択されている場合は、算出されたバウンダリから中心座標を求める。本実施形では、バウンダリとして6面体を用いているので、中心座標として6面体の対角線の中心を設定する。さらに、オブジェクトを含む球体の半径(r)として対角線の半分の長さを設定する。つまり、図1および図2におけるオブジェクトを含む球体としてオブジェクトのバウンダリである6面体に外接する球体を想定する。
ステップS36では、ステップS35で求められたオブジェクトを含む球体の半径(r)と、ステップS32で設定されたLOD切り替え方法に対応する演算式およびLOD切り替え方法に応じた値を用いて、距離(d)を求める。
Angular(角度)が選択されている場合は、半径(r)とステップS32で設定された角度(θ)を用いて式(1)から距離(d)を求める。
Distalが選択されている場合は、半径(r)とステップS32で設定された係数(k)を用いて式(2)から距離(d)を求める。
ステップS34からS36までの処理を全てのオブジェクトに対して繰り返す(ステップS37)とともに、ステップS32からS37までの処理を全てのレベルに対して繰り返す(ステップS38)。
図3に示した処理により、各オブジェクトに対して各レベルについてのLOD切り替えパラメータである距離(d)を設定することができる。
なお、LOD切り替えパラメータの設定結果を、実際に画面を用いて確認し、確認結果に応じて調整できるようにしても構わない。さらに、確認結果に応じて、オブジェクト毎に独立に微調整できるようにしても構わない。また、オブジェクト毎に対応可能なLODのレベルを異なるようにしても構わない。例えば、あるオブジェクトのあるLODのレベル以上に対しては同様のモデルを使用するようにしても構わない。また、あるオブジェクトについては、有るLODレベル以上に対しては描画しないようにしても構わない。
図5に設定されたLOD切り替えパラメータを用いて、3次元オブジェクトを描画する処理の手順を説明する。本実施形態では、予めメモリ上に、各オブジェクトに対して設定されたLODの各レベルに応じたモデルデータが用意されている。そして、これらのモデルデータを用いて、オブジェクトを描画する。
ステップS51は、視点位置を取得する。
ステップS52は、ステップS51において取得された視点位置に応じた画像(図6や図7の投影面に相当する)ために、必要であるオブジェクトを選択し、必要であるオブジェクの中の最初のオブジェクトを設定する。
ステップS53は、視点位置とオブジェクト位置(オブジェクトの中心座標)との距離を算出する。
ステップS54は、ステップS53で求められた距離と、図3で求められた対象オブジェクトに対応するLOD切り替えパラメータである距離(d)とを比較し、ステップS53で求められた距離に対応するLODのレベルを決定する。
本実施形態では、LOD切り替え方法にかかわらず、LOD切り替えパラメータとして距離dを使用している。したがって、ステップS54ではLOD切り替え方法を意識せずに処理することが可能であり、図5にかかる処理を実現するためのプログラム構成を簡単にすることができる。
さらに、本実施形態では、ステップS53で求める距離として、視点位置とオブジェクトの中心座標との間の距離を使用している。よって、画面内におけるオブジェクトの見かけ上の大きさではなく、視点位置からのオブジェクトの見かけ上の大きさに基づきLODのレベルを設定することができ、より自然な結果を得ることができる。
ステップS55は、ステップS53で決定されたLODのレベルに対応する対象オブジェクトのモデルをメモリから読み出し、視点位置からの画像を描画する。
必要であるオブジェクトの全てに対して、ステップS53からS55までの処理を繰り返し、取得された視点位置からの画像を生成する。
(他の実施形態)
上述の実施形態では、LOD切り替え方法として2種類の方法を用意していが、上記2種類のいずれか1種類のみを有するようにしても構わないし、2種類の方法にさらに従来と同様のオブジェクト毎に距離を設定する方法を追加し3種類の方法を有するようにしても構わない。
また、上述の実施形態では、図3のステップS36において距離dを算出するようにしているが、図5の描画処理の最中にその都度算出するようにしても構わない。
また、本実施形態はオブジェクト画像を描画する際の処理である。よって、本実施形態をCG画像のみで構成される仮想空間を提供するシステムにも、また、実画像と仮想画像を組み合わせて得られる複合現実空間を提供するシステムにも適用することが可能である。
また、上記実施形態ではソフトウェアにより実現する場合を説明したが、各ステップを実現するためのハードウェアを用意しハードウェアにより実現する場合にも適用することができる。
Angularによる表示切り替えを説明する図である。 Distalにおける表示切り替えを説明する図である。 LOD切り替えパラメータの設定にかかる処理手順を説明する図である。 LOD切り替えパラメータを設定するためのユーザインターフェースを説明する図である。 LOD切り替えパラメータを用いて、オブジェクトを描画する処理の手順を説明する図である。 3次元コンピュータ・グラフィックスにおいて3次元図形の描画を説明する図である。 LODに応じた処理を説明する図である。

Claims (7)

  1. ユーザ指示に応じて、複数のオブジェクトに対して共通して使用するパラメータであり、モデルの詳細度を切り替えるためのパラメータを設定する設定工程と、
    オブジェクトのサイズを示す情報を入力する工程と、
    視点位置とオブジェクトの位置との間の距離を求める工程と、
    前記パラメータと前記サイズを示す情報と前記距離とを用いて、前記モデルの詳細度を決定する決定工程と、
    前記決定された詳細度に対応するモデルを用いてオブジェクトを描画する描画工程とを有し
    前記パラメータは、サイズを示す情報に乗算する係数であり、
    前記決定工程は、前記サイズを示す情報に前記パラメータを乗算した結果と、前記距離との比較結果に基づき、前記詳細度を決定することを特徴とする情報処理方法。
  2. 前記パラメータは、オブジェクトを見込む角度を示すパラメータであることを特徴とする請求項1記載の情報処理方法。
  3. 前記オブジェクトの位置をモデルから自動的に算出する算出工程を有することを特徴とする請求項1又は2のいずれかに記載の情報処理方法。
  4. 前記算出工程は、
    前記オブジェクトのモデルから該オブジェクトのバウンダリを求める工程と、
    前記バウンダリから前記オブジェクトの位置および前記オブジェクトのサイズを求める工程とを有することを特徴とする請求項1乃至のいずれかに記載の情報処理方法。
  5. 複数の詳細度の切り替え方法を有し、
    前記複数の詳細度の切り替え方法から、ユーザの指示に応じた詳細度の切り替え方法を選択する選択工程を有し、
    前記モデルの詳細度を切り替えるためのパラメータは、前記選択工程によって選択された詳細度の切り替え方法に応じたパラメータであることを特徴とする請求項1乃至のいずれかに記載の情報処理方法。
  6. 請求項1乃至のいずれかに記載の情報処理方法をコンピュータにて実現可能とするためのプログラム。
  7. ユーザ指示に応じて、複数のオブジェクトに対して共通して使用するパラメータであり、モデルの詳細度を切り替えるためのパラメータを設定する設定手段と、
    オブジェクトのサイズを示す情報を入力する手段と、
    視点位置とオブジェクトの位置との間の距離を求める手段と、
    前記パラメータと前記サイズを示す情報と前記距離とを用いて、前記モデルの詳細度を決定する決定手段と、
    前記決定された詳細度に対応するモデルを用いてオブジェクトを描画する描画手段とを有し、前記パラメータは、サイズを示す情報に乗算する係数であり、
    前記決定手段は、前記サイズを示す情報に前記パラメータを乗算した結果と、前記距離との比較結果に基づき、前記詳細度を決定することを特徴とする情報処理装置。
JP2004036814A 2004-02-13 2004-02-13 情報処理方法および装置 Expired - Fee Related JP4125251B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004036814A JP4125251B2 (ja) 2004-02-13 2004-02-13 情報処理方法および装置
US11/054,745 US20050179689A1 (en) 2004-02-13 2005-02-10 Information processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004036814A JP4125251B2 (ja) 2004-02-13 2004-02-13 情報処理方法および装置

Publications (2)

Publication Number Publication Date
JP2005228110A JP2005228110A (ja) 2005-08-25
JP4125251B2 true JP4125251B2 (ja) 2008-07-30

Family

ID=34836253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004036814A Expired - Fee Related JP4125251B2 (ja) 2004-02-13 2004-02-13 情報処理方法および装置

Country Status (2)

Country Link
US (1) US20050179689A1 (ja)
JP (1) JP4125251B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011685A (ja) * 2005-06-30 2007-01-18 Yokogawa Electric Corp パラメータ設定装置、パラメータ設定方法およびプログラム
JP4566120B2 (ja) * 2005-11-21 2010-10-20 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
JP4201207B2 (ja) * 2005-11-21 2008-12-24 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
JP4847226B2 (ja) * 2006-06-16 2011-12-28 株式会社トヨタIt開発センター 画像生成装置
JP4895738B2 (ja) * 2006-09-15 2012-03-14 株式会社カプコン 三次元映像表示装置、その表示装置を実現するためのプログラム
JP4896761B2 (ja) * 2007-02-16 2012-03-14 株式会社日立製作所 立体地図表示システム、立体地図の表示方法、及びそのプログラム
KR100946473B1 (ko) 2007-12-17 2010-03-10 현대자동차주식회사 3차원 입체 데이터의 로딩 방법
JP2011014108A (ja) * 2009-07-06 2011-01-20 Nec Soft Ltd 空間統合制御システム、データ、コンピュータ読み取り可能な記録媒体、三次元モデル生成装置、三次元モデル生成方法およびプログラム
FR2998080A1 (fr) * 2012-11-13 2014-05-16 France Telecom Procede d'augmentation de la realite
JP5991418B2 (ja) * 2015-10-02 2016-09-14 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US11833423B2 (en) * 2020-09-29 2023-12-05 Activision Publishing, Inc. Methods and systems for generating level of detail visual assets in a video game

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5577960A (en) * 1993-06-10 1996-11-26 Namco, Ltd. Image synthesizing system and game playing apparatus using the same
US6154215A (en) * 1997-08-01 2000-11-28 Silicon Graphics, Inc. Method and apparatus for maintaining multiple representations of a same scene in computer generated graphics
US7023437B1 (en) * 1998-07-22 2006-04-04 Nvidia Corporation System and method for accelerating graphics processing using a post-geometry data stream during multiple-pass rendering
US6373489B1 (en) * 1999-01-12 2002-04-16 Schlumberger Technology Corporation Scalable visualization for interactive geometry modeling
TW200407799A (en) * 2002-11-05 2004-05-16 Ind Tech Res Inst Texture partition and transmission method for network progressive transmission and real-time rendering by using the wavelet coding algorithm

Also Published As

Publication number Publication date
US20050179689A1 (en) 2005-08-18
JP2005228110A (ja) 2005-08-25

Similar Documents

Publication Publication Date Title
US10503456B2 (en) Method and apparatus for rendering perspective-correct images for a tilted multi-display environment
EP1033682B1 (en) Image processing apparatus and image processing method
JP2002183761A (ja) 画像生成の方法および装置
US20050179689A1 (en) Information processing method and apparatus
CN110291564B (zh) 图像生成设备和图像生成方法
US5877769A (en) Image processing apparatus and method
US7528831B2 (en) Generation of texture maps for use in 3D computer graphics
JP3124999B1 (ja) レンダリング方法及び装置、ゲーム装置、並びに仮想空間内のオブジェクトの陰影に関するデータを計算するためのプログラムを格納するコンピュータ読み取り可能な記録媒体
US20220148250A1 (en) Image rendering method and apparatus
EP2065854B1 (en) posture dependent normal vectors for texture mapping
US11657478B1 (en) Systems and methods for dynamically rendering three-dimensional images with varying detail to emulate human vision
JP2004005452A (ja) 画像処理装置、画像処理方法、半導体デバイス、コンピュータプログラム、記録媒体
US10297036B2 (en) Recording medium, information processing apparatus, and depth definition method
US20200118327A1 (en) Image generation apparatus, image generation method, and program
JPH09231398A (ja) 情報処理装置及びその制御方法
JP4204713B2 (ja) 三次元モデルの表示方法と、これを実現するプログラムが記憶されたコンピュータにより読み取り可能な記憶媒体
KR101227155B1 (ko) 저해상도 그래픽 영상을 고해상도 그래픽 영상으로 실시간 변환하는 그래픽 영상 처리 장치 및 방법
US6590582B1 (en) Clipping processing method
JP3586253B2 (ja) テクスチャマッピングプログラム
JP5063022B2 (ja) プログラム、情報記憶媒体及び画像生成システム
US6633291B1 (en) Method and apparatus for displaying an image
JP7475625B2 (ja) 3次元空間における入力受付および入力表示方法、プログラム、および3次元空間における入力受付および入力表示装置
JP7417218B1 (ja) 画像処理プログラム、画像処理システム、画像処理装置、および画像処理方法
JP2002056405A (ja) テクスチャマッピング処理装置
JPH11175758A (ja) 立体表示方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080507

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110516

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130516

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140516

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees