JP3805120B2 - ボリュームモデル生成システム、ボリュームモデル生成方法およびコンピュータ読取可能な記録媒体 - Google Patents

ボリュームモデル生成システム、ボリュームモデル生成方法およびコンピュータ読取可能な記録媒体 Download PDF

Info

Publication number
JP3805120B2
JP3805120B2 JP02289499A JP2289499A JP3805120B2 JP 3805120 B2 JP3805120 B2 JP 3805120B2 JP 02289499 A JP02289499 A JP 02289499A JP 2289499 A JP2289499 A JP 2289499A JP 3805120 B2 JP3805120 B2 JP 3805120B2
Authority
JP
Japan
Prior art keywords
voxel
volume model
voxels
contour
model generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP02289499A
Other languages
English (en)
Other versions
JP2000222600A (ja
Inventor
司 松岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP02289499A priority Critical patent/JP3805120B2/ja
Publication of JP2000222600A publication Critical patent/JP2000222600A/ja
Application granted granted Critical
Publication of JP3805120B2 publication Critical patent/JP3805120B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、既存製品の流用設計のための形状入力装置、インターネットVRMLコンテンツ作成装置、非接触測定結果解析装置などに応用可能なボリュームモデル生成システム、ボリュームモデル生成方法およびコンピュータ読取可能な記録媒体に関し、特に、輪郭ボクセルを用いたボリュームモデル生成システム、ボリュームモデル生成方法およびコンピュータ読取可能な記録媒体に関する。
【0002】
【従来の技術】
近年、インターネット上でマルチメディア利用の広がりとともに、3次元表現の利用は拡大しており、3次元モデリングの重要性が高まっている。そのなかでも2次元イメージを基にした3次元モデリング手法が数多く提案されている。2次元イメージを基にした3次元点群の特徴としては、まばらで密度が一定していないことがあげられる。
【0003】
輪郭ボクセル内に点群を含むボリュームモデルの生成については、芹田らの方法[芹田陽一郎,渡邊大地,and千代倉弘明.ボリューミング手法を用いた点群データからのポリゴンおよび曲面モデル自動生成.In第13回NICOGRAPH/MULTIMEDIA論文コンテスト論文集,volume13,pages70−79,1997.]があるが、ボクセルサイズの大きさを自動的に決定できないため、位相構造を再現できない場合や、輪郭ボクセルの欠損が発生する場合がある。このようなボクセルやそのボクセルが生成したポリゴンメッシュでは実際の物体を再現したソリッドモデルとして構造解析などに用いることができないという課題があった。
【0004】
上記課題を解決するために、本出願人は、先に「点群からのポリゴン自動生成システム」(特願平10−147456号)を提案した。この本出願の先に提案したこの発明では、k-neighborhood法等によって最小点群密度を計算する事によりボクセルサイズを決定し、立体の表面を覆う輪郭ボリュームを得る。その後、輪郭ボリュームに囲まれるボリュームを立体の内部ボリュームとすることにより、正しい位相のソリッドモデルを得ることが出来る。
【0005】
しかしながら、この方法にも未解決な課題が残っている。即ち、点群が場所によって密度差が大きい場合には、最小点群密度からボクセルサイズを決定すると、ボクセルサイズが大きくなりすぎて、凹んだ部分など細部の形状が再現されない場合があった。また、立体の底の部分などある程度大きな点群の欠落があると、k-neighborhood法を用いた点群密度計算では最小の密度として検出されないので、そのまま輪郭ボリュームの欠落になり、最終的に正しい位相のモデルが再現されなかった。欠落のない輪郭ボリュームを得るため、結果を見ながら何度もボクセルサイズを調整する必要があった。
【0006】
【発明が解決しようとする課題】
計測器等で計測することにより得られた位相構造を持った物体の表面に分布する整列していない点群からボリュームモデルを生成する場合、(1)密度が一定でないまばらな点群に対してボクセルサイズを決定すると、例えば凹んだ部分などが再現されない場合があり、ボリュームモデル乃至ソリッドモデルの精度が悪くなる。(2)位相構造を持った物体の表面に分布する点群に対してk-neighborhood法を用いると位相構造が失われてしまうことがある。
【0007】
【課題を解決するための手段】
請求項1の発明は、計測器で計測することにより得られた物体の表面に分布する整列していない点群からボリュームモデルを生成するボリュームモデル生成システムであって、前記点群から初期ボクセルを生成する初期ボクセル生成手段、該初期ボクセルを複数個の下位ボクセルに分割するボクセル分割手段、点を含む輪郭ボクセル、前記物体の外側にあって点を含まない空ボクセルである外ボクセル、前記物体の内側にあって点を含まない空ボクセルである内ボクセル、および、外ボクセルとも内ボクセルとも判断できない仮輪郭ボクセルのいずれかに前記下位ボクセルを分類する分類手段、を有し、前記輪郭ボクセルおよび前記仮輪郭ボクセルについて、前記ボクセル分割手段により、所望の回数になるまで前記下位ボクセルをさらに下位のボクセルに分割し、均一な細かさの輪郭ボクセルに分割することを特徴とするボリュームモデル生成システムである。
【0008】
請求項2の発明は、請求項1に記載されたボリュームモデル生成システムにおいて、前記初期ボクセルは、前記点群全体を含むことを特徴とするボリュームモデル生成システムである。
【0009】
請求項3の発明は、請求項1又は2に記載されたボリュームモデル生成システムにおいて、前記ボクセル分割手段は、ボクセルをX,Y,Z方向にそれぞれ2分割して8個の下位ボクセルに分割するものであることを特徴とするボリュームモデル生成システムである。
【0011】
請求項の発明は、計測器で計測することにより得られた物体の表面に分布する整列していない点群からボリュームモデルを生成するボリュームモデル生成方法であって、初期ボクセル生成手段が前記点群から初期ボクセルを生成する初期ボクセル工程、ボクセル分割手段が該初期ボクセルを複数個の下位ボクセルに分割するボクセル分割工程、分類手段が、点を含む輪郭ボクセル、前記物体の外側にあって点を含まない空ボクセルである外ボクセル、前記物体の内側にあって点を含まない空ボクセルである内ボクセル、および、外ボクセルとも内ボクセルとも判断できない仮輪郭ボクセルのいずれかに前記下位ボクセルを分類する分類工程、を有し、前記輪郭ボクセルおよび前記仮輪郭ボクセルについて、前記ボクセル分割工程により、所望の回数になるまで前記下位ボクセルをさらに下位のボクセルに分割し、均一な細かさの輪郭ボクセルに分割することを特徴とするボリュームモデル生成方法である。
【0012】
請求項の発明は、請求項に記載されたボリュームモデル生成方法において、前記初期ボクセルは、前記点群全体を含むことを特徴とするボリュームモデル生成方法である。
【0013】
請求項の発明は、請求項又はに記載されたボリュームモデル生成方法において、前記ボクセル分割工程は、ボクセルをX,Y,Z方向にそれぞれ2分割して8個の下位ボクセルに分割するものであることを特徴とするボリュームモデル生成方法である。
【0015】
請求項の発明は、請求項1乃至のいずれかに記載のボリュームモデル生成システムの各手段として、コンピュータを機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体である。
【0016】
【発明の実施の形態】
本発明の実施形態を図面を参照して説明するが、本発明はこれら実施形態に限ることなく、本発明の範囲内で応用が可能であることは勿論である。
本発明の実施形態において、計測器等で計測することにより得られた物体の表面に分布する点群について、(1)点群は物体の表面に分布している、(2)点群は整列していない、即ち、隣の点は順番,周期などで明らかではない、(3)点群の密度は一定ではない、の各条件に合致したものであることを前提としている。
本発明を前記前提に基づき、図1のフローチャートを参照して説明する。なお、以下に8分割の例で説明する。
【0017】
レベル設定(S1)
レベルIの値を1に設定し、Nの値を適宜設定する。N値は、ボクセル分割のレベルを定めるもので、Nの値が小さいと粗いボリュームモデルとなり、大きいと処理時間がかかるばかりでなく、殆どが点を含まない空ボクセルとなってしまい、ボクセル分割の意味をなさなくなる。Nの値は、通常は2乃至15程度である。
【0018】
初期ボクセル作成(S2)
点群全体を包むバウンディングボックスを作成し、これを初期ボクセルとする。図2に本発明で用いるオクトツリー構造のボリュームモデルの模式を示す。初期ボクセルはオクトツリーのルートノードに対応する。オクトツリーのノードは8個の下位ノードヘのポインタを持っている。また、下位ノードは上位ノードヘのポインタを持っており相互に参照することができる。
【0019】
レベルの判定(S3)
レベルが設定値Nより小さいかどうかの判定を行う。Nに達したら本プロセスは終了する。
【0020】
輪郭ボクセルの確認(S4)
スキャンされるボクセルの種類を判別する。輪郭ボクセルおよび仮輪郭ボクセルの場合は次ステップS6へ進み、それ以外のボクセルすなわち空ボクセルの場合は、ステップS5へ進む。
【0021】
レベルアップ(S5)
輪郭ボクセル及び仮輪郭ボクセルについて実施する毎にレベルIの値を、1増分増やして、ステップS3へ戻る。
ボクセル分割(S6)
輪郭ボクセルおよび仮輪郭ボクセルの場合は、図3に例示するようにボクセルをX,Y,Z方向に各々2つずつに8分割する。分割されたそれぞれの下位のボクセルを、以下に示す輪郭ボクセルの分類方法にしたがって分類する。
【0022】
(a)輪郭ボクセル
点を含むボクセルは輪郭ボクセルとする。輪郭ボクセルは、立体内部と外部とを分ける境界の意味を持っている。初期ボクセルは、必ず点を含んでいるので、輪郭ボクセルに分類される。
(b)外ボクセル
バウンディングボックスまたは既存の外ボクセルに隣接する、点を含まない空ボクセルは外ボクセルとする。
【0023】
(c)内ボクセル
輪郭ボクセルで6方向全てを囲まれた空ボクセルは、立体内部に存在するボクセル即ち内ボクセルとする。ただし後述の内外判定手順での確認が必要である。また、既存の内ボクセルに隣接する空ボクセルは内ボクセルとする。
(d)仮輪郭ボクセル
内ボクセルと外ボクセルの両方に隣接する空ボクセルは仮輪郭ボクセルとする。仮輪郭ボクセルは、輪郭線が途切れるのを防止するために補完される。
【0024】
仮輪郭ボクセルの場合は、8分割後以下の手順で分類する。
(e)8分割された下位ボクセルは、隣接する内または外のボクセルが多い順に、4つのボクセルを内ボクセルまたは外ボクセルに分類する。輪郭を保つため、残りの4つは仮輪郭ボクセルにする。例えば隣接する外ボクセルがそれぞれ5,4,3,2....で、隣接する内ボクセルがそれぞれ3,2,2...であれば、外ボクセルが3個、内ボクセルが1個、仮輪郭ボクセルが4個と分類される。
(f)上記分類後、内ボクセルに隣接するものは内ボクセルに、外ボクセルに隣接するものは外ボクセルに分類する。また、内ボクセル、外ボクセル両方に隣接するものは仮輪郭ボクセルに分類する。
【0025】
空ボクセル発生の有無判定(S7)
ステップS6のボクセル分割で空ボクセルが発生したかどうか判定する。空ボクセルの発生がなかった場合は、ステップS4へ戻る。
【0026】
空ボクセルの内外判定(S8)
図4のフローチャートに従って判定する(詳細後述)。内外判定が可能な場合は、ステップS4へ進む。内外判定不能の場合は、次ステップS9へ進む。
【0027】
仮輪郭ボクセル属性の付与(S9)
前ステップS8で内外の判定が不能であったボクセルに、仮輪郭ボクセル属性を付与する。尚、ステップS7で複数個の空ボクセルが発生したときは、ステップS8,S9を所要回繰り返す。
【0028】
空ボクセルの内外判定
すべて輪郭ボクセルに囲まれる空ボクセルの内外判定は、X,Y,Zの各方向の正および負方向の合計6方向についてスキャニングを行い、内ボクセルか外ボクセルかの判定を行う。スキャニングの手順を図4のフローチャートに基づいて説明する。
【0029】
最初にボリュームモデルの外か中かの状態を表すフラグFioの初期状態をOUTとする(S21)。
カウンタIを初期値に設定する。正方向ならば、I=0とし、0(ゼロ)番目のボクセルから、負方向ならば、I=Nとし、N番目のボクセルからスキャニングを開始する(S22)。
【0030】
ボクセルが内または外と判定されていなかったら(S24/NO)、スキャニングして内外の境界を通過したと判定されれば(S25/YES)、フラグFioの状態を反転させ、ステップS23へ進む(S26)。一方、境界通過とは判定されなかった場合(S25/NO)ステップS23へ進む。正方向ならばIをカウントアップ(I=I+1)し、負方向ならばIをカウントダウン(I=I−1)する(S23)。ボクセルが内または外と判定されたら(S24/YES)、このルーチンは終了する。
【0031】
フラグの反転とはFioがINならばOUTに、OUTならばINにすることを示す。境界通過の判定基準は、輪郭ボクセルを通過した直後に空ボクセルになれば境界通過と見なす。ただし直前の輪郭ボクセルにスキャン方向からみたときにすべての即ち直前の輪郭ボクセルの周囲4方に輪郭ボクセルが隣接してなければならない。図5にその1例を示す。Z軸正方向から図5(B)のボクセル群を見ると、図5(A)のように見える。本発明では、これは「輪郭ボクセルには、4方全てに輪郭ボクセルが隣接しているものとみなす。
【0032】
分割してできた空ボクセルまでスキャニングしたときのフラグFioの状態がそのボクセルの状態になる。以上のように6方向で行ったスキャニングを行い6方向ですべて結果が同じであれば、内外判定が可能とする(S8)。6方向で行ったスキャニングの結果が一致しなければ、内外判定不可能としそのボクセルに仮輪郭ボクセル属性を付与する(S9)。
【0033】
(再帰的分割)
オクトツリー構造のボリュームモデルでは分割した8個のボクセルを8個の下位ノードに対応させる。分割を行うボクセルは輪郭ボクセルと仮輪郭ボクセルとし、空ボクセルはそれ以上分割しない。このように全体的にみて輪郭ボクセルの細かさは均一になるようにする。初期ボクセルをレベル0(ゼロ)のボクセルとし、以降分割する毎にレベルを1つずつ増やしていく。
【0034】
上述のようにしてボリュームモデルが生成されたなら、このボリュームモデルをもとにして必要によりポリゴンメッシュを生成する。その生成法には、Marching Cubes法や格子点連結法などが知られているので、これらの方法により、正しい位相で精細なポリゴンメッシュがえられる。
【0035】
上述のボリュームモデル生成システムは、コンピュータで実施することができる。即ち、前記方法をコンピュータに実施させるためのプログラムを記録媒体に記録することにより、任意のコンピュータで前記方法を容易に実施することができる。
【0036】
【発明の効果】
計測器等で計測することにより得られた位相構造を持った物体の表面に分布する整列していない密度が一定でないまばらな点群からボリュームモデルを生成する場合、
(1)もとの物体の位相構造を再現した、輪郭ボクセルに欠損のないボリュームモデルが得られる。従って、これを用いて生成するポリゴンメッシュ乃至ソリッドモデルの位相ももとの物体の位相構造を忠実に再現することができる。
(2)点群に密度差があっても、精度のよいボリュームモデル生成ができるので、細部形状が忠実に再現される。
(3)穴などの位相構造を持った物体の場合でも位相構造を再現できるボリュームモデルを生成できる。
(4)点群が粗い部分ではボクセルも粗くて済むので、ボリュームモデルのデータを管理する場合、少量のメモリによりデータ管理が可能になる。
(5)ボクセルを分割する際、X,Y,Z各方向に2つずつ合計8分割とすれば、各軸が同数分割となって、より滑らかなボリュームモデルにすることができる。
(6)本発明を3次元CADシステムなどに実現すれば、点群からの3次元形状モデルの自動生成が実現できる。
【0037】
任意のコンピュータにより、本発明のボリュームモデルを生成する方法を容易に実施することができる。
【図面の簡単な説明】
【図1】 本発明による実施形態の処理手順を説明するための全体フローチャートである。
【図2】 本発明によるオクトツリー構造のボリュームモデルを説明する模式図である。
【図3】 本発明によるボクセル分割の一例を示す図である。
【図4】 本発明によるボクセルの内外判定を説明するためのフローチャートである。
【図5】 隣接ボクセルの平面図(A)および斜視図(B)である。

Claims (7)

  1. 計測器で計測することにより得られた物体の表面に分布する整列していない点群からボリュームモデルを生成するボリュームモデル生成システムであって、前記点群から初期ボクセルを生成する初期ボクセル生成手段、該初期ボクセルを複数個の下位ボクセルに分割するボクセル分割手段、点を含む輪郭ボクセル、前記物体の外側にあって点を含まない空ボクセルである外ボクセル、前記物体の内側にあって点を含まない空ボクセルである内ボクセル、および、外ボクセルとも内ボクセルとも判断できない仮輪郭ボクセルのいずれかに前記下位ボクセルを分類する分類手段、を有し、前記輪郭ボクセルおよび前記仮輪郭ボクセルについて、前記ボクセル分割手段により、所望の回数になるまで前記下位ボクセルをさらに下位のボクセルに分割し、均一な細かさの輪郭ボクセルに分割することを特徴とするボリュームモデル生成システム。
  2. 請求項1に記載されたボリュームモデル生成システムにおいて、前記初期ボクセルは、前記点群全体を含むことを特徴とするボリュームモデル生成システム。
  3. 請求項1又は2に記載されたボリュームモデル生成システムにおいて、前記ボクセル分割手段は、ボクセルをX,Y,Z方向にそれぞれ2分割して8個の下位ボクセルに分割するものであることを特徴とするボリュームモデル生成システム。
  4. 計測器で計測することにより得られた物体の表面に分布する整列していない点群からボリュームモデルを生成するボリュームモデル生成方法であって、初期ボクセル生成手段が前記点群から初期ボクセルを生成する初期ボクセル工程、ボクセル分割手段が該初期ボクセルを複数個の下位ボクセルに分割するボクセル分割工程、分類手段が、点を含む輪郭ボクセル、前記物体の外側にあって点を含まない空ボクセルである外ボクセル、前記物体の内側にあって点を含まない空ボクセルである内ボクセル、および、外ボクセルとも内ボクセルとも判断できない仮輪郭ボクセルのいずれかに前記下位ボクセルを分類する分類工程、を有し、前記輪郭ボクセルおよび前記仮輪郭ボクセルについて、前記ボクセル分割工程により、所望の回数になるまで前記下位ボクセルをさらに下位のボクセルに分割し、均一な細かさの輪郭ボクセルに分割することを特徴とするボリュームモデル生成方法。
  5. 請求項に記載されたボリュームモデル生成方法において、前記初期ボクセルは、前記点群全体を含むことを特徴とするボリュームモデル生成方法。
  6. 請求項又はに記載されたボリュームモデル生成方法において、前記ボクセル分割工程は、ボクセルをX,Y,Z方向にそれぞれ2分割して8個の下位ボクセルに分割するものであることを特徴とするボリュームモデル生成方法。
  7. 請求項1乃至のいずれかに記載のボリュームモデル生成システムの各手段として、コンピュータを機能させるためのプログラムを記録したコンピュータ読取可能な記録媒体。
JP02289499A 1999-01-29 1999-01-29 ボリュームモデル生成システム、ボリュームモデル生成方法およびコンピュータ読取可能な記録媒体 Expired - Fee Related JP3805120B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP02289499A JP3805120B2 (ja) 1999-01-29 1999-01-29 ボリュームモデル生成システム、ボリュームモデル生成方法およびコンピュータ読取可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02289499A JP3805120B2 (ja) 1999-01-29 1999-01-29 ボリュームモデル生成システム、ボリュームモデル生成方法およびコンピュータ読取可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2000222600A JP2000222600A (ja) 2000-08-11
JP3805120B2 true JP3805120B2 (ja) 2006-08-02

Family

ID=12095374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02289499A Expired - Fee Related JP3805120B2 (ja) 1999-01-29 1999-01-29 ボリュームモデル生成システム、ボリュームモデル生成方法およびコンピュータ読取可能な記録媒体

Country Status (1)

Country Link
JP (1) JP3805120B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4550221B2 (ja) * 2000-04-24 2010-09-22 パナソニック株式会社 三次元空間再構成装置及び三次元空間再構成方法
GB201303540D0 (en) * 2013-02-27 2013-04-10 Arithmetica Ltd Image processing

Also Published As

Publication number Publication date
JP2000222600A (ja) 2000-08-11

Similar Documents

Publication Publication Date Title
Laidlaw et al. Constructive solid geometry for polyhedral objects
Stukowski et al. Extracting dislocations and non-dislocation crystal defects from atomistic simulation data
Bischoff et al. Automatic restoration of polygon models
Subramanian et al. Applying space subdivision techniques to volume rendering
EP1074946B1 (en) Detail-directed hierarchical distance fields for object modelling
Richter et al. Out-of-core real-time visualization of massive 3D point clouds
US8384716B2 (en) Image processing method
JP2013507679A (ja) 三次元物体モデルの3dプリントが可能な方法及びシステム
JP2002501639A (ja) プログレッシブメッシュの適応細分方法および装置
CN105957134A (zh) 用于3-d场景加速结构创建和更新的系统和方法
CN106384386B (zh) Lod模型生成中网格处理方法、系统以及3d重建方法和系统
CN112991424B (zh) 一种基于八叉树算法的分形维数计算方法及装置
CN114332291A (zh) 一种倾斜摄影模型建筑物外轮廓规则提取方法
US6914601B2 (en) Method, apparatus, and computer program for generating three-dimensional shape data or volume data
JP2022546045A (ja) 複数の部品を備える対象物の3次元ワイヤーフレームモデルを生成するコンピュータ実装の方法
JP4175536B2 (ja) 境界データの内外判定方法とそのプログラム
CN113971718A (zh) 一种对三维点云模型进行布尔运算的方法
JP3805120B2 (ja) ボリュームモデル生成システム、ボリュームモデル生成方法およびコンピュータ読取可能な記録媒体
WO2005066901A1 (en) Isosurface extraction into splat hierarchy
Magillo Spatial operations on multiresolution cell complexes
CN112819108B (zh) 一种多源异构模型的切片融合方法、系统及存储介质
JP2001067495A (ja) 三角形メッシュの生成方法、装置及び記録媒体
JP3739209B2 (ja) 点群からのポリゴン自動生成システム
CN114329519A (zh) 基于地形坡度的网格加密方法和装置
Wang et al. Adaptive T-spline surface approximation of triangular meshes

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060509

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110519

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130519

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130519

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees