JPH10283504A - Three-dimensional image generator - Google Patents

Three-dimensional image generator

Info

Publication number
JPH10283504A
JPH10283504A JP9098302A JP9830297A JPH10283504A JP H10283504 A JPH10283504 A JP H10283504A JP 9098302 A JP9098302 A JP 9098302A JP 9830297 A JP9830297 A JP 9830297A JP H10283504 A JPH10283504 A JP H10283504A
Authority
JP
Japan
Prior art keywords
voxel
opacity
boundary surface
normal vector
surface strength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9098302A
Other languages
Japanese (ja)
Other versions
JP3814932B2 (en
Inventor
Hiroyuki Haga
浩之 羽賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP09830297A priority Critical patent/JP3814932B2/en
Publication of JPH10283504A publication Critical patent/JPH10283504A/en
Application granted granted Critical
Publication of JP3814932B2 publication Critical patent/JP3814932B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To facilitate parameter setting for volume rendering and to simply obtain a three-dimensional image as it is intended. SOLUTION: A volume rendering device 1 converts a voxel value into opacity based on a linear conversion characteristic that is expressed by translucent width W and threshold T which are inputted by an input device 2, also calculates a normal vector, boundary surface strength, a unit normal vector and normalization boundary surface strength that is normalized with the width W from inputted volume data and performs volume rendering processing through normalization boundary surface strength and opacity which are calculated in each voxel.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、X線CT装置や
MRI装置(核磁気共鳴イメージング装置)などで得た
3次元のボリュームデータからレンダリングを行って3
次元画像を作成する3次元画像生成装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for performing rendering from three-dimensional volume data obtained by an X-ray CT apparatus or an MRI apparatus (nuclear magnetic resonance imaging apparatus).
The present invention relates to a three-dimensional image generation device that creates a three-dimensional image.

【0002】[0002]

【従来の技術】医療の分野では、X線CT装置やMRI
装置を用いて人間を診断するための画像が撮影されてい
る。この画像は平面的なものであるが、その平面に直角
な方向に何枚もの画像を得ることなどにより、3次元に
配列されたデジタルデータを得ることができ、これは人
体の立体的なボリュームを表す。
2. Description of the Related Art In the medical field, X-ray CT apparatuses and MRI
Images for diagnosing humans have been taken using the device. Although this image is planar, three-dimensionally arranged digital data can be obtained by obtaining a number of images in a direction perpendicular to the plane. Represents

【0003】このようなボリュームデータから立体的な
画像を生成して表示する技術として、従来より、面を生
成・表示するサーフェスレンダリングが知られている。
これは、ボクセル値をしきい値によって分けて領域抽出
し、その領域の界面に陰影付けを行うものである。さら
に、しきい値による2値化を行わず、ボリュームデータ
からボクセルの材質含有率に応じた半透明表示を行うこ
とにより、サーフェスレンダリングで見られたエリアジ
ングや量子化による不自然さを解消するものとしてボリ
ュームレンダリングも知られている(R.A.Dreb
in L.Hanrahan,”Volume Ren
dering”,Computer Graphics
(Proc.SIGGRAPH),Vol.22,N
o.3(Aug.1988)pp.65−74)。
As a technique for generating and displaying a three-dimensional image from such volume data, surface rendering for generating and displaying a surface is conventionally known.
In this method, a voxel value is divided by a threshold value to extract a region, and a boundary of the region is shaded. Further, by performing translucent display according to the material content ratio of voxels from the volume data without performing binarization using a threshold value, the unnaturalness due to aliasing and quantization seen in surface rendering is eliminated. Also known as volume rendering (RA Dreb)
in L. Hanrahan, "Volume Ren
dering ", Computer Graphics
(Proc. SIGGRAPH), Vol. 22, N
o. 3 (Aug. 1988) pp. 65-74).

【0004】[0004]

【発明が解決しようとする課題】しかしながら、サーフ
ェスレンダリングでは、しきい値によってボクセルのあ
る所とない所とを100%と0%とに切り分けるため、
濃淡の小さい対象物では細部を表現しようとしてしきい
値を小さくすると粒状のノイズが出たり、細い血管など
では途切れて点線状になってしまうという問題がある。
However, in the surface rendering, a portion having a voxel and a portion not having a voxel are divided into 100% and 0% according to a threshold value.
There is a problem that if the threshold value is reduced in order to express details in a light and shade object, a granular noise is generated, and a thin blood vessel or the like is interrupted to form a dotted line.

【0005】また、ボリュームレンダリングによれば、
このようなサーフェスレンダリングの不都合は解消され
るものの、不透明度などの設定すべきパラメータが多
く、かつ複雑で、パラメータとしてどのような値を与え
ればどのような画像が得られるかが不明確であるという
問題がある。そのため、実際には、何回ものカットアン
ドトライを要し、経験と勘が必要となる。
According to volume rendering,
Although such inconvenience of surface rendering is solved, there are many parameters to be set such as opacity, and it is complicated, and it is unclear what value is given as a parameter and what image is obtained. There is a problem. Therefore, actually, many cuts and tries are required, and experience and intuition are required.

【0006】この発明は、上記に鑑み、パラメータ設定
が容易で、意図した画像が簡単に得られるように改善し
た、3次元画像生成装置を提供することを目的とする。
In view of the above, it is an object of the present invention to provide a three-dimensional image generating apparatus in which parameters can be easily set and an intended image can be easily obtained.

【0007】[0007]

【課題を解決するための手段】上記の目的を達成するた
め、この発明による3次元画像生成装置においては、し
きい値および半透明幅を入力する手段と、該入力された
しきい値および半透明幅によって表される直線を変換特
性としてボクセル値から不透明度への変換を行う手段
と、ボリュームデータから法線ベクトル、法線ベクトル
の絶対値である境界面強度、単位法線ベクトル、および
上記の入力された半透明幅で上記の境界面強度を正規化
した正規化境界面強度を求める手段と、このボクセルご
との正規化境界面強度と上記の不透明度とを用いてボリ
ュームレンダリング処理を行うボリュームレンダリング
手段とが備えられることが特徴となっている。
In order to achieve the above object, in a three-dimensional image generating apparatus according to the present invention, there are provided means for inputting a threshold value and a translucent width; Means for converting a voxel value to opacity by using a straight line represented by a transparency width as a conversion characteristic, a normal vector from volume data, a boundary surface intensity which is an absolute value of the normal vector, a unit normal vector, and Means for obtaining a normalized boundary strength obtained by normalizing the boundary strength with the input translucent width, and volume rendering processing using the normalized boundary strength for each voxel and the opacity. It is characterized in that volume rendering means is provided.

【0008】しきい値および半透明幅が入力され、これ
らによって表される直線が、ボクセル値から不透明度へ
の変換特性とされ、この変換特性にしたがってボクセル
値から不透明度への変換が行われる。一方、ボリューム
データから法線ベクトル、法線ベクトルの絶対値である
境界面強度、単位法線ベクトルが求められ、さらに、上
記の入力された半透明幅で境界面強度を正規化すること
により正規化境界面強度が求められる。そして、この各
ボクセルごとに求められた正規化境界面強度と上記の不
透明度とを用いてボリュームレンダリング処理が行われ
る。この場合、ボクセル値の勾配(境界面強度)を半透
明幅で正規化しているので、半透明幅を変更して半透明
とすべきボクセル値範囲を変えたとき、画像の変化は抽
出する領域のあいまいさのみとなり、しきい値はその半
透明範囲の中間付近で変わらない。そのため、設定した
しきい値を正しく反映した画像が得られ、しきい値と半
透明幅の設定だけで適切な不透明度の設定が行えること
になる。このことは、サーフェスレンダリング並みの容
易さで、ボリュームレンダリングのためのパラメータ設
定を行うことができることを意味する。
A threshold and a translucent width are input, and a straight line represented by the threshold and the translucency is used as a conversion characteristic from the voxel value to the opacity, and the conversion from the voxel value to the opacity is performed according to the conversion characteristic. . On the other hand, a normal vector, a boundary surface intensity, which is an absolute value of the normal vector, and a unit normal vector are obtained from the volume data, and further, the boundary surface intensity is normalized by the input translucent width, thereby obtaining a normal value. Calculated boundary surface strength is required. Then, a volume rendering process is performed using the normalized boundary surface strength obtained for each voxel and the opacity. In this case, since the gradient of the voxel value (boundary surface strength) is normalized by the translucent width, when the translucent width is changed to change the voxel value range to be translucent, the change in the image is the area to be extracted. And the threshold does not change near the middle of the translucent range. Therefore, an image that correctly reflects the set threshold value is obtained, and appropriate opacity can be set only by setting the threshold value and the translucent width. This means that parameters for volume rendering can be set as easily as surface rendering.

【0009】[0009]

【発明の実施の形態】つぎに、この発明の実施の形態に
ついて図面を参照しながら詳細に説明する。この発明に
かかる3次元画像生成装置は、図1に示すように、ボリ
ュームレンダリング装置1と、入力装置2と、画像表示
装置3とからなる。ボリュームレンダリング装置1は、
オンラインであるいはオフラインでX線CT装置やMR
I装置から受け取ったボリュームデータを画像処理す
る、コンピュータ利用の画像処理装置であり、専用のハ
ードウェアとしてもあるいはソフトウェア的にも構成可
能である。入力装置2は、キーボードやマウスなどから
なる。画像表示装置3は、入力アシスト画像や、生成し
た画像を表示する。これらはX線CT装置やMRI装置
に一体化された装置として、あるいは別個の装置として
構成可能である。
Next, embodiments of the present invention will be described in detail with reference to the drawings. As shown in FIG. 1, the three-dimensional image generation device according to the present invention includes a volume rendering device 1, an input device 2, and an image display device 3. The volume rendering device 1
X-ray CT or MR online or offline
This is an image processing device using a computer that performs image processing of volume data received from the I device, and can be configured as dedicated hardware or software. The input device 2 includes a keyboard, a mouse, and the like. The image display device 3 displays an input assist image and a generated image. These can be configured as a device integrated with the X-ray CT device or the MRI device, or as a separate device.

【0010】ボリュームデータは、図3に示すようなボ
クセル値の3次元配列である。入力装置2は、このボク
セル値に関して、図2の(a)で示すようなしきい値T
と半透明幅Wとを入力するものである。すなわち、半透
明幅Wとは、半透明(不透明度0%〜100%の範囲)
に表示したいボクセル値の範囲であり、しきい値Tは不
透明度50%のボクセル値を表す。入力されたT、Wに
よって、図2の(a)で示すような、ボクセル値から不
透明度への変換テーブルが形成される。通常であれば、
図2の(b)で示すように変換特性を自由に設定するの
であるが、そうすると複雑となり、結果が不明確になる
ため、上記のようにT、Wで規定される直線的な変換特
性とする。
The volume data is a three-dimensional array of voxel values as shown in FIG. The input device 2 determines the threshold value T as shown in FIG.
And the translucent width W. That is, the translucent width W is translucent (opacity in the range of 0% to 100%).
Is a range of voxel values to be displayed, and the threshold value T represents a voxel value having an opacity of 50%. A conversion table from voxel values to opacity as shown in FIG. 2A is formed by the inputted T and W. Ordinarily,
Although the conversion characteristics are freely set as shown in FIG. 2 (b), the conversion becomes complicated and the result becomes unclear, so that the linear conversion characteristics defined by T and W I do.

【0011】ボリュームレンダリング装置1は、通常の
ボリュームレンダリング処理に加えて、上記の直線的な
変換特性にしたがった、ボクセル値から不透明度への変
換を行う。さらに、不透明度が0より大きいボクセルに
ついて、法線ベクトルNと、境界面強度|N|と、単位
法線ベクトルN/|N|と、Wで正規化した境界面強度
|N|/Wを算出する。
The volume rendering device 1 converts voxel values to opacity in accordance with the above-described linear conversion characteristics, in addition to normal volume rendering processing. Further, for a voxel having an opacity greater than 0, the normal vector N, the boundary surface intensity | N |, the unit normal vector N / | N |, and the boundary surface intensity | N | / W normalized by W calculate.

【0012】ここで、図3のように視線に沿って並ぶボ
クセルA,B,C,D,…、の値が0、50、100、
150、…、であるとすると、T=150、W=200
の設定ではボクセルBから右側が不透明度が0より大き
くなる。各ボクセルの法線ベクトルNは、ボクセル値の
勾配とその傾き方向を近傍のボクセル値より求めたもの
である。境界面強度|N|は、法線ベクトルNの絶対
値、つまり勾配の絶対値である。単位法線ベクトルは、
N/|N|により求められる。この図3の例では、どの
ボクセルも、境界面強度は、距離1(サンプリング間
隔)当たり50となる。
Here, the values of the voxels A, B, C, D,... Arranged along the line of sight as shown in FIG.
.., T = 150, W = 200
With the setting of, the opacity on the right side from voxel B is larger than 0. The normal vector N of each voxel is obtained by determining the gradient of the voxel value and the direction of the gradient from neighboring voxel values. The interface strength | N | is the absolute value of the normal vector N, that is, the absolute value of the gradient. The unit normal vector is
N / | N |. In the example of FIG. 3, the boundary surface strength of any voxel is 50 per distance 1 (sampling interval).

【0013】この境界面強度|N|を設定した半透明幅
Wで割ることにより、半透明幅で正規化した境界面強度
|N|/Wを得る。こうして各ボクセルごとに求めた正
規化境界面強度と不透明度を用いて通常のボリュームレ
ンダリングが行われる。その際、正規化境界面強度には
不透明度データが乗算されるので、正規化境界面強度は
ボクセルの存在確率(不透明度で表される材質含有率)
に対応したものとなる。シェーディングには上記の単位
法線ベクトルを用いることによりPhongの方法など
によることができる(Phong,Buithon
g,”Illumination for Compu
ter Generated Images”,CAC
M 18(6)(June 1975)pp.311−
317)。
By dividing the interface strength | N | by the set translucent width W, the interface strength | N | / W normalized by the translucent width is obtained. In this way, normal volume rendering is performed using the normalized boundary surface strength and opacity obtained for each voxel. At this time, the normalized interface strength is multiplied by the opacity data. Therefore, the normalized interface strength is the probability of voxel existence (material content represented by opacity).
It corresponds to. Shading can be performed by the method of Phong or the like by using the unit normal vector described above (Phong, Bothon).
g, "Illumination for Compu
ter Generated Images ”, CAC
M 18 (6) (June 1975) pp. 311-
317).

【0014】この場合、しきい値Tを固定して、半透明
幅Wを増減すると、視線に沿って積分するボクセル数が
増減することになるが、その増減に逆比例して正規化境
界面強度が小さくなったり大きくなったりする。そのた
め、Wの操作による画像の変化は、抽出する領域のあい
まいさのみとなり、しきい値Tが半透明幅Wの中心付近
にあるということは変わらない(厳密には、光源モデル
における視線に沿った積分は各ボクセルでの不透明度に
対応した光の減衰を伴うのでちょうど50%の不透明度
のところにしきい値Tがくるわけではないが)。そのた
め、設定したしきい値Tを正しく反映した画像が得ら
れ、しきい値Tと半透明幅Wの設定だけで適切な不透明
度の設定が行えることになる。
In this case, if the threshold value T is fixed and the translucent width W is increased or decreased, the number of voxels integrated along the line of sight increases or decreases, but the normalized boundary surface is inversely proportional to the increase or decrease. Strength decreases or increases. Therefore, the change of the image due to the operation of W is only the ambiguity of the region to be extracted, and the fact that the threshold value T is near the center of the translucent width W does not change (strictly, along the line of sight in the light source model). (The threshold T is not exactly at 50% opacity, since the integration involves light attenuation corresponding to the opacity at each voxel). Therefore, an image that correctly reflects the set threshold value T is obtained, and appropriate opacity can be set only by setting the threshold value T and the translucent width W.

【0015】実際には、まず、原画像を画像表示装置3
に表示してこれを観察しながら、しきい値Tを設定す
る。この場合のしきい値Tはサーフェスレンダリングの
場合と同様の感覚で指定することができる。つぎに、原
画像中に含まれる抽出したい対象物のコントラスト、S
/N比などに応じて半透明幅Wを調整する。抽出したい
部分のS/N比が悪い場合は、Wがノイズの振幅よりも
大きくなるように設定・調整する。このように、原画像
を観察することにより、おおむね適切なしきい値T、半
透明幅Wが分かり、不透明度の設定が容易になる。しか
も、境界面強度は半透明幅Wで正規化されるので、得ら
れる画像は、Wを変更しても、設定したしきい値Tを正
しく反映したものとなるため、カットアンドトライを繰
り返す必要がなくなる。
Actually, first, the original image is displayed on the image display device 3.
Is set and the threshold value T is set while observing this. In this case, the threshold value T can be specified with the same feeling as in the case of surface rendering. Next, the contrast of the object to be extracted included in the original image, S
The translucent width W is adjusted according to the / N ratio. If the S / N ratio of the part to be extracted is poor, the setting and adjustment are performed so that W becomes larger than the noise amplitude. Thus, by observing the original image, the appropriate threshold value T and translucent width W can be generally determined, and the setting of the opacity becomes easy. In addition, since the boundary surface intensity is normalized by the translucent width W, the obtained image correctly reflects the set threshold value T even if W is changed, so it is necessary to repeat cut and try. Disappears.

【0016】[0016]

【発明の効果】以上説明したように、この発明の3次元
画像生成装置によれば、サーフェスレンダリング並みの
容易さで、ボリュームレンダリングのためのパラメータ
設定を行うことができ、意図通りの3次元画像を簡単に
得ることができる。
As described above, according to the three-dimensional image generating apparatus of the present invention, parameters for volume rendering can be set as easily as surface rendering, and the intended three-dimensional image can be set. Can be easily obtained.

【図面の簡単な説明】[Brief description of the drawings]

【図1】この発明の実施の形態を示すブロック図。FIG. 1 is a block diagram showing an embodiment of the present invention.

【図2】ボクセル値から不透明度への変換特性を示すグ
ラフ。
FIG. 2 is a graph showing conversion characteristics from voxel values to opacity.

【図3】ボクセルの配列を模式的に示す図。FIG. 3 is a diagram schematically showing an arrangement of voxels.

【符号の説明】[Explanation of symbols]

1 ボリュームレンダリング装置 2 入力装置 3 画像表示装置 1 volume rendering device 2 input device 3 image display device

Claims (1)

【特許請求の範囲】[Claims] 【請求項1】 しきい値および半透明幅を入力する手段
と、該入力されたしきい値および半透明幅によって表さ
れる直線を変換特性としてボクセル値から不透明度への
変換を行う手段と、ボリュームデータから法線ベクト
ル、法線ベクトルの絶対値である境界面強度、単位法線
ベクトル、および上記の入力された半透明幅で上記の境
界面強度を正規化した正規化境界面強度を求める手段
と、このボクセルごとの正規化境界面強度と上記の不透
明度とを用いてボリュームレンダリング処理を行うボリ
ュームレンダリング手段とを備えることを特徴とする3
次元画像生成装置。
1. A means for inputting a threshold value and a translucent width, and means for converting a voxel value to opacity using a straight line represented by the input threshold value and translucent width as a conversion characteristic. From the volume data, the normal vector, the boundary surface strength that is the absolute value of the normal vector, the unit normal vector, and the normalized boundary surface strength obtained by normalizing the boundary surface strength with the input translucent width described above. And a volume rendering means for performing a volume rendering process using the normalized boundary surface strength for each voxel and the opacity.
Dimensional image generation device.
JP09830297A 1997-03-31 1997-03-31 3D image generator Expired - Fee Related JP3814932B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP09830297A JP3814932B2 (en) 1997-03-31 1997-03-31 3D image generator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP09830297A JP3814932B2 (en) 1997-03-31 1997-03-31 3D image generator

Publications (2)

Publication Number Publication Date
JPH10283504A true JPH10283504A (en) 1998-10-23
JP3814932B2 JP3814932B2 (en) 2006-08-30

Family

ID=14216138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09830297A Expired - Fee Related JP3814932B2 (en) 1997-03-31 1997-03-31 3D image generator

Country Status (1)

Country Link
JP (1) JP3814932B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319220A (en) * 2000-05-03 2001-11-16 Ge Medical Systems Global Technology Co Llc Extraction of related data from medical image data volume
KR100392516B1 (en) * 2001-01-02 2003-07-22 주식회사 인피니트테크놀로지 real-time rendering method for noninterpolated volume data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319220A (en) * 2000-05-03 2001-11-16 Ge Medical Systems Global Technology Co Llc Extraction of related data from medical image data volume
KR100392516B1 (en) * 2001-01-02 2003-07-22 주식회사 인피니트테크놀로지 real-time rendering method for noninterpolated volume data

Also Published As

Publication number Publication date
JP3814932B2 (en) 2006-08-30

Similar Documents

Publication Publication Date Title
US7817877B2 (en) Image fusion processing method, processing program, and processing device
US5995108A (en) 3D image composition/display apparatus and composition method based on front-to-back order of plural 2D projected images
US6181348B1 (en) Method for selective volume visualization via texture mapping
Nelson et al. Visualization of 3D ultrasound data
Gasteiger et al. The FLOWLENS: A focus-and-context visualization approach for exploration of blood flow in cerebral aneurysms
US6040835A (en) System for depicting surfaces using volumetric distance maps
US6947584B1 (en) Volume imaging system
US6549645B1 (en) Image processing method and apparatus adapted for radiotherapy treatment planning using digitally reconstructed radiograph
EP3493161B1 (en) Transfer function determination in medical imaging
JP2627607B2 (en) Volume rendering method
JP6688618B2 (en) Medical image processing apparatus and medical image diagnostic apparatus
US20050143654A1 (en) Systems and methods for segmented volume rendering using a programmable graphics pipeline
EP2831845B1 (en) Visual suppression of selective tissue in image data
US7924279B2 (en) Protocol-based volume visualization
JP2003198941A (en) Method for contrast-enhancement of digital portal image
JP2011227870A (en) Image processing method and image processing apparatus
US20110082667A1 (en) System and method for view-dependent anatomic surface visualization
Khan et al. A methodological review of 3D reconstruction techniques in tomographic imaging
US9990703B2 (en) Visualization method and apparatus
CN111598989B (en) Image rendering parameter setting method and device, electronic equipment and storage medium
Svakhine et al. Illustration-inspired depth enhanced volumetric medical visualization
JP5289966B2 (en) Image processing system and method for displaying silhouette rendering and images during interventional procedures
US20200286240A1 (en) Method of segmenting a 3d object in a medical radiation image
Turlington et al. New techniques for efficient sliding thin-slab volume visualization
US9875569B2 (en) Unified 3D volume rendering and maximum intensity projection viewing based on physically based rendering

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050331

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060529

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100616

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100616

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110616

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110616

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120616

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130616

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130616

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140616

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees