JP3814932B2 - 3D image generator - Google Patents

3D image generator Download PDF

Info

Publication number
JP3814932B2
JP3814932B2 JP09830297A JP9830297A JP3814932B2 JP 3814932 B2 JP3814932 B2 JP 3814932B2 JP 09830297 A JP09830297 A JP 09830297A JP 9830297 A JP9830297 A JP 9830297A JP 3814932 B2 JP3814932 B2 JP 3814932B2
Authority
JP
Japan
Prior art keywords
voxel
opacity
width
threshold value
normal vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP09830297A
Other languages
Japanese (ja)
Other versions
JPH10283504A (en
Inventor
浩之 羽賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP09830297A priority Critical patent/JP3814932B2/en
Publication of JPH10283504A publication Critical patent/JPH10283504A/en
Application granted granted Critical
Publication of JP3814932B2 publication Critical patent/JP3814932B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、X線CT装置やMRI装置(核磁気共鳴イメージング装置)などで得た3次元のボリュームデータからレンダリングを行って3次元画像を作成する3次元画像生成装置に関する。
【0002】
【従来の技術】
医療の分野では、X線CT装置やMRI装置を用いて人間を診断するための画像が撮影されている。この画像は平面的なものであるが、その平面に直角な方向に何枚もの画像を得ることなどにより、3次元に配列されたデジタルデータを得ることができ、これは人体の立体的なボリュームを表す。
【0003】
このようなボリュームデータから立体的な画像を生成して表示する技術として、従来より、面を生成・表示するサーフェスレンダリングが知られている。これは、ボクセル値をしきい値によって分けて領域抽出し、その領域の界面に陰影付けを行うものである。さらに、しきい値による2値化を行わず、ボリュームデータからボクセルの材質含有率に応じた半透明表示を行うことにより、サーフェスレンダリングで見られたエリアジングや量子化による不自然さを解消するものとしてボリュームレンダリングも知られている(R.A.Drebin L.Hanrahan,”Volume Rendering”,Computer Graphics(Proc.SIGGRAPH),Vol.22,No.3(Aug.1988)pp.65−74)。
【0004】
【発明が解決しようとする課題】
しかしながら、サーフェスレンダリングでは、しきい値によってボクセルのある所とない所とを100%と0%とに切り分けるため、濃淡の小さい対象物では細部を表現しようとしてしきい値を小さくすると粒状のノイズが出たり、細い血管などでは途切れて点線状になってしまうという問題がある。
【0005】
また、ボリュームレンダリングによれば、このようなサーフェスレンダリングの不都合は解消されるものの、不透明度などの設定すべきパラメータが多く、かつ複雑で、パラメータとしてどのような値を与えればどのような画像が得られるかが不明確であるという問題がある。そのため、実際には、何回ものカットアンドトライを要し、経験と勘が必要となる。
【0006】
この発明は、上記に鑑み、パラメータ設定が容易で、意図した画像が簡単に得られるように改善した、3次元画像生成装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記の目的を達成するため、この発明による3次元画像生成装置においては、ボクセル値に関するしきい値および半透明幅を入力する手段と、該入力されたしきい値および半透明幅によって表される直線を変換特性としてボクセル値から不透明度への変換を行う手段と、ボリュームデータから法線ベクトル、法線ベクトルの絶対値である境界面強度、単位法線ベクトル、および上記の入力された半透明幅で上記の境界面強度を正規化した正規化境界面強度を求める手段と、このボクセルごとの正規化境界面強度と上記の不透明度とを用いてボリュームレンダリング処理を行うボリュームレンダリング手段とが備えられることが特徴となっている。
【0008】
ボクセル値に関するしきい値および半透明幅が入力され、これらによって表される直線が、ボクセル値から不透明度への変換特性とされ、この変換特性にしたがってボクセル値から不透明度への変換が行われる。一方、ボリュームデータから法線ベクトル、法線ベクトルの絶対値である境界面強度、単位法線ベクトルが求められ、さらに、上記の入力された半透明幅で境界面強度を正規化することにより正規化境界面強度が求められる。そして、この各ボクセルごとに求められた正規化境界面強度と上記の不透明度とを用いてボリュームレンダリング処理が行われる。この場合、ボクセル値の勾配(境界面強度)を半透明幅で正規化しているので、半透明幅を変更して半透明とすべきボクセル値範囲を変えたとき、画像の変化は抽出する領域のあいまいさのみとなり、しきい値はその半透明範囲の中間付近で変わらない。そのため、設定したしきい値を正しく反映した画像が得られ、しきい値と半透明幅の設定だけで適切な不透明度の設定が行えることになる。このことは、サーフェスレンダリング並みの容易さで、ボリュームレンダリングのためのパラメータ設定を行うことができることを意味する。
【0009】
【発明の実施の形態】
つぎに、この発明の実施の形態について図面を参照しながら詳細に説明する。この発明にかかる3次元画像生成装置は、図1に示すように、ボリュームレンダリング装置1と、入力装置2と、画像表示装置3とからなる。ボリュームレンダリング装置1は、オンラインであるいはオフラインでX線CT装置やMRI装置から受け取ったボリュームデータを画像処理する、コンピュータ利用の画像処理装置であり、専用のハードウェアとしてもあるいはソフトウェア的にも構成可能である。入力装置2は、キーボードやマウスなどからなる。画像表示装置3は、入力アシスト画像や、生成した画像を表示する。これらはX線CT装置やMRI装置に一体化された装置として、あるいは別個の装置として構成可能である。
【0010】
ボリュームデータは、図3に示すようなボクセル値の3次元配列である。入力装置2は、このボクセル値に関して、図2の(a)で示すようなしきい値Tと半透明幅Wとを入力するものである。すなわち、半透明幅Wとは、半透明(不透明度0%〜100%の範囲)に表示したいボクセル値の範囲であり、しきい値Tは不透明度50%のボクセル値を表す。入力されたT、Wによって、図2の(a)で示すような、ボクセル値から不透明度への変換テーブルが形成される。通常であれば、図2の(b)で示すように変換特性を自由に設定するのであるが、そうすると複雑となり、結果が不明確になるため、上記のようにT、Wで規定される直線的な変換特性とする。
【0011】
ボリュームレンダリング装置1は、通常のボリュームレンダリング処理に加えて、上記の直線的な変換特性にしたがった、ボクセル値から不透明度への変換を行う。さらに、不透明度が0より大きいボクセルについて、法線ベクトルNと、境界面強度|N|と、単位法線ベクトルN/|N|と、Wで正規化した境界面強度|N|/Wを算出する。
【0012】
ここで、図3のように視線に沿って並ぶボクセルA,B,C,D,…、の値が0、50、100、150、…、であるとすると、T=150、W=200の設定ではボクセルBから右側が不透明度が0より大きくなる。各ボクセルの法線ベクトルNは、ボクセル値の勾配とその傾き方向を近傍のボクセル値より求めたものである。境界面強度|N|は、法線ベクトルNの絶対値、つまり勾配の絶対値である。単位法線ベクトルは、N/|N|により求められる。この図3の例では、どのボクセルも、境界面強度は、距離1(サンプリング間隔)当たり50となる。
【0013】
この境界面強度|N|を設定した半透明幅Wで割ることにより、半透明幅で正規化した境界面強度|N|/Wを得る。こうして各ボクセルごとに求めた正規化境界面強度と不透明度を用いて通常のボリュームレンダリングが行われる。その際、正規化境界面強度には不透明度データが乗算されるので、正規化境界面強度はボクセルの存在確率(不透明度で表される材質含有率)に対応したものとなる。シェーディングには上記の単位法線ベクトルを用いることによりPhongの方法などによることができる(Phong,Buithong,”Illumination for Computer Generated Images”,CACM 18(6)(June 1975)pp.311−317)。
【0014】
この場合、しきい値Tを固定して、半透明幅Wを増減すると、視線に沿って積分するボクセル数が増減することになるが、その増減に逆比例して正規化境界面強度が小さくなったり大きくなったりする。そのため、Wの操作による画像の変化は、抽出する領域のあいまいさのみとなり、しきい値Tが半透明幅Wの中心付近にあるということは変わらない(厳密には、光源モデルにおける視線に沿った積分は各ボクセルでの不透明度に対応した光の減衰を伴うのでちょうど50%の不透明度のところにしきい値Tがくるわけではないが)。そのため、設定したしきい値Tを正しく反映した画像が得られ、しきい値Tと半透明幅Wの設定だけで適切な不透明度の設定が行えることになる。
【0015】
実際には、まず、原画像を画像表示装置3に表示してこれを観察しながら、しきい値Tを設定する。この場合のしきい値Tはサーフェスレンダリングの場合と同様の感覚で指定することができる。つぎに、原画像中に含まれる抽出したい対象物のコントラスト、S/N比などに応じて半透明幅Wを調整する。抽出したい部分のS/N比が悪い場合は、Wがノイズの振幅よりも大きくなるように設定・調整する。このように、原画像を観察することにより、おおむね適切なしきい値T、半透明幅Wが分かり、不透明度の設定が容易になる。しかも、境界面強度は半透明幅Wで正規化されるので、得られる画像は、Wを変更しても、設定したしきい値Tを正しく反映したものとなるため、カットアンドトライを繰り返す必要がなくなる。
【0016】
【発明の効果】
以上説明したように、この発明の3次元画像生成装置によれば、サーフェスレンダリング並みの容易さで、ボリュームレンダリングのためのパラメータ設定を行うことができ、意図通りの3次元画像を簡単に得ることができる。
【図面の簡単な説明】
【図1】この発明の実施の形態を示すブロック図。
【図2】ボクセル値から不透明度への変換特性を示すグラフ。
【図3】ボクセルの配列を模式的に示す図。
【符号の説明】
1 ボリュームレンダリング装置
2 入力装置
3 画像表示装置
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional image generation apparatus that performs rendering from three-dimensional volume data obtained by an X-ray CT apparatus, an MRI apparatus (nuclear magnetic resonance imaging apparatus), or the like to create a three-dimensional image.
[0002]
[Prior art]
In the medical field, an image for diagnosing a human being is taken using an X-ray CT apparatus or an MRI apparatus. Although this image is planar, digital data arranged in three dimensions can be obtained by obtaining a number of images in a direction perpendicular to the plane. Represents.
[0003]
As a technique for generating and displaying a stereoscopic image from such volume data, surface rendering for generating and displaying a surface has been conventionally known. In this method, regions are extracted by dividing voxel values according to threshold values, and the boundary of the region is shaded. Furthermore, by performing semi-transparent display according to the voxel material content rate from volume data without performing binarization by threshold value, the unnaturalness due to aliasing and quantization seen in surface rendering is eliminated. Volume rendering is also known (R. A. Drebin L. Hanrahan, “Volume Rendering”, Computer Graphics (Proc. SIGGRAPH), Vol. 22, No. 3 (Aug. 1988) pp. 65-74). .
[0004]
[Problems to be solved by the invention]
However, in surface rendering, the threshold value is divided into 100% and 0% where the voxel is located, so if you want to express details in small shades of objects, grain noise will appear. There is a problem that it comes out or becomes a dotted line in a thin blood vessel.
[0005]
In addition, volume rendering eliminates the inconvenience of surface rendering, but there are many parameters that should be set, such as opacity, and is complicated. What value should be given as a parameter? There is a problem that it is unclear whether it can be obtained. Therefore, in practice, many cuts and tries are required, and experience and intuition are required.
[0006]
In view of the above, an object of the present invention is to provide a three-dimensional image generation apparatus which is easy to set parameters and is improved so that an intended image can be easily obtained.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, in the three-dimensional image generating apparatus according to the present invention, the threshold value and the translucent width relating to the voxel value are input, and the input threshold value and the translucent width are represented Means to convert voxel values to opacity using straight line as conversion characteristics, normal vector from volume data, boundary surface strength that is absolute value of normal vector, unit normal vector, and above input translucent Means for obtaining a normalized boundary surface strength obtained by normalizing the above-mentioned boundary surface strength by width, and volume rendering means for performing volume rendering processing using the normalized boundary surface strength for each voxel and the above opacity It is characterized by being.
[0008]
The threshold value and translucency width related to the voxel value are input, and the straight line represented by these is used as a conversion characteristic from the voxel value to the opacity, and the conversion from the voxel value to the opacity is performed according to the conversion characteristic. . On the other hand, the normal vector, the boundary surface strength, which is the absolute value of the normal vector, and the unit normal vector are obtained from the volume data, and further normalized by normalizing the boundary surface strength with the above-mentioned translucent width. The interface strength is required. Then, volume rendering processing is performed using the normalized boundary surface strength obtained for each voxel and the opacity. In this case, the gradient of the voxel value (boundary surface strength) is normalized by the translucent width, so when the voxel value range that should be made translucent is changed by changing the translucent width, the change in the image is extracted And the threshold does not change near the middle of its translucent range. Therefore, an image that correctly reflects the set threshold value is obtained, and appropriate opacity can be set only by setting the threshold value and the translucent width. This means that parameter setting for volume rendering can be performed as easily as surface rendering.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described in detail with reference to the drawings. As shown in FIG. 1, the three-dimensional image generation apparatus according to the present invention includes a volume rendering device 1, an input device 2, and an image display device 3. The volume rendering apparatus 1 is a computer-based image processing apparatus that performs image processing on volume data received from an X-ray CT apparatus or MRI apparatus online or offline, and can be configured as dedicated hardware or software. It is. The input device 2 includes a keyboard and a mouse. The image display device 3 displays the input assist image and the generated image. These can be configured as an apparatus integrated with an X-ray CT apparatus or an MRI apparatus, or as a separate apparatus.
[0010]
The volume data is a three-dimensional array of voxel values as shown in FIG. The input device 2 inputs a threshold value T and a translucent width W as shown in FIG. That is, the translucent width W is a range of voxel values that are desired to be displayed in a translucent (opacity range of 0% to 100%), and the threshold value T represents a voxel value having an opacity of 50%. A conversion table from voxel values to opacity as shown in FIG. 2A is formed by the inputted T and W. Normally, the conversion characteristics can be freely set as shown in FIG. 2B, but doing so makes the result complicated and unclear, so the straight lines defined by T and W as described above. Conversion characteristics.
[0011]
In addition to normal volume rendering processing, the volume rendering apparatus 1 performs conversion from voxel values to opacity according to the linear conversion characteristics described above. Further, for a voxel with an opacity greater than 0, a normal vector N, a boundary surface strength | N |, a unit normal vector N / | N |, and a boundary surface strength | N | / W normalized by W calculate.
[0012]
If the values of voxels A, B, C, D,... Arranged along the line of sight as shown in FIG. 3 are 0, 50, 100, 150,..., T = 150 and W = 200. In the setting, the opacity is greater than 0 on the right side from voxel B. The normal vector N of each voxel is obtained by calculating the gradient of the voxel value and its inclination direction from the neighboring voxel values. The boundary strength | N | is the absolute value of the normal vector N, that is, the absolute value of the gradient. The unit normal vector is obtained by N / | N |. In the example of FIG. 3, the boundary strength of any voxel is 50 per distance 1 (sampling interval).
[0013]
By dividing the boundary strength | N | by the set semi-transparent width W, the boundary strength | N | / W normalized by the semi-transparent width is obtained. Thus, normal volume rendering is performed using the normalized boundary strength and opacity obtained for each voxel. At this time, since the normalized boundary surface strength is multiplied by the opacity data, the normalized boundary surface strength corresponds to the existence probability of the voxel (the material content expressed by opacity). For the shading, the above-mentioned unit normal vector is used, and the method of Phong can be used (Phong, Buitong, “Illumination for Computer Generated Images”, CACM 18 (6) (June 1975) pp. 311-317).
[0014]
In this case, if the threshold value T is fixed and the translucent width W is increased or decreased, the number of voxels integrated along the line of sight increases or decreases, but the normalized boundary surface strength decreases in inverse proportion to the increase and decrease. It grows and grows. Therefore, the change in the image due to the operation of W is only the ambiguity of the region to be extracted, and the fact that the threshold value T is near the center of the translucent width W does not change (strictly speaking, along the line of sight in the light source model). Since the integration involves attenuation of light corresponding to the opacity at each voxel, the threshold T does not come at exactly 50% opacity). Therefore, an image that correctly reflects the set threshold value T is obtained, and appropriate opacity can be set only by setting the threshold value T and the translucent width W.
[0015]
Actually, first, the threshold value T is set while displaying the original image on the image display device 3 and observing it. The threshold value T in this case can be specified with the same feeling as in the surface rendering. Next, the translucent width W is adjusted according to the contrast, S / N ratio, etc. of the object to be extracted contained in the original image. When the S / N ratio of the portion to be extracted is poor, the setting / adjustment is performed so that W is larger than the noise amplitude. In this way, by observing the original image, the appropriate threshold value T and translucent width W can be found, and the opacity can be easily set. Moreover, since the boundary strength is normalized by the translucent width W, the obtained image will correctly reflect the set threshold value T even if W is changed, so it is necessary to repeat cut and try. Disappears.
[0016]
【The invention's effect】
As described above, according to the three-dimensional image generation apparatus of the present invention, it is possible to set parameters for volume rendering as easily as surface rendering, and to easily obtain a desired three-dimensional image. Can do.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of the present invention.
FIG. 2 is a graph showing conversion characteristics from voxel values to opacity.
FIG. 3 is a diagram schematically showing the arrangement of voxels.
[Explanation of symbols]
1 Volume rendering device 2 Input device 3 Image display device

Claims (1)

ボクセル値に関するしきい値および半透明幅を入力する手段と、該入力されたしきい値および半透明幅によって表される直線を変換特性としてボクセル値から不透明度への変換を行う手段と、ボリュームデータから法線ベクトル、法線ベクトルの絶対値である境界面強度、単位法線ベクトル、および上記の入力された半透明幅で上記の境界面強度を正規化した正規化境界面強度を求める手段と、このボクセルごとの正規化境界面強度と上記の不透明度とを用いてボリュームレンダリング処理を行うボリュームレンダリング手段とを備えることを特徴とする3次元画像生成装置。  Means for inputting a threshold value and translucency width relating to the voxel value, means for converting voxel values to opacity using the straight line represented by the input threshold value and translucency width as a conversion characteristic, and volume Means for obtaining normalized boundary strength obtained by normalizing the boundary strength from the normal vector, the boundary strength that is the absolute value of the normal vector, the unit normal vector, and the input semitransparent width from the data. And a volume rendering means for performing a volume rendering process using the normalized boundary surface strength for each voxel and the opacity described above.
JP09830297A 1997-03-31 1997-03-31 3D image generator Expired - Fee Related JP3814932B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP09830297A JP3814932B2 (en) 1997-03-31 1997-03-31 3D image generator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP09830297A JP3814932B2 (en) 1997-03-31 1997-03-31 3D image generator

Publications (2)

Publication Number Publication Date
JPH10283504A JPH10283504A (en) 1998-10-23
JP3814932B2 true JP3814932B2 (en) 2006-08-30

Family

ID=14216138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09830297A Expired - Fee Related JP3814932B2 (en) 1997-03-31 1997-03-31 3D image generator

Country Status (1)

Country Link
JP (1) JP3814932B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690371B1 (en) * 2000-05-03 2004-02-10 Ge Medical Systems Global Technology, Llc Relevant image data extraction from a medical image data volume
KR100392516B1 (en) * 2001-01-02 2003-07-22 주식회사 인피니트테크놀로지 real-time rendering method for noninterpolated volume data

Also Published As

Publication number Publication date
JPH10283504A (en) 1998-10-23

Similar Documents

Publication Publication Date Title
US5995108A (en) 3D image composition/display apparatus and composition method based on front-to-back order of plural 2D projected images
US7817877B2 (en) Image fusion processing method, processing program, and processing device
US6181348B1 (en) Method for selective volume visualization via texture mapping
US5079699A (en) Quick three-dimensional display
US6690371B1 (en) Relevant image data extraction from a medical image data volume
US6947584B1 (en) Volume imaging system
Lum et al. High-quality lighting and efficient pre-integration for volume rendering
US20050143654A1 (en) Systems and methods for segmented volume rendering using a programmable graphics pipeline
US7924279B2 (en) Protocol-based volume visualization
JPH08138078A (en) Image processing device
US7839403B2 (en) Simultaneous generation of different data sets from a single acquisition run and dual rendering of images
US8659602B2 (en) Generating a pseudo three-dimensional image of a three-dimensional voxel array illuminated by an arbitrary light source by a direct volume rendering method
JP2009034521A (en) System and method for volume rendering data in medical diagnostic imaging, and computer readable storage medium
JP2011227870A (en) Image processing method and image processing apparatus
US20110082667A1 (en) System and method for view-dependent anatomic surface visualization
Svetachov et al. DTI in context: Illustrating brain fiber tracts in situ
CN111598989A (en) Image rendering parameter setting method and device, electronic equipment and storage medium
JP4188900B2 (en) Medical image processing program
US20200286240A1 (en) Method of segmenting a 3d object in a medical radiation image
Mroz et al. Maximum intensity projection at warp speed
Englmeier et al. Hybrid rendering of multidimensional image data
Hendin et al. Medical volume rendering over the WWW using VRML and JAVA
JP3814932B2 (en) 3D image generator
JP2009247502A (en) Method and apparatus for forming intermediate image and program
Preim et al. Visualization, Visual Analytics and Virtual Reality in Medicine: State-of-the-art Techniques and Applications

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050331

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060529

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100616

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100616

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110616

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110616

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120616

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130616

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130616

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140616

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees