JP3951748B2 - Ultrasonic diagnostic equipment - Google Patents

Ultrasonic diagnostic equipment Download PDF

Info

Publication number
JP3951748B2
JP3951748B2 JP2002060481A JP2002060481A JP3951748B2 JP 3951748 B2 JP3951748 B2 JP 3951748B2 JP 2002060481 A JP2002060481 A JP 2002060481A JP 2002060481 A JP2002060481 A JP 2002060481A JP 3951748 B2 JP3951748 B2 JP 3951748B2
Authority
JP
Japan
Prior art keywords
image
data
color doppler
palette
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002060481A
Other languages
Japanese (ja)
Other versions
JP2003250799A (en
Inventor
豊 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP2002060481A priority Critical patent/JP3951748B2/en
Publication of JP2003250799A publication Critical patent/JP2003250799A/en
Application granted granted Critical
Publication of JP3951748B2 publication Critical patent/JP3951748B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
この発明は、超音波診断装置に関し、とくに、カラードプラ法で得られる画像データを圧縮しおよび展開する機能を備える超音波診断装置に関する。
【0002】
【従来の技術】
超音波診断装置は、超音波ビームを被検体(被検者の身体)内に入射し、その反射波を受波することによって被検体内の断層像を得たり、ドプラ現象を利用して血流などの速度を検出したりするものである。カラードプラ法では、ドプラ法によって得た血流速、パワー、分散などのデータに基づきカラーマッピングを行ない、パレット変換により色付けしてBモード断層像上にカラー画像表示する。
【0003】
これらの静止画像あるいは動画像のデジタル保存に対する需要は、超音波診断装置の分野においても、近年急速に高まりつつある。従来では、一般に記録容量を低減するため、JPEGやMPEGなどの非可逆圧縮方式を用いて保存している。ネットワークを介して画像データを転送する場合も、JPEGやMPEGなどの非可逆圧縮方式を用いるのが普通である。
【0004】
カラードプラ法で得られる画像データを圧縮・展開する方式は、従来、図2のように構成されている。Bモード画像用パレット変換部21において、Bモード画像データに対してBモード画像用パレットデータを用いてパレット変換を行ない、RGBのデータに変換する。同様に、カラードプラ画像用パレット変換部22では、カラードプラ画像データに対する、カラードプラ画像用パレットデータを用いたパレット変換を行なってRGBデータを得る。なお、この明細書では、パレット変換はガンマ変換やポストプロセス変換なども含む広義のものとして用いる。これら、パレット変換後のBモード画像データとカラードプラ画像データとを画像合成部23で合成した後、MPEG画像圧縮部24で圧縮し、記録装置に保存したり、通信ネットワークを介して送信したりする。
【0005】
再生側あるいは受信側では、再生した、あるいは受信した圧縮画像データをMPEG画像展開部25で展開・復元して画像表示部26に送り、ディスプレイ装置などに表示する。
【0006】
【発明が解決しようとする課題】
しかしながら、従来の超音波診断装置では、カラードプラ画像におけるカラーの再現性が十分でなく、圧縮・展開のプロセスを経ることで原画像と異なるカラーに表示されてしまうこともあり、誤診にもつながる危険があるので、問題であった。
【0007】
JPEGやMPEGなどの非可逆圧縮方式では、一般に、画像データを輝度−色差に変換し、色差については輝度と比較して解像度を粗くしたり、空間周波数の高い成分をカットする。そのため、とくに色相に関する情報量が不足し、復元すると、場合によっては擬色と呼ばれる原画像にない色が現れたりする。カラードプラ画像を圧縮・展開すると、色相としての情報量の損失が大きく、分解能も損なわれやすい。そのため、血流を表すべき画像が本来と異なる方向あるいは流速の色として表示されてしまうので、この画像を観察して診断を下すなら、誤診の危険がある。
【0008】
この発明は、上記に鑑み、JPEGやMPEGなどの非可逆圧縮方式の場合でも、展開・復元した超音波画像が本来のカラーと異なるカラーとなってしまうことがないようにデータの圧縮および展開を行なうことによって、誤診を防ぐように改善した、超音波診断装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
上記の目的を達成するため、この発明による超音波診断装置においては、パレット変換前のBモード画像データを圧縮するBモード画像用圧縮部と、パレット変換前のカラードプラ画像データを圧縮するカラードプラ画像用圧縮部と、圧縮されたBモード画像データを展開・復元するBモード画像用展開部と、圧縮されたカラードプラ画像データを展開・復元するカラードプラ画像用展開部と、展開・復元されたBモード画像データに対してBモード画像用パレットデータを用いてパレット変換するBモード画像用パレット変換部と、展開・復元されたカラードプラ画像データに対してカラードプラ画像用パレットデータを用いてパレット変換するカラードプラ画像用パレット変換部と、パレット変換のBモード画像データとカラードプラ画像データとを画像合成する画像合成部とを備えることを特徴とする。
【0010】
カラードプラ画像データをパレット変換する前に圧縮し、パレット変換は圧縮データの展開・復元後に行なうようにしている。そのため、圧縮すべき画像データは輝度データのみとなっており、色相データは含まれないので、圧縮率を高めることができる。また、圧縮することで色相データが変動してしまうということもなくなるので、展開・復元時の擬色の発生も抑止できる。さらに解像度が高い状態で圧縮することができるので、カラードプラ画像について高い空間分解能を維持することができる。Bモード画像についても、従来ではガンマ変換により線形性が失われた状態で圧縮をかけることから情報量が失われていたが、その変換前に圧縮するようにしているので、情報量の損失を低減することができる。
【0011】
【発明の実施の形態】
つぎに、この発明の実施の形態について図面を参照しながら詳細に説明する。図1に示すように、この発明による超音波診断装置では、Bモード画像データおよびカラードプラ画像データとも、画像データの圧縮・展開はパレット変換の前に行ない、パレット変換は展開・復元したデータについて行なって、その後これらの画像データを画像合成するようにしている。そのため、二つのMPEG画像圧縮部11、12と、二つのMPEG画像展開部13、14とを備える。
【0012】
MPEG画像圧縮部11は、パレット変換前のBモード画像データを圧縮するためのもので、これに対してMPEG画像圧縮部12は、パレット変換前のカラードプラ画像データを圧縮するためのものとなっている。Bモード画像用MPEG画像圧縮部11によって圧縮したBモード画像データと、カラードプラ画像用MPEG画像圧縮部12によって圧縮したカラードプラ画像データとが、記録装置に保存されたり、通信ネットワークを介して送信されたりする。
【0013】
これらの圧縮データが記録装置から再生されたとき、あるいは通信ネットワークを経て受信されたとき、圧縮Bモード画像データはMPEG画像展開部13で展開・復元され、圧縮カラードプラ画像データはMPEG画像展開部14で展開・復元される。
【0014】
一方、Bモード画像用パレットデータとカラードプラ画像用パレットデータは、圧縮・展開のプロセスを経ることなく、記録・再生あるいは送信・受信される。Bモード画像用パレット変換部15では、このBモード画像用パレットデータを用いて、展開・復元されたBモード画像データに対するパレット変換を行なう。また、カラードプラ画像用パレット変換部16では、このカラードプラ画像用パレットデータを用いて、展開・復元されたカラードプラ画像データに対するパレット変換を行なう。
【0015】
こうして色づけされ、RGBデータに変換されたBモード画像データとカラードプラ画像データとが画像合成部17において画像合成され、その後画像表示部18に送られてディスプレイ装置などに表示される。
【0016】
このようにBモード画像データおよびカラードプラ画像データとも、画像データの圧縮・展開はパレット変換の前に行ない、パレット変換は展開・復元したデータについて行なって、その後これらの画像データを画像合成するので、Bモード画像データおよびカラードプラ画像データとも元のデータのまま独立して圧縮され、かつ展開もそれぞれ独立して行なわれるため、圧縮・展開のプロセスでの精度をより高めることが可能となる。MPEG等の圧縮方式では両データとも輝度データとして処理されるので色相情報損失の問題を生じることなく、擬色の発生を防止できる。また空間分解能の低下をきたすこともない。
【0017】
なお、上記では、圧縮部11、12、展開部13、14、パレット変換部15、16および画像合成部17はハードウェア的に説明しているが、これら圧縮、展開、合成の各処理はソフトウェアにより実現することももちろん、可能である。また、上記では圧縮・展開はMPEG方式としたがJPEGなどの他の非可逆圧縮方式を採用することができることもいうまでもないであろう。
【0018】
【発明の効果】
以上説明したように、この発明の超音波診断装置によれば、Bモード画像データおよびカラードプラ画像データとも、画像データの圧縮・展開はパレット変換の前に行ない、パレット変換は展開・復元したデータについて行なって、その後これらの画像データを画像合成するようにしているため、展開・復元し画像合成した後のカラードプラ画像について擬色の発生を抑え、空間分解能を低下させることがなく、しかも情報量を失うこともなくなり、誤診を未然に防ぐことができる。
【図面の簡単な説明】
【図1】この発明の一つの実施の形態を示すブロック図。
【図2】従来例を示すブロック図。
【符号の説明】
11 Bモード画像用MPEG画像圧縮部
12 カラードプラ画像用MPEG画像圧縮部
13 Bモード画像用MPEG画像展開部
14 カラードプラ画像用MPEG画像展開部
15、21 Bモード画像用パレット変換部
16、22 カラードプラ画像用パレット変換部
17、23 画像合成部
18、26 画像表示部
24 合成画像用MPEG画像圧縮部
25 合成画像用MPEG画像展開部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an ultrasonic diagnostic apparatus, and more particularly to an ultrasonic diagnostic apparatus having a function of compressing and expanding image data obtained by a color Doppler method.
[0002]
[Prior art]
An ultrasonic diagnostic apparatus enters an ultrasonic beam into a subject (subject's body) and receives a reflected wave to obtain a tomographic image in the subject, or uses a Doppler phenomenon to obtain blood. It detects the velocity of the flow. In the color Doppler method, color mapping is performed based on data such as blood flow velocity, power, and dispersion obtained by the Doppler method, and color is displayed by palette conversion to display a color image on a B-mode tomographic image.
[0003]
The demand for digital storage of these still images or moving images has been rapidly increasing in the field of ultrasonic diagnostic apparatuses in recent years. Conventionally, in general, in order to reduce the recording capacity, data is stored using a lossy compression method such as JPEG or MPEG. When transferring image data via a network, it is usual to use a lossy compression method such as JPEG or MPEG.
[0004]
A method for compressing / decompressing image data obtained by the color Doppler method is conventionally configured as shown in FIG. The B-mode image palette conversion unit 21 performs palette conversion on the B-mode image data using the B-mode image palette data, and converts the data into RGB data. Similarly, the color Doppler image palette conversion unit 22 performs palette conversion on the color Doppler image data using the color Doppler image palette data to obtain RGB data. In this specification, palette conversion is used in a broad sense including gamma conversion and post-process conversion. These palette-converted B-mode image data and color Doppler image data are combined by the image combining unit 23, then compressed by the MPEG image compression unit 24, stored in a recording device, or transmitted via a communication network. To do.
[0005]
On the reproduction side or the reception side, the reproduced or received compressed image data is expanded / restored by the MPEG image expansion unit 25, sent to the image display unit 26, and displayed on a display device or the like.
[0006]
[Problems to be solved by the invention]
However, the conventional ultrasonic diagnostic apparatus does not have sufficient color reproducibility in color Doppler images, and may be displayed in a color different from the original image through a compression / decompression process, leading to misdiagnosis. It was a problem because it was dangerous.
[0007]
In an irreversible compression method such as JPEG or MPEG, generally, image data is converted into luminance-color difference, and the color difference is roughened compared to luminance or a component having a high spatial frequency is cut. For this reason, there is a shortage of information on hue in particular, and when it is restored, a color that does not exist in the original image called pseudo color may appear. When a color Doppler image is compressed and expanded, the amount of information as a hue is greatly lost, and the resolution is easily lost. For this reason, an image representing blood flow is displayed in a direction different from the original or a color of the flow velocity, and there is a risk of misdiagnosis if a diagnosis is made by observing this image.
[0008]
In view of the above, the present invention compresses and decompresses data so that an expanded / restored ultrasonic image does not become a color different from the original color even in the case of an irreversible compression method such as JPEG or MPEG. An object of the present invention is to provide an ultrasonic diagnostic apparatus which is improved so as to prevent misdiagnosis.
[0009]
[Means for Solving the Problems]
To achieve the above object, a color Doppler ultrasonic diagnostic apparatus according to the invention, to compress the B-mode image compression unit for compressing the B-mode image data before the pallet conversion, before the pallet converting the color Doppler image data An image compression unit, a B-mode image expansion unit that expands / restores compressed B-mode image data, a color Doppler image expansion unit that expands / restores compressed color Doppler image data, and an expanded / restored image A B-mode image palette conversion unit that converts the B-mode image data using the B-mode image palette data, and a color Doppler image palette data for the developed and restored color Doppler image data. Pallet conversion unit for color Doppler image for palette conversion, B-mode image data and color Doppler image for palette conversion Characterized in that it comprises an image synthesizing unit for image synthesis and data.
[0010]
Color Doppler image data is compressed before palette conversion, and palette conversion is performed after decompression and decompression of the compressed data. For this reason, image data to be compressed is only luminance data, and hue data is not included, so that the compression rate can be increased. In addition, since the hue data does not fluctuate due to the compression, the generation of pseudo colors at the time of development / restoration can be suppressed. Furthermore, since compression can be performed with a high resolution, a high spatial resolution can be maintained for a color Doppler image. Also for B-mode images, the amount of information has been lost because compression is performed in a state where the linearity is lost due to gamma conversion. However, since the compression is performed before the conversion, the loss of information amount is reduced. Can be reduced.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Next, embodiments of the present invention will be described in detail with reference to the drawings. As shown in FIG. 1, in the ultrasonic diagnostic apparatus according to the present invention, both B-mode image data and color Doppler image data are compressed / decompressed before the palette conversion, and the palette conversion is performed on the expanded / restored data. After that, these image data are synthesized. Therefore, two MPEG image compressing units 11 and 12 and two MPEG image developing units 13 and 14 are provided.
[0012]
The MPEG image compression unit 11 is for compressing B-mode image data before palette conversion, whereas the MPEG image compression unit 12 is for compressing color Doppler image data before palette conversion. ing. The B-mode image data compressed by the B-mode image MPEG image compressing unit 11 and the color Doppler image data compressed by the color Doppler image MPEG image compressing unit 12 are stored in the recording device or transmitted via the communication network. Or
[0013]
When these compressed data are reproduced from the recording apparatus or received via a communication network, the compressed B-mode image data is expanded / restored by the MPEG image expansion unit 13, and the compressed color Doppler image data is converted by the MPEG image expansion unit. 14 is expanded and restored.
[0014]
On the other hand, the palette data for B-mode images and the palette data for color Doppler images are recorded / reproduced or transmitted / received without going through compression / decompression processes. The B-mode image palette converting unit 15 performs palette conversion on the developed and restored B-mode image data using the B-mode image palette data. In addition, the color Doppler image palette conversion unit 16 performs palette conversion on the color Doppler image data developed and restored using the color Doppler image palette data.
[0015]
The B-mode image data and the color Doppler image data thus colored and converted into RGB data are combined in the image combining unit 17 and then sent to the image display unit 18 for display on a display device or the like.
[0016]
As described above, both the B-mode image data and the color Doppler image data are compressed / decompressed before the palette conversion, and the palette conversion is performed on the decompressed / restored data, and then these image data are synthesized. The B-mode image data and the color Doppler image data are independently compressed as they are and are also independently developed, so that the accuracy in the compression / decompression process can be further increased. In a compression method such as MPEG, both data are processed as luminance data, so that it is possible to prevent the occurrence of pseudo color without causing a problem of hue information loss. In addition, the spatial resolution is not reduced.
[0017]
In the above description, the compression units 11 and 12, the expansion units 13 and 14, the palette conversion units 15 and 16, and the image composition unit 17 are described as hardware. Of course, it is also possible to realize it. In the above description, the compression / decompression is MPEG, but it goes without saying that other lossy compression methods such as JPEG can be adopted.
[0018]
【The invention's effect】
As described above, according to the ultrasonic diagnostic apparatus of the present invention, both B-mode image data and color Doppler image data are compressed / decompressed before pallet conversion, and pallet conversion is expanded / restored data. Since these image data are then synthesized, the color Doppler image after development, restoration, and image synthesis is suppressed from generating false colors, and the spatial resolution is not reduced. The amount is not lost and misdiagnosis can be prevented.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of the present invention.
FIG. 2 is a block diagram showing a conventional example.
[Explanation of symbols]
11 B-mode image MPEG image compression unit 12 Color Doppler image MPEG image compression unit 13 B-mode image MPEG image expansion unit 14 Color Doppler image MPEG image expansion unit 15, 21 B-mode image palette conversion unit 16, 22 Color Doppler image palette conversion unit 17, 23 Image composition unit 18, 26 Image display unit 24 Composite image MPEG image compression unit 25 Composite image MPEG image expansion unit

Claims (1)

パレット変換前のBモード画像データを圧縮するBモード画像用圧縮部と、パレット変換前のカラードプラ画像データを圧縮するカラードプラ画像用圧縮部と、圧縮されたBモード画像データを展開・復元するBモード画像用展開部と、圧縮されたカラードプラ画像データを展開・復元するカラードプラ画像用展開部と、展開・復元されたBモード画像データに対してBモード画像用パレットデータを用いてパレット変換するBモード画像用パレット変換部と、展開・復元されたカラードプラ画像データに対してカラードプラ画像用パレットデータを用いてパレット変換するカラードプラ画像用パレット変換部と、パレット変換のBモード画像データとカラードプラ画像データとを画像合成する画像合成部とを備えることを特徴とする超音波診断装置。And B-mode image compression unit for compressing the pallet conversion before B-mode image data, and a color Doppler image for compressing section for compressing the color Doppler image data before the pallet conversion and development and restore the compressed B-mode image data A B-mode image expansion unit, a color Doppler image expansion unit that expands / restores compressed color Doppler image data, and a palette that uses B-mode image palette data for the expanded / restored B-mode image data A B-mode image palette conversion unit for converting, a color Doppler image palette conversion unit for converting color Doppler image palette data using the color Doppler image palette data, and a B-mode image for palette conversion And an image synthesizing unit that synthesizes data and color Doppler image data. Cross-sectional devices.
JP2002060481A 2002-03-06 2002-03-06 Ultrasonic diagnostic equipment Expired - Fee Related JP3951748B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002060481A JP3951748B2 (en) 2002-03-06 2002-03-06 Ultrasonic diagnostic equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002060481A JP3951748B2 (en) 2002-03-06 2002-03-06 Ultrasonic diagnostic equipment

Publications (2)

Publication Number Publication Date
JP2003250799A JP2003250799A (en) 2003-09-09
JP3951748B2 true JP3951748B2 (en) 2007-08-01

Family

ID=28669823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002060481A Expired - Fee Related JP3951748B2 (en) 2002-03-06 2002-03-06 Ultrasonic diagnostic equipment

Country Status (1)

Country Link
JP (1) JP3951748B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7457672B2 (en) * 2003-09-10 2008-11-25 General Electric Company Method and apparatus for exporting ultrasound data
JP4985052B2 (en) * 2007-04-02 2012-07-25 パナソニック株式会社 Ultrasonic diagnostic apparatus and control method of ultrasonic diagnostic apparatus
JP5696587B2 (en) * 2011-05-25 2015-04-08 コニカミノルタ株式会社 Ultrasonic probe
CN113768533A (en) * 2020-06-10 2021-12-10 无锡祥生医疗科技股份有限公司 Ultrasonic developing apparatus and ultrasonic developing method

Also Published As

Publication number Publication date
JP2003250799A (en) 2003-09-09

Similar Documents

Publication Publication Date Title
US5164980A (en) Video telephone system
US5398066A (en) Method and apparatus for compression and decompression of digital color images
US5541653A (en) Method and appartus for increasing resolution of digital color images using correlated decoding
JP3951748B2 (en) Ultrasonic diagnostic equipment
JP4012201B2 (en) Image data compression apparatus and restoration apparatus, and image data compression program and restoration program
EP1263225B1 (en) Image recording apparatus and method, image reproducing apparatus and method, and recorded medium on which image processing program is recorded
JPS6345684A (en) Image compressor
JP2008182347A (en) Video processing system
US20050163389A1 (en) Image data comprising device, image data compression method, recording medium, and program
JP2002077657A (en) Apparatus of image processing, method thereof and recording medium
JP2008141326A (en) Imaging system and camera unit
JP5323739B2 (en) Video signal transmission device, transmission video signal generation program, video signal reception device, transmission video signal conversion program, and video signal transmission system
JP2003250800A (en) Ultrasonic diagnostic apparatus
JP2007208931A (en) Encryption method of digital data, data transmission method and device, data receiver, data communication system, and imaging apparatus
JP2698641B2 (en) Color image data encoding method and decoding method
JP3774988B2 (en) Still image capturing apparatus, color copying apparatus, and display apparatus
JP4850999B2 (en) Radar signal compression / transmission device, radar signal reception / restoration device, and radar signal transmission system
JPH0797829B2 (en) Color image input / output device
JP2002315000A (en) Data transmitter
JPH11317941A (en) Image processing unit, its method and supply medium
JP2002209209A (en) Image companding system
JP3434250B2 (en) Digital compressed image data reproduction system and operation method thereof
JP2007135010A (en) Image processing method
JPH11261824A (en) Still image transmitter, still image transmission method and recording medium
JPH0818954A (en) Image transmitter

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040614

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050401

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050401

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070416

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100511

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees