JPH1133018A - Medical video picture processing device - Google Patents

Medical video picture processing device

Info

Publication number
JPH1133018A
JPH1133018A JP9209728A JP20972897A JPH1133018A JP H1133018 A JPH1133018 A JP H1133018A JP 9209728 A JP9209728 A JP 9209728A JP 20972897 A JP20972897 A JP 20972897A JP H1133018 A JPH1133018 A JP H1133018A
Authority
JP
Japan
Prior art keywords
video
image processing
cpu
data
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9209728A
Other languages
Japanese (ja)
Other versions
JP3292102B2 (en
Inventor
Takeshi Ozaki
毅 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP20972897A priority Critical patent/JP3292102B2/en
Publication of JPH1133018A publication Critical patent/JPH1133018A/en
Application granted granted Critical
Publication of JP3292102B2 publication Critical patent/JP3292102B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To enable processing at a high video rate to be executed without use of a high-speed CPU. SOLUTION: This medical video picture processing device presets control data in a sequence memory 31 from a CPU 27, designates and reads the head address of one unit of the control data by means of an address counter 32 during blanking period, feeds it to a video picture processing circuit 22, and imparts sequencer controlling data (CONTROL) to the address counter 32 for incrementing; these operations are repeated to execute a series of processes conforming to the control data that are input by the video picture processing circuit 22 after the blanking period.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、X線ビデオ画像
などの医用ビデオ画像の処理装置に関する。
The present invention relates to an apparatus for processing medical video images such as X-ray video images.

【0002】[0002]

【従来の技術】X線TV透視システムなどを用いて医療
の検査・診断に用いる画像を得、この画像をデジタル化
した上で各種の画像処理を施すことが行なわれている。
この場合、通常、画像処理回路をCPUが直接コントロ
ールする構成がとられていて、ビデオレートで画像の撮
影をしたり、ビデオレートで再生して表示したりすると
きもCPUによって直接制御される。
2. Description of the Related Art An image used for medical examination / diagnosis is obtained using an X-ray TV fluoroscopic system or the like, and this image is digitized and subjected to various image processing.
In this case, the image processing circuit is usually directly controlled by the CPU, and the CPU is also directly controlled when shooting an image at the video rate or reproducing and displaying the image at the video rate.

【0003】[0003]

【発明が解決しようとする課題】しかしながら、従来の
ようにCPUで画像処理回路を直接コントロールする場
合、高速性やコストの点で問題があった。すなわち、C
PUで画像処理回路を直接コントロールする場合には、
ビデオの各フレームの間のブランキング期間に画像処理
回路に対してつぎの処理に必要な各種の設定を済ませて
しまう必要があり、CPUはわずかな時間の間に多量の
処理を行なわなくてはならない。そのため、CPUに大
きな負担がかかり、高速なCPUを使わざるをえない。
とくに、より高速なレートの画像データ収集(撮影)・
再生になるほど、より高い処理スピードが要求される。
このような制約のため、高速なデータ収集・再生の実現
が難しいし、これに対応しようとするなら大型で高価な
装置にならざるをえない。
However, when the image processing circuit is directly controlled by the CPU as in the prior art, there have been problems in terms of speed and cost. That is, C
When the image processing circuit is directly controlled by the PU,
It is necessary to complete various settings required for the next processing to the image processing circuit during the blanking period between each frame of the video, and the CPU must perform a large amount of processing in a short time. No. Therefore, a heavy load is imposed on the CPU, and a high-speed CPU must be used.
In particular, higher-speed image data collection (shooting)
The higher the playback, the higher the processing speed is required.
Due to such restrictions, it is difficult to realize high-speed data collection and reproduction, and if it is necessary to cope with this, a large and expensive device must be used.

【0004】この発明は、上記に鑑み、CPUの負担を
軽減し、安価な構成で、高速なレートでの画像処理を可
能とする、医用ビデオ画像処理装置を提供することを目
的とする。
[0004] In view of the above, it is an object of the present invention to provide a medical video image processing apparatus capable of reducing the load on a CPU, performing image processing at a high rate with an inexpensive configuration.

【0005】[0005]

【課題を解決するための手段】上記の目的を達成するた
め、この発明による医用ビデオ画像処理装置において
は、ビデオタイミングを生成するタイミング発生手段
と、該タイミングに基づいてビデオレートで画像処理を
行なう画像処理手段と、ビデオ画像の処理手順に関する
データがあらかじめ格納される記憶手段およびビデオタ
イミングの垂直同期信号に同期して上記記憶手段から一
連のデータを読み出してブランキング期間中に画像処理
手段にセットする手段を備えるビデオ制御手段と、上記
記憶手段にビデオ画像の処理手順に関するデータを格納
する中央制御手段とにより構成されることが特徴となっ
ている。
In order to achieve the above object, in a medical video image processing apparatus according to the present invention, a timing generating means for generating video timing, and image processing is performed at a video rate based on the timing. A series of data read out from the storage means in synchronization with a vertical synchronization signal of video timing, and set in the image processing means during a blanking period; And a central control means for storing data relating to the processing procedure of the video image in the storage means.

【0006】ビデオ制御手段の記憶手段に、ビデオ画像
の処理手順に関するデータが格納されていれば、垂直同
期信号に同期してその記憶手段から一連のデータが読み
出されて、ブランキング期間中に画像処理手段にセット
され、ブランキング期間後、画像処理手段ではそのセッ
トされたデータに基づいた画像処理が行なわれる。中央
制御手段はビデオ制御手段の記憶手段にビデオ画像の処
理手順に関するデータを格納するだけでよく、そのタイ
ミングはなんらの制約も受けず、しかも画像処理手段が
処理実行中はなんらの関与もしないので、ビデオレート
が高速になっても、中央制御手段としては高速のものが
要求されない。このように中央制御手段の負担を軽減
し、高速なビデオレートでの画像処理の場合でも安価な
中央制御手段を使用することができる。
If data relating to the processing procedure of the video image is stored in the storage means of the video control means, a series of data is read from the storage means in synchronization with the vertical synchronizing signal, and during the blanking period, It is set in the image processing means, and after the blanking period, the image processing means performs image processing based on the set data. The central control means only needs to store the data relating to the processing procedure of the video image in the storage means of the video control means, and its timing is not restricted at all, and since the image processing means is not involved during the processing. However, even if the video rate increases, a high-speed central control means is not required. In this way, the burden on the central control means can be reduced, and an inexpensive central control means can be used even for image processing at a high video rate.

【0007】[0007]

【発明の実施の形態】つぎに、この発明の実施の形態に
ついて図面を参照しながら詳細に説明する。図1におい
て、被写体(人体)10に向けてX線管11からX線が
照射され、被写体10を通ったX線がイメージインテン
シファイア12に入射させられて光学像が出力される。
この光学像が光学系13を経てTVカメラ14に導かれ
る。このTVカメラ14にはビデオタイミングジェネレ
ータ26から水平同期信号HSと垂直同期信号VSとが
送られており、TVカメラ14からはビデオレートで画
像信号が出力される。
Next, embodiments of the present invention will be described in detail with reference to the drawings. In FIG. 1, X-rays are emitted from an X-ray tube 11 toward a subject (human body) 10, and the X-rays passing through the subject 10 are made incident on an image intensifier 12 to output an optical image.
This optical image is guided to the TV camera 14 via the optical system 13. A horizontal synchronization signal HS and a vertical synchronization signal VS are sent from the video timing generator 26 to the TV camera 14, and an image signal is output from the TV camera 14 at a video rate.

【0008】この画像信号はA/D変換器21でデジタ
ル化された後、ビデオ画像処理回路22に送られる。ビ
デオ画像処理回路22は、デジタル化された画像データ
に対して種々の処理を行ない、フレームメモリ25に記
憶するとともに出力する。この出力された処理後の画像
データがD/A変換器23によりアナログビデオ信号に
戻され、TVモニター装置24に送られて表示される。
This image signal is digitized by an A / D converter 21 and sent to a video image processing circuit 22. The video image processing circuit 22 performs various processes on the digitized image data, and stores the data in the frame memory 25 and outputs the same. The output processed image data is converted back to an analog video signal by the D / A converter 23, sent to the TV monitor device 24, and displayed.

【0009】これら一連のビデオレートでの画像データ
収集(撮影)・処理は、ビデオタイミングジェネレータ
26が発生する各種のビデオタイミング信号(HS、V
S等)によって、その基本的なタイミングが同期させら
れる。ビデオシーケンサ30は、このビデオ画像処理回
路22で行なう一連の処理を垂直同期信号VSに応じて
コントロールする。この一連の処理の手順などのコント
ロールデータは、あらかじめCPU27からCPUバス
28を通じてビデオシーケンサ30に送られている。
[0009] The image data collection (shooting) and processing at a series of video rates are performed by various video timing signals (HS, V) generated by the video timing generator 26.
S etc.), the basic timing is synchronized. The video sequencer 30 controls a series of processes performed by the video image processing circuit 22 according to the vertical synchronization signal VS. The control data such as the sequence of this series of processing has been sent from the CPU 27 to the video sequencer 30 via the CPU bus 28 in advance.

【0010】すなわち、ビデオシーケンサ30は、シー
ケンスメモリ31、アドレスカウンタ32、スタートア
ドレスレジスタ33からなる。CPU27から送られた
コントロールデータはシーケンスメモリ31に書き込ま
れる。このコントロールデータはたとえば図2に示すよ
うに、ビデオ画像処理回路22内のコントロールレジス
タのアドレスを示すReg.ADRと、そこに書き込む
データWR.dataと、シーケンス制御用データCO
NTROLの3種の情報からなる。1回のブランキング
期間中にセットされるデータ一式をSEQという単位と
し、それぞれのSEQのスタートアドレスをSEQ.A
DRとする。この図2では、3つのSEQが、それぞれ
スタートアドレスSEQ.ADR1、SEQ.ADR
2、SEQ.ADR3から格納されている。
That is, the video sequencer 30 comprises a sequence memory 31, an address counter 32, and a start address register 33. The control data sent from the CPU 27 is written to the sequence memory 31. For example, as shown in FIG. 2, this control data is Reg. Indicating the address of a control register in the video image processing circuit 22. ADR and data WR. data and sequence control data CO
It consists of three kinds of information of NTROL. A set of data set during one blanking period is a unit of SEQ, and the start address of each SEQ is SEQ. A
DR. In FIG. 2, each of the three SEQs has a start address SEQ. ADR1, SEQ. ADR
2, SEQ. It is stored from ADR3.

【0011】このビデオシーケンサ30は起動される
と、VSに同期してまずスタートアドレスレジスタ33
に設定されているスタートアドレスをアドレスカウンタ
32に読み込む。なお、スタートアドレスレジスタ33
にはCPU27によりスタートアドレスがあらかじめ書
き込まれている。こうして最初のSEQのスタートアド
レスSEQ.ADR1がアドレスカウンタ32によって
指定されることにより、シーケンスメモリ31のそのア
ドレスに書き込まれていたコントロールデータReg.
ADR1、WR.data1が読み出されて、ビデオ画
像処理回路22のレジスタの該当アドレスへの書き込み
が行われる。
When the video sequencer 30 is started, first, the start address register 33 is synchronized with VS.
Is read into the address counter 32. Note that the start address register 33
The start address is written in advance by the CPU 27. Thus, the start address SEQ. ADR1 is designated by the address counter 32, so that the control data Reg.
ADR1, WR. Data1 is read, and writing to the corresponding address of the register of the video image processing circuit 22 is performed.

【0012】このときシーケンスメモリ31のアドレス
SEQ.ADR1に格納されていたシーケンス制御用デ
ータCONTROL1も読み出されるが、これはアドレ
スカウンタ32に送られる。このCONTROL1はア
ドレスをインクリメントする命令を表すものとなってい
て、SEQ.ADRが1ステップだけ進められ、つぎの
アドレスが指定され、Reg.ADR2、WR.dat
a2が読み出されて、ビデオ画像処理回路22に送られ
る。このとき読み出されるCONTROL2もアドレス
をインクリメントする命令を表すものとなっていて、つ
ぎのアドレスが指定され、Reg.ADR3、WR.d
ata3が読み出されて、ビデオ画像処理回路22に送
られる。こうして順次インクリメントされてビデオ画像
処理回路22に対する書き込み動作が行われていき、n
番目に達したときSEQ.ADRnが読み出されるが、
それに対応するWR.dataは無であり、同時に読み
出されたCONTROLnはこのSEQの終了およびつ
ぎのSEQのスタートアドレスSEQ.ADR2を示す
ものとなっており、これがアドレスカウンタ32に入力
されることにより、アドレスカウンタ32は2番目のS
EQのスタートアドレスSEQ.ADR2にセットさ
れ、つぎのVSを待つ。
At this time, the address SEQ. The sequence control data CONTROL1 stored in the ADR1 is also read out, but is sent to the address counter 32. This CONTROL 1 indicates an instruction for incrementing an address, and SEQ. ADR is advanced by one step, the next address is specified, and Reg. ADR2, WR. dat
a2 is read and sent to the video image processing circuit 22. CONTROL2 read at this time also indicates an instruction for incrementing the address, and the next address is designated, and Reg. ADR3, WR. d
data3 is read and sent to the video image processing circuit 22. In this manner, the write operation is sequentially performed and the write operation to the video image processing circuit 22 is performed.
When the number reaches SEQ. ADRn is read,
The corresponding WR. data is null, and CONTROLn read at the same time is the end of this SEQ and the start address SEQ. ADR2 is shown, and when this is input to the address counter 32, the address counter 32
EQ start address SEQ. It is set to ADR2 and waits for the next VS.

【0013】つぎのVSが入力されると、このスタート
アドレスSEQ.ADR2を示す信号がアドレスカウン
タ32から出力され、上記と同様に、2番目のSEQに
属するコントロールデータReg.ADR、WR.da
ta、CONTROLが順次読み出されて、ビデオ画像
処理回路22につぎつぎに送られる。
When the next VS is input, the start address SEQ. A signal indicating ADR2 is output from the address counter 32, and the control data Reg. ADR, WR. da
ta and CONTROL are sequentially read and sent to the video image processing circuit 22 one after another.

【0014】ビデオ画像処理回路22の側では、ブラン
キング期間中に一連のコントロールデータが送られてセ
ットされ、ブランキング期間が終了したときその内部の
レジスタに格納されていたWR.dataに応じて処理
を順次実行していく。
On the side of the video image processing circuit 22, a series of control data is sent and set during the blanking period, and when the blanking period ends, the WR. The processing is sequentially executed according to the data.

【0015】このようにして、ブランキング期間中に一
式のデータSEQのビデオ画像処理回路22へのセット
と、ブランキング期間後のそのSEQに応じた処理動作
とが、VSに同期して順次行われていき、最後のSEQ
のセットと処理動作が行われたとき、CONTROLに
より一連のシーケンスの終了が示され、CPU27に割
り込みを発生して、一連のシーケンスの終了を通知す
る。
In this manner, the setting of a set of data SEQ in the video image processing circuit 22 during the blanking period and the processing operation according to the SEQ after the blanking period are sequentially performed in synchronization with the VS. The last SEQ
Is completed and the processing operation is performed, CONTROL indicates the end of a series of sequences, and an interrupt is generated in the CPU 27 to notify the end of the series of sequences.

【0016】したがって、CPU27は、最初に一連の
SEQについてのコントロールデータをシーケンスメモ
リ31にセットした後は、ビデオ画像処理回路22の動
作に関与することなく、独立の他の処理を行なったりし
ていて、一連のSEQが終了したとき再度他の一連のS
EQについてのコントロールデータのセットを行なう。
そのため、一連の処理手順をビデオシーケンサ30のシ
ーケンスメモリ31に設定する時間については、ビデオ
タイミングと別に行なうことができて、ビデオタイミン
グに制約されない。また、一連のビデオ画像処理シーケ
ンスの実行中は基本的にCPU27は介在する必要がな
い。そこで、撮影ビデオレートが高速になったとして
も、CPU27の高速な処理能力は問われることなく、
リアルタイムでの処理を、安価な構成で行なうことが可
能となる。また、ビデオ画像処理回路22による一連の
ビデオ画像処理シーケンスの実行中、これに並行してC
PU27は他の処理を行なうことができる。
Therefore, after the CPU 27 first sets the control data for a series of SEQs in the sequence memory 31, the CPU 27 performs other independent processing without involving the operation of the video image processing circuit 22. Then, when a series of SEQ is completed, another series of S
The control data for the EQ is set.
Therefore, the time for setting a series of processing procedures in the sequence memory 31 of the video sequencer 30 can be performed separately from the video timing, and is not restricted by the video timing. During the execution of a series of video image processing sequences, the CPU 27 basically does not need to intervene. Therefore, even if the shooting video rate is increased, the high-speed processing capability of the CPU 27 is not questioned.
Real-time processing can be performed with an inexpensive configuration. Further, during execution of a series of video image processing sequences by the video image processing circuit 22,
The PU 27 can perform other processing.

【0017】なお、上記は一つの例に関するものであっ
てこの発明がこの記述に限定される趣旨でないことはも
ちろんである。たとえば、上記では、ビデオ撮影とそれ
に同期したリアルタイムでの画像処理を行なう場合につ
いて説明しているが、画像記録装置などにいったん記録
したビデオ信号を高速に再生して、それに対応した速度
で画像処理を行なう場合にも適用できる。また、具体的
な構成などは種々に変更可能である。
The above description relates to one example, and it goes without saying that the present invention is not limited to this description. For example, in the above description, the case of performing video shooting and real-time image processing in synchronization with video shooting is described. However, a video signal once recorded on an image recording device or the like is reproduced at a high speed, and image processing is performed at a speed corresponding to the video signal. It is also applicable when performing. Further, the specific configuration and the like can be variously changed.

【0018】[0018]

【発明の効果】以上説明したように、この発明の医用ビ
デオ画像処理装置によれば、一連のビデオ画像処理シー
ケンスの実行中にCPUの関与を無くし、これによって
CPUの負担を大幅に軽減し、高速なビデオレートで処
理する場合でも、安価なCPUを用いて構成することが
できる。
As described above, according to the medical video image processing apparatus of the present invention, the involvement of the CPU during execution of a series of video image processing sequences is eliminated, thereby greatly reducing the load on the CPU. Even when processing is performed at a high video rate, it can be configured using an inexpensive CPU.

【図面の簡単な説明】[Brief description of the drawings]

【図1】この発明の実施の形態を示すブロック図。FIG. 1 is a block diagram showing an embodiment of the present invention.

【図2】シーケンスメモリに格納されるデータを示す模
式図。
FIG. 2 is a schematic diagram showing data stored in a sequence memory.

【符号の説明】 10 被写体 11 X線管 12 イメージインテンシファイア 13 光学系 14 TVカメラ 21 A/D変換器 22 ビデオ画像処理回路 23 D/A変換器 24 TVモニター装置 25 フレームメモリ 26 ビデオタイミングジェネレータ 27 CPU 28 CPUバス 30 ビデオシーケンサ 31 シーケンスメモリ 32 アドレスカウンタ 33 スタートアドレスレジスタ[Description of Signs] 10 Subject 11 X-ray tube 12 Image intensifier 13 Optical system 14 TV camera 21 A / D converter 22 Video image processing circuit 23 D / A converter 24 TV monitor device 25 Frame memory 26 Video timing generator 27 CPU 28 CPU bus 30 Video sequencer 31 Sequence memory 32 Address counter 33 Start address register

Claims (1)

【特許請求の範囲】[Claims] 【請求項1】 ビデオタイミングを生成するタイミング
発生手段と、該タイミングに基づいてビデオレートで画
像処理を行なう画像処理手段と、ビデオ画像の処理手順
に関するデータがあらかじめ格納される記憶手段および
ビデオタイミングの垂直同期信号に同期して上記記憶手
段から一連のデータを読み出してブランキング期間中に
画像処理手段にセットする手段を備えるビデオ制御手段
と、上記記憶手段にビデオ画像の処理手順に関するデー
タを格納する中央制御手段とから構成されることを特徴
とする医用ビデオ画像処理装置。
1. A timing generating means for generating video timing, an image processing means for performing image processing at a video rate based on the timing, a storage means for storing data relating to a processing procedure of a video image in advance, and a video timing A video control means including means for reading out a series of data from the storage means in synchronization with a vertical synchronization signal and setting the data in the image processing means during a blanking period; and storing data relating to a processing procedure of a video image in the storage means. A medical video image processing apparatus, comprising: a central control unit.
JP20972897A 1997-07-18 1997-07-18 Medical video image processing equipment Expired - Fee Related JP3292102B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20972897A JP3292102B2 (en) 1997-07-18 1997-07-18 Medical video image processing equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20972897A JP3292102B2 (en) 1997-07-18 1997-07-18 Medical video image processing equipment

Publications (2)

Publication Number Publication Date
JPH1133018A true JPH1133018A (en) 1999-02-09
JP3292102B2 JP3292102B2 (en) 2002-06-17

Family

ID=16577664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20972897A Expired - Fee Related JP3292102B2 (en) 1997-07-18 1997-07-18 Medical video image processing equipment

Country Status (1)

Country Link
JP (1) JP3292102B2 (en)

Also Published As

Publication number Publication date
JP3292102B2 (en) 2002-06-17

Similar Documents

Publication Publication Date Title
JPH0438573A (en) Picture display device
US5253081A (en) Image recording device
JP3262893B2 (en) Endoscope image display device
JP3292102B2 (en) Medical video image processing equipment
JPH0449945A (en) Image display apparatus
JP2000245692A (en) Endoscope device
KR910002155B1 (en) Digital image recording and reading system
US20020071650A1 (en) Image processor and image processing system using the image processor
JP3784653B2 (en) Infrared imaging equipment
JP3290750B2 (en) Image recording and playback device
JP3085197B2 (en) Medical digital image processing device
JP2759794B2 (en) X-ray diagnostic equipment
JPH08204921A (en) Scanner unit
JP2784796B2 (en) Ultrasound image diagnostic equipment
JP3215711B2 (en) Electronic endoscope device
JPS58127989A (en) Initialization control system for display unit
JPH05161103A (en) Method and device for displaying video data
JPH03210233A (en) Image display device of medical diagnostic device
JPH07265290A (en) X-ray photographing device
JPH07147662A (en) Image fetching device
JP2002290925A (en) Television system converter for endoscope
JPH0229240A (en) Digital fluorography device
JPS61113432A (en) Highly precise digital x-ray photographing apparatus
JPH0399641A (en) X-ray ct apparatus with function of reproducing image display characteristic value
JPH04315267A (en) Image information buffer device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080329

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090329

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100329

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100329

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110329

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110329

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120329

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120329

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130329

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140329

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees