JPH04341245A - 画像表示装置 - Google Patents

画像表示装置

Info

Publication number
JPH04341245A
JPH04341245A JP3112073A JP11207391A JPH04341245A JP H04341245 A JPH04341245 A JP H04341245A JP 3112073 A JP3112073 A JP 3112073A JP 11207391 A JP11207391 A JP 11207391A JP H04341245 A JPH04341245 A JP H04341245A
Authority
JP
Japan
Prior art keywords
image
filter
motion
motion detection
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP3112073A
Other languages
English (en)
Other versions
JP3159465B2 (ja
Inventor
Toshikuni Nakatani
叔訓 中谷
Michitaka Honda
道隆 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP11207391A priority Critical patent/JP3159465B2/ja
Priority to US07/883,389 priority patent/US5296937A/en
Publication of JPH04341245A publication Critical patent/JPH04341245A/ja
Application granted granted Critical
Publication of JP3159465B2 publication Critical patent/JP3159465B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/32Transforming X-rays
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03HIMPEDANCE NETWORKS, e.g. RESONANT CIRCUITS; RESONATORS
    • H03H17/00Networks using digital techniques
    • H03H17/02Frequency selective networks
    • H03H17/04Recursive filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/30Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from X-rays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05GX-RAY TECHNIQUE
    • H05G1/00X-ray apparatus involving X-ray tubes; Circuits therefor
    • H05G1/08Electrical details
    • H05G1/60Circuit arrangements for obtaining a series of X-ray photographs or for X-ray cinematography

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Picture Signal Circuits (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】
[発明の目的]
【0001】
【産業上の利用分野】本発明は、リカーシブフィルタを
用いて動画像の画像ノイズを低減する画像表示装置に関
する。
【0002】
【従来の技術】例えば被検体にX線を曝射して得られた
動画の透視像をモニタに表示して診断を行うような画像
表示装置において、ディジタル画像の画像ノイズを低減
させる手段の1つとしてリカーシブフィルタが知られて
いる。このリカーシブフィルタを用いて動画像の画像ノ
イズを低減させる方法は、残像効果を利用することによ
り次式のように行われる。 Yi=a・Yi−1+(1−a)・Xi       
   …(1)ここで、Yi:今度得られるフィルタ像
Yi−1:1フレーム前のフィルタ像 Xi:今度得られるライブ像 a:フィルタ係数
【0003】すなわち、1フレーム前のフィルタ像Yi
−1にフィルタ係数aを乗じたものに、今度得られるラ
イブ像Xiに係数(1−a)を乗じたものを加算するこ
とによって、画像ノイズを低減することが行われる。
【0004】このリカーシブフィルタではフィルタ係数
aを1に近づけるほど(強いフィルタをかけるという)
、過去の画像の影響を強く受けて画像の動いた部分がぼ
けてノイズが低減される。
【0005】ところが動きの大きい部分にリカーシブフ
ィルタ処理を施すと、残像効果が大きく影響してコント
ラストが低下する、アーチファクトが発生して画質の劣
化を招いてしまう等の欠点がある。例えば被検体の血管
狭窄部の回復手術をカテーテル,ガイドワイヤ等を用い
て行う場合、これらを血管内を移動させるとガイドワイ
ヤの先端部も残像効果の影響を受けて見にくくなってし
まうことになり、診断上差支えが生ずる。
【0006】このためこれらの欠点を除去するためのリ
カーシブフィルタとして実開昭63−55400号公報
に提供されたものがある。図8はその構成を示すもので
、例えば図示しないI.I.(イメージインテンシファ
イア)からの画像信号(ビデオ信号)は先ずA/D変換
器51でディジタル信号に変換され、所望の信号処理が
行われた後フレームメモリ54にセレクタ56のB側を
介して一旦書込まれてから、D/A変換器58によって
アナログ信号に変換されてモニタに画像として表示され
る。
【0007】次にその間の所望の信号処理を説明すると
、先ずA/D変換器51からの画像信号はフレームメモ
リ54に書込まれている画像信号と、各対応画素ごとに
比較器57で比較される。
【0008】例えばA/D変換器51からの画像信号と
フレームメモリ54からの画像信号との差が、あるしき
い値より大きければ比較器57はセレクタ56のスイッ
チをB側に切替え、フレームメモリ54にはA/D変換
器51からの画像信号が書換えられてモニタに出力され
る。
【0009】逆に、その差がしきい値よりも小さければ
セレクタ56のスイッチがA側に切替えられ、A/D変
換器51からの画像信号は乗算器52によってK(0乃
至1の定数)倍され、これと同時にフレームメモリ54
に書込まれている画像信号は乗算器55によって(1−
K)倍される。
【0010】次に両者は加算器53によって加算されて
フレームメモリ54に新しい画像信号として書込まれて
モニタに出力される。以上の処理は各対応画素ごとに独
立して行われる。
【0011】
【発明が解決しようとする課題】ところで従来の画像表
示装置では、リカーシブフィルタ処理を行う場合に経時
的に変化している2つの画像信号間の変化量をしきい値
と比較して、それがしきい値よりも小さな場合のみリカ
ーシブフィルタ処理を行うように構成されているので、
しきい値付近の変化量は表示画像上に正確に表現されな
いという問題がある。
【0012】すなわち、従来においてはしきい値との大
小関係でリカーシブフィルタ処理を施すか、施さないか
が決定されるため、しきい値付近に存在している2点を
考えると、しきい値より大きい点はリカーシブフィルタ
処理を施していないのでその動きが正確に表現されるが
、しきい値より小さい点ではリカーシブフィルタ処理が
施されているので、実際の変化よりも小さな変化として
表現されてしまうことになる。
【0013】またしきい値を決定するのが難しく、小さ
く決定すると画像ノイズが発生してしまい、大きく決定
すると画像コントラストが低下してアーチファクトが発
生し易くなる。
【0014】本発明は以上のような問題に対処してなさ
れたもので、画像ノイズを低減させることができると共
に自然な画像を表示可能にした画像表示装置を提供する
ことを目的とするものである。 [発明の構成]
【0015】
【課題を解決するための手段】上記目的を達成するため
に本発明は、画像信号をリカーシブフィルタを通過させ
てモニタに出力する画像表示装置において、前記リカー
シブフィルタが、フィルタ処理すべき画像信号の中から
動き部分を検出する動き検出手段と、前記画像信号と動
き検出手段からの出力信号とを減算する減算手段と、減
算結果から2つの画像信号の加算比率を決定するファク
ターテーブルと、このファクターテーブルからの出力信
号に基き画像信号の中の動き部分を強調する動き強調手
段とを備えたことを特徴とするものである。
【0016】
【作用】動き検出手段によってフィルタ処理すべき画像
信号の中から動き部分を検出すると共に、動き強調手段
によって動き検出を効果的に行わせる。またこの動き強
調手段の構成を変化することによって、フィルタ処理後
に残像効果を生じさせる。これにより画像ノイズを低減
させることができると共に、自然な画像を表示可能にす
ることができる。
【0017】
【実施例】以下図面を参照して本発明の実施例を説明す
る。
【0018】図1は本発明の画像表示装置の実施例を示
すブロック図で、1は被検体2に対してX線を曝射する
X線管、3は被検体2を透過したX線を光学像に変換し
て表示するI.I.(イメージインテンシファイア)、
4はI.I.の出力信号をディジタル信号に変換するA
/D変換器、5はA/D変換器4から出力されたディジ
タル画像信号(ライブ像)をリカーシブフィルタ処理し
てフィルタ像として出力するリカーシブフィルタ、6は
リカーシブフィルタ5から出力された画像信号(フィル
タ像)をアナログ信号に変換するD/A変換器、7はア
ナログ信号を画像として表示するTVモニタである。
【0019】図2は本実施例装置に用いられているリカ
ーシブフィルタ5の構成を示すもので、前記A/D変換
器4から出力されたディジタル画像信号(ライブ像)X
iを入力してこの中から動きを検出する動き検出用フィ
ルタ回路10と、この動き検出用フィルタ回路10から
の出力画像Wiを一時的に記憶するワーキングメモリ1
1と、このワーキングメモリ11に記憶されていた1フ
レーム前の動き検出用フィルタ像Wi−1とライブ像X
iとを減算処理する減算器12と、この減算結果に応じ
てフィルタ係数kを決定するファクターテーブル13と
、このファクターテーブル13の出力信号に基きライブ
像Xiの動きを強調する動き強調用フィルタ回路14と
、この動き強調用フィルタ回路14からの出力画像(フ
ィルタ像)Yiを一時的に記憶するイメージメモリ15
とから構成される。
【0020】また前記動き検出用フィルタ回路10は、
1フレーム前の動き検出用フィルタ像Wi−1にフィル
タ係数aを乗じる第1の乗算器17と、ライブ像Xiに
係数(1−a)を乗じる第2の乗算器18と、第1及び
第2の乗算器17,18の出力を加算して動き検出用フ
ィルタ像Wiを出力する加算器19とから構成されてい
る。
【0021】更に前記動き強調用フィルタ回路14は、
1フレーム前のフィルタ像Yi−1にフィルタ係数kを
乗じる第1の乗算器21と、ライブ像Xiに係数(1−
k)を乗じる第2の乗算器22と、第1及び第2の乗算
器21,22の出力を加算してフィルタ像Yiを出力す
る加算器23とから構成されている。ここで前記動き検
出用フィルタ像Wi及びフィルタ像Yiは各々次式のよ
うに示される。 Wi=a・Wi−1+(1−a)・Xi       
 …(2)Yi=k・Yi−1+(1−k)・Xi  
      …(3)ここで、a,k:フィルタ係数 次に図2のリカーシブフィルタの動作について説明する
【0022】A/D変換器4から出力されたライブ像X
iは先ず動き検出用フィルタ回路10に入力され、前記
式(2) のようにフィルタ処理されることにより、ノ
イズが低減されると共に動きがぼかされた動き検出用フ
ィルタ像Wiとして出力される。このフィルタ像Wiは
次のライブ像の動きを検出するため、また動き検出用フ
ィルタ回路10に用いられるため一旦ワーキング・メモ
リ11に記憶される。
【0023】一方、ライブ像Xiはこの中の動きを検出
するため、1フレーム前のライブ像Xi−1から作られ
てワーキング・メモリ11に記憶されていた動き検出用
フィルタ像Wi−1と減算器12によって減算処理され
て動いた部分が検出される。その動き量に応じてファク
ターテーブル13によりフィルタ係数kが決定され、動
き強調用フィルタ回路14に入力されることにより、前
記式(3) のようにフィルタ処理されて、ノイズが低
減されると共に動きがぼかされないフィルタ像Yiが出
力される。
【0024】このように出力されたフィルタ像YiはD
/A変換器6に送られ、ノイズが低減されて動いた部分
が強調された画像としてモニタ7に表示されると共に、
次のフィルタ像Yi+1を得るために一旦イメージ・メ
モリ15に記憶される。
【0025】図3は以上のようにしてフィルタ処理を行
う場合の処理の概要を説明するもので、今度のフィルタ
像Yiを得るのに1フレーム前の動き強調用フィルタ像
Yi−1が用いられているため、このフィルタ像Yiに
は前記フィルタ像Yi−1の動きの影響が出るようにな
る。Yi−1のA部分は1フレーム前のライブ像Xi−
1で動いた部分が強調されていることを示している。ま
たXiとYi−1を減算して動き検出像が得られた後、
Yiが得られることになり、A′部分が1フレーム前の
フィルタ像Yi−1の影響による残像を示している。従
って図2の構成のリカーシブフィルタは、ノイズ低減を
図ると共に、あえて残像効果を必要とする用途に適用し
て効果的になる。
【0026】この点で残像をなるべくなくしたい用途の
場合には、フィルタ像Yiを得るときに1フレーム前ま
での動きが完全にぼかされた像を用いるとよい。このた
めには図5に示すように動き検出のために用いた1フレ
ーム前の動き検出像Wi−1を用いるようにする。
【0027】図4はこの場合のリカーシブフィルタの構
成を示すもので、動き強調用フィルタ回路14の第1の
乗算器21には前記Wi−1が与えられる。この構成に
よって、今度のライブ像Xiで動いたと検出された部分
以外は、以前までに動いた部分が完全にぼかされている
動き検出像Wi−1の影響が大きく反映されるので、残
像は少なくなることになる。フィルタ像YiのA′部分
がこのように残像が少なくなった部分を示している。
【0028】図6はリカーシブフィルタの他の構成を示
すもので、ワーキング・メモリ11を減算器12との間
にセレクタA25を設けると共に、イメージ・メモリ1
5と第1の乗算器21との間にセレクタB26を設ける
ようにしたものである。この構成によればセレクタA2
5及び、セレクタB26を切換えることにより、図2及
び図4の構成を1つで実現することができる。
【0029】更に図7はリカーシブフィルタのその他の
構成を示すもので、減算器12に対する入力経路に各々
ローパスフィルタ27を設けた例を示すものである。こ
の構成によればライブ像Xiと動き検出像Wi−1また
はフィルタ像Yi−1を各々ローパスフィルタを通過さ
せることによって、スムージング処理を行ってノイズ成
分を低減してから減算処理を行うので動き検出の効果を
高めることができる。本発明は医用画像を扱う用途に限
らず画像処理を行う場合の全てに適用して効果的である
【0030】
【発明の効果】以上述べたように本発明によれば、画像
から動き部分を検出すると共に動きを強調するようにし
たので、ノイズ低減を図ると共に残像効果を調整するこ
とにより自然な画像を表示可能にすることができる。
【図面の簡単な説明】
【図1】本発明の画像表示装置の実施例を示すブロック
図である。
【図2】本実施例装置に用いられるリカーシブフィルタ
の構成図である。
【図3】図2の構成の作用の説明図である。
【図4】本実施例装置に用いられるリカーシブフィルタ
の他の構成図である。
【図5】図4の構成の作用の説明図である。
【図6】本実施例装置に用いられるリカーシブフィルタ
のその他の構成図である。
【図7】本実施例装置に用いられるリカーシブフィルタ
のその他の構成図である。
【図8】従来の画像表示装置を示すブロック図である。
【従来の技術】
5  リカーシブフィルタ 10  動き検出用フィルタ回路 11  ワーキング・メモリ 12  減算器 13  ファクターテーブル 14  動き強調用フィルタ 15  イメージ・メモリ 25,26  セレクタ 27  ローパスフィルタ

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】  画像信号をリカーシブフィルタを通過
    させてモニタに出力する画像表示装置において、前記リ
    カーシブフィルタが、フィルタ処理すべき画像信号の中
    から動き部分を検出する動き検出手段と、前記画像信号
    と動き検出手段からの出力信号とを減算する減算手段と
    、減算結果から2つの画像信号の加算比率を決定するフ
    ァクターテーブルと、このファクターテーブルからの出
    力信号に基き画像信号の中の動き部分を強調する動き強
    調手段とを備えたことを特徴とする画像表示装置。
JP11207391A 1991-05-17 1991-05-17 画像表示装置 Expired - Lifetime JP3159465B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP11207391A JP3159465B2 (ja) 1991-05-17 1991-05-17 画像表示装置
US07/883,389 US5296937A (en) 1991-05-17 1992-05-15 Image processing apparatus using recursive filters

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11207391A JP3159465B2 (ja) 1991-05-17 1991-05-17 画像表示装置

Publications (2)

Publication Number Publication Date
JPH04341245A true JPH04341245A (ja) 1992-11-27
JP3159465B2 JP3159465B2 (ja) 2001-04-23

Family

ID=14577398

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11207391A Expired - Lifetime JP3159465B2 (ja) 1991-05-17 1991-05-17 画像表示装置

Country Status (2)

Country Link
US (1) US5296937A (ja)
JP (1) JP3159465B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002272724A (ja) * 2001-03-21 2002-09-24 Toshiba Corp ノイズ低減フィルタ及びx線診断システム
JP2011134118A (ja) * 2009-12-24 2011-07-07 Canon Inc 情報処理装置、処理方法及びプログラム
JP2018007949A (ja) * 2016-07-15 2018-01-18 コニカミノルタ株式会社 動態解析装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69322444T2 (de) * 1992-07-10 1999-06-24 Koninklijke Philips Electronics N.V., Eindhoven Röntgendurchleuchtungsgerät mit Mitteln zur Rauschreduktion
US5452338A (en) * 1994-07-07 1995-09-19 General Electric Company Method and system for real time offset correction in a large area solid state x-ray detector
US5481584A (en) * 1994-11-23 1996-01-02 Tang; Jihong Device for material separation using nondestructive inspection imaging
FR2736181A1 (fr) * 1995-06-30 1997-01-03 Philips Electronique Lab Procede de traitement d'images pour la reduction du bruit dans une image d'une sequence d'images numeriques et dispositif mettant en oeuvre ce procede
DE19621387C1 (de) * 1996-05-28 1997-11-13 Siemens Ag Röntgenaufnahmeeinrichtung
GB2372391A (en) * 2001-02-16 2002-08-21 Hewlett Packard Co Removal of specular reflection
CN1640113A (zh) * 2002-02-28 2005-07-13 皇家飞利浦电子股份有限公司 图像中的噪声滤波
CN1278553C (zh) * 2003-05-23 2006-10-04 华亚微电子(上海)有限公司 一种像素静止检测的多窗口多阈值方法
JP2006334085A (ja) * 2005-06-01 2006-12-14 Shimadzu Corp 放射線撮像装置および放射線検出信号処理方法
GB2438660B (en) * 2006-06-02 2011-03-30 Tandberg Television Asa Recursive filter system for a video signal
EP2037413A3 (en) * 2007-09-17 2011-01-26 Wisconsin Alumni Research Foundation A method for reducing motion artifacts in highly constrained medical images
WO2009065441A1 (en) * 2007-11-21 2009-05-28 Sapheneia Commercial Products Ab Method and arrangement in fluoroscopy and ultrasound systems
FR2971075B1 (fr) * 2011-01-28 2013-03-01 Electricite De France Traitement de donnees d'images comportant des effets de turbulences dans un milieu liquide.
US10200649B2 (en) * 2014-02-07 2019-02-05 Morpho, Inc. Image processing device, image processing method and recording medium for reducing noise in image
GB2541179B (en) * 2015-07-31 2019-10-30 Imagination Tech Ltd Denoising filter
EP3550507A1 (de) * 2018-04-06 2019-10-09 Siemens Healthcare GmbH Kantenerhaltende, adaptive filterung von bilddaten

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02275588A (ja) * 1989-04-18 1990-11-09 Toshiba Corp リカーシブフィルタおよびこれを用いた画像表示装置
JPH0385683A (ja) * 1989-08-30 1991-04-10 Shimadzu Corp 画像処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4677478A (en) * 1982-01-25 1987-06-30 Thomson-Csf Broadcast, Inc. Apparatus and method for imaging a body
JPH02278383A (ja) * 1989-04-19 1990-11-14 Fuji Photo Film Co Ltd 画像処理装置
US5016104A (en) * 1989-06-22 1991-05-14 Massachusetts Institute Of Technology Receiver-compatible noise reduction systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02275588A (ja) * 1989-04-18 1990-11-09 Toshiba Corp リカーシブフィルタおよびこれを用いた画像表示装置
JPH0385683A (ja) * 1989-08-30 1991-04-10 Shimadzu Corp 画像処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002272724A (ja) * 2001-03-21 2002-09-24 Toshiba Corp ノイズ低減フィルタ及びx線診断システム
JP2011134118A (ja) * 2009-12-24 2011-07-07 Canon Inc 情報処理装置、処理方法及びプログラム
JP2018007949A (ja) * 2016-07-15 2018-01-18 コニカミノルタ株式会社 動態解析装置

Also Published As

Publication number Publication date
US5296937A (en) 1994-03-22
JP3159465B2 (ja) 2001-04-23

Similar Documents

Publication Publication Date Title
JP3159465B2 (ja) 画像表示装置
US6760401B2 (en) Apparatus and method for processing of digital images
JP2508078B2 (ja) X線画像処理装置
EP0866607A2 (en) Noise filter for digital x-ray imaging system
JPH0261838B2 (ja)
US4636850A (en) Apparatus and method for enhancement of video images
JP3877015B2 (ja) ディジタル画像のシーケンスの画像内のノイズの時間的フィルタリングの方法及び装置
US5018179A (en) Recursive filter and image display apparatus including the same
US20110235888A1 (en) Image processing method and radiographic apparatus using the same
US7149358B2 (en) Method and system for improving contrast using multi-resolution contrast based dynamic range management
JP4045422B2 (ja) 画像処理装置
US5161178A (en) Image display apparatus for radiation diagnosis
JP2885066B2 (ja) 画像処理装置
JP3410778B2 (ja) リカーシブフィルタ、x線診断装置
JP2792133B2 (ja) 画像処理装置
JPH0795478A (ja) X線透視装置
JP3109105B2 (ja) デジタルアンギオグラフィ装置
JPH10229519A (ja) X線画像デジタル処理装置
JP2871054B2 (ja) 画像処理装置
JPH0669447B2 (ja) X線画像処理装置
JP3028626B2 (ja) X線透視画像処理装置
JP3298445B2 (ja) X線画像デジタル処理装置
JPH0223117B2 (ja)
JP4595294B2 (ja) 画像処理装置
JPH0544871B2 (ja)

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080216

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090216

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100216

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100216

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110216

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 11

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120216

Year of fee payment: 11