JP3648881B2 - 超音波診断装置 - Google Patents

超音波診断装置 Download PDF

Info

Publication number
JP3648881B2
JP3648881B2 JP28802596A JP28802596A JP3648881B2 JP 3648881 B2 JP3648881 B2 JP 3648881B2 JP 28802596 A JP28802596 A JP 28802596A JP 28802596 A JP28802596 A JP 28802596A JP 3648881 B2 JP3648881 B2 JP 3648881B2
Authority
JP
Japan
Prior art keywords
frame
image data
image
weighting coefficient
display form
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP28802596A
Other languages
English (en)
Other versions
JPH10127628A (ja
Inventor
豊 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Priority to JP28802596A priority Critical patent/JP3648881B2/ja
Publication of JPH10127628A publication Critical patent/JPH10127628A/ja
Application granted granted Critical
Publication of JP3648881B2 publication Critical patent/JP3648881B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、超音波の送受波に基づいて得られる画像データを表示する場合に、フレーム相関処理によって不要なノイズを除いて円滑な表示が行われるようにした超音波診断装置に係り、特には、画像拡大率の変更や表示範囲の移動などの表示形態を変更する場合の表示の応答性を高めるための技術に関する。
【0002】
【従来の技術】
従来から、Bモード表示やカラードプラ表示などを行う超音波診断装置においては、画像のサイズを切り換えることで観察できる深さ範囲を変更する機能、画像の拡大率を変更する機能、画像の一定領域を左右に平行移動させるパン機能、画像の一定領域を上下に移動させるスクロール機能、カラードプラ表示を行う領域の画面のサイズや位置を切り換える機能といたように、各種の表示形態を変更できる機能を備えたものがある。
【0003】
さらに、従来の超音波診断装置では、上記の表示形態の変更機能に加えて、心臓等の動きのある臓器を画像表示する場合に、その動画像が円滑に表示されるように、フレーム相関処理を行えるものが提供されている。
【0004】
図4は、このような従来の超音波診断装置のフレーム相関処理の回路部分を示すブロック図である。
【0005】
超音波の送受波に基づいて得られる画像データは、1画素ごとにフレーム相関演算部aでフレーム相関の演算処理が行われた後、フレームバッファメモリb上に書き込まれる。
【0006】
フレームバッファメモリbに書き込まれた1フレーム分の画像データは、TV信号に同期して順次読み出されるとともに、フレーム相関演算部aにフィードバックされ、新たに入力されてくる画像データとフレーム相関処理された後、再びフレームバッファメモリbに書き込まれる。
【0007】
フレーム相関演算部aでは、新たに入力されてくる画像データとフレームバッファメモリから読み出された画像データとに基づいて、たとえば、次のようなフレーム相関の演算処理を行う。
【0008】
いま、X1を今回のある一つの画素位置にある画像データ、X2を前回の同じ画素位置にある画像データ、Xをフレーム相関の演算処理後の画像データとすると、
X=k2・X2+k1・X1 (1)
ただし、k1,k2は重み付け係数(0<k1,k2<1、k1+k2=1)である。
【0009】
そして、たとえばk1=k2=0.5に設定して(1)式に基づくフレーム相関の演算処理を行うと、1フレーム前後で相関性の無いランダムなノイズが存在するときにはこれが平均化されるので、ノイズの影響が低減された見易い画像を表示することができる。
【0010】
【発明が解決しようとする課題】
ところで、上述のような表示形態変更とフレーム相関処理の両機能を備えた従来の超音波診断装置では、画像のサイズや拡大率を変更するなど、表示形態を変更した際には、表示形態の変更前後のフレーム間では相関性がないことから、これに応じてフレームバッファメモリbに格納されている画像データも一旦クリアされるようになっている。
【0011】
ここで、変更された表示形態に適合するように新しく超音波ビームの走査を開始した場合、フレームバッファメモリbはクリアされていて以前の画像データが存在しないために、今回得られた画像データX1とフレームバッファメモリbからクリアされたデータX2(=0)とがフレーム相関演算部aで(1)式に基づいて相関処理された場合、その結果として出力される画像データXは、
X=k2・0+k1・X1=k1・X1 (0<k1<1)
となり、フレーム相関処理後の画像データXは、今回入力された画像データX1よりも量子化レベルが小さくなる。たとえば、k1=0.5の場合、今回入力された画像データX1のレベルが半減されるので、画像が暗くなってしまう。
【0012】
そして、上記のようなフレーム相関の演算処理を行う場合には、フレーム相関後の画像が本来の明るさに戻るまでに数フレーム分の走査が必要となり、復帰に時間がかかってしまう。つまり、表示変更の応答性が悪くなる。この傾向は、1フレーム分の画像形成に要する時間が長い場合、すなわちフレームレートが遅い場合により顕著となる。
【0013】
特に、操作者がたとえば画像のサイズ等を一度に数段階にわたって連続的に切り換えるような場合、切り換え途中の段階の画像が暗いだけでなく、安定した表示状態となるまでに時間が長くかかるため、表示形態の変更途中の段階で、その変更途中の表示形態と操作者の変更操作の感覚との間にずれが生じ、変更途中の画像を確認するのが困難になる。このことが、操作者にとって表示形態の変更操作がしずらいと感じさせる一因となっていた。
【0014】
このような不都合を解消するためには、表示形態の変更途中の状態の表示を間引いて、表示形態が変更された結果の画像のみを表示することも考えられる。
【0015】
しかしながら、操作者は上述のごとく、所望の表示形態に到達するまでの途中経過を観察しながら表示形態の変更操作を行うものであって、突然に表示形態の変更後の画像に切り換えられてしまうと、その変更操作が適切であったか否かの判断がつかなくなってしまう。
【0016】
本発明は、上記のような問題点を解決するためになされたもので、表示形態変更とフレーム相関処理の両機能を備えた超音波診断装置において、表示形態を変更した場合でも、本来の輝度レベルをもつ画像が応答性良く画面に表示されるようにして、所望の表示形態に到達するまでの確認を短時間の内に容易に行って迅速な診断を可能とすることを課題とする。
【0017】
【課題を解決するための手段】
本発明は、上述した課題を解決するために、超音波画像の表示形態を変更する表示形態変更手段と、新フレームと複数の旧フレーム間の画像データに基づいて、これらの画像データのそれぞれについて所定の重み付けをした新たな画像データを作成するフレーム相関処理手段とを備えている超音波診断装置において、次の構成を採用している。
【0018】
すなわち、本発明では、表示形態変更手段による前記新フレームと複数の旧フレーム間の相関性がなくなる表示形態の変更に応じて、フレーム相関処理手段に対して、新フレームと複数の旧フレーム間の画像データに対する重み付け係数を、変更後の表示形態に対応した最適値に設定する前に、前記重み付け係数の設定を一時的に変更する制御を行うとともに、その設定変更された各重み付け係数をフレーム走査のたびに順次変更して本来の係数値に戻す重み付け係数変更手段を備えている。
【0019】
【発明の実施の形態】
図1は、本発明の実施形態に係る超音波診断装置の要部を示すブロック図である。
【0020】
同図において、1は超音波診断装置の全体を示し、2は図示しない超音波プローブにより超音波の送受信を行う送受信回路、4は送受信回路2で受信されたエコー信号を増幅検波して画像信号として出力する信号処理回路、6は信号処理回路4の出力をデジタル化するA/Dコンバータである。
【0021】
また、8は新旧フレーム間の画像データに基づいて、これらについて所定の重み付けをした新たな画像データを作成するフレーム相関処理手段である。
【0022】
このフレーム相関処理手段8は、前述の(1)式に基づく演算を行うフレーム相関演算部10と、1フレーム分の画像データを格納するフレームバッファメモリ12とからなる。そして、フレーム相関演算部10は、画像データに対する重み付け係数k1,k2をそれぞれ発生する第1,第2の係数発生部141,142と、A/Dコンバータ6から出力される今回フレームの画像データに第1係数発生部141からの重み付け係数k1を掛け算する第1乗算部161、フレームバッファメモリ12から読み出された1フレーム前の画像データに第2係数発生部142からの重み付け係数k2を掛け算する第2乗算部162、および両乗算部161,162の出力を加算する加算部18を備える。
【0023】
20はフレーム相関処理手段8でフレーム相関処理された画像データを一旦格納してからTV走査に同期した速度で読み出すデジタルスキャンコンバータ、22は文字、記号、数字等のキャラクタデータを発生するためのキャラクタメモリ、24はデジタルスキャンコンバータ20から読み出された画像データとキャラクタメモリ22から読み出されたキャラクデータとを合成してTV用の映像信号に変換して出力する映像信号生成部、26は映像信号生成部24から出力される映像信号を画像表示するためのCRTやLCD等のモニタ装置である。
【0024】
32は表示形態の指定等のデータを入力する入力操作部で、キーボードやトラックボールを含む。34は入力操作部32からの入力データを装置本体内に取り込むための入力インターフェイス部である。
【0025】
また、36はパラメータ処理部、38はフレーム走査検出部、40は重み付け係数変更手段である。
【0026】
上記のパラメータ処理部36は、入力操作部32から表示形態の変更(たとえば、画像のサイズの変更、画像の拡大率の変更、パン機能、スクロール機能、カラードップラの表示領域のサイズや位置の変更など)が指定された場合には、その指定された所望の表示形態に適応したパラメータ(たとえば、パルス繰り返し周波数、走査線数、フォーカス段数、カラードプラ表示における同一方向のビーム送信回数など)のデータを後述の中央制御処理部42に出力する。さらに、このパラメータ処理部36は、表示形態の変更があるときにはその実行を示す実行トリガ信号を後述の重み付け係数変更手段40に出力するようになっている。
【0027】
フレーム走査検出部38は、送受信制御回路2によって超音波ビームが1フレーム分走査されるたびにそのフレーム終了を示すトリガ信号を出力するものである。
【0028】
重み付け係数変更手段40は、パラメータ処理部36からの形態変更の実行を示す実行トリガ信号が入力された場合には、これに応答してフレーム相関処理手段8の第1,第2係数発生部141,142から発生される重み付け係数k1,k2の内、一方の重み付け係数k1が大きく(本例ではk1=1)、他方の重み付け係数k2が小さく(本例ではk2=0)なるように変更し、さらに、フレーム走査検出部38からのフレーム終了を示すトリガ信号が入力された場合には、両重み付け係数k1,k2が等しく(本例ではk1=k2=0.5)なるように変更するものである。
【0029】
42は中央制御処理部であり、この中央制御処理部42は、パラメータ処理部36から与えられる表示形態の変更に適合したパラメータに応じて送受信回路2を制御するとともに、表示形態の変更がある場合には、フレームバッファメモリ12の記憶内容をクリアするものである。
【0030】
そして、上記のパラメータ処理部36および中央制御処理部42が特許請求の範囲における表示形態変更手段に相当する。
【0031】
次に、上記構成の超音波診断装置1の動作について説明する。
【0032】
操作者が入力操作部32を操作して、上記した表示形態の変更(たとえば、画像のサイズの変更)のための指令を入力すると、その入力データは、入力インターフェイス34を介してパラメータ処理部36に入力される。
【0033】
パラメータ処理部36では、その指定された所望の表示形態に適応したパラメータ(たとえば、パルス繰り返し周波数、走査線数、フォーカス段数など)のデータを中央制御処理部42に出力する。さらに、このパラメータ処理部36は、表示形態の変更の実行を示す実行トリガ信号を重み付け係数変更手段40に出力する。
【0034】
重み付け係数変更手段40は、この実行トリガ信号を受信すると、これに応答して、フレーム相関処理手段8の第1,第2係数発生部141,142から発生される重み付け係数k1,k2の内、一方をk1=1、他方をk2=0に変更する。
【0035】
一方、中央制御処理部42は、パラメータ処理部36からの表示形態の変更に適合したパラメータを受け取ると、このパラメータに基づいて送受信回路2を制御するとともに、フレームバッファメモリ12の記憶内容をクリアする。
【0036】
これにより、超音波ビームの送受信に基づくエコー信号が送受信回路2、信号処理回路4を通りA/Dコンバータ6から今回の画像データとして出力されると、この今回の画像データX1は、第1乗算部161によって第1係数発生部141からの重み付け係数k1=1と掛け算されるので、第1乗算部161の出力は1×X1となる。また、これと平行してフレームバッファメモリ12から読み出された画像データX2(これは既にクリアされているのでX2=0)は、第2乗算部162によって第2係数発生部142からの重み付け係数k2=0と掛け算されるので、第2乗算部162の出力は0×X2となる。
【0037】
したがって、加算部18の出力は、
X=0×X2+1×X1=X1
となる。つまり、フレーム相関演算後の画像データXは、今回入力された画像データX1がそのまま出力され、これがフレームバッファメモリ12に記憶される。
【0038】
このようにして、送受信回路2による最初の1フレーム分の超音波ビームの走査が行われると、そのとき得られた1フレーム分の画像データは、フレームバッファメモリ12に格納される。
【0039】
そして、最初の1フレーム分の超音波ビームの走査が終了すると、これに応じて、フレーム走査検出部38からは、フレーム終了を示すトリガ信号が発生され、これが重み付け係数変更手段40に入力される。
【0040】
重み付け係数変更手段40は、このトリガ信号を受信すると、これに応答して、フレーム相関処理手段8の第1,第2係数発生部141,142から発生される重み付け係数k1,k2が共に等しくk1=k2=0.5となるように変更する。
【0041】
これにより、超音波ビームの送受信に基づく次のフレームのエコー信号が送受信回路2、信号処理回路4を通りA/Dコンバータ6から画像データとして出力されると、この画像データX1は、第1乗算部161によって第1係数発生部141からの重み付け係数k1=0.5と掛け算されるので、第1乗算部161の出力は0.5×X1となる。また、これと平行してフレームバッファメモリ12から読み出された1フレーム前の画像データX2は、デジタルスキャンコンバータ20に送出されて映像信号処理部24を介してモニタ装置26に表示されるとともに、第2乗算部162によって第2係数発生部142からの重み付け係数k2=0.5と掛け算されるので、第2乗算部162の出力は0.5×X2となる。
【0042】
したがって、加算部18の出力は、
X=0.5×X2+0.5×X1
となる。つまり、フレーム相関演算後の画像データXは、今回入力された画像データX1とその1フレーム前の画像データX2との平均値となり、これがフレームバッファメモリ12に記憶される。
【0043】
このようにして、表示形態の変更指令が出されてから最初の1フレーム分の超音波ビームの走査によって得られる画像データは、フレームバッファメモリ12にそのまま格納され、次のフレームで直ちに読み出されて表示される。したがって、表示形態を変更した場合でも、本来の輝度レベルをもつ画像が応答性良く画面に表示されることになる。
【0044】
また、操作者がたとえば画像のサイズ等を一度に数段階にわたって連続的に変更する場合、変更の途中では、パラメータ処理部36からは連続的に実行トリガ信号が発生されるので、重み付け係数変更手段40は、第1,第2係数発生部141,142から発生される重み付け係数k1,k2をk1=1、k2=0に保持するため、表示形態の切り換え途中の段階の画像が暗くなることがなく、しかも、安定した表示状態となるまでの時間が2〜3フレーム分程度で極めて短い。そして、表示形態の変更が終了すれば、重み付け係数変更手段40は、第1,第2係数発生部141,142から発生される重み付け係数k1,k2をk1=k2=0.5に戻す。
【0045】
したがって、表示形態の変更途中の段階で、従来のように、その変更途中の表示形態と操作者の変更操作の感覚との間にずれが生じ、変更途中の画像を確認するのが困難になるといった不都合を生じない。
【0046】
上記の実施形態に係る超音波診断装置1において、フレーム相関処理手段8は、1フレーム前後の画像データに基づいてフレーム相関処理を実行するようにしているが、図2に示すように、複数(この例では3つ)のフレームバッファメモリ121〜124と、4つの乗算部161〜164と、これらの各乗算部161〜164の出力を加算する加算部18とを設け、フレーム相関を次式に示すように、今回のフレームの画像データX1と過去の数フレームの画像データX2〜X4との重み付け平均によって行う場合もある。
【0047】
X=k4・X4+k3・X3+k2・X2+k1・X1 (2)
ただし、k1,k2,k3,k4は重み付け係数(0<k1,k2,k3,k4<1、k1+k2+k3+k4=1)である。
【0048】
その場合、重み付け係数変更手段40は、表示形態の変更(たとえば、画像のサイズの変更)指令が入力されて、その表示形態に適合するように新しく超音波ビームの走査が開始されると、図3に示すように、まず、各重み付け係数k1,k2,k3,k4をk1=1,k2=0,k3=0,k4=0に設定した後、フレーム走査検出部38から1フレームの走査終了のたびに出力されるトリガ信号に応答して、各重み付け係数k1,k2,k3,k4を順次変更して、トリガ信号が3回入力された時点で、最終的に本来の係数として、k1=0.2,k2=0.3,k3=0.3,k4=0.2の値に戻す。
【0049】
このようにすれば、表示形態の変更指令が出された場合でも、従来のように画像が一時的に暗くなって見ずらくなることがなく、しかも、本来の輝度レベルをもつ画像が応答性良く画面に表示されることになる。
【0050】
【発明の効果】
本発明によれば、表示形態変更とフレーム相関処理の両機能を備えた超音波診断装置において、表示形態を変更した場合でも、本来の輝度レベルをもつ画像が応答性良く画面に表示される。このため、所望の表示形態に到達するまでの確認を短時間の内に容易に行えるので、迅速な診断が可能となる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る超音波診断装置の要部を示すブロック図である。
【図2】本発明の他の実施形態に係る超音波診断装置のフレーム相関処理回路部分のブロック図である。
【図3】図2に示すフレーム相関処理回路の各乗算部に対して順次設定される重み付け係数の値を示す説明図である。
【図4】従来の超音波診断装置のフレーム相関処理回路部分を示すブロック図である。
【符号の説明】
1…超音波診断装置、8…フレーム相関処理手段、12…フレームバッファメモリ、141,142…係数発生部、161,162…乗算部、18…加算部、38…フレーム走査検出部、36…パラメータ処理部、40…重み付け係数変更手段、42…中央制御処理部。

Claims (2)

  1. 超音波画像の表示形態を変更する表示形態変更手段と、新フレームと複数の旧フレーム間の画像データに基づいて、これらの画像データのそれぞれについて所定の重み付けをした新たな画像データを作成するフレーム相関処理手段とを備えている超音波診断装置において、
    前記表示形態変更手段による前記新フレームと複数の旧フレーム間の相関性がなくなる表示形態の変更に応じて、フレーム相関処理手段に対して、新フレームと複数の旧フレーム間の画像データに対する重み付け係数を、変更後の表示形態に対応した最適値に設定する前に、前記重み付け係数の設定を一時的に変更する制御を行うとともに、その設定変更された各重み付け係数をフレーム走査のたびに順次変更して本来の係数値に戻す重み付け係数変更手段を備えることを特徴とする超音波診断装置。
  2. 請求項1記載の超音波診断装置であって、前記重み付け係数変更手段は、前記重み付け係数の一時的移行操作を、画像フレーム周期で行うものであることを特徴とする超音波診断装置。
JP28802596A 1996-10-30 1996-10-30 超音波診断装置 Expired - Fee Related JP3648881B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28802596A JP3648881B2 (ja) 1996-10-30 1996-10-30 超音波診断装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28802596A JP3648881B2 (ja) 1996-10-30 1996-10-30 超音波診断装置

Publications (2)

Publication Number Publication Date
JPH10127628A JPH10127628A (ja) 1998-05-19
JP3648881B2 true JP3648881B2 (ja) 2005-05-18

Family

ID=17724849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28802596A Expired - Fee Related JP3648881B2 (ja) 1996-10-30 1996-10-30 超音波診断装置

Country Status (1)

Country Link
JP (1) JP3648881B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016209725A (ja) * 2011-05-12 2016-12-15 キヤノン株式会社 被検体情報取得装置及び被検体情報取得方法
CN103584882A (zh) * 2012-08-13 2014-02-19 深圳市蓝韵实业有限公司 空间复合成像方法、装置及超声成像系统
JP6025456B2 (ja) * 2012-08-28 2016-11-16 キヤノン株式会社 被検体情報取得装置、表示方法、及びプログラム
JP7451267B2 (ja) * 2020-04-08 2024-03-18 キヤノンメディカルシステムズ株式会社 装置およびプログラム

Also Published As

Publication number Publication date
JPH10127628A (ja) 1998-05-19

Similar Documents

Publication Publication Date Title
JP3000233B2 (ja) 超音波診断装置
KR100248068B1 (ko) 초음파진단장치
JPH0352034B2 (ja)
US5976086A (en) Ultrasonic diagnostic apparatus and filter to obtain sequential frames of image data
US5718230A (en) Method and apparatus for creating ultrasound images using a reduced number of transmit beam lines
JP3648881B2 (ja) 超音波診断装置
JP3052149B2 (ja) 超音波診断装置
JPH10127627A (ja) 超音波診断装置
JP3290625B2 (ja) 超音波診断装置
JPH0538340A (ja) 超音波診断装置
JP3298816B2 (ja) 超音波画像診断装置
JP2006130009A (ja) 超音波診断装置
JP3052164B2 (ja) 超音波診断装置
JP3118609B2 (ja) 超音波ドプラ血流計測装置
JPS63317138A (ja) 超音波診断装置
JP2963193B2 (ja) 超音波診断装置
JP3569532B2 (ja) 超音波ドプラ血流計測装置
JPH05184577A (ja) 超音波診断装置
JP3082096B2 (ja) 超音波診断装置
JP2690750B2 (ja) 超音波診断装置
JP2001128970A (ja) 超音波診断装置
JPH0221262B2 (ja)
JPH05317317A (ja) 超音波診断装置
JP3220798B2 (ja) 超音波診断装置
JP2751295B2 (ja) ダイナミックフォーカス方式超音波診断装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040803

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050207

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080225

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090225

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100225

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100225

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110225

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110225

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120225

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120225

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130225

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees