JP3689212B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP3689212B2
JP3689212B2 JP00668397A JP668397A JP3689212B2 JP 3689212 B2 JP3689212 B2 JP 3689212B2 JP 00668397 A JP00668397 A JP 00668397A JP 668397 A JP668397 A JP 668397A JP 3689212 B2 JP3689212 B2 JP 3689212B2
Authority
JP
Japan
Prior art keywords
image
signal
processing
image processing
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP00668397A
Other languages
English (en)
Other versions
JPH10210454A (ja
Inventor
啓 高杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP00668397A priority Critical patent/JP3689212B2/ja
Publication of JPH10210454A publication Critical patent/JPH10210454A/ja
Application granted granted Critical
Publication of JP3689212B2 publication Critical patent/JP3689212B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、内視鏡画像等の画像に対して視認性の向上などのために所定の画像処理を行う画像処理装置に関する。
【0002】
【従来の技術】
従来より、例えば内視鏡装置等においては、画像処理装置を用いて内視鏡により得られた内視鏡画像などに対して色彩強調等の画像処理を施し、診断時の視認性を高めたりすることが行われている。内視鏡用の画像処理装置では、画像中の照明光量が多すぎて白くぼけたハレーション部や照明光量が少なくて黒くなった暗部のデータについては、正確な演算データが得られないため、画像処理には不適当なデータとして演算処理から除外することが一般に行われている。例えば、特開平3−21186号公報に開示されている画像処理装置では、所定の信号レベルを逸脱した場合を無効領域としてそれ以外の有効領域と識別可能にし、誤認識の発生を防止して信頼性の高い情報を得ることができるようにしている。
【0003】
【発明が解決しようとする課題】
しかしながら、従来の画像処理装置では、面順次式の内視鏡装置を用いて画像を得る場合には、その原理的な要因により色ズレが発生するため、画像処理時にハレーション部等の無効領域周辺のデータについても演算処理を行うと正確なデータが得られないことがあった。このため、演算結果を疑似カラーで表示させた場合など、無効領域として除去した部分の周辺の色変化が病変部のように見えてしまうこともあり、このようなアーティファクトにより観察しづらい画像となってしまう不具合があった。
【0004】
これに対し、前記のようなアーティファクトを発生させないように、ハレーション部と暗部のデータを除去するためにあるしきい値を用いた場合は、除去した部分の辺縁がノイズなどの影響によってギザギザになってしまい、動画で観察を行うときに見づらくなってしまうことがあった。また、ハレーション部周辺や暗部周辺ではない正常な領域を誤って無効領域として除去してしまうおそれがあり、観察したい領域が除去されてしまう場合があるという問題点もあった。
【0005】
本発明は、これらの事情に鑑みてなされたもので、画像処理時に正確な演算結果が得られない部分の画像データを確実かつ適切に除去して画像処理によるアーティファクトの発生を防止でき、かつ観察者が観察したい所望部分の画像データの欠落を防ぎ、処理後の画像を正しく認識できるようにすることが可能な画像処理装置を提供することを目的としている。
【0006】
【課題を解決するための手段】
本発明による画像処理装置は、入力画像信号に所定の処理を施す画像処理装置において、前記画像信号のレベルに基づき、該画像信号における非処理部分を特定する非処理部分特定手段と、前記非処理部分特定手段の特定情報に基づき、前記画像信号における非処理部分を所定領域だけ拡張する非処理部分拡張手段と、前記非処理部分拡張手段による信号が入力されるセレクタと前記入力画像信号を格納し、前記非処理部分拡張手段による演算にかかる時間だけ前記入力画像信号を遅らせて前記セレクタに信号を伝達するメモリ部と前記セレクタによって選択される前記入力画像信号及び前記非処理部分拡張手段による信号に基づき画像処理する画像処理手段とを有することを特徴とし、前記画像処理手段は、前記セレクタからの信号に基づいて、IHb量を算出する演算を行うことを特徴とし、また、前記IHb量に基づき、疑似カラー表示する色を設定する疑似カラー割当部を有することを特徴とする。
【0007】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図1ないし図6は本発明の第1の実施形態に係り、図1は画像処理装置の構成を示すブロック図、図2はIHb算出部の構成例を示すブロック図、図3はIHb量に対応する色付けの設定例を示す説明図、図4は無効領域除去部の構成を示すブロック図、図5は図4中の無効領域拡張部の構成を示すブロック図、図6は処理画像における拡張された無効領域の分布の一例を示す作用説明図である。
【0008】
本実施形態では、内視鏡により得られた内視鏡画像に対して画像処理を行う内視鏡用画像処理装置の構成例を示す。画像処理装置1は、内視鏡画像より求めたヘモグロビン色素に相関するヘモグロビンインデックス(以下、IHbと記載する)を疑似カラー表示させ、病変部などのIHb量の変化を観察可能にする画像処理を行う装置である。
【0009】
図1に示すように、画像処理装置1は、アナログの入力画像信号をディジタル信号に変換するA/D変換部2と、A/D変換部2の出力に対して逆ガンマ補正を行う逆ガンマ補正部(γ′)3と、画像処理を行う上で不適当なデータを持つ領域を無効領域として除去する無効領域除去部4と、演算によりIHb量を求めるIHb算出部5と、IHb量に応じた表示色を設定する疑似カラー割当部6と、疑似カラー割当部6の出力に対してガンマ補正を行うガンマ補正部(γ)7と、ディジタル信号をアナログの出力画像信号に変換するD/A変換部8とを有して構成されている。
【0010】
このように構成された本実施形態の画像処理装置1の動作を説明する。内視鏡により撮像された内視鏡画像は、画像処理装置1に入力されてIHb量を示す疑似カラー表示を行うための画像処理が施される。内視鏡画像の画像信号は、まず、画像処理装置1内部での処理がディジタル信号処理であるため、A/D変換部2においてアナログ信号からディジタル信号に変換される。ディジタル信号に変換された画像信号は、逆ガンマ補正部3によって内視鏡画像にかけられているガンマ補正が除去される。その後、無効領域除去部4によって、ハレーション部と暗部及びその周辺部に相当する演算に不適当な領域のデータが除去される。この無効領域の除去方法については後で説明する。
【0011】
無効領域除去部4によって画像中の無効領域が除去されると、IHb算出部5によって各画素のIHb量が算出される。IHb量を求める演算式は、以下に示す(1)式の通りである。
【0012】
IHb=32×Log(R/G) …(1)
ただし、R:R画像の信号レベル
G:G画像の信号レベル
このIHb量の演算は、ROMを用いたり、図2に示すような演算回路を用いて算出することができる。例えば、図2の演算回路では、割り算回路31によってR画像の信号レベルに対してG画像の信号レベルを除算した後、対数変換回路32によって対数変換し、掛け算回路33によって定数の32を乗算することにより、IHb量が求められる。
【0013】
各画素において求められたIHb量は、疑似カラー割当部6に入力され、ここで算出されたIHb量に基づいて疑似カラー表示する色が決定される。図3はIHb量に対応する色付けの設定例を示したものであり、IHb量を6段階に分割して表示色を設定する場合の例である。この場合、IHb量の高い順に、ピンク、赤、黄、緑、シアン、青が割り当てられる。この疑似カラー表示色の割り当ては、ROMなどを用い、入力されるIHb量に応じて前記のような各色を表すR、G、Bデータを出力するようにすれば簡単に行うことが可能である。
【0014】
なお、IHb量に関してより細部の変化を観察したい場合は、さらに細かく8、16、32段階などに分割し、それぞれ色分けすれば良い。また、6色で細部の変化を表示したい場合は、観察者が表示したいIHb量の範囲を狭く指定することで実現可能である。
【0015】
このようにして、疑似カラーとして割り当てられたIHb量分布画像の画像信号は、ガンマ補正部7によってモニタに表示した際にリニアな特性になるようガンマ補正がかけられる。そして、補正がかけられたIHb量分布画像の画像信号は、D/A変換部8によってディジタル信号からアナログ信号に変換され、画像処理装置1より出力される。
【0016】
次に、無効領域除去部4の構成及び作用について詳細に説明する。図4に示すように、無効領域除去部4は、無効領域検出部9と無効領域拡張部10とを有して構成されている。
【0017】
無効領域除去部4に入力された逆ガンマ補正部3からの画像信号は、無効領域検出部9と無効領域拡張部10とに入力される。無効領域検出部9では、入力された画像信号を基に、その信号レベルなどを参照してハレーション部や暗部などの正確な演算結果が得られない領域かどうかの判別が行われ、無効領域と判別された画素については「0」が出力され、有効領域と判別された画素については「1」が出力される。無効領域拡張部10では、前記無効領域検出部9の出力を基に所定領域だけ無効領域の拡張が行われた後、入力された画像信号のうち、有効領域とした画素の画像信号のみがIHb算出部5へ出力される。なお、無効領域に設定された画素の画像信号としては、0レベルが出力される。
【0018】
図5に無効領域拡張部10の構成を示す。無効領域拡張部10は、無効領域検出部9の出力を一時記憶するラインメモリ12,13と、信号遅延用のディレイ14〜19と、入力された各信号の乗算を行う乗算部20と、出力する画像信号を選択するセレクタ21と、逆ガンマ補正部3から無効領域除去部4に入力された画像信号を格納するメモリ22とを有して構成されている。
【0019】
無効領域拡張部10は、入力された画像信号の中から、隣接した画素の画像信号を参照して、無効領域を示す0レベルの信号が隣接画素に存在する場合は、その画素も無効領域として0レベルを出力する。このとき、乗算部20は、入力される9つの信号の乗算を行うようになっており、乗算部20にはラインメモリ12,13、ディレイ14〜19によって3×3の隣接する9画素の信号が入力され、この領域内に0レベルの信号があれば演算結果は「0」となる。すなわち、3×3の領域内において隣接画素に無効領域が存在する場合に、その中心画素も無効領域とすることが可能となっている。
【0020】
図6は無効領域拡張部10により拡張された無効領域の分布の一例を示したものである。図6において、「0」は無効領域を示す画素、「1」は有効領域を示す画素であり、左側は無効領域拡張部10に入力される画像、右側は無効領域拡張部10から出力される画像のそれぞれの無効領域の分布を示している。この例のように、上下左右及び斜め方向のいずれかに隣接する画素が0レベルとなっている画素は、その画素も0レベルとして出力される。
【0021】
このようにして拡張された無効領域の分布は、セレクタ21のB端子とS端子に入力され、このB端子に入力される信号とA端子に入力される画像信号のいずれか一方がセレクタ21により選択されてIHb算出部5へ出力される。画像の全領域のうち、無効領域と判別された画素はB端子の入力、すなわち0レベルの信号が出力され、有効領域と判別された画素はA端子の入力、すなわち入力された画像信号が出力される。ここで、メモリ22は、無効領域を拡張するための演算にかかる時間だけ、入力画像信号を遅らせる機能を有している。
【0022】
以上のように、IHb量の算出を行う際に、ハレーション部や暗部などの正確な演算データが得られない部分を無効領域として除去し、さらにこの無効領域を周辺の画素まで拡張して設定し直すことで、画像処理時に正確な演算結果が得られない部分の画像データを適切に除去でき、ハレーション部等の周辺に発生した色ズレなどの影響を除去することが可能となり、より正確な演算データを得ることができる。
【0023】
また、本実施形態ではハレーション部等の不良部分周辺のデータを広めに除去するようにしているため、従来ハレーション部周辺で発生していたアーティファクトによる色変化が少なくなり、病変部による変化と見誤るようなおそれもなくすことができる。また、無効領域として除去された辺縁部が平滑化されたようになるため、従来の処理結果のようにギザギザの辺縁になることがなく、この結果、除去された部分周辺でのアーティファクトが少なくなるため、観察の行いやすい画像を提供することが可能である。
【0024】
なお、本実施形態では、無効領域とみなす信号レベルを拡張して不良部分周辺のアーティファクトを除去するようにした場合と異なり、ハレーション部や暗部周辺ではない正常な部分まで無効領域としてしまうことがないため、観察者が観察したい部分の領域を誤って無効領域としてしまう不具合を防止できる。
【0025】
図7は本発明の第2の実施形態に係る無効領域除去部の構成を示すブロック図である。第2の実施形態では、図1の画像処理装置における無効領域除去部の構成を変更した例を示す。無効領域除去部30は、内視鏡用画像処理装置に設けられ、第1の実施形態とは異なる方法で入力画像からハレーション部や暗部などの無効領域を除去するものである。画像処理装置の基本的な構成及び動作は第1の実施形態と同様であるため説明を省略する。
【0026】
無効領域除去部30は、入力画像信号を記憶するビデオRAM(VRAM)24と、各部の制御を行うCPU25と、セレクタ27のB端子及びS端子へのデータ出力を制御するI/Oポート26と、出力する画像信号を選択するセレクタ27と、逆ガンマ補正部3から無効領域除去部30に入力された画像信号を格納するメモリ28と、VRAM24,CPU25,I/Oポート26を接続するバス29とを有して構成されている。
【0027】
無効領域除去部30に入力された画像信号は、VRAM24とメモリ28とに入力される。VRAM24に取り込まれた入力画像信号は、CPU25によって、ハレーション部や暗部などの正確な演算データが得られない領域であるか否かを信号レベルなどによって判別され、有効領域である画素のデータは「1」、無効領域である画素のデータは「0」に書き換えられる。
【0028】
次にCPU25は、3×3のマスク処理によって、3×3の領域内、すなわち中心画素に隣接している画素に「0」のデータが存在する場合は、その中心画素のデータも「0」に書き換えることで無効領域の拡張を行う。このようにして得られる無効領域のデータの分布は、第1の実施形態で説明した図6と同様である。なお、3×3のマスク処理に限らず、5×5またはそれ以上の領域でマスク処理を行っても良い。
【0029】
このようにして拡張された無効領域の分布は、VRAM24より画素ごとに順次読み出され、I/Oポート26を介してセレクタ27のB端子とS端子に入力される。一方、セレクタ27のA端子には、メモリ28から画像信号が入力される。セレクタ27は、S端子に入力された値に基づいて、出力する信号としてB端子の入力信号とA端子の入力信号のいずれか一方を選択し、IHb算出部5へ出力する。すなわち、「0」がS端子に入力されるとB端子に入力される信号を、「1」がS端子に入力されるとA端子に入力される信号を出力する。従って、画像の全領域のうち、有効領域と判別された画素はA端子に入力される画像信号が出力され、無効領域と判別された画素はB端子に入力される0レベルの信号が出力される。
【0030】
ここで、メモリ28は、CPU25による無効領域の検出、及び無効領域の拡張にかかる時間だけ、入力画像信号を遅らせる機能を有している。なお、上記の無効領域の検出及び拡張処理を映像信号の帰線期間内に行えば、動画での処理が可能である。
【0031】
上記の構成によって、無効領域が除去された画像信号がIHb算出部5に出力される。
【0032】
以上のように、第2の実施形態の構成においても第1の実施形態と同様の作用効果が得られ、IHb量を算出して疑似カラー表示を行う際に、面順次式の内視鏡装置で得られた画像を処理するような場合であっても、ハレーション部等の周辺に発生した色ズレなどの影響を除去することができ、より正確な演算データを得ることが可能となる。
【0033】
[付記]
(1) 入力された画像信号に所定の処理を施す画像処理装置において、
前記画像信号の信号レベルに基づき、該画像信号における非処理部分を特定する非処理部分特定手段と、
前記非処理部分特定手段の特定情報に基づき、前記画像信号における非処理部分を所定領域だけ拡張する非処理部分拡張手段と、
前記非処理部分拡張手段によって非処理部分が拡張設定された画像信号に基づき画像処理する画像処理手段と、
を具備したことを特徴とする画像処理装置。
【0034】
(2) 入力された画像信号の信号レベルに基づき、演算処理に不適切な無効画像領域を検出する無効領域検出手段と、
前記無効領域検出手段で検出された無効画像領域情報に基づき、無効画像領域を所定領域だけ拡張して設定する無効領域拡張手段と、
前記無効領域拡張手段によって拡張された無効画像領域に基づき、前記画像信号に対し画像処理のための演算処理を施す演算手段と、
を具備したことを特徴とする画像処理装置。
【0035】
(3) 前記非処理部分特定手段は、前記画像信号におけるハレーション部と暗部とを非処理部分として検出を行うことを特徴とする付記1に記載の画像処理装置。
【0036】
(4) 前記非処理部分拡張手段は、前記非処理部分特定手段の特定情報に基づき、前記画像信号における隣接する画素が非処理部分であることを検出して非処理部分の拡張を行うことを特徴とする付記1に記載の画像処理装置。
【0037】
(5) 前記非処理部分拡張手段は、前記非処理部分特定手段の特定情報に基づき、前記画像信号における隣接する画素に非処理部分がある場合にその画素も非処理部分として拡張設定することを特徴とする付記1に記載の画像処理装置。
【0038】
【発明の効果】
以上説明したように本発明によれば、画像処理時に正確な演算結果が得られない部分の画像データを確実かつ適切に除去して画像処理によるアーティファクトの発生を防止でき、かつ観察者が観察したい所望部分の画像データの欠落を防ぎ、処理後の画像を正しく認識できるようにすることが可能となる効果がある。
【図面の簡単な説明】
【図1】本発明の実施形態に係る画像処理装置の構成を示すブロック図
【図2】IHb算出部の構成例を示すブロック図
【図3】IHb量に対応する色付けの設定例を示す説明図
【図4】第1の実施形態に係る無効領域除去部の構成を示すブロック図
【図5】図4中の無効領域拡張部の構成を示すブロック図
【図6】処理画像における拡張された無効領域の分布の一例を示す作用説明図
【図7】第2の実施形態に係る無効領域除去部の構成を示すブロック図
【符号の説明】
1…画像処理装置
3…逆ガンマ補正部
4…無効領域除去部
5…IHb算出部
6…疑似カラー割当部
7…ガンマ補正部
9…無効領域検出部
10…無効領域拡張部

Claims (3)

  1. 力画像信号に所定の処理を施す画像処理装置において、
    前記画像信号のレベルに基づき、該画像信号における非処理部分を特定する非処理部分特定手段と、
    前記非処理部分特定手段の特定情報に基づき、前記画像信号における非処理部分を所定領域だけ拡張する非処理部分拡張手段と、
    前記非処理部分拡張手段による信号が入力されるセレクタと
    前記入力画像信号を格納し、前記非処理部分拡張手段による演算にかかる時間だけ前記入力画像信号を遅らせて前記セレクタに信号を伝達するメモリ部と
    前記セレクタによって選択される前記入力画像信号及び前記非処理部分拡張手段による信号に基づき画像処理する画像処理手段と、
    を有することを特徴とする画像処理装置。
  2. 前記画像処理手段は、前記セレクタからの信号に基づいて、IHb量を算出する演算を行うことを特徴とする請求項1記載の画像処理装置
  3. 前記IHb量に基づき、疑似カラー表示する色を設定する疑似カラー割当部を有することを特徴とする請求項2記載の画像処理装置
JP00668397A 1997-01-17 1997-01-17 画像処理装置 Expired - Fee Related JP3689212B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP00668397A JP3689212B2 (ja) 1997-01-17 1997-01-17 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00668397A JP3689212B2 (ja) 1997-01-17 1997-01-17 画像処理装置

Publications (2)

Publication Number Publication Date
JPH10210454A JPH10210454A (ja) 1998-08-07
JP3689212B2 true JP3689212B2 (ja) 2005-08-31

Family

ID=11645170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00668397A Expired - Fee Related JP3689212B2 (ja) 1997-01-17 1997-01-17 画像処理装置

Country Status (1)

Country Link
JP (1) JP3689212B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4823725B2 (ja) 2006-03-15 2011-11-24 オリンパスメディカルシステムズ株式会社 医療用画像処理装置
JP4799248B2 (ja) * 2006-03-31 2011-10-26 富士フイルム株式会社 画像処理装置
JP6053138B2 (ja) 2013-01-24 2016-12-27 株式会社日立エルジーデータストレージ 光断層観察装置及び光断層観察方法
WO2018105062A1 (ja) * 2016-12-07 2018-06-14 オリンパス株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JPH10210454A (ja) 1998-08-07

Similar Documents

Publication Publication Date Title
JP4154847B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
EP1748656A1 (en) Image processing apparatus, image processing method, and computer program
JP5389380B2 (ja) 信号処理システム及び信号処理プログラム
JP2007060457A (ja) 画像信号処理装置および画像信号処理方法
US9185265B2 (en) Image processing method and image processing apparatus for performing a tone correction to acquire a combined image
JP4274590B2 (ja) 画像処理装置
KR100380201B1 (ko) 디지털 픽셀 출력 신호 처리 방법 및 장치
EP1650980A2 (en) Electronic endoscope apparatus
JP2005056374A (ja) 映像処理におけるエッジ強調のための装置および方法
US20050073596A1 (en) Noise removal method, storage medium having stored therein noise removal processing program and noise removing apparatus
JP3689212B2 (ja) 画像処理装置
JP2012152284A (ja) 画像処理装置、電子内視鏡用プロセッサ装置、画像処理方法
EP0891080B1 (en) Method for processing a sequence of radiological images of an object
JPH01138876A (ja) カラー画像処理装置
CN114902659A (zh) 图像处理装置和图像处理方法
JP2929983B2 (ja) カラー画像処理装置
JP2004005424A (ja) 画像信号のノイズを低減する信号処理装置、信号処理プログラムおよび信号処理方法
JP3066919B2 (ja) 画像処理方法及びこれを用いたシステム
JP2001078235A (ja) 画像評価方法および画像評価装置
JPH01138877A (ja) カラー画像解析装置
JP3193416B2 (ja) 色ズレ検出装置
JP4801626B2 (ja) 輪郭強調装置
JPH0669438B2 (ja) 内視鏡装置
JP2933626B2 (ja) 内視鏡画像処理装置
JPH04314181A (ja) 内視鏡画像の処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050610

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090617

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090617

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100617

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110617

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120617

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120617

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130617

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees