JP3601391B2 - 輪郭補正装置および輪郭補正方法 - Google Patents

輪郭補正装置および輪郭補正方法 Download PDF

Info

Publication number
JP3601391B2
JP3601391B2 JP36984099A JP36984099A JP3601391B2 JP 3601391 B2 JP3601391 B2 JP 3601391B2 JP 36984099 A JP36984099 A JP 36984099A JP 36984099 A JP36984099 A JP 36984099A JP 3601391 B2 JP3601391 B2 JP 3601391B2
Authority
JP
Japan
Prior art keywords
value
pixel
bpf
output
contour correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP36984099A
Other languages
English (en)
Other versions
JP2001186352A (ja
Inventor
文紀 渋谷
靖利 山本
敬三 石黒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP36984099A priority Critical patent/JP3601391B2/ja
Publication of JP2001186352A publication Critical patent/JP2001186352A/ja
Application granted granted Critical
Publication of JP3601391B2 publication Critical patent/JP3601391B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は電子映像の輪郭を強調する輪郭補正装置及び輪郭補正方法に関するものである。
【0002】
【従来の技術】
近年、電子スチルカメラやムービーのようなカメラは高い解像度の画像を提供することが要求されており、解像度が高くなるように映像の輪郭を強調している。
【0003】
従来の輪郭補正装置としては、例えば特開平8−181909号公報に示されている。
【0004】
以下に、この従来の輪郭補正装置について説明する。
【0005】
図8は、この従来の輪郭補正装置のブロック図を示すものである。図8において、80は映像の輝度信号を抽出する色変調分トラップ回路であり、81、82、89、810はアパーチャ選択回路であり、83、84、85はそれぞれ輪郭強調の周波数帯の異なる第1、第2、第3の水平アパーチャ回路であり、86、87、88はそれぞれ輪郭強調の周波数帯の異なる第1、第2、第3の垂直アパーチャ回路であり、811は水平アパーチャ信号と垂直アパーチャ信号と輝度信号を加算する加算器である。
【0006】
以上のように構成された輪郭補正装置について、以下その動作について説明する。
【0007】
従来の輪郭補正装置は、光学絞りの開口値に応じて輪郭強調の強度を変え、光学絞りが小絞り時には、第1、第2、第3の水平アパ−チヤ回路83、84、85、および第1、第2、第3の垂直アパ−チヤ回路86、87、88を帯域切替え信号によりアパーチャ選択回路を操作して輪郭強調の周波数帯域を高い周波数とするように選択するように動作する。
この構成により、絞り値によって解像度が低下せず被写体を高解像度で撮像し得る撮像装置を提供する。
【0008】
【発明が解決しようとする課題】
しかしながら上記の従来の構成では、光学絞りの変化時に、第1、第2、第3の水平アパ−チヤ回路83、84、85、および第1、第2、第3の垂直アパ−チヤ回路86、87、88の切替えが生じ、アパーチャの帯域の変化が不連続になり見た目に違和感がある。また、光学絞りが小絞り時以外のときは輪郭強調の周波数帯域は低い周波数とするため高い解像度の画像が得られないという問題点を有していた。
【0009】
本発明は、上記従来の問題点を解決するもので、光学絞りの絞り状態に関わらず高い解像度を実現する輪郭補正装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
この目的を達成するために本発明の輪郭補正装置は入力される任意の画素(これを画素Aとする)と、画素Aに対して1画素前の画素(これを画素Bとする)と、画素Aに対して2画素前の画素(これを画素Cとする)について、画素B−(画素A+画素C)/2を演算する(演算結果を値Aとする)第1のBPFと、前記第1のBPFから出力される値Aと、値Aに対して1画素前に前記第1の演算手段から出力された値(これを値Bとする)と、値Aに対して2画素前に前記第1の演算手段から出力された値(これを値Cとする)について、値B−(値A+値C)/2を演算する(演算結果を値aとする)第2のBPFと、前記値Bについて、G1×値B(G1は任意の正の数)を演算する(演算結果を値αとする)第1の演算手段と、前記値aについて、G2×値a(G2は任意の正の数)を演算する(演算結果を値βとする)第2の演算手段と、前記値αと前記値βの絶対値を比較し、|値α|<|値β|ならば値αを出力し、|値α|≧|値β|ならば値βを出力する選択手段を有している。
【0011】
本発明は上記した構成により、入力される映像の輝度信号から映像信号の持つ帯域の高域成分を抽出し映像信号に加えることで、映像信号の帯域の高域部分のコントラストを上げ、高い解像度の映像を実現し、前記G1、前記G2を連続的に変化させることで連続的に輪郭強調の周波数帯域と強調の強弱を変えることができる。
【0012】
【発明の実施の形態】
以下、本発明の一実施形態に係る輪郭補正装置について、図面を参照しながら説明する。
【0013】
(実施の形態1)
図1は本発明の第1の実施の形態における輪郭補正装置のブロック図を示すものである。図1においてs10は順次1画素づつ入力される映像信号であり、10は映像信号s10の変化点を検出しs11として出力するするBPF(Band Pass Filter)であり、11は映像信号s10の変化点s11の変化点を検出しs12として出力するするBPFであり、12は信号s11を1画素分遅延させる遅延素子であり、13は映像信号s10を2画素分遅延させる遅延素子であり、14は遅延素子12で1画素遅延した信号s13をG1倍するゲイン調整手段であり、15は信号s12をG2倍するゲイン調整手段であり、16はゲイン調整手段14、15から出力される信号s14、s15のうち振幅の絶対値の小さい方の信号を選択しs16として出力する小振幅信号セレクタであり、17は遅延素子13により2画素遅延した映像信号s17と前記s16を加算する加算器である。
【0014】
以上のように構成された本実施例の輪郭補正装置について、以下その動作について説明する。
BPF10は映像信号s10の任意の画素Aとその1画素前の画素Bと更に1画素前の画素Cについて(数1)の演算をおこない、映像信号s10の輪郭信号として出力する。
【0015】
【数1】
Figure 0003601391
【0016】
BPF11はs11と、その1画素前に演算されたs11(aとする)と、更に1画素前に演算されたs11(bとする)について(数2)の演算をおこない、映像信号s10の輪郭信号として出力する。
【0017】
【数2】
Figure 0003601391
【0018】
ゲイン調整手段14、15はs11を1画素遅延させた信号s13とs12についてそれぞれG1、G2倍(G1、G2は任意の正の数)してそれぞれs14、s15として出力し、小振幅信号セレクタ16は前記s14、s15の絶対値を比較し、
|s14|<|s15|ならばs14を、
|s14|≧|s15|ならばs15をそれぞれs16として出力する。
s16は加算機17により2画素遅延した映像信号s17と加算され輪郭を強調した映像信号s18として出力される。
【0019】
図2は図1におけるBPF10とBPF11の構成を表すブロック図である。BPF10とBPF11は同じ構成となっており、図2中20、21は信号を1画素分遅延させる遅延素子であり、22は加算器であり、23は信号の値を1/2する演算素子であり、24は減算器である。
【0020】
以上のように構成された本実施の形態のBPF10、BPF11について、BPF10を例に以下その動作について説明する。
入力信号s10は遅延素子20、21により2画素分遅延した信号s21と加算器22により加算されs22として出力されるs22は演算素子23によって1/2されs23として出力される。減算器24は遅延素子20によって1画素分遅延した入力信号s20から前記s23を減算しBPF10の出力信号s11としている。
(数1)と比較すると、(数1)におけるA、B、Cはそれぞれs10、s20、、s21に相当する。
【0021】
図3(a)、図3(b)、図3(c)、図3(d)はそれぞれ上記s10、s11、s12、s16を表す信号波形であり、横軸がそれぞれ時間を表し、縦軸が信号の振幅を表している。
この図を用いて本実施の形態をもう少し詳しく説明する。
【0022】
入力される映像信号s10が図3(a)のような波形の信号である場合、BPF10の出力信号s11は(数1)の演算により図3(b)のようにs10のエッジ部分(不連続点)を抽出した波形となる。すると、BPF12の出力信号s12は(式2)の演算により図3(c)のようにs11のエッジ部分を抽出した波形となる。
ここで、図3(c)の○部分は映像信号s10の輪郭補正信号成分となりうるが、それ以外の部分はs10の輪郭補正信号のリンギング成分となり映像信号s10にとってはノイズになってしまう。小振幅信号セレクタ16はs13、s12をそれぞれ G1、G2倍した信号の絶対値の小さい方の信号を選択して出力することでG2倍したs12のリンギング成分を削除して輪郭補正信号成分のみを出力することができる(図3(d))。
【0023】
図4(a)は前記s11とs12の信号の帯域を示し、図4(b)は映像信号s10とs10+s11、s10+s16の信号の帯域を示しており、横軸がそれぞれ周波数を表し、縦軸が信号の振幅を表している。
図4(a)に示すように、s11に比べs12は信号の振幅のピーク周波数は一緒だが、振幅は小さくなっている。よって、s12を映像信号s10に加えた信号はs11を映像信号s10に加えた信号に比べ、中低域が抑えられ、相対的に高域の振幅が大きくなる。このとき、s12は前述したようにリンギング成分を有していることから小振幅信号セレクタ16によってリンギング成分を除去した信号s16を映像信号に加えることで、ノイズを抑えて映像信号の帯域の高域の振幅を上げ、解像度の高い映像信号を得ることができる。
【0024】
(実施の形態2)
図5は本発明の第2の実施の形態を示す輪郭補正装置のブロック図である。
同図において、10、11、14、15、16、17は図1の構成と同様なものであるのでここでの説明は省略する。図1と異なるのは50のBPFと、51の遅延素子と、52の遅延素子を設けた点であり、以下その動作について説明する。
BPF50はs12と、その1画素前に演算されたs12(dとする)と、更に1画素前に演算されたs12(eとする)について(数3)の演算をおこない、映像信号s10の輪郭信号として出力する。
【0025】
【数3】
Figure 0003601391
【0026】
遅延素子51は信号s11を2画素分遅延させる遅延素子であり、52は映像信号s10を3画素分遅延させる遅延素子である。
本実施の形態の構成により、ゲイン調整手段14、15はs11を2画素遅延させた信号s51とBPF50から出力されるs50についてそれぞれG1、G2倍(G1、G2は任意の正の数)してそれぞれs14、s15として出力し、小振幅信号セレクタ16は前記s14、s15の絶対値を比較し、
|s14|<|s15|ならばs14を、
|s14|≧|s15|ならばs15をそれぞれs16として出力する。
s16は加算機17により3画素遅延した映像信号s52と加算され輪郭を強調した映像信号s18として出力される。
また、BPF50はBPF10、BPF11と同様に図2に示された構成である。
図6(a)、図6(b)、図6(c)、図7(d)はそれぞれs10、s11、s12、s50を表す信号波形であり、横軸がそれぞれ時間を表し、縦軸が信号の振幅を表している。
この図を用いて本実施の形態をもう少し詳しく説明する。
【0027】
図6(a)、図6(b)、図6(c)はそれぞれ図3(a)、図3(b)、図3(c)と同様なのでここでの説明は省略する。
図6(d)は前記BPF11の信号s12を入力信号として(数3)の演算によりs12のエッジ部分を抽出した波形である。
ここで、図6(d)の○部分は映像信号s10の輪郭補正信号成分となりるが、それ以外の部分はs10の輪郭補正信号のリンギング成分となり映像信号s10にとってはノイズになってしまう。小振幅信号セレクタ16はs51、s50をそれぞれ G1、G2倍した信号の絶対値の小さい方の信号を選択して出力することでG2倍したs50のリンギング成分を削除して輪郭補正信号成分のみを出力することができる(図6(e))。
【0028】
図7(a)は前記s11とs12とs50の信号の帯域を示し、図7(b)は映像信号s10とs10+s11、s10+s12、s10+s16の信号の帯域を示しており、横軸がそれぞれ周波数を表し、縦軸が信号の振幅を表している。
【0029】
図7(a)に示すように、s11、s12に比べs50は信号の振幅のピーク周波数は一緒だが、振幅は小さくなっている。よって、s50を映像信号s10に加えた信号はs11やs12を映像信号s10に加えた信号に比べ、中低域が抑えられ、相対的に高域の振幅が大きくなる。このとき、s50は前述したようにリンギング成分を有していることから小振幅信号セレクタ16によってリンギング成分を除去した信号s16を映像信号に加えることで、ノイズを抑えて映像信号の帯域の高域の振幅を上げ、解像度の高い映像信号を得ることができる。
【0030】
なお以上の実施の形態では、第1の演算手段および第2の演算手段におけるG1、G2は固定として説明したが、輝度信号をパラメータとする制御手段により最適な値に動的に変化させても良い。
【0031】
また本実施の形態では、演算回路を用いてハード的に実施する例を用いて説明したが、同様の演算を内蔵マイコン等のソフトウェアで実施することも可能であり、またCD−ROM等の記録媒体から供給されたプログラムで高速のCPUで演算実行することも可能である。
【0032】
【発明の効果】
以上のように本発明は、入力される任意の画素(これを画素Aとする)と、画素Aに対して1画素前の画素(これを画素Bとする)と、画素Aに対して2画素前の画素(これを画素Cとする)について、画素B−(画素A+画素C)/2を演算する(演算結果を値Aとする)演算素子1と、前記演算素子1から出力される値Aと、値Aに対して1画素前に前記演算素子1から出力された値(これを値Bとする)と、値Aに対して2画素前に前記演算素子1から出力された値(これを値Cとする)について、値B−(値A+値C)/2を演算する(演算結果を値aとする)演算素子2と、前記値Bについて、G1×値B(G1は任意の正の数)を演算する(演算結果を値αとする)演算素子3と、前記値aについて、G2×値a(G2は任意の正の数)を演算する(演算結果を値βとする)演算素子4と、前記値αと前記値βの絶対値を比較し、|値α|<|値β|ならば値αを出力し、|値α|≧|値β|ならば値βを出力するセレクタを備え、前記セレクタから出力された値を前記画素Cに対する輪郭補正信号として前記画素Cに加算することにより、相対的に映像信号の高域部分のコントラストを上げ、高い解像度の映像を実現し、前記G1、G2を連続的に変化させることで連続的に輪郭強調の周波数帯域を変えることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態における輪郭補正装置のブロック図
【図2】本発明の第1、第2の実施形態におけるBPF10、BPF11、BPF50のブロック図
【図3】本発明の第1の実施形態における信号の波形図
【図4】本発明の第1の実施形態における信号の帯域波形図
【図5】本発明の第2の実施形態における輪郭補正装置のブロック図
【図6】本発明の第2の実施形態における信号の波形図
【図7】本発明の第2の実施形態における信号の帯域波形図
【図8】従来の輪郭補正装置のブロック図
【符号の説明】
10 第1のBPF
11 第2のBPF
12 遅延素子
13 遅延素子
14 演算素子
15 演算素子
16 小振幅信号セレクタ
17 加算器

Claims (7)

  1. 映像の輝度信号が順々に1画素づつ入力される輪郭補正装置において、
    入力される輝度信号の変化点を抽出する(抽出結果を値Aとする)第1のBPFと、
    前記値Aの変化点を抽出する(抽出結果を値aとする)第2のBPFと、
    前記値AについてG1×値A(G1は任意の正の数)を演算する(演算結果を値αとする)第1の演算手段と、
    前記値aについて、G2×値a(G2は任意の正の数)を演算する(演算結果を値βとする)第2の演算手段と、
    前記値αと前記値βの絶対値を比較し、|値α|<|値β|ならば値αを出力し、|値α|≧|値β|ならば値βを出力する選択手段と、
    前記選択手段から出力された値を輪郭補正信号として前記入力される輝度信号に前記第1のBPFと前記第2のBPFで生じた遅延を補償する加算手段と
    を備えることを特徴とする輪郭補正装置。
  2. 映像の輝度信号が順々に1画素づつ入力される輪郭補正装置において、
    入力される輝度信号の変化点を抽出する(抽出結果を値Aとする)第1のBPFと、
    前記値Aの変化点を抽出する(抽出結果を値aとする)第2のBPFと、
    前記値aの変化点を抽出する(抽出結果を値xとする)第3のBPFと、
    前記Aについて、G1×値A(G1は任意の正の数)を演算する(演算結果を値αとする)第1の演算手段と、
    前記値xについて、G2×値x(G2は任意の正の数)を演算する(演算結果を値βとする)第2の演算手段と、
    前記値αと前記値βの絶対値を比較し、|値α|<|値β|ならば値αを出力し、|値α|≧|値β|ならば値βを出力する選択手段と、
    前記選択手段から出力された値を輪郭補正信号として前記入力される輝度信号に前記第1のBPFと前記第2のBPFと前記第3のBPFで生じた遅延を補償して加算する加算手段と
    を備えることを特徴とする輪郭補正装置。
  3. 第1のBPFは、入力される任意の画素(これを画素Aとする)と、前記画素Aに対して1画素前に入力された画素(これを画素Bとする)と、前記画素Aに対して1画素後に入力された画素(これを画素Cとする)について、画素A−(画素B+画素C)/2を演算し(演算結果を値Aとする)、
    第2のBPFは、前記第1のBPFから出力される値Aと、値Aに対して1画素前に前記第1のBPFから出力された値(これを値Bとする)と、値Aに対して1画素後に前記第1のBPFから出力された値(これを値Cとする)について、値A−(値B+値C)/2を演算する(演算結果を値aとする)ことを特徴とする請求項1記載の輪郭補正装置。
  4. 第1のBPFは、入力される任意の画素(これを画素Aとする)と、前記画素Aに対して1画素前に入力された画素(これを画素Bとする)と、前記画素Aに対して1画素後に入力された画素(これを画素Cとする)について、画素A−(画素B+画素C)/2を演算し(演算結果を値Aとする)、
    第2のBPFは、前記第1のBPFから出力される値Aと、値Aに対して1画素前に前記第1のBPFから出力された値(これを値Bとする)と、値Aに対して1画素後に前記第1のBPFから出力された値(これを値Cとする)について、値A−(値B+値C)/2を演算し(演算結果を値aとする)、
    第3のBPFは、前記値aに対して1画素前に前記第2のBPFから出力された値(これを値bとする)と、値aに対して1画素後に前記第2のBPFから出力された値(これを値cとする)について、値b−(値a+値c)/2を演算する(演算結果を値xとする)ことを特徴とする請求項2記載の輪郭補正装置。
  5. 入力される輝度信号をパラメータとして、第1の演算手段および第2の演算手段におけるG1、G2の値を変化させる制御手段を備えることを特徴とする請求項1から請求項4のいずれかに記載の輪郭補正装置。
  6. 映像の輝度信号を順々に1画素づつ入力して輪郭補正する輪郭補正方法であって、
    入力される輝度信号の変化点を抽出し(抽出結果を値Aとする)、
    前記値Aの変化点を抽出し(抽出結果を値aとする)、
    前記値AについてG1×値A(G1は任意の正の数)を演算し(演算結果を値αとする)、
    前記値aについてG2×値a(G2は任意の正の数)を演算し(演算結果を値βとする)、
    前記値αと前記値βの絶対値を比較し、|値α|<|値β|ならば値αを出力し、|値α|≧|値β|ならば値βを出力し(出力結果を値Cとする)、
    前記値Cを輪郭補正信号として、前記入力される輝度信号に、前記輝度信号の変化点を抽出する工程で生じた遅延時間を補償して加算することを特徴とする輪郭補正方法。
  7. 映像の輝度信号を順々に1画素づつ入力して輪郭補正する輪郭補正プログラムを記録した記録媒体であって、
    入力される輝度信号の変化点を抽出し(抽出結果を値Aとする)、
    前記値Aの変化点を抽出し(抽出結果を値aとする)、
    前記値AについてG1×値A(G1は任意の正の数)を演算し(演算結果を値αとする)、
    前記値aについてG2×値a(G2は任意の正の数)を演算し(演算結果を値βとする)、
    前記値αと前記値βの絶対値を比較し、|値α|<|値β|ならば値αを出力し、|値α|≧|値β|ならば値βを出力し(出力結果を値Cとする)、
    前記値Cを輪郭補正信号として、前記入力される輝度信号に、前記輝度信号の変化点を抽出する工程で生じた遅延時間を補償して加算することを特徴とする輪郭補正プログラムを記録した記録媒体。
JP36984099A 1999-12-27 1999-12-27 輪郭補正装置および輪郭補正方法 Expired - Fee Related JP3601391B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP36984099A JP3601391B2 (ja) 1999-12-27 1999-12-27 輪郭補正装置および輪郭補正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36984099A JP3601391B2 (ja) 1999-12-27 1999-12-27 輪郭補正装置および輪郭補正方法

Publications (2)

Publication Number Publication Date
JP2001186352A JP2001186352A (ja) 2001-07-06
JP3601391B2 true JP3601391B2 (ja) 2004-12-15

Family

ID=18495445

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36984099A Expired - Fee Related JP3601391B2 (ja) 1999-12-27 1999-12-27 輪郭補正装置および輪郭補正方法

Country Status (1)

Country Link
JP (1) JP3601391B2 (ja)

Also Published As

Publication number Publication date
JP2001186352A (ja) 2001-07-06

Similar Documents

Publication Publication Date Title
JP4869653B2 (ja) 画像処理装置
WO2006040960A1 (ja) 画像処理装置および画像処理プログラム
JP2009176325A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JPH0944654A (ja) 画像処理装置、画像処理方法、ノイズ除去装置及びノイズ除去方法
US8625893B2 (en) Image processing device and image processing method
JP2001157085A (ja) 輪郭補正装置
JP2004363853A (ja) 画像信号のノイズ低減方法及びノイズ低減装置
KR100444997B1 (ko) 윤곽 보정 방법 및 이에 적합한 장치
JP3734430B2 (ja) 輪郭補正回路
JP4463400B2 (ja) 輝度信号エンハンサ
JP4768510B2 (ja) 画質改善装置および画質改善方法
JPH11313336A (ja) 信号処理装置および撮像用信号処理方法
JPH0445686A (ja) カラー撮像装置
JP3601391B2 (ja) 輪郭補正装置および輪郭補正方法
JP4190221B2 (ja) 画像輪郭強調装置
JP2004172726A (ja) 画像処理装置および方法
KR100866492B1 (ko) 에지 향상 기능을 갖는 노이즈 저감 장치 및 방법
JP3106831B2 (ja) 映像信号処理装置
JP2000156872A (ja) 画像処理装置及び画像処理方法
JP3872943B2 (ja) 輪郭補正装置、輪郭補正方法、及び輪郭補正プログラム記録媒体
JP2004140624A (ja) 画像データ補正装置および方法
JP4478258B2 (ja) 画像処理装置
JPH11164309A (ja) 画像信号処理方法及び電子カメラ
JP2001148474A (ja) 固体撮像素子
JPH0662278A (ja) 映像信号処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040913

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081001

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091001

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101001

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees