JP3264547B2 - マイクロフィルムリーダおよびその画像読取り方法 - Google Patents

マイクロフィルムリーダおよびその画像読取り方法

Info

Publication number
JP3264547B2
JP3264547B2 JP05458293A JP5458293A JP3264547B2 JP 3264547 B2 JP3264547 B2 JP 3264547B2 JP 05458293 A JP05458293 A JP 05458293A JP 5458293 A JP5458293 A JP 5458293A JP 3264547 B2 JP3264547 B2 JP 3264547B2
Authority
JP
Japan
Prior art keywords
image
black frame
inclination
detecting
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05458293A
Other languages
English (en)
Other versions
JPH06250286A (ja
Inventor
隆裕 秀島
宗治 大野
潮 穴山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP05458293A priority Critical patent/JP3264547B2/ja
Publication of JPH06250286A publication Critical patent/JPH06250286A/ja
Application granted granted Critical
Publication of JP3264547B2 publication Critical patent/JP3264547B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Facsimile Scanning Arrangements (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ネガのマイクロフィル
ムにおいて原稿画像の周囲に生じる黒枠を検出して画像
の傾きを検出し、この傾きを修正するようにしたマイク
ロフィルムリーダの画像読取り方法と、この方法の実施
に直接使用するマイクロフィルムリーダとに関するもの
である。
【0002】
【従来の技術】ネガのマイクロフィルムでは原稿の画像
の外側を囲むように透明な画像無しの部分ができる。こ
のマイクロフィルムから原稿の画像をプリント出力する
場合、原稿の全範囲が出力範囲から外れないように原稿
よりも大きい範囲を出力する必要がある。
【0003】図5はマイクロフィルムとプリント出力と
の関係を示すものである。マイクロフィルム10には一
定寸法の原稿の画像12、14がネガの像として記録さ
れている。プリント出力される範囲16は決まっている
から、この範囲16をプリント出力すると、プリント用
紙18、20には画像12、14のプリント像12A、
14Aの外側に黒枠22、24が発生する。
【0004】この黒枠22、24を自動判別してマスキ
ングする方法が従来より提案されている。その1つの方
法は、一定間隔(例えば1mm)ごとに読取った走査ライ
ン26上の画像をラインセンサで読取った時に、画像信
号が連続して一定数N(例えば224)個の画素を出力
すれば黒枠22、24と判定するものである。なおこの
一定数N=224は例えば原稿上で14mmに対応する
長さである。
【0005】この方法は図5に(A)で示すように、走
査ライン26上の画素の分布が白画素から黒画素に変っ
た座標Xから、黒画素がN個連続している座標xを検出
し、この座標xからN画素数分遡った座標X=x−Nを
黒枠と判定するものである。そして一定間隔(例えば1
mm間隔)ごとのn、n+1、n+2、…番目の走査ライ
ン26に対して順に黒枠の座標Xn 、Xn+1 、Xn+2
…を同様に求め、各座標Xn 、Xn+1 、…をつなぐ黒枠
範囲すなわちマスキング範囲を求めるものである。
【0006】一方実際のマイクロフィルム10では図5
に示す画像14のように傾いて記録されていることが多
い。この場合にはこの画像14の投影画像あるいはプリ
ント画像14Aは傾いてしまうことになる。そこで従来
はラインセンサなどで読取った画像1枚分をメモリに記
録し、この記録した画像をマイクロコンピュータにより
像回転処理を行って、回転して出力していた。また光学
系に像回転用のプリズムを設け、像を回転させて傾きを
修正していた。
【0007】
【従来技術の問題点】しかしメモリに記録した画像をコ
ンピュータを使った画像処理により回転させるもので
は、画像1枚分のデータを記録する大容量のメモリ(画
像メモリ)が必要になるばかりでなく、像回転処理専用
のICなども必要になる。
【0008】また像回転用のプリズムで像回転を行うも
のでは、画像の傾きを検出するために画像1枚分のデー
タをメモリ(画像メモリ)に記録し、コンピュータ処理
により傾きを求めていた。このため前記のコンピュータ
により像回転を行うものと同様に大容量のメモリが必要
になる。
【0009】
【発明の目的】本発明はこのような事情に鑑みなされた
ものであり、大容量の画像メモリや像回転用ICなどが
不要になり、構成を単純化できるようにしたマイクロフ
ィルムリーダの画像読取り方法を提供することを目的と
する。またこの方法の実施に直接用いるマイクロフィル
ムリーダを提供することを他の目的とする。
【0010】
【発明の構成】本発明によればこの目的は、像回転プリ
ズムを介して投影した投影画像の傾きを検出し傾きを
して画像を読取る方法において、1回目のスキャンに
より画像読取の走査ライン間隔より広い一定間隔ごとに
設定した黒枠検出用走査ラインが検出する黒枠の座標
ほぼ通る直線から画像の傾きを検出し、この検出した傾
きをほぼ0にするように前記像回転プリズムにより画像
を回転した後、2回目のスキャンにより求めた黒枠検出
用走査ラインにより黒枠を検出して黒枠範囲を決定し、
この黒枠範囲をマスキングしつつ3回目のスキャンを行
って画像を読取ることを特徴とするマイクロフィルムリ
ーダの画像読取り方法により達成される。すなわち、黒
枠を検出する黒枠検出手段を備えている場合に、この黒
枠検出手段を利用して画像の傾きを求め、光学的に画像
を回転させて修正するものである。
【0011】また他の目的は、像回転プリズムを介して
投影した投影画像を主走査方向に読出して2値化して得
た画像信号が示す画素の配列から黒枠範囲を検出するマ
イクロフィルムリーダにおいて、マイクロフィルムの画
像を読取る画像読取りセンサと、画像読取りの走査ライ
ン間隔より広い一定間隔ごとに設定した黒枠検出用走査
ラインの出力信号を2値化する第1の2値化手段と、こ
の第1の2値化手段の出力信号により黒枠を検出する黒
枠検出手段と、この黒枠検出手段によって複数の黒枠検
出用走査ラインから検出された黒枠の座標をほぼ通る直
を用いて投影画像の傾きを求める傾き検出手段と、こ
の求めた傾きをほぼ0にするように前記像回転プリズム
を作動させる傾き制御手段と、傾きを修正した投影画像
から求めた画像信号に対して前記黒枠検出手段により求
めた黒枠範囲をマスキングするマスキング手段と、この
マスキングされた画像信号を出力する出力手段とを備え
ることを特徴とするマイクロフィルムリーダにより達成
される。
【0012】
【実施例】図1は本発明の一実施例の全体構成図、図2
はその動作を示す動作流れ図、図3はヒストグラムを示
す図、図4は画像の傾きの修正過程を説明する図であ
る。
【0013】図1において符号30はマイクロフィルム
であり、2つのリール32、34の一方から他方へ巻取
られて走行する。このフィルム30には光源36の光が
下方から導かれ、このフィルム30の透過光は投影レン
ズ38、像回転プリズム40、反射ミラー42、44、
46を経てスクリーン48に背面から導かれる。像回転
プリズム40はモータ41により光軸回りに回転可能で
ある。このプリズム40の回転によりスクリーン48に
結像される投影画像が回転する。
【0014】スクリーン48の背面には縦長の可動板5
0が水平方向に移動可能に設けられ、この可動板50に
CCDラインセンサ52が取付けられている。従ってこ
のラインセンサ52に入射した画像を読取りながら可動
板50を水平方向に移動させることによりスクリーン4
8の投影を読取ることができる。
【0015】1回目の画像読取り時には、このラインセ
ンサ52の出力信号は、図1に示す切換スイッチ54を
介して第1の2値化手段56およびしきい値検出手段5
8に入力される。2回目の画像読取り時には第2の2値
化手段60に入力される。この切換スイッチ54は、こ
の装置をコンピュータで構成する場合には、これら2値
化手段56、60、しきい値検出手段58のいずれかを
読取り可能とし他を読取り不能状態にすることにより省
くことができるのは勿論であり、この図1では便宜上表
示したにすぎない。
【0016】前記したように黒枠検出のための走査ライ
ン26(図5)は、一定間隔(例えば1mm間隔)ごとに
読取られるから、各走査ライン26の間には画像読取り
密度に対応した他の走査ラインが残っていることにな
る。例えば1mm幅を16本の走査ライン26で読取る場
合には、黒枠検出用走査ライン26の間に、15本の走
査ラインがあることになる。黒枠検出用走査ライン26
以外の走査ライン、あるいは黒枠検出用走査ライン26
を含む全ての走査ラインは、後記するようにしきい値D
THを求めるために用いられる。
【0017】本発明では一定間隔ごとの黒枠検出用走査
ライン26は第1の2値化手段56に入力され、その他
の走査ラインはしきい値検出手段58に入力される。す
なわちラインセンサ52の移動に伴い、黒枠検出用走査
ライン26の画像を読取る時にはしきい値検出手段58
は読込み不能にされ、それ以外の走査ラインに対しては
第1の2値化手段56が読込み不能な状態にされる。
【0018】しきい値検出手段58はヒストグラム作成
手段62と、しきい値演算手段64とを有する。ヒスト
グラム作成手段62は、黒枠検出用走査ライン26以外
の走査ラインを読取ったラインセンサ52の出力信号を
用いて、図3に示す濃度ヒストグラムを作成する。この
ヒストグラムは、各画素の濃度Dに対する画素数の分布
を示すものである。
【0019】ここにヒストグラム作成手段62は、n番
目の黒枠検出用走査ライン26(n)と、その前の(n
−1)番目の黒枠検出用走査ライン26(n−1)との
間にある15本の走査ラインによってヒストグラムを求
める。しきい値演算手段64は、このヒストグラムを用
いて、n番目の黒枠検出用走査ライン26(n)に用い
るしきい値DTH(n)を演算する。
【0020】例えば図3に示すヒストグラムにおいて、
白側の山P1 は、図5における画像12、14の外側の
フィルム10が透明な部分によりできたものである。ま
た黒側の山P2 は画像12、14内の背景によりできた
ものである。従って必要な画像は2つの山P1 とP2
間に分布することになる。しきい値演算手段64は、山
2 の濃度D2 に対して一定割合(例えば70%)の濃
度DTHを2値化のためのしきい値として求め、この結果
をメモリする。
【0021】しきい値検出手段58では、(n−1)番
目とn番目の黒枠検出用走査ライン26(n−1)、2
6(n)の間にある15本の走査ラインにより前記のよ
うにしてしきい値DTH(n)を求める。このしきい値D
TH(n)はその後に読取るn番目の黒枠検出用走査ライ
ン26(n)の黒枠検出に用いられる。なおこの際(n
−1)番目の黒枠検出用走査ライン26(n−1)も含
めてヒストグラムを作ってもよい。
【0022】第1の2値化手段56は、このようにして
しきい値検出手段58で求めたしきい値DTH(n)を用
いてn番目の走査ライン26(n)の読取り出力信号を
2値化する。この2値化した信号は、黒枠検出手段66
に入力され、ここで黒枠が検出されてメモリされる。
【0023】黒枠検出手段66は種々の方法で黒枠2
2、24(図5参照)を検出する。例えば前記したよう
に、画像12の範囲に走査ライン26が入って、連続し
てN個の黒画素が続いたことから黒枠を検出するように
してもよい(図5の(A)参照)。また図5の(B)に
示すように、連続するN(例えば160)画素のうちa
%(例えば30%)が黒画素となることから黒枠の存在
を検出し、この黒画素数がa%になった座標xからNb
画素数分遡った座標X=x−Nbを黒枠と決めてもよ
い。
【0024】この場合Nbで示す画素数は、N画素分の
範囲を(1−b):bの割合に分割する座標までの画素
数を示し、b≒aに設定するのが望ましい。なお以上の
説明は走査が画像12、14の外側から画像12、14
内に入る場合について説明したが、走査が画像12、1
4の内側から外へ出る場合には、以上の説明の画素と白
画素とを逆にすればよい。
【0025】このようにして検出された黒枠の点を結ん
で黒枠範囲が決定され、この黒枠範囲はメモリされる。
このように黒枠範囲が検出されると、次に読取った画像
の傾きθが傾き検出手段68により検出される。例えば
図4に示すように、各走査ライン26(n)が検出した
黒枠点14Bをほぼ通る直線により黒枠の直線14Cを
求め、この直線14Cの傾きθを画像の傾きθとして求
めることができる。各黒枠点14Bが直線14Cに載ら
ない場合には、最小2乗法など種々の方法を用いて直線
14Cを求めればよい。
【0026】画像の傾きθが求まると、次に傾き制御手
段70によりプリズム40のモータ41が制御される。
モータ41は、画像14Aを回転中心P(図4)を中心
にして−θ回転させるようにプリズム40を回転して、
画像の傾きθをゼロとする。
【0027】プリズム40が回転する際には画像の回転
中心Pは必ずしも画像の中心とはならず、またこの回転
中心Pはプリズム40の回転と共に移動することもあ
る。このため傾き修正後の画像の位置は、傾き修正前の
画像の位置や黒枠の位置から予測することが困難であ
る。そこで本発明では画像傾き修正後に再びスキャン
(2回目のスキャン)を行い、再び黒枠としきい値DTH
とを求める。
【0028】以上のように2回目の画像読取りにより、
画像傾きの修正後に黒枠の検出としきい値のDTH(n)
の検出とが行われる。そして3回目の画像読取り時に
は、この求めたしきい値DTH(n)を用いて第2の2値
化手段60において2値化する。すなわちn番目の走査
ライン26(n)付近の画像に対してはしきい値D
TH(n)を用いて2値化し、画像読取り領域に応じてそ
の付近のしきい値DTHを順次メモリから読出して用い
る。
【0029】この2値化した出力信号は画像処理手段7
2に入力される。この画像処理手段72は画像の拡大・
圧縮を行ったり、微分処理によるエッジ強調、細線化処
理、デイザ処理、等の種々の空間フィルタリング処理を
行う。
【0030】このような画像処理が行われた画像信号は
マスキング手段74において黒枠22、24(図5参
照)などの不要な範囲がマスキング処理されて、出力手
段76に出力される。この出力手段76は例えばプリン
タで形成され、画像処理された画像信号からマスキング
範囲を消去してプリント出力する。
【0031】次に図2を用いて動作を説明する。1回目
の画像読取り(スキャン)を行う時には(ステップ10
0)、まず走査ラインの順番mを1に初期化する(ステ
ップ102)。そしてこの順番mが黒枠検出用走査ライ
ン26に一致するか否かを判別する(ステップ10
4)。すなわち黒枠検出用走査ライン26は一定間隔例
えば16本の走査ラインごとに現れるから、mが16の
整数倍16I(ただしIは整数)となる時は黒枠検出用
走査ライン26であり、m≠16Iの走査ラインはヒス
トグラム検出用のものとされる。
【0032】従って最初のm=1から15まではm≠1
6Iなので、m=16(I−1)+1からm=16I−
1までの間の走査ラインによりヒストグラムが求められ
(ステップ106、108、110、112)、しきい
値DTH(1)が演算されてメモリされる(ステップ11
4)。m=16になると1番目の黒枠検出用走査ライン
26(1)であるから、この直前に求めたしきい値DTH
(1)を用いて第1の2値化手段56で2値化され(ス
テップ116)、さらに黒枠が検出されてメモリされる
(ステップ118)。
【0033】以上の動作を繰り返し、1回目の画像読取
りによる処理が画像全体の領域に対して終ると(ステッ
プ110、120)、黒枠の傾きθを傾き検出手段68
(図1)により検出する(ステップ122)。そして傾
き制御手段70はモータ41を作動させてこの傾きθを
ゼロにする(ステップ124)。この結果画像14Bは
傾きの無い正しい位置になり、2回目のスキャンに入る
(ステップ126)。
【0034】この2回目のスキャンではステップ102
〜118の動作を行い、傾きの無い画像に対して黒枠を
検出し、またしきい値DTHを求めなおして、メモリす
る。そして次にこの求めた黒枠の点を結んで黒枠範囲を
決定し(ステップ128)、3回目のスキャンに入る
(ステップ130)。
【0035】3回目のスキャンでは、2回目のスキャン
でステップ114によりヒストグラムから求めたしきい
値DTHを用いて画像を2値化し(ステップ132)、こ
の2値化した画像を用いて画像処理する(ステップ13
4)。さらにステップ128で求めた黒枠範囲をマスキ
ングして消去しつつ(ステップ136)、プリント出力
する(ステップ138)。
【0036】
【発明の効果】請求項1の発明は以上のように、画像読
取りの走査ライン間隔より広い一定間隔ごとの走査ライ
ンを読取って黒枠を検出しマスキングする黒枠範囲を求
める場合に、1回目のスキャンで求めた黒枠の座標をほ
ぼ通る直線を利用して黒枠の傾きθすなわち画像の傾き
θを求め、光学系により画像を回転させて傾きθを修正
し、傾き修正後に2回目のスキャンで再度黒枠範囲を求
め、3回目のスキャンでこの黒枠範囲をマスキングして
画像を読取るものである。従って画像全体を記録する画
像メモリが不要になり、画像回転処理用の特殊なICな
ども不要になる。このため構造が単純になる。また画像
を回転させて傾き修正後に再び黒枠を検出するから、画
像回転により黒枠の位置が変化しても黒枠範囲を正確に
マスキング処理することが可能になる。また請求項2の
発明によれば、この方法の実施に直接使用するマイクロ
フィルムリーダが得られる。
【図面の簡単な説明】
【図1】本発明の一実施例の全体構成図
【図2】その動作流れ図
【図3】ヒストグラムを示す図
【図4】フィルムの汚れによる黒枠の誤検出を説明する
【図5】マイクロフィルムとプリント出力との関係説明
【符号の説明】
10、30 マイクロフィルム 12、14 画像 18、20 プリント用紙 26 黒枠検出用走査ライン40 像回転プリズム 52 画像読取りセンサとしてのラインセンサ56 第1の2値化手段 66 黒枠検出手段 68 傾き検出手段 70 傾き制御手段 72 画像処理手段 74 マスキング手段76 出力手段
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−19351(JP,A) (58)調査した分野(Int.Cl.7,DB名) G03B 21/11

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 像回転プリズムを介して投影した投影画
    像の傾きを検出し傾きを修正して画像を読取る方法にお
    いて、1回目のスキャンにより画像読取の走査ライン間
    隔より広い一定間隔ごとに設定した黒枠検出用走査ライ
    ンが検出する黒枠の座標をほぼ通る直線から画像の傾き
    を検出し、この検出した傾きをほぼ0にするように前記
    像回転プリズムにより画像を回転した後、2回目のスキ
    ャンにより求めた黒枠検出用走査ラインにより黒枠を検
    出して黒枠範囲を決定し、この黒枠範囲をマスキングし
    つつ3回目のスキャンを行って画像を読取ることを特徴
    とするマイクロフィルムリーダの画像読取り方法。
  2. 【請求項2】 像回転プリズムを介して投影した投影画
    像を主走査方向に読出して2値化して得た画像信号が示
    す画素の配列から黒枠範囲を検出するマイクロフィルム
    リーダにおいて、マイクロフィルムの画像を読取る画像
    読取りセンサと、画像読取りの走査ライン間隔より広い
    一定間隔ごとに設定した黒枠検出用走査ラインの出力信
    号を2値化する第1の2値化手段と、この第1の2値化
    手段の出力信号により黒枠を検出する黒枠検出手段と、
    この黒枠検出手段によって複数の黒枠検出用走査ライン
    から検出された黒枠の座標をほぼ通る直線を用いて投影
    画像の傾きを求める傾き検出手段と、この求めた傾きを
    ほぼ0にするように前記像回転プリズムを作動させる傾
    き制御手段と、傾きを修正した投影画像から求めた画像
    信号に対して前記黒枠検出手段により求めた黒枠範囲を
    マスキングするマスキング手段と、このマスキングされ
    た画像信号を出力する出力手段とを備えることを特徴と
    するマイクロフィルムリーダ。
JP05458293A 1993-02-22 1993-02-22 マイクロフィルムリーダおよびその画像読取り方法 Expired - Fee Related JP3264547B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05458293A JP3264547B2 (ja) 1993-02-22 1993-02-22 マイクロフィルムリーダおよびその画像読取り方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05458293A JP3264547B2 (ja) 1993-02-22 1993-02-22 マイクロフィルムリーダおよびその画像読取り方法

Publications (2)

Publication Number Publication Date
JPH06250286A JPH06250286A (ja) 1994-09-09
JP3264547B2 true JP3264547B2 (ja) 2002-03-11

Family

ID=12974701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05458293A Expired - Fee Related JP3264547B2 (ja) 1993-02-22 1993-02-22 マイクロフィルムリーダおよびその画像読取り方法

Country Status (1)

Country Link
JP (1) JP3264547B2 (ja)

Also Published As

Publication number Publication date
JPH06250286A (ja) 1994-09-09

Similar Documents

Publication Publication Date Title
US5416605A (en) Print control method and apparatus for microfilm reader
JP2768786B2 (ja) 画像読み取り装置
JP2003016440A (ja) 写真抽出方法、装置、プログラムおよび記録媒体
JP2724926B2 (ja) マイクロフィルムリーダプリンタおよびマイクロフィルム
JP3264547B2 (ja) マイクロフィルムリーダおよびその画像読取り方法
JP2885969B2 (ja) マイクロフィルムリーダ
JP3249231B2 (ja) マイクロフィルムリーダのマスキング方法および装置
JP3332170B2 (ja) マイクロフィルムリーダの黒枠検出方法および装置
JPH06233112A (ja) マイクロフィルムリーダの黒枠検出方法
JPH06311347A (ja) マイクロフィルムリーダのプリント制御方法および装置
JP3286646B2 (ja) マイクロフィルムリーダのプリント制御方法および装置
JP3262296B2 (ja) マイクロフィルムリーダのプリント制御方法および装置
JPH06233113A (ja) マイクロフィルムリーダの黒枠検出方法および装置
JPH06253125A (ja) マイクロフィルムリーダの黒枠検出方法および装置
JPH043656A (ja) 画像処理装置
JPH06233111A (ja) マイクロフィルムリーダの黒枠検出方法および装置
JPS625769A (ja) 画像読取装置
JP2745256B2 (ja) マイクロフィルムリーダ
JPH06268851A (ja) マイクロフィルムリーダの画像処理方法および装置
JPH06315080A (ja) マイクロフィルムリーダのマスキング方法および装置
JPH06308604A (ja) マイクロフィルムリーダの画像傾き修正方法および装置
JPH06291972A (ja) マイクロフィルムリーダのプリント制御方法および装置
JPH06291970A (ja) マイクロフィルムリーダのプリント制御方法および装置
JPH06291975A (ja) マイクロフィルムリーダのプリント制御方法および装置
JP2902904B2 (ja) 文字認識装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071228

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071228

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071228

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081228

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081228

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091228

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101228

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees