JP3646547B2 - ファクシミリ装置 - Google Patents

ファクシミリ装置 Download PDF

Info

Publication number
JP3646547B2
JP3646547B2 JP36921298A JP36921298A JP3646547B2 JP 3646547 B2 JP3646547 B2 JP 3646547B2 JP 36921298 A JP36921298 A JP 36921298A JP 36921298 A JP36921298 A JP 36921298A JP 3646547 B2 JP3646547 B2 JP 3646547B2
Authority
JP
Japan
Prior art keywords
image
character
data
unit
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP36921298A
Other languages
English (en)
Other versions
JP2000196790A (ja
Inventor
▲はじめ▼ 坂井
倫明 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP36921298A priority Critical patent/JP3646547B2/ja
Publication of JP2000196790A publication Critical patent/JP2000196790A/ja
Application granted granted Critical
Publication of JP3646547B2 publication Critical patent/JP3646547B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)
  • Character Discrimination (AREA)
  • Facsimiles In General (AREA)
  • Facsimile Transmission Control (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はファクシミリ装置に関するものである。
【0002】
【従来の技術】
近年、画像通信分野において、高画質化、高速化がより一層求められており、画像データの効率的な圧縮が必要になってきている。また最近では、Eメール通信が広く利用されるようになっており、Eメール通信端末(パソコン等)から高画質の画像をインターネット等を介して送信可能になっている。また従来方式のファクシミリ装置からも専用のEメールサーバを介してEメール通信端末(パソコン等)へ情報を送信できるようになってきている。
【0003】
またファクシミリ装置において、本体から取り外し、携帯が可能なハンドスキャナを装備したものの需要が高まりつつある。なかでも画像を読み取って記憶するメモリを備え、ファクシミリ装置本体との間のコードを無くし、ファクシミリ装置本体から完全に分離して使用できるものが出現している。
【0004】
【発明が解決しようとする課題】
最近、従来方式のファクシミリ装置からも専用のEメールサーバを介してEメール通信端末(パソコン,モバイルPDA)へ情報を送信できるようになってきているが、画像データはテキストデータ(文字のみのコード)に比べてデータ量が格段に多く、通信時間が長く、費用も高くなる。また既存のEメール通信端末の全てが画像情報を受信・表示できるものではなく、ファクシミリ装置とEメール通信端末間の通信には解決すべき課題がある。
【0005】
また従来のファクシミリ装置では、送信原稿の中の一部の文字列だけを送信したい場合でも、その周囲を含めて画像を取り込み、画像データ(ファクシミリデータ)として送信する必要があった。ハンドスキャナを用いて送信原稿の中の一部の文字列だけを読み取ったとしても、周囲の不要な部分も読み取られ、画像データとして送信されることになる。
【0006】
本発明は上記従来の問題点を解決するもので、送信原稿の中の文字列をテキストデータに変換することにより、データ量を削減して送信することが可能なファクシミリ装置を提供することを目的としている。
【0007】
【課題を解決するための手段】
本発明は、用紙上に記載されたイメージ画像を読み取る読取り部と、上記読み取ったイメージ画像を電話回線を介して送信する通信部と、を備え、前記読取り部によって読み取ったイメージ画像を前記通信部によりEメールとして送信するファクシミリ装置であって、上記読み取ったイメージ画像の画素データを基に文字認識を行ってテキスト変換する文字認識部と、上記用紙上のイメージ画像のうちの文字を形成するイメージ画像は、前記文字認識部によりテキスト変換されてテキスト形式の文字に変換された後、当該テキスト形式の文字としてEメールファイルに記載され、文字を形成しないイメージ画像は、ビットマップ形式のイメージ画像として添付ファイルに記載され、当該両ファイルを対として前記通信部によってEメール送信するように制御する中央制御部と、を有する。
【0008】
また、本発明は、中央制御部は、前記テキスト変換された文字列を上記Eメールの見出しとして設定する。
【0009】
【発明の実施の形態】
本発明の請求項1記載の発明は、用紙上に記載されたイメージ画像を読み取る読取り部と、上記読み取ったイメージ画像を電話回線を介して送信する通信部と、を備え、前記読取り部によって読み取ったイメージ画像を前記通信部によりEメールとして送信するファクシミリ装置であって、上記読み取ったイメージ画像の画素データを基に文字認識を行ってテキスト変換する文字認識部と、上記用紙上のイメージ画像のうちの文字を形成するイメージ画像は、前記文字認識部によりテキスト変換されてテキスト形式の文字に変換された後、当該テキスト形式の文字としてEメールファイルに記載され、文字を形成しないイメージ画像は、ビットマップ形式のイメージ画像として添付ファイルに記載され、当該両ファイルを対として前記通信部によってEメール送信するように制御する中央制御部と、を有して構成される。この構成において、一紙面上のイメージ画像のうち、文字を表すイメージ画像とそうでないイメージ画像とに分離され、文字を表す画像は文字認識されてテキスト文書となりEメールの本文に記載され、そうでないイメージ画像は、テキスト文書に変換されずにそのまま添付ファイルとして上記Eメールに添付され、送信されることとなり、多量のビットマップ形式のイメージ画像情報のみを送信する通常のファクシミリ送信と比較して、送信される情報量を容易に削減することができ、通信時間が短くなるために、送信作業効率が向上し、更には、当該Eメールの受信者は、文字と単なるイメージとをそれぞれ別ファイルとして分離して容易に管理することができるため、極めて使い勝手が良いという作用を有する。
【0010】
本発明の請求項2記載の発明は、中央制御部は、前記テキスト変換された文字列を上記Eメールの見出しとして自動的に設定するように構成されている。この構成により、使用者は、当該Eメールに見出しをつける必要がなく、使用者にとって極めて利便性が高いという作用を有する。
【0012】
(実施の形態1)
図1は本発明の実施の形態によるファクシミリ装置の構成図を示すものである。図1において、1は本発明のファクシミリ装置の本体、2は本発明のファクシミリ装置にシリアル接続されたハンドスキャナである。3はハンドスキャナ2よりシリアル通信により送られてくるデータを受信する送受信部である。4はキー操作部、5はLCDを使用したLCD表示部、6は画像メモリである。
【0013】
7はハンドスキャナ2から送られてくるデータを基に文字認識を行うためのOCR変換部である。8は通信相手から送られてくる画像データあるいはハンドスキャナ2から送られてくるデータ等を印字するプリンタである。9は回線通信部で、回線通信部9は、読み込まれた原稿の画像をビットマップ形式の電気信号に変換して、電話回線12を通じて相手先端末に電送するとともに、相手先端末から電送されてきたビットマップデータ形式の電気信号をイメージ化し、それをプリンタ8へ送る。
【0014】
10は中央制御部であり、送受信部3、キー操作部4、LCD表示部5、画像メモリ6、OCR変換部7、プリンタ8、回線通信部9を制御する。
【0015】
次にハンドスキャナ2の構成について説明する。14は電話回線13との間の回線処理を行う回線通信部であり、回線制御手段は送受信信号の復変調を行うモデムを内蔵している。相手先端末から送られてきた信号は、回線制御手段14内のモデムで復調される。逆に相手先端末に送り出す信号はモデムで変調されてから発信される。
【0016】
15は画像を電気信号に変換する読取り部(イメージセンサ)である。16は、読取り部15で作成された原稿の画像データを蓄積する画像メモリ部である。17は送信データをファクシミリ本体へシリアル通信により送る送受信部である。18はキー操作部である。
【0017】
19は読取り部15より出力される画素データを基に文字認識を行うためのOCR変換部である。20は中央制御部であり、送受信部17、キー操作部18、画像メモリ部16、OCR変換部19、回線通信部14を制御する。また中央制御部20は、読取り部15で作成された原稿の画像データをそのままファクシミリ本体へ送るモードと、OCR変換部19によって文字認識処理を行ってからファクシミリ本体へ送るモードと、文字認識処理を行ってから回線通信部14を介して外部へ送信するモードとの切り換えを行うスイッチング機能を備えている。
【0018】
以上のように構成されたファクシミリ装置について、以下その動作を説明する。中央制御部10は、ハンドスキャナ2より送られてきたデータを基に、文字であると思われる部分を確定させ、文字として認識された部分はテキストデータに変換し、それ以外の部分はビットマップデータのまま、2種類のデータを別々に、いったん画像メモリ6に送り、全ての原稿データの認識が終了した後、回線通信部9を介して回線に出力する。また相手先端末から電話回線12を通して送られてきた原稿データを回線通信部9が受信すると、中央制御部10はその原稿データをセットされている用紙に印刷する。
【0019】
次にハンドスキャナ2にて、画像を読み取る場合について詳細に説明する。画像メモリ部16はOCR変換部19に接続され、文字認識を行う際に用いられ、最低でも主走査線を数本記憶できる容量を持つ。中央制御部20は、OCR変換部19にまず画像メモリ部16からデータを基に、文字であると思われる部分を確定させ、文字認識のプログラムを読み出し、その確定した部分について予め用意された文字パターンのデータと照合して、テキストラインの文字認識を行う。そして文字として認識された部分はテキストデータに変換し、それ以外の部分はビットマップデータのまま、2種類のデータを別々に、いったん認識メモリ21に送る。全ての原稿データの認識が終了した後、認識メモリ21の送信データを送受信部17を介してファクシミリ本体へ送る。また外部回線へ直接送信するモードにおいては、認識メモリ21の送信データを回線通信部14を介して電話回線13へ送り出す。
【0020】
ハンドスキャナに記憶されている画像データの印刷が選択された場合、中央制御部10は送受信部3を介して、ハンドスキャナ2にハンドスキャナの画像データの印刷コマンドを発行する。これに対してハンドスキャナ2よりハンドスキャナの画像データが送信され、画像メモリ6に格納される。次に画像メモリ6より画像データを読み出し、プリンタに印刷できるデータ形式に変換した後プリンタ8により印刷される。
【0021】
次に文字認識方法について更に詳細に説明する。文字認識の方法としては多種多様な方法が存在するが、ここでは最も一般的な方法として光学式文字認識(以下OCRとする)を用いた例について説明する。
【0022】
読取り部15より出力されるドットマップ形式の原稿データ(画素データ)を文字認識するために、中央制御部20はまず原稿データを画像メモリ部16に格納する。次にOCR変換部19を制御して、文字認識を開始する。ビットマップ形式で画像メモリ部16に格納されている原稿データの主走査線を1本ずつ読み出して調べる。原稿データの主走査線の一本全てが白を表すデータであると判断すると、それ以後の主走査線について、順に走査していき、文字又は図形などの存在によって黒を表すデータが存在する主走査線を検知したならば、その黒を表すデータを含む主走査線より上に存在する連続する白を表すデータしか存在しない主走査線群、即ち第一の行間が存在すると判断する。
【0023】
その後更に主走査線を調べていき、再び白を表すデータしか存在しない主走査線が続き、その後また黒を表すデータが存在する主走査線が現れた場合、この再度現れた連続する白を表すデータしか存在しない主走査線群を第二の行間とし、これら第一の行間と第二の行間の間を一つのラインであると判断し、この一つのラインを形成する文字又は図形のブロックとみなされる部分を以下文字部と称す。この文字部が現れた時点で中央制御部20は画像メモリ部16からの原稿データの転送を一時中断させる。
【0024】
次にこの文字部において副走査方向、つまり行ではなく列のデータについて、主走査方向とほぼ同様の判断、即ち副走査方向において黒のビットデータを基準として文字又は図形のブロックの確定を行い、主走査方向の文字部と副走査方向の文字部の重合部分を1文字と判断する。この重合部分の大きさから文字部に含まれる文字の数を確定する。
【0025】
この1文字(以下認識文字と称す)と判断された部分について、OCR変換部19はプログラムを起動させ、認識文字について文字認識を行う。その際、OCRのプログラムはあらかじめ用意された文字パターンを読み出して、認識文字との間でパターンマッチングを行う。パターンマッチングを行う際には、認識文字の線の長さ、線と線の結合した点及び線の始点,終点等に着目することにより、文字の特徴も把握しておき、この情報を用いながらパターンマッチングを行う。その文字パターンと認識文字のサイズが異なる場合には文字パターンを認識文字のサイズに合うように拡大,縮小してサイズを合わせる。この様にサイズを調整した後、認識文字の特徴の情報からこの文字と似ている文字パターンだけを呼び出してパターンマッチングを行う。
【0026】
このとき、たとえ同じ文字であっても色々な癖があるので、その特徴が文字パターンのそれとはずれている場合がほとんどである。そこで、認識文字と文字パターンとの間のパターンマッチング率が70%以上であれば、その認識文字を文字とみなす。更に一度認識した文字の特徴は、ニューラルネットワーク等の学習機能を用いることにより、文字パターンを格納している第二の記憶手段に学習させることができ、その後は色々な癖のある文字に対して、特徴認識後のパターンマッチングが容易にできるようになり、文字認識率を上昇させることができる。
【0027】
この作業を確定した文字数だけ繰り返し行い、1つの文字部の認識を終了すると、中央制御部20は、その文字部の一番上にある主走査線が原稿データ中の何番目の走査線であるか、即ち原稿データのどの位置にこの文字部が存在しているかという情報と、その文字部の先頭にある副走査線が何番目の走査線であるか、即ちその文字部の先頭の文字の位置がどこにあるのかを示す情報とを付加して、認識できた文字をテキストデータに変換し、認識されなかった部分についてはビットマップデータのまま、1つの文字部のデータをテキストファイルとビットマップファイルとに分離して、別々に認識メモリ21に転送する。
【0028】
中央制御部20は、原稿データの認識が終了したことを検知すると、認識メモリ21に格納されていた認識の終了しているテキスト形式とビットマップ形式の混ざりあっている原稿データを、認識メモリ21の送信データを送受信部17を介してファクシミリ本体へ送る。また外部回線へ直接送信するモードにおいては、認識メモリ21の送信データを回線通信部14を介して電話回線13へ送り出す。
【0029】
また外部のEメールサーバを介してEメール送信する場合がある。図2において、23は公衆電話回線とインターネット網に接続可能なEメールサーバである。24は送信相手先となるパソコン端末であり、インターネット網に接続されている。図3は本発明のファクシミリ装置1とEメールサーバとの間の通信手順を示す。
【0030】
図3において、ステップ600で、発信側端末である本発明のファクシミリ装置1はEメールサーバ23の電話番号をダイアルし、Eメールサーバ23へアクセスする。ステップ700でEメールサーバ23は着信し応答を返す。ステップ601でファクシミリ装置1はパスワードなどの使用者情報をアップロードする。ステップ701でEメールサーバ23はアップロードされた使用者情報に基づき使用者の認証を行う。
【0031】
使用者の認証が正常に行われたならば以降の手順に進み、ステップ702でEメールサーバ23はメールを送る相手先のアドレスを尋ねる。ステップ602でファクシミリ装置1はメールを送りたい相手先のアドレスをアップロードする。ステップ703でEメールサーバ23は送りたいメッセージの内容を尋ねる。ステップ603でファクシミリ装置は文字認識によって得られたテキストデータをアップロードする。ステップ704でEメールサーバ23は送りたい画像データの送信を要求する。
【0032】
ステップ604でファクシミリ装置はドットマップファイル形式の画像データを送信する。ステップ705でEメールサーバ23はドットマップファイル形式の画像データを受信する。Eメールサーバ23は受信したテキストデータをメール本文として、またドットマップファイル形式の画像データを添付ファイルとしてインターネット網へメールとして送信する。以上のようにEメールサーバ23を介してEメール送信することができる。
【0033】
またハンドスキャナに文字認識機能を設けたことにより、ハンドスキャナにて読み取った画素データより文字認識可能な部分についてはテキストデータに変換することができるので、ハンドスキャナからファクシミリ装置本体におくるデータの量を大幅に縮めることができ、文字認識可能な部分のみのデータを短時間にファクシミリ装置本体に転送することができる。ファクシミリ装置本体は電話回線を介してEメールサーバ23に接続し、テキストデータをEメールサーバへ転送する。
【0034】
またハンドスキャナ2から直接電話回線を介してEメールサーバ23に接続し、Eメール送信する場合もある。すなわち、ハンドスキャナ2はEメールサーバ23の電話番号をダイアルし、Eメールサーバ23へアクセスする。Eメールサーバ23との間で認証が取れると、まずテキストデータをそのままEメールの本文としてEメールサーバ23へ転送する。Eメールサーバ23がイメージファイルの転送を許可すると、ドットマップファイル形式のデータを添付ファイルとしてEメールサーバ23へ転送する。
【0035】
【発明の効果】
以上のように本発明は、ハンドスキャナにOCR変換部を設けたので、使用者は画像等を除いて文字のみをハンドスキャナにて読み取ることにより、認識対象範囲を文字のみに限ることができ、効率良く文字認識することができ、認識に要する時間を大幅に短縮することができ、効率よくデータを送信することが出来る。
【0036】
また文字認識手段を用いて全ての受信したイメージデータについて文字とそれ以外とを識別して、文字のデータはテキストファイル形式に、それ以外はドットマップファイル形式にデータを変換したことにより、Eメールサーバへ送信する場合には、テキストデータについてはそのままEメールの本文としてEメールサーバへ転送し、ドットマップファイル形式のデータについては添付ファイルとしてEメールサーバへ転送するので、テキストデータを送信画像の見出しとして利用することができ、使用者が見出し文を手入力する必要がなく、使い勝手が向上する。
【0037】
ハンドスキャナを設けたことにより、ハンドスキャナにて原稿中の文字認識可能な部分のみを読み取ってテキストデータに変換することができるので、ハンドスキャナからファクシミリ装置本体におくるデータの量を大幅に縮めることができる。文字部分のみのデータを短時間にファクシミリ装置本体に転送することができ。
【0038】
またハンドスキャナに文字認識機能を設けたことにより、ハンドスキャナにて読み取った画素データより文字認識可能な部分についてはテキストデータに変換することができるので、ハンドスキャナからファクシミリ装置本体におくるデータの量を大幅に縮めることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態におけるファクシミリ装置の構成図
【図2】本発明の実施の形態におけるファクシミリ装置より外部のEメールサーバを介してEメール送信する場合の概略説明図
【図3】同ファクシミリ装置より外部のEメールサーバを介してEメール送信する場合のファクシミリ装置とEメールサーバとの間の通信手順を示すシーケンスチャート
【符号の説明】
1 ファクシミリ装置本体
2 ハンドスキャナ
3 送受信部
4 キー操作部
5 LCD表示部
6 画像メモリ
7 OCR変換部
8 プリンタ
9 回線通信部
10 中央制御部
14 回線通信部
15 読取り部
16 画像メモリ部
17 送受信部
18 キー操作部
19 OCR変換部
20 中央制御部

Claims (2)

  1. 用紙上に記載されたイメージ画像を読み取る読取り部と、
    上記読み取ったイメージ画像を電話回線を介して送信する通信部と、を備え、
    前記読取り部によって読み取ったイメージ画像を前記通信部によりEメールとして送信するファクシミリ装置であって、
    上記読み取ったイメージ画像の画素データを基に文字認識を行ってテキスト変換する文字認識部と、
    上記用紙上のイメージ画像のうちの文字を形成するイメージ画像は、前記文字認識部によりテキスト変換されてテキスト形式の文字に変換された後、当該テキスト形式の文字としてEメールファイルに記載され、文字を形成しないイメージ画像は、ビットマップ形式のイメージ画像として添付ファイルに記載され、当該両ファイルを対として前記通信部によってEメール送信するように制御する中央制御部と、を有することを特徴とするファクシミリ装置。
  2. 請求項1記載のファクシミリ装置であって、前記中央制御部は、前記テキスト変換された文字列を上記Eメールの見出しとして設定することを特徴とするファクシミリ装置。
JP36921298A 1998-12-25 1998-12-25 ファクシミリ装置 Expired - Fee Related JP3646547B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP36921298A JP3646547B2 (ja) 1998-12-25 1998-12-25 ファクシミリ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36921298A JP3646547B2 (ja) 1998-12-25 1998-12-25 ファクシミリ装置

Publications (2)

Publication Number Publication Date
JP2000196790A JP2000196790A (ja) 2000-07-14
JP3646547B2 true JP3646547B2 (ja) 2005-05-11

Family

ID=18493863

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36921298A Expired - Fee Related JP3646547B2 (ja) 1998-12-25 1998-12-25 ファクシミリ装置

Country Status (1)

Country Link
JP (1) JP3646547B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4648446B2 (ja) * 2008-10-20 2011-03-09 兼子 太志 携帯型画像送受信機
JP7326753B2 (ja) * 2019-01-24 2023-08-16 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Also Published As

Publication number Publication date
JP2000196790A (ja) 2000-07-14

Similar Documents

Publication Publication Date Title
US6614551B1 (en) Email capable fax machine and methods for using the same
EP0923226B1 (en) Internet facsimile device and information terminal
US7023573B2 (en) Image transmission device and image transmission method
US6897985B1 (en) Internet facsimile apparatus and address input method
US7119929B2 (en) Electronic mail machine and internet facsimile machine
JP3646547B2 (ja) ファクシミリ装置
US5907632A (en) Image information communication apparatus for notifying that an OCR method is applicable to image data to be transmitted
US7215438B2 (en) Transmittance and receiving method of an internet facsimile system
JP4136278B2 (ja) 画像通信装置及びその方法
JP3551719B2 (ja) 電子メール機能付通信端末装置
US20080094656A1 (en) Data communication system, data processing apparatus, facsimile apparatus, data processing method, and storage medium
JP3820901B2 (ja) 通信装置および記憶媒体
KR100229040B1 (ko) 팩시밀리를 이용한 문자 원고의 송,수신 방법
JP4350782B2 (ja) 画像通信装置及びその制御方法
JP4115496B2 (ja) 画像通信装置及びその制御方法
KR100223001B1 (ko) 교신시간 단축방법
KR970003408B1 (ko) 컴퓨터-팩시밀리의 문자통신방식
JP2002281212A (ja) ファクシミリ装置
JPS62262562A (ja) パソコン・フアクシミリの通信方式
JP3620699B2 (ja) スキャナシステムおよびそれに用いるファクシミリ装置とコンピュータ装置
JPS59117368A (ja) 複合フアクシミリ装置
JPS6156656B2 (ja)
JPH11196284A (ja) 画像通信装置
JPH11146181A (ja) 簡易カラーファクシミリプリント装置
JPH08307580A (ja) マルチメディアサーバー

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050131

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090218

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100218

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100218

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110218

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120218

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees