JP3944603B2 - データ通信装置 - Google Patents

データ通信装置 Download PDF

Info

Publication number
JP3944603B2
JP3944603B2 JP2002063328A JP2002063328A JP3944603B2 JP 3944603 B2 JP3944603 B2 JP 3944603B2 JP 2002063328 A JP2002063328 A JP 2002063328A JP 2002063328 A JP2002063328 A JP 2002063328A JP 3944603 B2 JP3944603 B2 JP 3944603B2
Authority
JP
Japan
Prior art keywords
transmission
image
compressed image
communication
communication time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002063328A
Other languages
English (en)
Other versions
JP2003264680A (ja
Inventor
伸吾 西崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2002063328A priority Critical patent/JP3944603B2/ja
Publication of JP2003264680A publication Critical patent/JP2003264680A/ja
Application granted granted Critical
Publication of JP3944603B2 publication Critical patent/JP3944603B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Facsimile Transmission Control (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、カラーまたは多階調の画像を圧縮して送信するに際し、通信中における回線品質の低下等により通信時間が長くなるときは、圧縮率の変更により当該圧縮画像のデータサイズを小さくして、通信時間が長くなることを防止するデータ通信装置に関する。
【0002】
【従来の技術】
近年、多階調カラー画像(たとえば、256階調カラー画像)、多階調モノクロ画像の通信を行うことができるファクシミリ装置が、企業のみならず一般家庭においても普及しつつある。
【0003】
ところで、あるファクシミリ装置から他のファクシミリ装置に、多階調画像を送信する場合、モノクロ2値画像を送信する場合に比べて送信するべきデータ、通信時間も大幅に長くなる。とりわけ、カラー画像の場合、データ量が大幅に増加するうえ、画像の種類や圧縮率によって符号化後のデータサイズがどの程度になるかがわかりにくい。このため、ユーザーは、通信時間や通信料金について不安を感じることがある。
【0004】
従来、スキャナで読み取った画像を符号化し符号量から通信時間を算出し、ユーザーが設定した時間との比較を行い、ユーザーの設定値に対して著しく長くなる場合は、符号化パラメータを調整し適切な通信時間に収まるように符号量を調整することで、通信時間に関するユーザーの懸念を取り除く技術も知られている(特開平6−233139参照)。
【0005】
しかし、この技術では、通信中に通信速度が変化する可能性があることを考慮していないために、通信速度が低下した場合ユーザーに通知した時間に比べて通信時間が大幅に長くなる可能性がある。
通信時間が長くなると、電話料金が高くなり、送信側で電話が使用できないばかりか、受信側でもファクシミリや電話の使用できなくなるという問題がある。
【0006】
本発明は、他のデータ通信装置への画像の送信に際して、送信開始時からの通信時間を測定し、あらかじめ設定しておいた時間を経過した場合に、送信を中断し、読み取った画像データを圧縮率を高くして再符号化して送信することで、通信時間が長くなることを防止することを目的とする。
【0009】
【課題を解決するための手段】
本発明は、圧縮画像を蓄積するメモリと、該メモリに蓄積された圧縮画像を送信する送信手段とを有するデータ通信装置において、前記圧縮画像の符号量と通信速度に基づいて予測通信時間を算出する通信時間算出手段と、前記圧縮画像の送信を開始してからの経過時間が、前記通信時間算出部で算出した前記予測通信時間に対して一定以上の割合の時間になった場合には、当該送信を中止する送信中止手段と、前記送信中止手段が前記送信画像の送信を中止したときは、前記送信した圧縮画像の圧縮率よりもさらに圧縮率が高い新たな圧縮画像を形成する再符号化手段と、前記新たな圧縮画像を再送する再送手段を備えたものである。
【0010】
また、前記送信中止手段は、前記圧縮画像の送信を開始してからの経過時間が、前記通信時間算出部で算出した前記予測通信時間に対して一定以上の割合の時間になった時点で、当該圧縮画像の送信が、所定の割合以上完了している場合には、当該送信を中止しないようにしたものである。
【0011】
また、前記再送手段が前記新たな圧縮画像を再送したときは、当該再送があった旨を出力する出力手段をさらに備えたものである。
【0012】
また、前記再送手段が前記新たな圧縮画像を再送したときは、当該再送した圧縮画像の一部または全部の画像を記録出力する記録手段をさらに備えたものである。
【0016】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。図1は、本発明の一実施形態にかかるデータ通信装置をファクシミリ装置に適用した場合のブロック構成図である。
【0017】
図1において、ファクシミリ装置1は、画像入力装置101と、画像出力装置102と、符号化復号化部103と、画像メモリ部104と、通信時間算出部105と、モデム106と、網制御装置107と、操作表示部108と、通信監視部109と、システム制御部110とからなり、これら各部はシステムバス111を介して接続されている。
【0018】
画像入力装置101は、原稿画像を読み取り、多値のデジタル画像データに変換するスキャナ装置である。ファクシミリ装置1には、スキャナ装置が搭載される。データ通信装置に画像を取り込むためには、デジタルカメラやPCから画像をダウンロードする構成としてもよい。
【0019】
画像出力装置102は、画像を記録紙上に出力するプロッタであり、一般にレーザプリンタやインクジェット式プリンタが使用される。符号化復号化部103は、JPEG等の一定の符号化法により、符号化処理および復号化処理を行う。画像データを符号化する際に、符号化パラメータを変更することで、符号化した画像データの圧縮率を変更することが可能な構成とする。また、受信時は圧縮された画像データを復号化し伸張処理を行う。
【0020】
画像メモリ部104は、符号化された画像データを蓄積するメモリ部で、送信時には符号化復号化部103で圧縮された画像データを蓄積し、受信時は符号化復号化部103で伸張された画像データを蓄積する。
【0021】
通信時間算出部105は、符号化された画像データの符号量を計数した値と、通信速度から送信に要する通信時間を算出する。
モデム106は、画情報の送受信と伝送制御のための手順信号の送受信を行う。
網制御装置107は、電話回線が接続され、発着信の際に所定の回線制御を行う。
操作表示部108は、オペレータが各種操作を行うためのスイッチやキーボード等の入力装置と、装置の動作状態等を表示するLCDやLEDによる表示機からなる。電話番号の入力や、圧縮率の指定、各種設定の変更に使用する。
通信監視部109は、交信中の通信時間の計測と、通信速度や再送要求や再送回数等の回線状況を示すパラメータを監視する。
【0022】
システム制御部110は、マイクロコンピュータとメモリ部および入出力回路で構成され、メモリ部に蓄積されたプログラムを使用して上記各部の制御を行う。
システムバス111は、上記各部が相互間で各種制御信号やデータをやりとりする信号ラインである。
【0023】
ファクシミリ装置1の動作例を以下に説明する。図2は、ファクシミリ装置1の送信手順の第1の例を示すフローチャートである。送信処理は、原稿をスキャンしてメモリ部に蓄積後に発信するもので、1ページの原稿を送信する場合について説明する。
まず、画像入力装置101で原稿を読み取り(A01)、符号化復号化部103で所定の符号パラメータを使用して符号化を行う(A02)。符号化された画像データは、通信時間算出部105で符号量を計数し(A03)、符号量と通信速度から通信時間を算出した後(A04)、送信処理に移行する(A05)。
【0024】
送信処理の手順については通常のファクシミリ送信の手順に従う。この送信処理が終了したか否かは常時チェックされている(A06)。また、送信開始時に、通信品質監視部110の通信時間を計測するタイマの値を初期化し通信時間の計測を開始する。通信品質監視部110では、通信時間と通信時間算出部で算出した値の比較を行う(A07)。通信時間が通信時間算出部で算出した値に対して一定以上の割合になった場合には、送信処理を中断する(A08)。
【0025】
送信処理を中断した場合、符号化パラメータを画像の圧縮率が高くなるパラメータに変更して(A09)、符号化を行う処理(A02)に戻る。再び、再圧縮された画像データは、通信時間算出部105で符号量を計数し(A03)、符号量と通信速度から通信時間を算出し(A04)、送信処理を継続する(A05)。
【0026】
A07の処理において、通信時間が設定値以下の場合は、そのまま送信を継続し、送信処理を終了する。また、再圧縮処理を行って送信する場合に、交信を継続したままメモリ部に蓄積した画像を符号化し、次のページとして送信する構成としてもよいし、一度回線を切断しメモリ部に蓄積した画像を符号化し、再発信する構成としてもよい。
【0027】
さらに、回線を切断することなく、また新たにページの送信することなく、1ページ中に圧縮率が異なる画像が混在するようにもできる。すなわち、1ページ中の前半は高解像度の画像、後半は低解像度の画像となるような画像が送信されるようにもできる。
【0028】
図3に示すように、通信時間が設定値を超えてしまった場合に、送信しているページの大半(たとえば、70%)が送信済みとなっているときは、当該ページの印刷をそのままの圧縮率で送信し、次のページから高圧縮率で送信することもできる(A07−2,A10)。
【0029】
図4は、再送回数が所定値を上回る場合における、ファクシミリ装置1の送信手順の第2の例を示すフローチャートである。送信処理は、原稿をスキャンしてメモリ部に蓄積後に発信するもので、1ページの原稿を送信する場合について説明する。
【0030】
まず、画像入力装置101で原稿を読み取り(B01)、符号化復号化部103で所定の符号パラメータを使用して符号化を行う(B02)。符号化された画像データは、通信時間算出部105で符号量を計数し(B03)、符号量と通信速度から通信時間を算出した後(B04)、送信処理に移行する(B05)。
【0031】
送信処理の手順については通常のファクシミリ送信の手順に従う。この送信処理が終了したか否かは常時チェックされている(B06)。送信開始時に、通信品質監視部110の通信時間を計測するタイマの値を初期化し通信時間の計測を開始する。また、通信品質監視部110では、再送回数を計数しあらかじめ設定しておいた再送回数の設定値の比較を行う(B07)。再送回数があらかじめ設定しておいた再送回数に対して一定以上の回数になった場合には、送信処理を中断する(B09)。通信品質監視部110では、通信時間と通信時間算出部で算出した値の比較を行う(B08)。通信時間が通信時間算出部で算出した値に対して一定以上の割合になった場合には、送信処理を中断する(B09)。
【0032】
送信処理を中断した場合、符号化パラメータを画像の圧縮率が高くなるパラメータに変更して(B10)、符号化を行う処理(B02)に戻る。再び、再圧縮された画像データは、通信時間算出部105で符号量を計数し(B03)、符号量と通信速度から通信時間を算出し(B04)、送信処理を継続する(B05)。
通信時間が設定値以下の場合は、そのまま送信を継続し、送信処理を終了する。
また、再圧縮処理を行って送信する場合に、交信を継続したままメモリ部に蓄積した画像を符号化し、次のページとして送信する構成としてもよいし、一度回線を切断しメモリ部に蓄積した画像を符号化し、再発信する構成としてもよい。
【0033】
図5に示すように、B07において、通信時間が設定値を超えてしまった場合、送信しているページの大半(たとえば、70%)が送信済みとなっているときは、当該ページの印刷をそのままの圧縮率で送信し、次のページから高圧縮率で送信することもできる(B08−2,B11)。
【0034】
図6は、通信速度が所定値を下回る場合における、ファクシミリ装置1の送信手順の第3の例を示すフローチャートである。送信処理は、原稿をスキャンしてメモリ部に蓄積後に発信するもので、1ページの原稿を送信する場合について説明する。
【0035】
まず、画像入力装置101で原稿を読み取り(C01)、符号化復号化部103で所定の符号パラメータを使用して符号化を行う(C02)。符号化された画像データは、通信時間算出部105で符号量を計数し(C03)、符号量と通信速度から通信時間を算出した後(C04)、送信処理に移行する(C05)。
送信処理の手順については通常のファクシミリ送信の手順に従う。この送信処理が終了したか否かは常時チェックされている(C06)。つぎに、通信速度の判別を行う(C07)。通信速度の設定は、14400bpsより低い速度になったときのように、固定の値を設定する構成としてもよいし、通信開始時の通信速度から、2段階低い速度にシフトダウンしたときのように通信ごとに設定する構成としてもよい。
【0036】
通信速度が、設定値よりも大きいときは、C08に移行し、通信時間が設定値以下であるかを判定する。
【0037】
通信品質監視部110では、通信時間と通信時間算出部で算出した値の比較を行う(C09)。通信時間が通信時間算出部で算出した値に対して一定以上の割合になった場合には、送信処理を中断する(C10)。
【0038】
送信処理を中断した場合、符号化パラメータを画像の圧縮率が高くなるパラメータに変更して(C10)、符号化を行う(C02)ステップに戻る。再び、再圧縮された画像データは、通信時間算出部105で符号量を計数し(C03)、符号量と通信速度から通信時間を算出し(C04)、この後送信処理を継続する(C05)。
【0039】
図7に示すように、C08において、通信時間が設定値を超えてしまった場合において、送信しているページの大半(たとえば、70%)が送信済みとなっているときは、当該ページの印刷をそのままの圧縮率で送信し、次のページから高圧縮率で送信することもできる(C08−2,C11)。
【0040】
図8は、レポート出力を行う場合の、ファクシミリ装置の送信手順を示すフローチャートである。送信処理は、原稿をスキャンしてメモリ部に蓄積後に発信するもので、1ページの原稿を送信する場合について説明する。
【0041】
図2におけると同様、画像入力装置101で原稿を読み取り(A01)、符号化復号化部103で所定の符号パラメータを使用して符号化を行う(A02)。符号化された画像データは、通信時間算出部105で符号量を計数し(A03)、符号量と通信速度から通信時間を算出する(A04)。
【0042】
引き続き送信処理に移行する(A05)。送信処理の手順については通常のファクシミリ送信の手順に従うものとする。送信開始時に、通信監視部110の通信時間を計測するタイマの値を初期化し通信時間の計測を開始する。
【0043】
この送信処理が終了したか否かは常時チェックされている(A06)。また、通信監視部110では、通信時間と通信時間算出部で算出した値の比較を行う(A07)。通信時間が通信時間算出部で算出した値に対して一定以上の割合になった場合には、送信処理を中断する(A08)。
【0044】
送信処理を中断した場合、符号化パラメータを画像の圧縮率が高くなるパラメータに変更し(A09)、符号化処理(A02)を行う。再び、再圧縮された画像データは、通信時間算出部105で符号量を計数し(A03)、符号量と通信速度から通信時間を算出し(A04)、送信処理を継続する(A05)。
【0045】
通信時間が設定値以下の場合は、そのまま送信を継続し、送信処理を終了する。
変更された画像の圧縮率があらかじめ設定されている値より大きな値となった場合は(A11)、レポートを出力して終了する(A12)。圧縮率を変更した場合でも圧縮率が設定値の範囲内であった場合は、レポートは出力せずに終了するものとする。
【0046】
図9(A)、(B)にレポート出力の例を示す。図9(A)、(B)では、出力する通信結果レポートには、圧縮率を変更して送信したことを示す文面を記載している。また、通信結果レポートの出力は、圧縮率の範囲の設定を変更できる構成とし、設定した圧縮率より高い圧縮率を使用した場合のみ、画像を出力するようにしてもよい。また、ユーザーへの通知方法は、操作表示部または記録紙に出力するだけでなく、同時に警告音や音声を使用して通知する構成としてもよい。交信終了時に、相手先に送信すると同時に、相手先に送信する画像データを復号化し、自機の画像出力装置を使用して記録紙上に出力することでユーザー通知することもできる。
【0047】
通信結果レポートは、画像出力装置102でカラー出力が可能な場合には、カラー画像で出力してもよいし、自機に出力する画像はユーザーが画像劣化の程度の判別ができればよいので白黒画像で出力する構成としてもよい。また、自機に出力する画像はユーザーが画像劣化の程度の判別ができればよいので、送信画像の一部分を出力する構成としてもよい。
【0048】
また、読み込んだ画像データと、相手先に送信したデータを並べて表示する構成としてもよい。さらに、複数ページの送信を行った場合は、すべてのページを出力して確認する必要はないので、特定のページのみを出力する構成としてもよいし、各ページの画像の一部分を1ページに集約してサムネイル形式で出力する構成としてもよい。
【0049】
【発明の効果】
本発明によれば、回線状態が悪いときに、読み取った画像データを符号化時の圧縮率を高くして再符号化し、符号量を小さくした画像データを送信することで送信に要する時間を一定の範囲に収めることが可能となる。
また、送信した画像の画質が、どの程度の品質で送信されたかを知ることもできるので、再送が必要かの判断を的確に行うことがことができる。
【図面の簡単な説明】
【図1】本発明の一実施形態にかかるデータ通信装置をファクシミリ装置のブロック構成図である。
【図2】ファクシミリ装置の送信手順の第1の例を示すフローチャートである。
【図3】第1の例において通信時間が設定値を超えてしまった場合に、送信しているページの大半が送信済みとなっているときの処理を示すフローチャートである。
【図4】ファクシミリ装置の送信手順の第2の例を示すフローチャートである。
【図5】第2の例において通信時間が設定値を超えてしまった場合に、送信しているページの大半が送信済みとなっているときの処理を示すフローチャートである。
【図6】ファクシミリ装置の送信手順の第3の例を示すフローチャートである。
【図7】第3の例において通信時間が設定値を超えてしまった場合に、送信しているページの大半が送信済みとなっているときの処理を示すフローチャートである。
【図8】レポート出力を行う場合のファクシミリ装置の処理を示すフローチャートである。
【図9】図8におけるレポート出力の2例(A),(B)を示す図である。
【符号の説明】
1 ファクシミリ装置
101 画像入力装置
102 画像出力装置
103 符号化復号化部
104 画像メモリ部
105 通信時間算出部
106 モデム
107 網制御装置
108 操作表示部
109 通信監視部
110 システム制御部
111 システムバス

Claims (4)

  1. 圧縮画像を蓄積するメモリと、該メモリに蓄積された圧縮画像を送信する送信手段とを有するデータ通信装置において、
    前記圧縮画像の符号量と通信速度に基づいて予測通信時間を算出する通信時間算出手段と、
    前記圧縮画像の送信を開始してからの経過時間が、前記通信時間算出部で算出した前記予測通信時間に対して一定以上の割合の時間になった場合には、当該送信を中止する送信中止手段と、
    前記送信中止手段が前記送信画像の送信を中止したときは、前記送信した圧縮画像の圧縮率よりもさらに圧縮率が高い新たな圧縮画像を形成する再符号化手段と、
    前記新たな圧縮画像を再送する再送手段を備えたことを特徴とするデータ通信装置。
  2. 前記送信中止手段は、前記圧縮画像の送信を開始してからの経過時間が、前記通信時間算出部で算出した前記予測通信時間に対して一定以上の割合の時間になった時点で、当該圧縮画像の送信が、所定の割合以上完了している場合には、当該送信を中止しないことを特徴とする請求項1記載のデータ通信装置。
  3. 前記再送手段が前記新たな圧縮画像を再送したときは、当該再送があった旨を出力する出力手段をさらに備えたことを特徴とする請求項1または請求項2記載のデータ通信装置。
  4. 前記再送手段が前記新たな圧縮画像を再送したときは、当該再送した圧縮画像の一部または全部の画像を記録出力する記録手段をさらに備えたことを特徴とする請求項1または請求項2または請求項3記載のデータ通信装置。
JP2002063328A 2002-03-08 2002-03-08 データ通信装置 Expired - Fee Related JP3944603B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002063328A JP3944603B2 (ja) 2002-03-08 2002-03-08 データ通信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002063328A JP3944603B2 (ja) 2002-03-08 2002-03-08 データ通信装置

Publications (2)

Publication Number Publication Date
JP2003264680A JP2003264680A (ja) 2003-09-19
JP3944603B2 true JP3944603B2 (ja) 2007-07-11

Family

ID=29196656

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002063328A Expired - Fee Related JP3944603B2 (ja) 2002-03-08 2002-03-08 データ通信装置

Country Status (1)

Country Link
JP (1) JP3944603B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006253916A (ja) * 2005-03-09 2006-09-21 Tokyo Electric Power Co Inc:The 通信装置
JP2007104635A (ja) 2005-09-12 2007-04-19 Fuji Xerox Co Ltd 画像形成システム、画像転送装置及び画像転送システム

Also Published As

Publication number Publication date
JP2003264680A (ja) 2003-09-19

Similar Documents

Publication Publication Date Title
JP3944603B2 (ja) データ通信装置
JP2007221576A (ja) 通信端末装置
JP7426313B2 (ja) ファクシミリ装置、ファクシミリシステム、制御プログラムおよび制御方法
JP3561385B2 (ja) ファクシミリ装置の伝送方法
JPH04301940A (ja) データ通信装置及びデータ通信方法
US7123374B2 (en) Facsimile gateway device
JP3983592B2 (ja) 画像通信装置
US7079274B2 (en) Communication terminal device
JP3391256B2 (ja) ファクシミリ装置
JP3685129B2 (ja) 通信端末装置
JP2003069797A (ja) ファクシミリ装置
JP3580230B2 (ja) ファクシミリ装置
JPH0923326A (ja) ファクシミリの通信方法
JPH07183983A (ja) ファクシミリ装置
JP3260068B2 (ja) ファクシミリ装置
JP3401845B2 (ja) 変換情報通知機能を備えたファクシミリ装置
JP3586758B2 (ja) 通信端末装置
JP2000050033A (ja) ファクシミリ通信方法
JP3282765B2 (ja) ファクシミリ通信装置
JPH10173853A (ja) ファクシミリシステム
JP2002027183A (ja) 通信装置及びファクシミリ装置
JPH0114723B2 (ja)
JP2001230928A (ja) 受信装置
JPH08265541A (ja) ファクシミリ装置
JP2002185797A (ja) 通信端末装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060307

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070320

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070322

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100420

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110420

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120420

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees