JP3882837B2 - インターネットファクシミリ装置 - Google Patents

インターネットファクシミリ装置 Download PDF

Info

Publication number
JP3882837B2
JP3882837B2 JP2005017609A JP2005017609A JP3882837B2 JP 3882837 B2 JP3882837 B2 JP 3882837B2 JP 2005017609 A JP2005017609 A JP 2005017609A JP 2005017609 A JP2005017609 A JP 2005017609A JP 3882837 B2 JP3882837 B2 JP 3882837B2
Authority
JP
Japan
Prior art keywords
signal format
information
electronic mail
audio information
digital signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005017609A
Other languages
English (en)
Other versions
JP2005176401A (ja
Inventor
篤典 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2005017609A priority Critical patent/JP3882837B2/ja
Publication of JP2005176401A publication Critical patent/JP2005176401A/ja
Application granted granted Critical
Publication of JP3882837B2 publication Critical patent/JP3882837B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Facsimiles In General (AREA)
  • Facsimile Transmission Control (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明は、ネットワークを介して電子メイルを受信可能なインターネットファクシミリ装置に係り、特に、電子メイルに添付されたディジタル信号形式の音声情報を、音声情報出力部を介して出力可能なインターネットファクシミリ装置に関するものである。
従来より、ネットワーク(通信回線網)と接続することにより、電子メイル差出人から送信された電子メイルを受信するとともに、その電子メイルに添付された画像情報を、本体内部に内蔵された画像形成部を介して画像出力可能なインターネットファクシミリ装置が実用化されている。
このようなインターネットファクシミリ装置は、ネットワークを介して電子メイル差出人から送信された電子メイルを受信可能な電子メイル受信部、電子メイル受信部を介して受信した電子メイルに添付された画像情報を抽出可能な画像情報抽出部、画像情報抽出部を介して抽出された画像情報を被記録媒体上に出力可能な画像形成部等を、本体内部に内蔵することにより構成されている。
国際公開第97/10668号パンフレット 特開平10−112767号公報
ところが、このネットワークを介して受信される電子メイルは、インターネット電子メイル標準であるMIME(Multipurpose Internet Mail Extensions)規格に準じており、電子メイル本文(Text)の他に、静止画(Image)、動画(Video)、音声(Audio)等の様々な情報を添付することが可能であることから、上述したインターネットファクシミリ装置では対応できない情報が電子メイルに添付されている場合があった。
このため、上述したインターネットファクシミリ装置では対応できない情報が電子メイルに添付されていた場合は、その情報をインターネットファクシミリ装置に接続されたパーソナルコンピュータ等に転送して、その転送先において処理する必要があり、非常に不便であった。
本発明は、上記問題点に鑑みてなされたものであり、ネットワークを介して受信した電子メイルに添付されたディジタル形式の音声情報を、本体装置に内蔵された音声出力部を介して音声出力することにより、利便性を向上可能なインターネットファクシミリ装置を提供することを目的としている。
上記目的を達成するために、本願発明におけるインターネットファクシミリ装置は、ネットワークを介して電子メイルを受信可能な電子メイル受信手段と、受信した電子メイルに音声情報が添付されている場合に、その音声情報を抽出する音声情報抽出手段と、ディジタル信号形式の音声情報を、アナログ信号形式に変換する変復調部と、アナログ信号形式の音声情報に基づいた音声を出力する音声出力手段と、電子メイルに添付されている音声情報を音声情報記憶部に記憶する記憶手段と、を備えたインターネットファクシミリ装置であって、前記電子メイル受信手段を介して電子メイルを取得する毎に、前記音声情報抽出手段を介して、その電子メイルにデジタル信号形式の音声情報が添付されているかを判断する第1判断手段と、前記第1判断手段により前記ディジタル信号形式の音声情報が添付されていると判断された場合に、そのディジタル信号形式の音声情報を前記変復調部によりアナログ信号形式に変換可能か判断する第2判断手段と、前記第2判断手段により前記音声情報をアナログ信号形式に変換可能であると判断された場合に、その音声情報を直ちに再生するか、あるいは音声情報をディジタル信号形式のまま前記音声情報記憶部に記憶するかのいずれかををユーザの手動操作に基づいて選択させる選択手段と、前記選択手段による選択結果に基づいて、前記音声情報を再生することが選択された場合には、前記音声情報抽出手段により抽出され、前記変調部によりアナログ信号形式に変換された音声情報に基づいた音声を出力するように前記音声出力手段を制御し、前記音声情報を記憶することが選択された場合には、前記音声情報抽出手段により抽出された音声情報をディジタル信号形式のまま前記音声情報記憶部に記憶するように前記記憶手段を制御する制御手段と、を備えることを特徴とする。
さらに、請求項1に記載のインターネットファクシミリ装置であって、前記第2判断手段により、前記音声情報を前記アナログ信号形式に変換不可能であると判断された場合に前記音声情報抽出手段により抽出された前記ディジタル信号形式の音声情報を、ディジタル信号形式をアナログ信号形式に変換可能な別の装置に転送する転送手段とをさらに備えてもよい。
本願発明におけるインターネットファクシミリ装置によれば、電子メイルにディジタル信号形式の音声情報が添付されている場合であって、アナログ信号形式の音声情報に変換可能な場合は、インターネットファクシミリ装置に設けられた音声出力部を介してその内容を聞き取ることが可能であるので、使用者にかかる手間や負担を良好に低減することが可能となる。さらに、ユーザの操作により音声情報をすぐに再生しない場合には、ディジタル信号形式の音声情報として記憶するため、その情報を後から再生することが可能である。
また、他の装置に音声情報を転送する転送手段えていれば、アナログ信号形式の音声情報に変換できない場合であっても、ディジタル信号形式の音声情報を、パーソナルコンピュータ等に転送することができる。
以下、本発明の好ましい実施の形態を、図面を参照しつつ詳細に説明する。
図1は、本発明の一実施形態に係る、インターネットファクシミリ装置の概略構成を示すブロック図である。
図1に示されるように、このインターネットファクシミリ装置10は、記録印字すべき画像情報(文字や数字等を含む意である)を被記録媒体上に出力可能な画像形成部14、光学系読取装置を備えることにより被読取媒体上に形成された画像情報を読取可能な画像読取部16、図示しないパーソナルコンピュータとの情報交換等を可能にするパーソナルコンピュータインターフェース部(PCインターフェース部)18、インターネットファクシミリ装置10による各種データの送受信処理を直接制御する通信機能部20、画像読取部16を介して読み取られた画像情報等を圧縮したり、受信した画像情報等を伸張する情報圧縮/伸張部32、アナログ信号形式の音声情報に基づいた音声やエラー音を出力可能な音声出力部34、後述する電子メイル受信処理プログラムやフォントデータ等を記憶するROM36、後述するパネル操作部46を介して入力された送信相手先の宛先情報(送信相手先ファクシミリ番号や送信相手先メイル・アドレス)や後述する音声情報記憶部42に記憶された音声情報を抽出する際に必要となるパスワード等を登録・記憶可能なEEPROM38、各種情報を記憶・消去可能なRAM40、使用者からの操作指示やパスワード等を入力可能なキースイッチ類や、各種処理結果を表示可能な図示しない液晶ディスプレイ等を備えるパネル操作部46等がバス54を介して接続されているCPU12によって統制・制御されている。
尚、通信機能部20は、後述するサーバ70(図2参照)との通信を実行することにより、電子メイルを受信することが可能な電子メイル受信部22、サーバ70との回線制御を行うネットワーク制御部24、後述する一般公衆回線79との回線制御を行う回線制御部25、電子メイルに添付されたディジタル信号形式の音声情報を抽出可能な音声情報抽出部26、電子メイルに添付された画像情報を抽出可能な画像情報抽出部27、電子メイルに添付されたディジタル信号形式の音声情報に関する様式を認識可能な音声様式認識部28、ディジタル信号、及び、アナログ信号に関する変調・復調を行う変復調部30等から構成されている。
また、RAM40は、複数グループに分割可能で、かつ、各グループ毎にディジタル信号形式の音声情報を記憶可能な音声情報記憶部42、上述した画像読取部16を介して読み取られた画像情報、もしくは、電子メイルに添付された画像情報を一時的に記憶可能な画像情報メモリ44等から構成されている。
更に、パネル操作部46は、送信相手先ファクシミリ番号やパスワード等を入力可能なテンキー48、送信相手先メイル・アドレスや送信相手先の名前、あるいは、パスワード等を入力可能なキャラクターキー50等から構成されている。
尚、上述した電子メイルは、インターネット電子メイル標準であるMIME(Multipurpose Internet Mail Extensions)規格に準じており、このMIME規格に準じたものであれば、電子メイル本文中のテキスト文章(Text)の他に、静止画(Image)、動画(Video)、音声(Audio)等の各種情報を添付することが可能である。
図2は、図1に示したインターネットファクシミリ装置10と、このインターネットファクシミリ装置10に接続されるネットワーク(通信回線網)との概略構成を示した図である。尚、この図2では、図を簡略化するために、インターネットファクシミリ装置10によって通信を行う際に重要となる通信機能部20、画像情報に基づく画像出力を行う画像形成部14、及び、音声情報に基づく音声出力を行う音声出力部34を主に図示することとし、他のインターネットファクシミリ装置10を構成する構成要素の図示は省略することとする。
図2に示されるように、上述したインターネットファクシミリ装置10は、回線制御部25、一般公衆回線79、及び、インターネットプロバイダ60を介してインターネット75と接続されるプロバイダ経由接続、もしくは、ネットワーク制御部24、及び、LAN68に設けられたサーバ70を介してインターネット75と接続されるLAN経由接続によって、インターネットファクシミリ装置10とインターネット75との間で各種情報交換を行うことが可能である。
以下、図2、及び、図3を参照しながら、同じくインターネット75と接続された電子メイル差出人76から送信される電子メイルを受信した際に、ROM36に記憶されたプログラムを介して実行される電子メイル受信処理について詳細に説明する。尚、図3は、電子メイル受信処理プログラムの処理過程を示した電子メイル受信処理フローチャートである。
まず、電子メイル差出人76から送信される電子メイルが、インターネット75を介して、インターネットプロバイダ60、もしくは、サーバ70によって受信されたかを、電子メイル受信部22を介して確認する(S1)。ここで、電子メイルを受信していない場合(S1:NO)は、電子メイルを受信するまで待機状態となる。尚、この待機状態において(S1:NO)、使用者が操作パネル46を操作することにより、送信相手先の宛先情報や、後述するパスワードの登録・変更等を実行することが可能である。
一方、電子メイル受信部22を介して、インターネットプロバイダ60、もくくは、サーバ70によって電子メイルが受信されたことを確認した場合(S1:YES)は、自動的に、あるいは、使用者の指示に従って、インターネットプロバイダ60、もしくは、サーバ70によって受信された電子メイルを受け取りに行き、その電子メイルに画像情報が添付されているか否かを、画像情報抽出部27を介して確認する(S3)。尚、この電子メイルに画像情報が添付されているか否かを確認する際には、MIME規格に設けられた画像情報の規格であるContent−TypeのImageを参照している。
このS3の判断において、電子メイルに画像情報が添付されていた場合(S3:YES)は、その画像情報を画像形成部14を介して画像出力を実行する(S5)。
画像形成部14を介して画像情報が出力された後(S5)、あるいは、電子メイルに画像情報が添付されていない場合(S3:NO)は、次に、電子メイルにディジタル信号形式の音声情報が添付されているかを、音声情報抽出部26を介して確認する(S7)。尚、この電子メイルにディジタル信号形式の音声情報が添付されているか否かを確認する際には、MIME規格に設けられたディジタル信号形式の音声情報の規格であるContent−TypeのAudioを参照している。
このS7の判断において、電子メイルにディジタル信号形式の音声情報が添付されていた場合は(S7:YES)は、そのディジタル信号形式の音声情報が、変復調部30において、アナログ信号形式の音声情報に変換できるか否かを確認する(S9)。ここで、変復調部30において、ディジタル信号形式の音声情報をアナログ信号形式の音声情報に変換できない場合(S9:NO)は、インターネットプロバイダ60、もしくは、サーバ70に、このディジタル信号形式の音声情報を保留にしておくか、あるいは、パーソナルコンピュータインターフェース部18を介して接続された図示しないパーソナルコンピュータ宛に、このディジタル信号形式の音声情報を転送する処理を実行する(S21)。
一方、S9の判断において、変復調部30が、ディジタル信号形式の音声情報をアナログ信号形式の音声情報に変換可能である場合(S9:YES)は、そのディジタル信号形式の音声情報を音声情報記憶部42に記憶するか否かを判断する(S11)。尚、このS11の判断は、使用者によって、予めパネル操作部46を介して入力された設定に準じて行ったり、電子メイルを受信した後(S1:YES)に、パネル操作部46を介して決定したりすることが可能である。
ここで、このS11の判断において、ディジタル信号形式の音声情報を記憶する場合(S11:YES)は、このディジタル信号形式の音声情報を、複数のグループに分割された音声情報記憶部42の内、どのグループに記憶するか選定する(S13)。尚、このディジタル信号形式の音声情報の記憶グループ先は、予めパネル操作部46を介して入力された設定に準じて行っても良いし、電子メイル差出人76の有する差出元情報(差出元メイル・アドレス等)に基づいて、自動的に振り分ける構成としても良い。
そして、ディジタル信号形式の音声情報を記憶する記憶グループ先が選定された後(S13)、その記憶グループ先において、ディジタル信号形式の音声情報の記憶が実行される(S15)。尚、このようにして、音声情報記憶部42内に設けられた複数のグループ毎に格納されたディジタル信号形式の音声情報は、各グループ毎に定められたパスワードを入力しなければ、そのディジタル信号形式の音声情報を取り出すことができない構成となっており、操作パネル46を介して、この各グループ毎に定められたパスワードが入力された際は、そのディジタル信号形式の音声情報を、変復調部30を介してアナログ信号形式の音声情報に変換するとともに、音声出力部34によって、そのアナログ信号形式の音声情報に基づいた音声を出力する構成となっている。
一方、S11の判断において、ディジタル信号形式の音声情報を記憶しない場合(S11:NO)は、操作パネル46からの操作を介して、そのディジタル信号形式の音声情報を再生する旨の指示があるか確認する(S17)。ここで、ディジタル信号形式の音声情報を再生する旨の指示がない場合(S17:NO)は、再度S11の判断に戻る。
S17の判断において、ディジタル信号形式の音声情報を再生する旨の指示があった場合(S17:YES)は、変復調部30を介して、ディジタル信号形式の音声情報を、アナログ信号形式の音声情報に変換するとともに、そのアナログ信号形式に変換された音声情報を、音声出力部34を介して出力する(S19)。
そして、電子メイルにディジタル信号形式の音声情報が添付されていない場合(S7:NO)、ディジタル信号形式の音声情報を音声情報記憶部42に記憶した後(S15)、音声出力部34を介してアナログ信号形式の音声情報を出力した後(S19)、あるいは、変復調部30を介してアナログ信号形式に変換できない(S9:NO)ディジタル信号形式の音声情報を転送処理した後(S21)には、次に、電子メイルに画像情報、及び、ディジタル信号形式の音声情報以外の情報が添付されていないかを確認する(S23)。尚、これらの情報に該当する情報は、MIME規格に設けられた動画(Video)、アプリケーションデータ(Application)等である。
これらの他の情報が添付されていない場合(S23:NO)は、この電子メイル受信処理を終了する。
一方、これらの他の情報が添付されていた場合(S23:YES)は、インターネットプロバイダ60、もしくは、サーバ70に、これらの他の情報を保留にしておくか、あるいは、パーソナルコンピュータインターフェース部18を介して接続された図示しないパーソナルコンピュータ宛に、このディジタル信号形式の音声情報を転送する処理を実行した後(S25)、この電子メイル受信処理を終了する。
以上説明したように、このインターネットファクシミリ装置10によれば、電子メイルにディジタル信号形式の音声情報が添付されていた場合(S7:YES)は、インターネットファクシミリ装置10に設けられた音声出力部34を介してその内容を聞き取ることが可能であるので(S19)、従来のインターネットファクシミリ装置の様に、ディジタル信号形式の音声情報を、パーソナルコンピュータ等に転送して、その転送先において処理する必要がなくなり、使用者にかかる手間や負担を良好に低減することが可能となる。
また、電子メイルに添付された音声情報を、音声情報記憶部42に設けられた複数のグループの内、所望のグループ先に記憶することが可能であり(S15)、使用者の目的に応じて、ディジタル信号形式の音声情報を管理することが可能となるため、例えば、一台のインターネットファクシミリ装置10を複数人で使用することが可能となる。
更に、各人が所有するグループに記憶されたディジタル信号形式の音声情報は、各グループ毎に設定されたパスワードが入力された際に音声出力されるので、他人が自由に扱うことが禁止され、各人のプライバシーを良好に保護することが可能となる。
尚、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の改良、変形が可能であることは言うまでもない。例えば、本実施形態におけるインターネットファクシミリ装置10は、インターネット75を介して各種情報交換を実行可能な電子メイル差出人76からの電子メイルを受信する例を挙げて説明したが、勿論これに限られるものではなく、LAN68を介して各種情報交換を実行可能な相手からの電子メイルを受信しても、同様な効果が得られることは言うまでもない。
本発明の一実施形態に係るインターネットファクシミリ装置の概略構成を示したブロック図である。 インターネットファクシミリ装置と、インターネットファクシミリ装置が接続されたネットワークとの概略構成を示したブロック図である。 電子メイル受信処理プログラムの処理過程を示した電子メイル受信処理フローチャート図である。
符号の説明
10 インターネットファクシミリ装置
12 CPU
14 画像形成部
16 画像読取部
18 パーソナルコンピュータインタフェース部
20 通信機能部
22 電子メイル受信部
24 ネットワーク制御部
25 回線制御部
26 音声情報抽出部
27 画像情報抽出部
28 音声様式認識部
30 変復調部
34 音声出力部
36 ROM
38 EEPROM
40 RAM
42 音声情報記憶部
46 パネル操作部
60 インターネットプロバイダ
70 サーバ
75 インターネット
76 電子メイル差出人
79 一般公衆回線

Claims (2)

  1. ネットワークを介して電子メイルを受信可能な電子メイル受信手段と、
    受信した電子メイルに音声情報が添付されている場合に、その音声情報を抽出する音声情報抽出手段と、
    ディジタル信号形式の音声情報を、アナログ信号形式に変換する変復調部と、
    アナログ信号形式の音声情報に基づいた音声を出力する音声出力手段と、
    電子メイルに添付されている音声情報を音声情報記憶部に記憶する記憶手段と、
    を備えたインターネットファクシミリ装置であって、
    前記電子メイル受信手段を介して電子メイルを取得する毎に、前記音声情報抽出手段を介して、その電子メイルにデジタル信号形式の音声情報が添付されているかを判断する第1判断手段と、
    前記第1判断手段により前記ディジタル信号形式の音声情報が添付されていると判断された場合に、そのディジタル信号形式の音声情報を前記変復調部によりアナログ信号形式に変換可能か判断する第2判断手段と、
    前記第2判断手段により前記音声情報をアナログ信号形式に変換可能であると判断された場合に、その音声情報を直ちに再生するか、あるいは音声情報をディジタル信号形式のまま前記音声情報記憶部に記憶するかのいずれかををユーザの手動操作に基づいて選択させる選択手段と、
    前記選択手段による選択結果に基づいて、前記音声情報を再生することが選択された場合には、前記音声情報抽出手段により抽出され、前記変調部によりアナログ信号形式に変換された音声情報に基づいた音声を出力するように前記音声出力手段を制御し、前記音声情報を記憶することが選択された場合には、前記音声情報抽出手段により抽出された音声情報をディジタル信号形式のまま前記音声情報記憶部に記憶するように前記記憶手段を制御する制御手段と、
    を備えることを特徴とするインターネットファクシミリ装置。
  2. 前記第2判断手段により、前記音声情報を前記アナログ信号形式に変換不可能であると判断された場合に前記音声情報抽出手段により抽出された前記ディジタル信号形式の音声情報を、ディジタル信号形式をアナログ信号形式に変換可能な別の装置に転送する転送手段とをさらに備えることを特徴とする請求項1に記載のインターネットファクシミリ装置。
JP2005017609A 2005-01-26 2005-01-26 インターネットファクシミリ装置 Expired - Fee Related JP3882837B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005017609A JP3882837B2 (ja) 2005-01-26 2005-01-26 インターネットファクシミリ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005017609A JP3882837B2 (ja) 2005-01-26 2005-01-26 インターネットファクシミリ装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP3985699A Division JP2000244681A (ja) 1999-02-18 1999-02-18 インターネットファクシミリ装置

Publications (2)

Publication Number Publication Date
JP2005176401A JP2005176401A (ja) 2005-06-30
JP3882837B2 true JP3882837B2 (ja) 2007-02-21

Family

ID=34737581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005017609A Expired - Fee Related JP3882837B2 (ja) 2005-01-26 2005-01-26 インターネットファクシミリ装置

Country Status (1)

Country Link
JP (1) JP3882837B2 (ja)

Also Published As

Publication number Publication date
JP2005176401A (ja) 2005-06-30

Similar Documents

Publication Publication Date Title
US20090094694A1 (en) Communication apparatus
JP2003030108A (ja) ファクシミリ装置及びその制御方法
JP3882837B2 (ja) インターネットファクシミリ装置
JPH1041973A (ja) 通信端末装置
JP2001326769A (ja) ファクシミリ装置
JP2000244681A (ja) インターネットファクシミリ装置
JP3633859B2 (ja) インターネットファクシミリ装置
JP2006345253A (ja) 通信装置
JP2007037064A (ja) 通信端末装置
JP3561625B2 (ja) 情報通信装置
JPH04315356A (ja) 画像伝送装置
JP2004140607A (ja) 通信装置及び通信システム
JP3846626B2 (ja) 通信端末装置
JP2978267B2 (ja) 通信装置
JP2000244696A (ja) インターネットファクシミリ装置
JP3402290B2 (ja) 通信ネットワークシステム
JP2003008819A (ja) ファクシミリ通信システム
JPH11155039A (ja) ファクシミリ装置
JP2004030087A (ja) 情報処理システム、情報処理端末、情報処理装置、情報処理方法、および情報処理プログラム
JPH1174980A (ja) 電子メール機能付通信端末装置
JP2001154932A (ja) 通信端末装置
JP2002010046A (ja) ファクシミリ装置
JP2001313763A (ja) ファクシミリ装置
JP2005354747A (ja) 通信装置
JP2001169043A (ja) ファクシミリ装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060620

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061106

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091124

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101124

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111124

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121124

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131124

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees