JPH11187468A - 携帯形テレビ電話システムにおける画像データ領域可変方式 - Google Patents

携帯形テレビ電話システムにおける画像データ領域可変方式

Info

Publication number
JPH11187468A
JPH11187468A JP9367386A JP36738697A JPH11187468A JP H11187468 A JPH11187468 A JP H11187468A JP 9367386 A JP9367386 A JP 9367386A JP 36738697 A JP36738697 A JP 36738697A JP H11187468 A JPH11187468 A JP H11187468A
Authority
JP
Japan
Prior art keywords
image
data
audio
image data
dram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9367386A
Other languages
English (en)
Other versions
JP3512327B2 (ja
Inventor
Toru Uehara
植原  徹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP36738697A priority Critical patent/JP3512327B2/ja
Publication of JPH11187468A publication Critical patent/JPH11187468A/ja
Application granted granted Critical
Publication of JP3512327B2 publication Critical patent/JP3512327B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

(57)【要約】 【課題】 テレビ電話システムにおいて、相手通信端末
に転送すべきデータ列の音声データ領域を画像データに
変えることにより、1画面分の画像データ転送を短時間
に終了させ、相手通信端末の画像表示部の単位秒当たり
の表示駒数を音声ありの場合に比較し増加させることが
できる画像データ領域可変方式を提供する。 【解決手段】 相手通信端末に接続されテレビ電話を開
始し、音声有無切替部13が音声なしに切り替えられて
いれば、メモリ読出制御回路19は画像用DRAM18
のみから画像データを読み出す。処理部20は音声デー
タ領域も画像データ領域として用い、画像データのみの
フレームデータ列を編成する。このデータ列は相手通信
端末に送信され、相手のモノクロ液晶表示部9に表示さ
れ、音声は出力されない。1画面分の画像転送速度が大
きくなるため、音声ありに比較し、より動画に近い表示
が可能となる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、電話機能およびデ
ータ通信機能の他に、テレビ電話機能を有する携帯形テ
レビ電話システム、さらに詳しくいえば、該システムに
おいて相手通信端末に送るデータ列の音声データ領域を
必要に応じて画像データに変えて伝送するようにした画
像データ領域可変方式に関する。
【0002】
【従来の技術】PHS機能およびデータ通信機能を有す
る簡易形情報通信端末に着脱式画像撮影アダプタを装着
してテレビ電話システムを構築した場合、該装置はPH
S電話,データ送受信に加え、テレビ電話、さらにディ
ジタルカメラとして用いることができる。
【0003】図6は、一般に考えられるテレビ電話シス
テムの構成を説明するためのブロック図である。カメラ
機能を有する画像取込装置35と、PHS機能およびデ
ータ通信機能を有する携帯情報通信端末36がインタフ
ェース部40,41を介して接続される。携帯情報通信
端末36は、RF部43,アンテナ44を介して相手通
信端末と画像データおよび音声データの送受信を行う。
相手から送られてくる画像データはモノクロ液晶表示部
45に表示され、相手画像を見ながら通話をすることが
できる。
【0004】一方、撮像素子37から取り込んだ自らの
画像データは、A/D変換器38でディジタルデータに
変換され、画像処理部39で所定の画像処理を施された
後、インタフェース回路40,41を介して携帯情報通
信端末36に送られる。CPU42は音声と画像データ
を所定の形式にし、RF部43で音声と画像データを変
調して増幅した後、アンテナ44より相手通信端末に送
出する。相手通信端末のモノクロ液晶表示部には、リア
ルタイムで送られてくる画像が表示されるとともにスピ
ーカから音声が出力される。
【0005】図5は、画像データと音声データのデータ
列の一例を示す図である。通常、携帯形テレビ電話シス
テムでは画像データと音声データを含むn個のフレーム
のデータ列を作り、ヘッダ情報およびフッタ情報を2フ
レームずつ付加し1秒間にNフレームを転送している。
これにより例えば、1秒間に2駒の画像を転送するとと
もに30msec毎に音声を処理できる。
【0006】
【発明が解決しようとする課題】ところで、通話しなが
ら画像を送る場合、相手に送った画面の説明をする場合
や、音声による通話が主体の場合には、画像情報と音声
情報とが所定の比率で転送されることが必要である。し
かしながら、状況によっては一時的に音声情報は必要な
く画像情報のみで相手に内容を伝達する場合がある。特
に相手が画像のみ注目している場合には音声による説明
は不要である。
【0007】このようなとき、必要でない音声領域をデ
ータ列の中に確保しておくことは無駄であり、その分、
転送する画像情報量を増大させることが、より詳細な画
像データを転送する上で必要である。本発明は上記状況
に鑑みなされたもので、その目的はテレビ電話システム
において、相手通信端末に転送すべきデータ列の音声デ
ータ領域を画像データに変えることにより、1画面分の
画像データ転送を短時間に終了させ、相手通信端末の画
像表示部の単位秒当たりの表示駒数を音声ありの場合に
比較し多くすることができる画像データ領域可変方式を
提供することにある。
【0008】
【課題を解決するための手段】前記課題を解決するため
に本発明によるテレビ電話システムにおける電話機能ま
たはデータ通信機能を有する簡易形情報通信端末に撮像
機能を内蔵するか、または撮像素子を有する画像撮影ア
ダプタを接続することによりテレビ電話機能を備えたテ
レビ電話システムにおいて、音声情報なしを選択できる
音声有無切替部と、撮像素子から取り入れた画像データ
を格納する画像用DRAMと、マイクからの入力音声デ
ータを格納する音声用DRAMと、通常は前記音声用D
RAMおよび前記画像用DRAMからそれぞれ音声デー
タおよび画像データを読出し、前記音声有無切替部によ
り音声なしが選択された場合には、前記音声用DRAM
からは音声データを読み出さず、前記画像用DRAMか
ら画像データのみを読出すように制御するメモリ読出制
御手段と、前記音声用DRAMおよび画像用DRAMか
ら送られてくる音声データおよび画像データをフレーム
化し所定の比率でフレームデータ列を作り、前記画像デ
ータのみ送られてきた場合には、画像データのみでフレ
ーム化したフレームデータ列を作る画像処理手段を有
し、音声不要の場合には、音声データ領域を画像データ
領域に変え、相手端末に画像データのみを転送して1秒
当たりの表示画像駒数を増加させるように構成してあ
る。また、本発明は上記構成において、前記フレームデ
ータ列のヘッダ部には、画像データと音声データの比
率,フレームへの切替の情報を付加する構成にしてあ
る。
【0009】
【作用】上記構成によれば、例えば通常は2駒/秒の表
示を約3駒/秒にでき、より動画に近い表示が可能にな
る。
【0010】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳しく説明する。図1は本発明による画像デ
ータ領域可変方式を適用したテレビ電話システムの実施
の形態を説明するための図で、(a)は着脱式画像撮影
アダプタの外観斜視図,(b)は簡易形情報通信端末に
一体に着脱式画像撮影アダプタを装着してなるテレビ電
話システムの外観斜視図である。PCカードスロット部
5の上部に被写体像を取り込むためのカメラユニット1
が設けられている。カメラユニット1は支持部2によっ
て回動可能に取り付けられ、矢印方向に撮影方向を変え
ることができる。PCカードスロット部5部分には電子
回路4が内蔵され、その下端部には電池収納部7が設け
られている。
【0011】一方、PHS機能およびデータ通信機能を
有する簡易形情報通信端末8は、表示部9,スピーカ1
1,アンテナ10などが設けられている上部フリップ
と、通話キー15などが配置されているファンクション
キー,テンキー,選択キーを含む操作部12,マイク1
4,電源スイッチなどが設けられている下部フリップよ
り構成され、2つ折りに畳むことができる。この簡易形
情報通信端末8の下部フリップ下端に設けられているス
ロット接続端子に、着脱式画像撮影アダプタ3のPCカ
ードスロット部5を装着してテレビ電話システムが構成
される。
【0012】図2は、本発明による画像データ領域可変
方式を適用したテレビ電話システムの回路の実施の形態
を示すブロック図である。着脱式画像撮影アダプタ3
は、カメラユニット1によって結像された被写体像を電
気信号(画素信号)に変換する撮像素子16,撮像素子
16の出力をディジタル信号に変換するA/D変換器1
7,A/D変換器17からの画像データを格納する画像
用DRAM18,マイク14からの入力音声データをA
/D変換するA/D変換器29およびA/D変換出力を
格納する音声用DRAM28を有している。さらに利用
者によって音声なしを選択できる音声有無切替部13,
音声有無切替部13からの信号に基づき画像用DRAM
18と音声用DRAM28の読出タイミングを制御する
メモリ読出制御回路19,ディザ画像変換回路20aお
よび音声処理回路20bを含み、画像用DRAM18お
よび音声用DRAM28から読み出されたデータを所定
のデータ列に編成するとともに音声データと画像データ
の比率およびフレームへの切替えのデータ情報を含むヘ
ッダ情報を付加する処理を行う処理部20ならびに処理
部20の変換出力を簡易形情報通信端末8に接続するた
めのPCカードスロット部5を有している。
【0013】メモリ読出制御回路19は通常、音声用D
RAM28および画像用DRAM18からそれぞれ音声
データおよび画像データを読出し、音声有無切替部13
により音声なしが選択された場合には、音声用DRAM
28からは音声データを読み出さず、画像用DRAM1
8の画像データのみを読出すように制御する。音声なし
選択では画像DRAM18の画像データのみが読み出さ
れ、処理部20では画像データのみのフレームデータ列
が編成され、図4に示すように音声データと画像データ
の比率を示すビット情報とフレームへの切替えを示すビ
ットよりなるヘッダ情報が付加される。
【0014】簡易形情報通信端末8は、PCカードスロ
ット部5に接続されるスロット接続端子21,PHS機
能およびデータ通信機能の制御を司どるCPU22,電
話機能,データ通信機能,テレビ電話機能を実行するた
めのアプリケーションプログラムを格納するアプリケー
ション登録部26ならびにデータ通信により送受信する
文字などのデータや画像データを格納するメモリ部23
を有している。さらに発着呼情報,文字,制御内容を表
示したり,画像を表示したりするモノクロ液晶表示部
9,電話やデータ通信のため、さらに画像の撮影,再生
表示,転送するためのキー操作部12,PHS回線を用
いて相手通信端末と電話,データ通信するためのRF部
27ならびにアンテナ10を有している。
【0015】つぎにテレビ電話の動作シーケンスに基づ
き画像取込,転送動作を説明する。自らが発信するか、
または着信を受け相手のテレビ電話システム(以下「相
手端末」という)に接続されると、CPU22はRF部
27,アンテナ10を介して画像データおよび音声デー
タの送受信を開始する。当初、音声有無切替部13は通
常モード、すなわち音声および画像データを送るように
なっていたとする。撮像素子16より取り込まれた画像
はA/D変換器17でディジタルデータに変換され、画
像用DRAM18に格納される。同時にマイク14より
入力した音声信号はA/D変換器29でA/D変換され
て音声用DRAM28に格納される。
【0016】メモリ読出制御回路19は所定のタイミン
グで音声用DRAM28および画像用DRAM18より
音声データおよび画像データを読み出し、処理部20に
送る。処理部20では図5に示すように音声データおよ
び画像データを含むn個のフレームのデータ列を作り、
ヘッダ情報(音声データと画像データの所定の比率)お
よびフッタ情報を2フレームずつ付加する。そして圧縮
処理を行った後、簡易形情報通信端末8に送る。CPU
22は送られてきたデータ列をメモリ部23に格納す
る。メモリ部23に格納されたデータ列は読み出され処
理部20で伸長処理された後、CPU22で所定の伝送
フォーマットにされ、RF部27,アンテナ10を介し
て相手端末に送信される。
【0017】相手端末における受信動作を図2によって
説明する。CPU22はアンテナ10,RF部27を介
して受信し、ヘッダ情報を解析した後、処理部20で圧
縮処理してメモリ部23に格納する。画像データはメモ
リ部23より読み出されディザ画像変換回路20aでデ
ィザ変換された後、モノクロ液晶表示部9に表示され
る。同時に音声データもアナログ信号に復調再生されス
ピーカより出力される。このようにして相互に相手画像
を見ながら通話をすることができる。
【0018】ここで、一時的に音声は不要で画像だけを
相手端末に送る状況になり、音声有無切替部13を切替
え、音声無しを選択したとする。メモリ読出制御回路1
9は音声有無切替部13からの切替信号にしたがって音
声DRAM28へのアクセスは行わず、画像用DRAM
18から画像データのみを読出す。処理部20では図3
(a)に示すように画像データのみのn1 個のフレーム
を作り、これにヘッダ情報(画像データ100%)およ
びフッタ情報を2フレームずつ付加したデータ列を編成
する。図3(b)に1フレームのビット構成例を示す。
上段は通常のテレビ電話通話モードで、画像データにa
ビット,音声データにbビット,先頭にdビットが割り
当てられ、全体ではaビット+bビット+cビット+1
0ビット=dビットで構成されている。音声無しの場合
には下段に示すように画像データのみに(a+b)ビッ
トが割り当てられ、画像データがbビット分増加する。
【0019】このデータ列は圧縮処理されてメモリ部2
3に格納される。そしてメモリ部23より読み出され伸
長処理されて相手端末に送られる。相手端末のCPU2
2は、アンテナ10,RF部27を介して受信し、ヘッ
ダ情報を解析し画像データのみのデータ列であることを
知る。これにより、音声データは存在しないため、音声
データの復調再生は行われない。画像データは処理部2
0で圧縮処理されてメモリ部23に格納される。そして
画像データはメモリ部23より読み出されディザ画像変
換回路20aでディザ変換された後、モノクロ液晶表示
部9に表示される。モノクロ液晶表示部9に表示される
画像の動きは音声ありのときに比較し動きが円滑にな
る。音声ありのときの駒数/秒を例えば2とすると3駒
/秒に増加する。
【0020】
【発明の効果】以上、説明したように本発明は音声情報
なしを選択できる音声有無切替部と、撮像素子から取り
入れた画像データを格納する画像用DRAMと、マイク
からの入力音声データを格納する音声用DRAMと、通
常は音声用DRAMおよび画像用DRAMからそれぞれ
音声データおよび画像データを読出し、音声有無切替部
により音声なしが選択された場合には、音声用DRAM
からは音声データを読み出さず、画像用DRAMから画
像データのみを読出すように制御するメモリ読出制御手
段と、音声用DRAMおよび画像用DRAMから送られ
てくる音声データおよび画像データをフレーム化し所定
の比率でフレームデータ列を作り、画像データのみ送ら
れてきた場合には、画像データのみでフレーム化したフ
レームデータ列を作る画像処理手段を有し、音声不要の
場合には、音声データ領域を画像データ領域に変え、相
手端末に画像データのみを転送して1秒当たりの表示画
像駒数を増加させるように構成したものである。したが
って、1画面分の画像データ転送時間を短縮でき、相手
通信端末の画像表示部に単位秒当たりに表示できる駒数
が増加し、より動画に近い表示ができるという効果があ
る。
【図面の簡単な説明】
【図1】本発明による画像データ領域可変方式を適用し
たテレビ電話システムの実施の形態を説明するための図
で、(a)は着脱式画像撮影アダプタの外観斜視図,
(b)は簡易形情報通信端末に一体に着脱式画像撮影ア
ダプタを装着してなるテレビ電話システムの外観斜視図
である。
【図2】本発明による画像データ領域可変方式を適用し
たテレビ電話システムの回路の実施の形態を示すブロッ
ク図である。
【図3】フレームデータ列を説明するための図で、
(a)は画像データのみによって編成されたフレームデ
ータ列の一例を示す図,(b)は1フレームの音声情報
がある場合とない場合のフレーム構成例を示す図であ
る。
【図4】ヘッダ部の構成を説明するための図である。
【図5】音声データおよび画像データ領域を含む通常の
フレームデータ列を説明するための図である。
【図6】一般に考えられるテレビ電話システムの構成を
説明するためのブロック図である。
【符号の説明】
1…カメラユニット 2…支持部 3…着脱式画像撮影アダプタ 4…電子回路 5…PCカードスロット部 6…フレーム 7…電池収納部 8…簡易形情報通信端末 9,45…モノクロ液晶表示部 10,44…アンテナ 11…スピーカ 12…キー操作部 13…音声有無切替部 14…マイク 15…通話キー 16,37…撮像素子 17,29,38…A/D変換器 18…画像用DRAM 19…メモリ読出制御回路 20…処理部 20a…ディザ画像変換回路 20b…音声処理回路 21…スロット接続部 22,42…CPU 23,46…メモリ部 26…アプリケーション登録部 27,43…RF部 28…音声用DRAM 35…画像取込装置 36…携帯情報通信端末 39…画像処理部 40,41…インタフェース部

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 電話機能またはデータ通信機能を有する
    簡易形情報通信端末に撮像機能を内蔵するか、または撮
    像素子を有する画像撮影アダプタを接続することにより
    テレビ電話機能を備えたテレビ電話システムにおいて、 音声情報なしを選択できる音声有無切替部と、 撮像素子から取り入れた画像データを格納する画像用D
    RAMと、 マイクからの入力音声データを格納する音声用DRAM
    と、 通常は前記音声用DRAMおよび前記画像用DRAMか
    らそれぞれ音声データおよび画像データを読出し、前記
    音声有無切替部により音声なしが選択された場合には、
    前記音声用DRAMからは音声データを読み出さず、前
    記画像用DRAMから画像データのみを読出すように制
    御するメモリ読出制御手段と、 前記音声用DRAMおよび画像用DRAMから送られて
    くる音声データおよび画像データをフレーム化し所定の
    比率でフレームデータ列を作り、前記画像データのみ送
    られてきた場合には、画像データのみでフレーム化した
    フレームデータ列を作る画像処理手段を有し、 音声不要の場合には、音声データ領域を画像データ領域
    に変え、相手端末に画像データのみを転送して1秒当た
    りの表示画像駒数を増加させるように構成したことを特
    徴とする携帯形テレビ電話システムにおける画像データ
    領域可変方式。
  2. 【請求項2】 前記フレームデータ列のヘッダ部には、
    画像データと音声データの比率,フレームへの切替の情
    報が付加されたことを特徴とする携帯形テレビ電話シス
    テムにおける画像データ領域可変方式。
JP36738697A 1997-12-24 1997-12-24 携帯形テレビ電話システムにおける画像データ領域可変方式 Expired - Fee Related JP3512327B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP36738697A JP3512327B2 (ja) 1997-12-24 1997-12-24 携帯形テレビ電話システムにおける画像データ領域可変方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36738697A JP3512327B2 (ja) 1997-12-24 1997-12-24 携帯形テレビ電話システムにおける画像データ領域可変方式

Publications (2)

Publication Number Publication Date
JPH11187468A true JPH11187468A (ja) 1999-07-09
JP3512327B2 JP3512327B2 (ja) 2004-03-29

Family

ID=18489187

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36738697A Expired - Fee Related JP3512327B2 (ja) 1997-12-24 1997-12-24 携帯形テレビ電話システムにおける画像データ領域可変方式

Country Status (1)

Country Link
JP (1) JP3512327B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000253455A (ja) * 1999-03-01 2000-09-14 Toshiba Corp 無線携帯端末
WO2001071948A1 (fr) * 2000-03-24 2001-09-27 Matsushita Electric Industrial Co., Ltd. Procede de communication d'images et dispositif terminal de communication d'images
JP2002051312A (ja) * 2000-07-31 2002-02-15 Ricoh Co Ltd 情報処理装置、情報処理方法およびその方法をコンピュータに実行可能な記録媒体
US6573973B2 (en) 2000-08-14 2003-06-03 Nec Corporation System for inserting additional moving picture data into moving picture data that are being communicated between terminals
JP2007043481A (ja) * 2005-08-03 2007-02-15 Hitachi Kokusai Electric Inc 無線通信システム
US7406331B2 (en) * 2003-06-17 2008-07-29 Sony Ericsson Mobile Communications Ab Use of multi-function switches for camera zoom functionality on a mobile phone

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000253455A (ja) * 1999-03-01 2000-09-14 Toshiba Corp 無線携帯端末
WO2001071948A1 (fr) * 2000-03-24 2001-09-27 Matsushita Electric Industrial Co., Ltd. Procede de communication d'images et dispositif terminal de communication d'images
JP2002051312A (ja) * 2000-07-31 2002-02-15 Ricoh Co Ltd 情報処理装置、情報処理方法およびその方法をコンピュータに実行可能な記録媒体
JP4571733B2 (ja) * 2000-07-31 2010-10-27 株式会社リコー 情報処理装置および情報処理方法
US6573973B2 (en) 2000-08-14 2003-06-03 Nec Corporation System for inserting additional moving picture data into moving picture data that are being communicated between terminals
US7406331B2 (en) * 2003-06-17 2008-07-29 Sony Ericsson Mobile Communications Ab Use of multi-function switches for camera zoom functionality on a mobile phone
JP2007043481A (ja) * 2005-08-03 2007-02-15 Hitachi Kokusai Electric Inc 無線通信システム

Also Published As

Publication number Publication date
JP3512327B2 (ja) 2004-03-29

Similar Documents

Publication Publication Date Title
KR100465289B1 (ko) 휴대용 단말기의 소화면 표시장치 및 방법
US7782373B2 (en) Apparatus and method for displaying pictures in a mobile terminal
JP2000295667A (ja) 音声及び画像の送/受信のための携帯用複合通信端末機、及びその動作方法と通信システム
US20050264650A1 (en) Apparatus and method for synthesizing captured images in a mobile terminal with a camera
JP4431216B2 (ja) データ通信システム
US7119827B2 (en) Method for performing a camera function in a mobile communication terminal
KR20050067286A (ko) 카메라를 구비하는 장치의 영상 촬영 방법
JPH11146370A (ja) 携帯形テレビ電話装置
JP3512327B2 (ja) 携帯形テレビ電話システムにおける画像データ領域可変方式
JP3850113B2 (ja) デジタル電子カメラ
US7420593B2 (en) Electronic camera utilizing pixel blocks
KR100319865B1 (ko) 웹 비디오 폰_
JPH11187371A (ja) テレビ電話システムにおけるリアルタイム画像伝送方式
KR20020014251A (ko) 화상 통신 휴대폰
JP4323593B2 (ja) 携帯通信装置及び通信方法
JP3373941B2 (ja) ドアホン装置
JPH11136653A (ja) 画像転送無線通信端末システム
JPH0670312A (ja) 携帯無線電話装置および固定電話装置
JP3504132B2 (ja) テレビ電話システムにおけるリアルタイム画像表示方式
JPH06189303A (ja) テレビ電話装置
JP2000184342A (ja) Pcカード及びそれを用いたパーソナルコンピュータ
JP3714925B2 (ja) 無線通信端末装置
JPH06268580A (ja) 携帯無線電話装置
JP3359065B2 (ja) 画像通信装置及び方法
JPH01277081A (ja) 静止画tv電話装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040106

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100116

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees