JP3689609B2 - 画像通信装置 - Google Patents

画像通信装置 Download PDF

Info

Publication number
JP3689609B2
JP3689609B2 JP36837399A JP36837399A JP3689609B2 JP 3689609 B2 JP3689609 B2 JP 3689609B2 JP 36837399 A JP36837399 A JP 36837399A JP 36837399 A JP36837399 A JP 36837399A JP 3689609 B2 JP3689609 B2 JP 3689609B2
Authority
JP
Japan
Prior art keywords
image
signal
switch
circuit
call
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP36837399A
Other languages
English (en)
Other versions
JP2000201332A (ja
Inventor
秀雪 新井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP10186511A external-priority patent/JP3089234B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP36837399A priority Critical patent/JP3689609B2/ja
Publication of JP2000201332A publication Critical patent/JP2000201332A/ja
Application granted granted Critical
Publication of JP3689609B2 publication Critical patent/JP3689609B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、例えばビデオフォーン等の画像通信装置に関するものである。
【0002】
【従来の技術】
図6に、従来のビデオフォーンの構成を示した図である。
【0003】
図6において、1はレンズ、2はレンズの絞り、3は変倍レンズを駆動するためのモータ、4は変倍レンズを駆動する駆動手段、5は絞りを駆動するモータ、6は絞り機構を駆動させる駆動手段、7はフォーカスレンズを駆動させるモータ、8はフォーカスレンズを駆動させる駆動手段を示す。
【0004】
9は撮像素子(CCD)、10は撮像素子からの映像信号をサンプルホールド及びAGC(オートゲインコントロール)を行うためのCDS/AGC回路、11はアナログ信号をデジタル信号に変換するA/D変換回路、12は輝度信号及び色信号を適切な映像信号に処理するための信号処理回路、13は画像を圧縮及び伸張するための画像圧縮/伸張回路で、例えばJPEGやH263やDVフォーマットである。
【0005】
15は通信プロトコル、16はPHS送受信部、17はマイコン、18はデジタル信号をアナログ信号に変換するD/A変換回路、19はアンテナ、20はモニター(または液晶表示装置)、22は電話番号を打つための10キーを示す。
【0006】
23はマイク、24はマイクから入力された音声信号を適切な信号に処理するための音声信号処理回路、25は音声信号のアナログ信号をデジタル信号に変換するA/D変換器を示す。
【0007】
次に、以上の構成での動作について説明する。
【0008】
まず、レンズ1を通過した被写体からの光は、撮像素子9により光電変換され電気信号に変換される。この電気信号は、信号処理回路12で映像信号に処理される。さらに映像データは画像圧縮/伸張回路13によって圧縮される。
【0009】
さらに、画像圧縮/伸張回路13で圧縮されたデータは通信プロトコル15で、規定の通信規約にそったデータに処理され、PHS送受信部16を経て、アンテナ19から送信される。また、カメラ信号処理回路12から出力されたデータは、D/A変換回路18でアナログ信号に変換され、モニター20に映すための処理をした後、モニター20に出力される。
【0010】
さらに、外部から無線で送信された画像及び音声信号は、アンテナ19を通してPSH送受信部16で受信され、通信プロトコル15を経由して画像データ及び音声データを得ることができる。その後、画像データは、画像圧縮/伸張回路13で伸張され、D/A変換器18を経てモニター20に出力される。
【0011】
マイクロコンピュータ17は、この機器のシステムを制御しているものであり、レンズの各制御(フォーカスレンズ・変倍レンズ・絞りの制御)及びカメラ信号処理の制御、通信の制御、キーの制御などを行っている。
【0012】
22は電話をかけるときに相手の電話番号を押す10キーを示し、その出力はマイクロコンピュータ17に入力され、ここで、電話をかける一連の制御が行われる。
【0013】
また、音声に関しても同様で、マイク23から音声を入力した後、音声処理回路24で音声信号が処理され、次の音声A/D変換回路25を経て、通信プロトコル15に入力される。その後は、映像信号と同じようにPHS送受信部を経て、アンテナ19から無線で送信される。
【0014】
【発明が解決しようとする課題】
しかしながら、上記従来のビデオフォーンにおいては、電話をかける機能とカメラで映像を撮るための機能が同時に実行されているため電池がすぐ無くなったり、また、電話をかける操作手段とカメラ映像を撮るための機能を実行する操作手段が別々に存在し、そのために操作キーが増えたりして、小型を重視しているビデオフォーンのような製品には適していなかった。
【0015】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、操作キーを減らして小型化することができる画像通信装置を提供することである。
【0016】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するために、本発明に係わる画像通信装置は、被写体像を光電変換し画像信号を出力するための撮像手段と、少なくとも前記撮像手段により撮像された画像を表示する表示手段と、該表示手段に前記撮像手段におけるズーム状態を表示させた状態で前記ズーム状態を変化させるテンキースイッチと、前記撮像手段により撮像された画像信号を含むデータを外部に通信するための通信手段と、前記通信手段を用いた通話が成立したことを検出する検出手段と、前記通信手段を用いて通信をする場合に相手の局番を前記テンキースイッチによって選択可能とすると共に、前記検出手段によって通話が成立したことが検出されるのに応答して、前記表示手段によりズーム状態を表示しつつ前記テンキースイッチの操作によってズーム状態を制御する状態に自動的に切り換える切り換え手段と、を具備することを特徴としている。
【0018】
【発明の実施の形態】
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。
【0019】
(第1の実施形態)
図1は本発明の第1の実施形態に係わる画像通信装置の構成を示すブロック図である。図1において、従来の構成を示す図6と同じ符号を付したブロックは同一機能ブロックを示すものである。
【0020】
図1において、1はレンズ、2はレンズの絞り、3は変倍レンズを駆動するためのモータ、4は変倍レンズを駆動する駆動手段、5は絞りを駆動するモータ、6は絞り機構を駆動させる駆動手段、7はフォーカスレンズを駆動させるモータ、8はフォーカスレンズを駆動させる駆動手段を示す。
【0021】
9は撮像素子(CCD)、10は撮像素子9からの映像信号をサンプルホールド及びAGC(オートゲインコントロール)を行うためのCDS/AGC回路、11はアナログ信号をデジタル信号に変換するA/D変換回路、12は輝度信号及び色信号を適切な映像信号に処理するための信号処理回路、13は画像を圧縮及び伸張するための画像圧縮/伸張回路で、例えばJPEGやH263やDVフォーマットである。
【0022】
14はメモリ、15は通信プロトコル、16はPHS送受信部、17はマイコン、18はデジタル信号をアナログ信号に変換するD/A変換回路、19はアンテナ、20はモニター(または液晶表示装置)、21はキー判別回路、22は電話番号を打つための10キーを示す。
【0023】
23はマイク、24はマイクから入力された音声信号を適切な信号に処理するための音声信号処理回路、25は音声信号のアナログ信号をデジタル信号に変換するA/D変換器、26は領域設定パルスの発生回路、27はAF(オートフォーカス)領域を設定するためのゲート回路、29はAF評価値処理回路、31は電話を相手にかけるときに電話機能に切り替えるための切替スイッチを示す。
【0024】
次に、以上の構成での動作について説明する。
【0025】
まず、レンズ1を通過した被写体からの光は、撮像素子9により光電変換され電気信号に変換される。この電気信号は、信号処理回路12で映像信号に処理される。さらに映像データは画像圧縮/伸張回路13によって圧縮され、メモリ14に記憶される。
【0026】
さらに、画像圧縮/伸張回路13で圧縮されたデータは通信プロトコル15で、規定の通信規約にそったデータに処理され、PHS送受信部16を経て、アンテナ19から送信される。また、カメラ信号処理回路12から出力されたデータは、D/A変換回路18でアナログ信号に変換され、モニターに映すための処理を施された後、モニターに出力される。
【0027】
さらに、外部から無線で送信された画像及び音声信号は、アンテナ19を通してPSH送受信部16で受信され、通信プロトコル15を経由して画像データ及び音声データを得ることができる。その後、画像データは、画像圧縮/伸張回路13で伸張され、D/A変換器18を経てモニターに出力される。
【0028】
マイクロコンピュータ17は、この機器のシステムを制御しているものであり、レンズの各制御(フォーカスレンズ・変倍レンズ・絞りの制御)及びカメラ信号処理の制御、通信の制御、キーの制御などを行っている。
【0029】
22は電話をかけるときに相手の電話番号を押す10キーを示し、21はその押されたキーの判別をする判別回路で、その出力はマイクロコンピュータ17に入力され、ここで、電話をかける一連の制御が行われる。
【0030】
また、音声に関しても同様で、マイク23から音声を入力した後、音声処理回路24で音声信号が処理され、次の音声A/D変換回路25を経て、通信プロトコル15に入力される。その後は、映像信号と同じようにPHS送受信部を経て、アンテナ19から無線で送信される。
【0031】
また本実施形態では、カメラで画像が撮影でき、その時の1機能として、画面上の任意の場所の被写体にフォーカスを合わせることが可能な機能を持っていて、以下にその動作について説明する。
【0032】
カメラ信号処理回路12の出力からオートフォーカス用の信号を出力し、画像信号は、AFゲート回路27で、領域設定パルス発生回路26からの任意に設定された領域設定パルスによりゲートされる。すなわち、この部分で画面上でフォーカスを合わせたい被写体を指定できる。その後、AF評価値処理回路29で、フォーカスを合わせるための信号に適正な処理をし、マイクロコンピュータ17に出力する。マイクロコンピュータ17では、合わせたい被写体にフォーカスが合うようにレンズを駆動させるための信号を出力する。また、領域設定パルス発生回路26で発生するパルスのタイミングは、0〜9番まで表示されているスイッチ22で設定される。またこのスイッチは、電話番号を入力するためのスイッチも兼ねていて、本実施形態の特徴の一つになっている。
【0033】
次に、このスイッチの動作及び構成について説明する。
【0034】
電話モード実行スイッチ31は電話を相手先にかける時に電話機能に切りかえるスイッチで、この電話モード実行スイッチ31によって、スイッチ22は、図2のような電話モードの機能を持ち、またこのスイッチ31を押さない時は、図2のようなカメラモード機能を持つ。
【0035】
すなわち、使用者が電話をかけるために、電話モード実行スイッチ31を押すと、図2の電話モードのように、電話番号を入力するキーとして10キーのスイッチ22が機能する。そこで、使用者が10キースイッチ22で電話番号を入力すると、キー判別回路21を通して、マイクロコンピュータ17で電話番号として認識され、通信プロトコル回路15に電話番号の相手先に送信できるように信号を送る。その後、PHS送受信部16を経て、アンテナ19から、電話番号の相手先に送信が行われる。
【0036】
次に、使用者が電話をかけない時、または使用者が相手と通話している時は、図2のカメラモードのように、22のスイッチは、AF(オートフォーカス)の設定領域を入力するキーとして機能する。
【0037】
例えば、図2のように領域設定を中心部から右上に使用者が設定しようとすると、操作キー22の3の番号を押し、それによって、キー判別回路21で、押された3のスイッチを判別するための信号に変換し、マイクロコンピュータ17で設定領域を右上になるようにデータを処理し、そのデータを領域設定パルス発生回路26に伝送し、領域設定パルス発生回路26でそのデータにあった位置のパルスを発生させる。その後、そのパルスでAF領域ゲート回路27でゲートし、設定された領域内の焦点信号のみを通過させ、AF評価値処理回路29で合焦するための焦点信号を処理し、マイクロコンピュータ17に入力し、ここで合焦をするためのレンズを駆動するデータを出力し、フォーカスレンズ駆動回路8でレンズを駆動する。これによって、領域設定した被写体に対してフォーカスを合わせることが可能になる。
【0038】
これと同様に、5の番号を中心に、領域設定の枠を移動する時は、1は左上、2は上、3は右上、4は左、5は中心にプリセット、6は右、7は左下、8は下、9は右下というようにキーを押すと、同じような動作原理で、使用者の指定した設定領域内の被写体にフォーカスを合わせることが可能になり、モニター20には、その時の領域設定の枠が表示される。
【0039】
以上のように、1つのスイッチで2つの機能(1つは電話モード機能、もう1つはカメラモード機能)を持つスイッチを効率よく使い分けるようにしたことが本実施形態の特徴で、その内容について図3のフローチャートを参照して、以下に詳細に説明する。またこのフローチャートの動作に関しては、すべてマイクロコンピュータ17で処理されるものである。
【0040】
ステップS101でスタートすると、ステップS102では使用者が電源をオンし、装置に電源を入れる。
【0041】
電源が入ると、ステップS103では、カメラ機能、例えば、撮像系・AF・ZOOM・AFの枠移動設定機能などのカメラの機能を動作させる。
【0042】
次に、ステップS104では、使用者により電話モードが選択されるのを待つ。使用者が電話をかけようと思って、電話モード実行スイッチ31を押すと、電話モード機能になる。
【0043】
そこで、ステップS105では、カメラの機能の幾つかはオフまたは使用不可能になる。
【0044】
電話機能モードになると、スイッチ22は相手先の電話番号を入力するスイッチとなり、ステップS106では、使用者は、電話をかけたい相手の電話番号を入力する。
【0045】
ステップS107では、相手先への送信が実行される。
【0046】
ステップS108では、相手先と通話が成立したか認識され、相手先との通話が成立したことを確認した時は、ステップS109で自動的に電話モード機能の幾つかはオフされる。例えば、電話番号入力はオフされる。
【0047】
その後、ステップS110では再びカメラモード機能がオンされ、撮像系やAF・ZOOM機能が動作する。
【0048】
そしてステップS112で動作を終了する。
【0049】
すなわち、以上のフローチャートからも分かるように、本実施形態では、1つのスイッチで2つの機能を持たせていて、1つはカメラモード(撮像モード)の機能であり、もう1つは電話モードの機能である。電話モード実行スイッチ31を押すことによって、電話モードの機能となり、10キースイッチ22は電話番号入力スイッチとして機能する。その後、相手との通話が確認されたら、電話モード機能からカメラモード(撮影モード)機能に自動的に切り換わり、10キースイッチ22もAFの枠移動設定スイッチとして機能し、二つの機能が常時動作するのでなく、自動的に必要な時に必要な機能のみ動作するようにすることによって無駄な電力を減らしたり、また2つのスイッチを1つのスイッチで兼ねることにより、小型でコストの安い画像通信装置を提供することができる。
【0050】
図4に1つのスイッチで2つのスイッチを兼ねる例として、上記で述べた10キー以外の具体例を示す。このスイッチは、回転型のスイッチで、図4に示した様に、電話モードの時は、あらかじめ登録されている電話番号の相手先を選択するスイッチとして機能し、使用者が相手先と通話が確認できたら、自動的にカメラモードの機能のスイッチに切り替えられ、図4ではズームのスイッチとして機能する。
【0051】
(第2の実施形態)
図5は本発明の第2の実施形態に係わる画像通信装置のブロック構成を示した図である。図5において、第1の実施形態を示す図1と同じ符号を付したブロックは第1の実施形態と同一機能部分であるので、その説明を省略する。
【0052】
この第2の実施形態が第1の実施形態と異なる部分は、キャラクタジェネレータ32を備える点である。
【0053】
次に、本実施形態の特徴である構成及び内容について説明をする。
【0054】
上記の第1の実施形態と同様に、レンズ1を通過した被写体からの光は、撮像素子9により光電変換され電気信号に変換される。この電気信号は、信号処理回路12で映像信号に処理される。さらに映像データは画像圧縮/伸張回路13によって圧縮され、メモリ14に記憶される。
【0055】
さらに、画像圧縮/伸張回路13で圧縮されたデータは通信プロトコル15で、規定の通信規約にそったデータに処理され、PHS送受信部16を経て、アンテナ19から送信される。また、カメラ信号処理回路12から出力されたデータは、D/A変換回路18でアナログ信号に変換され、モニターに映すための処理を施された後、モニターに出力される。
【0056】
さらに、外部から無線で送信された画像及び音声信号は、アンテナ19を通してPHS送受信部16で受信され、通信プロトコル15を経由して画像データ及び音声データを得ることができる。その後、画像データは、画像圧縮/伸張回路13で伸張され、D/A変換器18を経てモニターに出力される。
【0057】
マイクロコンピュータ17は、この機器のシステムを制御しているものであり、レンズの各制御(フォーカスレンズ・変倍レンズ・絞りの制御)及びカメラ信号処理の制御通信の制御、キーの制御などを行っている。
【0058】
22は電話をかける時に相手の電話番号を押す10キーを示し、21はその押されたキーの判別をする判別回路で、その出力はマイクロコンピュータ17に入力され、ここで、電話をかける一連の制御が行われる。
【0059】
また、音声に関しても同様で、マイク23から音声を入力した後、24の音声処理回路で音声信号が処理され、次の音声A/D変換回路25を経て、通信プロトコル15に入力される。その後は、映像信号と同じようにPHS送受信部を経て、アンテナ19から無線で送信される。また本実施形態では、カメラで画像が撮影でき、その時の1機能として、画面上の任意の場所の被写体にフォーカスを合わせることが可能な機能を持っていて、第1の実施形態で説明したような動作をしている。
【0060】
第1の実施形態で説明したように、1つのスイッチで2つの機能(1つは電話モード機能、もう1つはカメラモード機能)を持つスイッチを効率よく使い分けるようにしたことが第1及び第2の実施形態の特徴で、その内容については、図3のフローチャートに示した通りで、さらに第2の実施形態は、電話モードの時の表示を図2及び図4の表示に自動的に切り替えることが特徴である。
【0061】
すなわち、マイクロコンピュータ17で、使用者が、電話をかけるために電話モード実行スイッチ31を押した時は、電話番号の表示及び電話先の相手を表示するように、キャラクタジェネレータ32にデータを出力し、モニター20に表示するように動作する。また、電話をかけない時、及び電話をかけた時でも相手先と通話が成立したことが確認された時は、カメラモードとなり、モニター20に、AF枠移動設定の枠を表示したり、図4のようにズーム状態の表示をするようにしたものである。
【0062】
【発明の効果】
以上説明したように、本発明によれば、ビデオフォーンのようにカメラ機能と通信機能が装備されている携帯機器において、カメラの機能と電話機能を、電話モード実行スイッチ及び通話が成立したかどうか判定する通話検出回路で効率よく使い分けることによって、消費電力を減らしたり、またさらに1つのスイッチで、2つの機能(カメラ機能と電話機能)を使い分けることで、多機能ながらスイッチを増やすことなく、小型でデザイン性を損なわない画像通信装置を提供することができる。
【0063】
また、無駄なスイッチを無くし、効率よいスイッチ構成にしたことにより、安価で簡単に操作ができる画像通信装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係わる画像通信装置のブロック図である。
【図2】操作スイッチの構成図である。
【図3】第1の実施形態の画像通信装置の動作を示すフローチャートである。
【図4】他の具体的なスイッチ構成を示す図である。
【図5】本発明の第2の実施形態に係わる画像通信装置のブロック図である。
【図6】従来例の画像通信装置のブロック図である。

Claims (1)

  1. 被写体像を光電変換し画像信号を出力するための撮像手段と、
    少なくとも前記撮像手段により撮像された画像を表示する表示手段と、
    該表示手段に前記撮像手段におけるズーム状態を表示させた状態で前記ズーム状態を変化させるテンキースイッチと、
    前記撮像手段により撮像された画像信号を含むデータを外部に通信するための通信手段と、
    前記通信手段を用いた通話が成立したことを検出する検出手段と、
    前記通信手段を用いて通信をする場合に相手の局番を前記テンキースイッチによって選択可能とすると共に、前記検出手段によって通話が成立したことが検出されるのに応答して、前記表示手段によりズーム状態を表示しつつ前記テンキースイッチの操作によってズーム状態を制御する状態に自動的に切り換える切り換え手段と、
    を具備することを特徴とする画像通信装置。
JP36837399A 1998-07-01 1999-12-24 画像通信装置 Expired - Fee Related JP3689609B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP36837399A JP3689609B2 (ja) 1998-07-01 1999-12-24 画像通信装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP10186511A JP3089234B2 (ja) 1998-07-01 1998-07-01 画像通信装置
JP36837399A JP3689609B2 (ja) 1998-07-01 1999-12-24 画像通信装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP10186511A Division JP3089234B2 (ja) 1998-05-01 1998-07-01 画像通信装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2003307122A Division JP3880559B2 (ja) 2003-08-29 2003-08-29 画像通信装置

Publications (2)

Publication Number Publication Date
JP2000201332A JP2000201332A (ja) 2000-07-18
JP3689609B2 true JP3689609B2 (ja) 2005-08-31

Family

ID=18491654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36837399A Expired - Fee Related JP3689609B2 (ja) 1998-07-01 1999-12-24 画像通信装置

Country Status (1)

Country Link
JP (1) JP3689609B2 (ja)

Also Published As

Publication number Publication date
JP2000201332A (ja) 2000-07-18

Similar Documents

Publication Publication Date Title
US7317475B2 (en) Recording/playback apparatus with telephone and its control method, video camera with telephone and its control method, image communication apparatus, and storage medium
US7738911B2 (en) Apparatus and method for using a rotating key on a mobile terminal
KR100651521B1 (ko) 휴대단말기의 속력측정방법
EP1427198A2 (en) Multi-mode imaging apparatus
JPH04211593A (ja) テレビ電話装置
JP4281182B2 (ja) 通信機能付きカメラ
JP2003009104A (ja) テレビ電話機能付き電話機
JP4614246B2 (ja) 通信機能付きカメラ
JP4280337B2 (ja) 撮像装置およびその制御方法
JP3089234B2 (ja) 画像通信装置
JP2000092360A (ja) 多機能付き通信装置と通信装置の制御方法
JP3689609B2 (ja) 画像通信装置
JP3880559B2 (ja) 画像通信装置
JP3308898B2 (ja) 画像通信装置
JP3308935B2 (ja) 画像通信装置
JP2007173979A (ja) 撮影システム
JP4222968B2 (ja) ディジタル・カメラ付き携帯電話機およびその制御方法
KR100678059B1 (ko) 거울기능을 가지는 휴대용 복합 통신단말기 및 그 구현방법
JPH11308589A (ja) 画像送信装置及び方法
KR100605996B1 (ko) 카메라 기능을 구비한 휴대용 단말기의 제어방법
JP4497241B2 (ja) 通信機能付きカメラ
JP2002261950A (ja) インターホン通話方法
JP2006101457A (ja) 携帯端末装置
JPH11275249A (ja) 着脱式画像転送無線通信端末装置
KR20010056622A (ko) 카메라폰을 이용한 원격지 모니터링 방법

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050613

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090617

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090617

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100617

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110617

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120617

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120617

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130617

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees