JP3957514B2 - デジタルカメラ - Google Patents

デジタルカメラ Download PDF

Info

Publication number
JP3957514B2
JP3957514B2 JP2002014144A JP2002014144A JP3957514B2 JP 3957514 B2 JP3957514 B2 JP 3957514B2 JP 2002014144 A JP2002014144 A JP 2002014144A JP 2002014144 A JP2002014144 A JP 2002014144A JP 3957514 B2 JP3957514 B2 JP 3957514B2
Authority
JP
Japan
Prior art keywords
data
digital camera
image
voice data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002014144A
Other languages
English (en)
Other versions
JP2003219354A (ja
Inventor
修 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2002014144A priority Critical patent/JP3957514B2/ja
Publication of JP2003219354A publication Critical patent/JP2003219354A/ja
Application granted granted Critical
Publication of JP3957514B2 publication Critical patent/JP3957514B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は画像データの記録及び再生のほかに、音声データの記録及び再生が可能なデジタルカメラに関し、詳しくはインターホンの室内ユニットとして用いることができるようにしたデジタルカメラに関するものである。
【0002】
【従来の技術】
デジタルカメラは、被写体を撮像して得た撮像信号をデジタル変換して画像データとして内蔵メモリあるいは着脱式の外部メモリに記録し、また、メモリから読み出した画像データから画像を再生し、LCD(液晶)表示パネルなどに表示する機能を備えている。さらに、最近のデジタルカメラの中には音声データの記録及び再生機能を備えているものもある。
【0003】
【発明が解決しようとする課題】
ところが、デジタルカメラは一般に自宅外で用いられ、自宅内では電源電池の充電を行う程度であることが多い。もちろん、画像の再生や自宅内のパソコンに接続して画像処理や編集などを行うユーザも少なくないが、自宅内ではほとんどの時間、デジタルカメラは単に放置されているのが通常である。
【0004】
本発明は上記事情を考慮してなされたもので、デジタルカメラが備えた画像の表示機能及び音声データの記録、再生機能に着目し、自宅内でデジタルカメラとして使用する必要がないときに、これをインターホンの室内ユニットとして利用することができるようにしたデジタルカメラを提供することを目的とする。
【0005】
【課題を解決するための手段】
本発明は上記目的を達成するために、画像データ及び音声データの記録と再生とが可能で、画像データから再生した画像を表示する表示手段を備え、電源のオン/オフが可能なデジタルカメラにおいて、インターホンの室外ユニットに設けられたスイッチが操作されたことに応答して前記電源がオンされたときに前記室外ユニットから送信された音声データが入力される入力端子と、この入力端子からの音声データをメモリに予め記録された音声データと照合し、それぞれの音声データが一致するか否かを判定する判定手段と、この判定手段により一致が判定されたときには、メモリカードにその音声データに対応づけて記録された画像データから画像を再生して前記表示手段に表示し、前記入力された音声データに応じた制御が終了したことに応答して前記電源がオフされたときに前記表示手段への画像表示を終了する表示制御手段とを備え、前記メモリに記録した音声データを、前記判定手段により一致が判定されたときに前記室外ユニットに入室許可信号を送信するデータと、前記判定手段により一致が判定されたときにアナウンスをするデータとに分類分けしたことを特徴とする。デジタルカメラにはCPUを含むシステムコントローラが内蔵され、様々なデジタル処理を行うことが可能であるため、上述のように判定手段により音声データの一致が識別されたときには、その一致信号を入室許可信号としてインターホンの室外ユニットに送信することもでき、これによりドアロックを自動解除するなどの対応をとることも簡便になる。
【0006】
さらに、前記室外ユニットから送信された音声データと、送信された時間データとを記憶する記憶手段を備えることが好ましい。
【0007】
【発明の実施の形態】
図1及び図2は、本発明を実施したデジタルカメラ2と、スタンド3との構成を示す外観斜視図である。デジタルカメラ2の前面には、撮影レンズ4が組み込まれたレンズ鏡筒5、ファインダ6を構成する対物側ファインダ窓7、被写体に向けてストロボ光を照射するストロボ発光部8、シャッタレリーズ操作に用いられるシャッタボタン9、タイマ撮影時に点滅して撮影タイミングを知らせるセルフタイマ用発光部10、マイク11等が設けられている。レンズ鏡筒5は、デジタルカメラ2が電源オフ状態にある際に、デジタルカメラ2の前面に設けられた鏡筒収納部12内に収納され、電源オンとともにデジタルカメラ2の前面から突出する。
【0008】
デジタルカメラ2の一方の側面には、メモリカード16がセットされるメモリカードスロット17が設けられている。このメモリカードスロット17の奥には、メモリカード16へのデータの読み書きを行なうメモリカードリーダが内蔵されている。メモリカードスロット17は、塵芥の侵入等を防止するために、開閉式の保護カバー18によって保護されている。
【0009】
デジタルカメラ2の背面には、ファインダ6を構成する接眼側ファインダ窓20、操作部21、ビューファインダとして機能する画像表示用LCD22等が設けられている。接眼側ファインダ20の側方には、点灯,点滅してデジタルカメラ2の状態を知らせるファインダ発光部23が設けられている。操作部21内には、複数の操作ボタン24〜27と、各種設定等の情報を表示する設定用LCD28とが設けられている。
【0010】
デジタルカメラ2は、スチル撮影を行なう撮影モードと、撮影画像を再生する再生モードと、パーソナルコンピュータ等の外部機器とのデータの送受信を行なう通信モードと、パーソナルコンピュータに接続して動画及び音声入力用のPCカメラとして機能するPCカメラモードと、インターホンに接続して来訪者の音声データとメモリーカードに保存した音声データとの照合をするインターホンモードという複数の動作モードを備えており、これらの動作モードの切り換えは操作部21で行われる。
【0011】
デジタルカメラ2には、バッテリ30がセットされるバッテリ室が設けられている。デジタルカメラ2の底面には、バッテリ室にアクセスするための開口部31が設けられている。この開口部31は、蓋部材32によって開閉される。バッテリ室には、充電可能なバッテリ30がセットされる。
【0012】
スタンド3は、略台形状であり、上面にデジタルカメラ2が載置される凹形状の載置部34が設けられている。スタンド3は、未使用時のデジタルカメラ3を安定して保持する台として機能するとともに、充電や外部機器との接続を介在するターミナルとしても機能する。デジタルカメラ2がPCカメラモードにセットされた際には、デジタルカメラ2を被写体に向けて保持する三脚的な機能も果たす。
【0013】
デジタルカメラ2の載置部34内には、デジタルカメラ2の底面の接続コネクタ35に嵌合して電気的に接続する接続端子36と、バッテリ30が装填される電池装填部37とが設けられている。
【0014】
スタンド3の前面には、スタンド3に接続されたデジタルカメラ2の電源のオン/オフを操作する電源ボタン39と、状態表示用発光部40とが設けられている。この状態表示用発光部40の奥には、状態表示用LEDが組み込まれており、デジタルカメラ2の状態に応じて発光する。
【0015】
スタンド3の背面には、外部へ音声データやNTSC等のコンポジット信号を出力するA/V出力端子45,外部からの音声データを入力するA/V入力端子44、AC電源アダプタが接続されてDC電源が供給されるDC電源コネクタ42,パーソナルコンピュータ等に接続されるUniversal SerialBus(USB)コネクタ43が設けられている。これらのコネクタ42〜45は、スタンド3内部で接続端子36に接続されている。
【0016】
図3は、本発明のデジタルカメラ2とスタンド3との電気的構成を示すブロック図であり、詳しくは図示しないが、レンズ鏡筒64には、焦点調整を行なうフォーカス用モータと、ズーミングを行なうズーム用モータとが組み込まれている。これらのモータは、デジタルカメラ2全体を制御するCPU51に接続されたモータドライバ70によって駆動制御される。また、レンズ鏡筒64内には、絞り兼用のシャッタユニットが組み込まれており、このシャッタユニットもCPU51によって制御される。
【0017】
レンズ鏡筒64の背後には、撮影レンズを透過した被写体光が撮像されるCCD65が配置されている。このCCD65には、CPU51によって制御されるタイミングジェネレータ71からタイミング信号(クロック信号)が入力される。CCD65から出力された信号は、相関二重サンプリング回路(CDS)66に入力され、CCD65の各セルの蓄積電荷量に正確に対応したR、G、Bの画像データとして出力される。CDS66から出力された画像データは、増幅器(AMP)67で増幅され、A/D変換器68でデジタルデータに変換される。
【0018】
画像入力コントローラ69は、データバス56を介してCPU51に接続されており、CPU51の命令によってCCD65,CDS66,AMP67,A/D変換器68を制御する。また、A/D変換器68から出力された画像データをビデオメモリ59、あるいはバッファメモリ60に書き込む。
【0019】
ビデオメモリ59は、画像表示用LCD22をビューファインダとして使用する際に、解像度の低い画像データが一時的に記録される。ビデオメモリ59に記録された画像データは、データバス56を介してLCDドライバ54に送られ、画像表示用LCD22に表示される。バッファメモリ60は、撮像された高解像度の画像データが一時的に記録される。このバッファメモリ60から読み出された画像データは、メディアコントローラ55によって駆動制御されるメモリカードリーダによりメモリカード16に記録される。
【0020】
画像信号処理回路72は、撮像された高解像度の画像データがバッファメモリ60内に記録されている間に、例えば階調変換、色変換、画像の超低周波輝度成分の階調を圧縮するハイパートーン処理、粒状を抑制しながらシャープネスを強調するハイパーシャープネス処理等の画像処理を施す。
【0021】
音声は、マイク11で音声信号に変換され、さらにA/D変換器13で音声データに変換され、この音声データがCPU51からの命令により、メディアコントローラ55によって駆動制御されるメモリカードリーダによりメモリカード16に記録される。
【0022】
また、デジタルカメラ2をパーソナルコンピュータに接続して、PCカメラとして使用する場合には、撮像された画像データがビデオメモリ59に保存され、この画像データが圧縮処理回路73によって圧縮された後に、バッファメモリ60に記録される。バッファメモリ60は、PCカメラモードにある際に、その記録領域が三分割して使用され、各領域の圧縮画像データを順次パーソナルコンピュータに送る。これにより、パーソナルコンピュータにコマ落ちなく動画像を表示することができる。
【0023】
データバス56には、CPU51に制御されてパーソナルコンピュータとのデータ通信を行なうパソコン用通信回路57が接続されている。このパソコン用通信回路57は、デジタルカメラ2底面のA/V出入力接続部35に接続されている。このA/V出入力接続部35と接続端子36との接続によって、スタンド3のUSBコネクタ43がパソコン用通信回路57に接続されることになる。
【0024】
また、データバス56には、A/V出力回路58が接続されている。このA/V出力回路58は、A/V出入力接続部35と接続端子36とを介してA/V出力端子45に接続される。A/V出力回路58は、画像データをNTSC等のコンポジット信号に変換し、A/V出力端子45に接続されたモニタやビデオレコーダに出力する。
【0025】
音声A/D変換部52はA/V出入力接続部35と音声データ照合部53とに接続されている。この音声A/D変換部52は、A/V出入力接続部35から送られてきた音声データをデジタルデータに変換し、音声データ照合部53に送る。音声データ照合部53では、送られてきたデータとメモリーカード16に保存された音声データとの照合を行う。
【0026】
スタンド3には、充電回路48が組み込まれている。この充電回路48は、DC電源コネクタ42と、接続端子36とに接続されている。スタンド3にデジタルカメラ2が載置されると、A/V出入力接続部35と接続端子36とを介してデジタルカメラ2内のバッテリ30に充電回路48が接続される。充電回路48は、バッテリ30の電圧を測定し、測定電圧が規定電圧以下であった場合に自動的に充電を行なう。また、充電回路48は、電池装填部37にも接続されており、電池装填部37にセットされたバッテリの充電も行なう。このように、充電回路48をスタンド3に設けたことにより、デジタルカメラ2を小型軽量化できる。さらには、デジタルカメラ2はスタンド3によって安定して保持される。
【0027】
図4に本発明を実施したデジタルカメラ2をインターホン80に接続した外観斜視図を示す。インターホン80は室内ユニット91と室外ユニット81とから構成される。室内ユニット91は室内に設置されスタンド3に装着されたデジタルカメラ2と接続される。室外ユニット81は室外に配置されドア施錠制御部88に接続される。室外ユニット81は、音声入力部82と、スイッチ83と、音声出力部84と、室外通信回路85とからなり、音声入力部82と、スイッチ83と、音声出力部84とは、それぞれ室外通信回路85に接続されており、室外通信回路85とドア施錠制御部88はドアケーブル89を介して接続されている。室内ユニット91は、通話機器92(受話器等)と、室内通信回路93と、ドア施錠解除信号発信部94とからなり、通話機器92(受話器等)と、室内通信回路93とは、それぞれ室内通信回路93に接続している。室外通信回路85と室内通信回路93は通信ケーブル86を介して接続されており、室外と室内の音声通信が可能な構成になっている。室内ユニット91とスタンド3は、A/Vケーブル96a、96bを介して接続されており、スタンド3とデジタルカメラ2は上述したように接続されている。
【0028】
来訪者は、スイッチ83を押しながら音声入力部82に音声を入力する。その音声データは、室外通信回路85、通信ケーブル86、室内通信回路93、A/V入力ケーブル96a、A/V入力端子44、接続端子36、A/V出入力接続部35を介して、音声A/D変換部52に送られ、デジタル信号に変換され、音声データ照合部53に送られる。音声データ照合部53では、来訪者の音声データと、メディアコントローラ55を介し、メインCPU51によってメモリーカード16から引き出されたあらかじめ入力済の音声データとの照合を行い、照合結果を、メインCPU51からLCDドライバ54を介して、画像表示用LCD22に送り、表示する。音声データ照合は、声紋による照合や、キーワードによる照合等によって行われる。なお、図6のように、デジタルカメラ2はスイッチ83が押されると電源が入り、来訪者に対応した動作の終了後は電源が切れるような構成になっている。
【0029】
メモリーカード16には、あらかじめ、指定した人物(例えば、家族やよく家に来訪する友人)の音声・画像・名前のデータを入力し、図5aのように、入室許可を与える音声データと、アナウンスをする音声データI・IIとに分類分けしておく。なお、メモリーカード16のデータ追加・削除及び、分類分けの変更は可能であり、図5bのように、今日は佐藤さんを入室許可を与える音声データに登録する、というような対応をとることができる。
【0030】
音声データ照合の結果、入室許可を与える音声データと来訪者音声データとが一致した場合には、メディアコントローラ55を介し、メインCPU51によってメモリーカード16から引き出された、その来訪者の画像・名前のデータを、メインCPU51からLCDドライバ54を介して、画像表示用LCD22に送り表示する。それと共に、メディアコントローラ55を介し、メインCPU51によってメモリーカード16から引き出された、あらかじめ入力しておいたドア施錠解除信号発信部94にドア施錠解除信号を発信させる信号がメインCPU51より発信され、A/V出入力接続部35、接続端子36、A/V出力端子45、A/V出力ケーブル96b、室内通信回路93を介してドア施錠解除信号発信部94に送られ、ドア施錠解除信号が発信される。そのドア施錠解除信号は室内通信回路93、通信ケーブル86、室外通信回路85、ドアケーブル89を介してドア施錠制御部88に送られ、ドア施錠解除が行われる。
【0031】
音声データ照合の結果、アナウンスをする音声データと来訪者音声データとが一致した場合には、上述した経路を通り、その音声データ者の画像・名前のデータを画像表示用LCD22に表示する。それと共に、上述した経路を通り、メモリーカード16から引き出された、あらかじめ入力しておいた音声データに対応したアナウンスを行う信号が、メインCPU51より発信され、A/V出入力接続部35、接続端子36、A/V出力端子45、A/V出力ケーブル96b、室内通信回路93、通信ケーブル86を介して室外通信回路85に送られ、音声出力部84から、先程の音声データに対応したアナウンスが行われる。
【0032】
音声データ照合の結果、メモリーカードの音声データと来訪者音声データが一致しない場合には、上述した経路を通り、あらかじめ入力しておいた「入力済の音声データと一致しません」というコメントを、画像表示LCD22に表示する。それと共に、上述した経路を通り、音声出力部84から、あらかじめ入力しておいた再度音声入力を促すアナウンスが行われる。メモリーカードに入力済のデータと来訪者音声データが設定しておいた回数(例えば3回)で一致しない場合は、上述した経路を通り、音声出力部84から、あらかじめ入力しておいた入室不許可のアナウンスが行われる。
【0033】
音声データ照合の結果に関わらず、音声データ照合時に、その時の来訪者音声データ及び来訪時間データは、メディアコントローラ55を介し、メインCPU51によってメモリーカード16に保存される。このことにより、居住者は、留守中の来訪者データを帰宅後に確認することができる。メモリーカードにデータ入力してある来訪者の場合は、画像データも表示される。また、保存した来訪者音声データをそのままメモリーカード16の音声データ照合グループに加えることもできる。(ただし、この場合は画像データは無い事になる)
【0034】
なお、室内ユニット91には図示しないドア施錠解除ボタンが設けられており、このボタンを押したときにもドア施錠解除が行われる。また、デジタルカメラ2での各動作中においても、通話機器92による対応も可能である。
【0035】
また、音声データの入力時間を保存しておけることから、職場などに本発明のデジタルカメラ2を設置し、あらかじめ社員の音声データを入力しておき、タイムカードとして使用してもよい。
【0036】
【発明の効果】
以上説明したように、本発明のデジタルカメラによれば、通常は画像データ及び音声データの記録・再生を行い、インターホンに接続した場合には保存された音声データと来訪者の音声データとの照合を行うことにより来訪者の特定をし、その来訪者に応じた対応をとることができる。
【図面の簡単な説明】
【図1】本発明のデジタルカメラとスタンドとの構成を示す前面外観斜視図である。
【図2】本発明のデジタルカメラとスタンドとの構成を示す背面外観斜視図である。
【図3】本発明のデジタルカメラとスタンドとの電気的構成を示すブロック図である。
【図4】本発明のデジタルカメラとスタンドとをインターホンに接続した外観斜視図である。
【図5】メモリーカードのデータを、入室許可を与える音声データとアナウンスをする音声データに分類分けした、一例の図である。
【図6】本発明のデジタルカメラとスタンドとをインターホンに接続した場合の動作の流れを示すフローチャートである。
【符号の説明】
2 デジタルカメラ
3 スタンド
16 メモリーカード
22 画像表示用LCD
44 A/V入力端子
45 A/V出力端子
53 音声データ照合部
80 インターホン
81 室外ユニット
91 室内ユニット

Claims (2)

  1. 画像データ及び音声データの記録と再生とが可能で、画像データから再生した画像を表示する表示手段を備え、電源のオン/オフが可能なデジタルカメラにおいて、
    インターホンの室外ユニットに設けられたスイッチが操作されたことに応答して前記電源がオンされたときに前記室外ユニットから送信された音声データが入力される入力端子と、この入力端子からの音声データをメモリに予め記録された音声データと照合し、それぞれの音声データが一致するか否かを判定する判定手段と、この判定手段により一致が判定されたときには、メモリカードにその音声データに対応づけて記録された画像データから画像を再生して前記表示手段に表示し、前記入力された音声データに応じた制御が終了したことに応答して前記電源がオフされたときに前記表示手段への画像表示を終了する表示制御手段とを備え、
    前記メモリに記録した音声データを、前記判定手段により一致が判定されたときに前記室外ユニットに入室許可信号を送信するデータと、前記判定手段により一致が判定されたときにアナウンスをするデータとに分類分けしたことを特徴とするデジタルカメラ。
  2. 前記室外ユニットから送信された音声データと、送信された時間データとを記憶する記憶手段を備えたことを特徴とする請求項1記載のデジタルカメラ。
JP2002014144A 2002-01-23 2002-01-23 デジタルカメラ Expired - Fee Related JP3957514B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002014144A JP3957514B2 (ja) 2002-01-23 2002-01-23 デジタルカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002014144A JP3957514B2 (ja) 2002-01-23 2002-01-23 デジタルカメラ

Publications (2)

Publication Number Publication Date
JP2003219354A JP2003219354A (ja) 2003-07-31
JP3957514B2 true JP3957514B2 (ja) 2007-08-15

Family

ID=27650909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002014144A Expired - Fee Related JP3957514B2 (ja) 2002-01-23 2002-01-23 デジタルカメラ

Country Status (1)

Country Link
JP (1) JP3957514B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010049823A1 (de) * 2010-10-27 2012-05-03 Abb Ag Wohnungsstation eines Haus-Kommunikationssystems
JP6601680B2 (ja) 2016-03-09 2019-11-06 パナソニックIpマネジメント株式会社 照明システム

Also Published As

Publication number Publication date
JP2003219354A (ja) 2003-07-31

Similar Documents

Publication Publication Date Title
US7167206B2 (en) Cradle for information apparatus, cradle for digital camera and camera system
JP4081541B2 (ja) 撮像通信システム
US7819530B2 (en) Auxiliary device equipped with projector for use with an electronic device, and electronic camera system incorporating the auxiliary device
US7449863B2 (en) Battery pack and charger with memory having operating permission and image data recording means
CN103957356A (zh) 电子设备以及电子设备的图像取得方法
JP3559744B2 (ja) 通信装置及びその制御方法
CN204206295U (zh) 摄像设备
KR20050055481A (ko) 착탈식 화상출력유닛을 갖는 캠코더
JP3859196B2 (ja) デジタルカメラ
JP2002055388A (ja) カメラシステム
JP3955540B2 (ja) 画像処理装置
JP3957514B2 (ja) デジタルカメラ
JP4569032B2 (ja) 電子機器および電子機器システム
JPS6097793A (ja) 留守番玄関テレビカメラ装置
KR101111539B1 (ko) 기록 재생 장치 및 그 제어 방법
JP4126717B2 (ja) 記録機器、通信機器、記録システム及びその方法
JP2002359763A (ja) デジタルカメラ用スタンド
JP3944011B2 (ja) デジタルカメラ
JP3987951B2 (ja) 電子カメラシステム
JP2004032063A (ja) デジタルカメラ
JP4556075B2 (ja) 記録システム
JP2004207899A (ja) デジタルカメラ
JP2001036790A5 (ja)
JP2001024914A (ja) 電子ビューファインダ付カメラ
JPH07147667A (ja) 撮影画像再生用プレーヤ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061204

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070508

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120518

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees