JP3821121B2 - 撮影装置 - Google Patents

撮影装置 Download PDF

Info

Publication number
JP3821121B2
JP3821121B2 JP2003357373A JP2003357373A JP3821121B2 JP 3821121 B2 JP3821121 B2 JP 3821121B2 JP 2003357373 A JP2003357373 A JP 2003357373A JP 2003357373 A JP2003357373 A JP 2003357373A JP 3821121 B2 JP3821121 B2 JP 3821121B2
Authority
JP
Japan
Prior art keywords
camera
subject
receiver
tag
wireless tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003357373A
Other languages
English (en)
Other versions
JP2005123931A (ja
Inventor
博 田中
真一 中川
光 森田
洋 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2003357373A priority Critical patent/JP3821121B2/ja
Publication of JP2005123931A publication Critical patent/JP2005123931A/ja
Application granted granted Critical
Publication of JP3821121B2 publication Critical patent/JP3821121B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮影装置に係り、無線タグが付与された撮影対象者(物)等の被写体を撮影し、映像情報として取得するための撮影装置に関する。
詳しくは、無線タグが付与された幼稚園や老人ホームにいる撮影対象となる子供や高齢者の保護者が、保護者宅やネットワークを介して映像を見ることができる場所において、当該保護者に関わる園児や高齢者等の撮影対象の映像を取得してモニタするための無線タグ利用映像システムにおいて、撮影対象の被写体を撮影するための撮影装置に関する。
図9は、従来の撮影装置の構成を示す。
同図(a)に示すように、従来の映像システムは、カメラ10、受信機20、受信機20に設けられている受信アンテナ30、被写体に付与された無線タグ40から構成される。
同図(b)は、カメラ10及び受信機20を正面から見た場合を示している。
無線タグ40は、電池内蔵のアクティブタグであり、受信機20との設定可能距離は概ね10m程度のものである。
カメラ10と受信機20は、部屋のコーナ等に設置され、カメラ10は、同図(a)において、αで示されるカメラ視野範囲を撮影することが可能である。また、受信アンテナ30は、βで示される範囲で無線タグ40からの信号を受信することが可能である。受信アンテナ30は、基本的にオムニアンテナ(無指向性アンテナ)を使用している。当該オムにアンテナの他に種々のアンテナが考えられるが、例えば、アンテナそのものに指向性を持たせて特定方向のみ検出する方法では、適用対象毎にアンテナの設計製造が必要となるという問題がある。また、パラボラアンテナを用いる場合には、アンテナの設計、製造とともに、フィーダの設定等、実装上の問題がある。
上記のような構成において、受信機20が、無線タグ40から送信されるタグIDを受信した場合に、カメラ10及び受信機20に接続されるコンピュータにおいて、カメラで撮像されたカメラ映像と、タグIDとを対応付けて記録する、または、利用者に対して発信することが可能である(例えば、特許文献1、2参照)。
また、受信機と受信範囲(無線タグからの距離)の調整を行う場合には、受信アンテナと受信機の間に減衰器を挿入し、機械的に調整している。
また、動く被写体については、取り漏らしがないように、複数台のカメラと受信機を用いて、当該被写体の動く領域を視野角として網羅するように複数台のそれぞれのカメラの向き、視野角度及びそれに対応する受信機の受信範囲を調整することにより取得している。
また、動く被写体に対して、追尾する追跡映像システムがある。これらは基本的に画像情報からその色相等の特徴抽出(服装を利用)を行い、それをベースに被写体識別、映像追跡を行うものである。従って、画像処理の負荷が大きい、服装等が変わったときには、再度特徴抽出を行うという事前処理が必要となる(例えば、特許文献3、特許文献4参照)。
また、被写体に赤外LEDを設置し、その撮影が面上の位置からこの位置を常に画面中央とするようにカメラを追尾させる方法も提案されている(特許文献5参照)。しかしこの方法では、複数の被写体があったときにはそれらを識別するためには波長の異なるLEDを用いると共に、撮影画像内でもそれらを識別する手段を具備させる必要があり、構成が複雑になる可能性が高い。
特開2003−61083号公報 特開2003−125382号公報 特開2000−348181号公報 特開2001−169169号公報 特開2000−165850号公報
しかしながら、上記の図9に示す従来の撮影装置では、部屋のコーナなどの2方向の壁がある場所に設置されている場合には、受信範囲とカメラの視野範囲を一致させることにより、大きな影響はないが、屋外や、体育館の中央位置等の前後左右に開放された場所や一方のみが壁面になっている場所での利用は、図9(a)に示すように、カメラの視野範囲αと、受信機の無線タグ受信範囲βとでは、大きく乖離しており、受信機がタグIDを受信した場合でも、カメラの視野範囲α≦無線タグ受信範囲βであるため、被写体がカメラの視野範囲に入っていないにもかかわらず受信機には無線タグから送信されるタグIDを受信してしまうという問題がある。このため、受信機で無線タグからタグIDを受信した場合には、カメラ視野範囲に当該無線タグを有する被写体が映っていなくても、映像閲覧ユーザに当該無線タグに該当する映像として送信されたり、当該無線タグに対応する映像として蓄積されてしまうことがある。
また、従来のシステムでは、受信機は無線タグからの受信信号の強度検出機能を持たないために、無線タグから送信されるタグIDの「受信可/受信不可」の2値でしか判定できず、このため、受信機の受信範囲の調整手段としては、受信機の感度調整(例えば、受信機の受信回路とアンテナの間に減衰器を挿入する等の物理的な調整)を行う必要がある。仮に、受信感度を調整する手段を設けたとしても、被写体とカメラ(受信機)の距離に関する情報が得られない。よって、無線タグがカメラから遠い位置にあった場合、被写体映像は小さすぎ、また、無線タグがカメラに接近しすぎている位置にあった場合、被写体映像は大きすぎるため、ピントが合った有効な映像のみを取得することが困難である。
また、動く被写体の映像を取得する場合に、被写体の移動範囲がカメラの視野範囲に比べて広い場合には、カメラ、受信機を複数設置する必要があり、被写体の動きによってカメラ映像の選択・切り替えが必須となり、このため、カメラ視点の変化から映像の不連続性は不可避であるという問題がある。さらに、複数のカメラ、受信機を設置することから装置コストと共に設置場所の確保、電源確保、設置施工が面倒でもある。
また、従来の追跡映像システムでは、無線タグが用いられておらず、画像の処理により特徴量の抽出を行い、複数の被写体の中から特定の被写体を識別しているため処理の複雑さ、処理時間がかかるという問題がある。
本発明は、上記の点に鑑みなされたもので、カメラの視野範囲と受信機の無線タグの受信範囲を略一致させ、目標とする無線タグが付与された被写体のカメラ映像を確実に取得することを可能とし、また、複数のカメラ・受信機を用いなくても被写体の動きに合わせてカメラ映像を取得することが可能な撮影装置を提供することを目的とする。
本発明は、カメラにより撮影された無線タグを有する被写体の映像を、該無線タグのタグIDに基づいて、配信または、蓄積する無線タグ利用映像システムにおける撮影装置であって、
無線タグを有する被写体の映像を撮影するカメラと、無線タグから送信される電波を受信する受信アンテナと、該受信アンテナの周囲に設けられ、該受信アンテナの電波受信方向を開口方向とした、無線タグから送信される電波の受信範囲を制限するためのV字状の遮蔽板と、該受信アンテナを介して該無線タグからのタグIDを受信すると共に、電波の受信強度を検出する受信機とを構造的に一体化したカメラ・受信機部と、
カメラ・受信機部を載置し、受信機が受信した受信強度に基づいて、該受信強度が常に最大となるように回転を調整する回転調整手段を有する回転テーブル装置と、
を有し、
回転調整手段は、
被写体と受信機(カメラ)との距離範囲、該被写体の動く速度、該被写体の動く頻度の範囲毎に、ステップ値及びステップ頻度が複数設定されているテーブルから選択されたステップ値及びステップ頻度に基づいて回転テーブルを回転させる手段を含む
本発明は、受信機の無線タグからの受信範囲を制限するために、受信機の受信アンテナの周囲に遮蔽版を設けることにより、カメラの視野角と受信機で捉える無線タグからの受信信号の領域とを一致させることができるため、目標とする無線タグを有する被写体の映像を確実に取得することができる。
これに加えて、被写体を識別し、回転テーブルにより受信機と一体となったカメラを回転させることにより、被写体の移動にカメラが追従するため、被写体の追跡映像を取得することができる。
さらに、受信機が受ける受信強度に基づいて、カメラをズーム駆動を連動させることにより、被写体とカメラの距離変化があっても、映像中に置ける被写体の大きさを確保できる。
上記により、1台の装置で被写体の動きに対応して映像を取得することができ、設置場所、設置コストの問題を回避できると共に、カメラ視点の変化から映像の不連続性を回避でき、人間が見るような滑らかな映像を取得することができる。
以下、図面と共に、本発明の一実施の形態を説明する。
図1は、本発明の一実施の形態における撮影装置の構成(上面図)を示す。同図に示すように、撮影装置は、受信アンテナ30を中心として、シールドプレート50がV字型に囲むように設けられ、V字の設定角度は、カメラ10の視野に応じて調整可能である。例えば、カメラの視野範囲αと無線タグ40からの電波を受信する受信範囲βの領域を略一致させる(α≒β)、または、受信範囲βをカメラ視野範囲α内になる(α≧β)ように調整することができる。なお、シールドプレート50の開口角度の調整は、予め人為的にカメラの視野範囲に合わせて調整するものとする。また、シールドプレート50の材質としては、例えば、アルミ板やアルミメッシュ等を用いることができるが、目的としない電波を遮る材質であればよい。
図2は、本発明の一実施の形態における撮影装置の構成図(断面図)である。同図は、図1における撮影装置を横から見た場合を示しており、受信アンテナ30及びシールドプレート50を有する受信機20とカメラ10が一体的に構成されており、回転テーブル70上に載置されている。
カメラ10は、ズーム機能を有し、受信機20から受信強度を取得すると、所定の値より低い場合には、ズーミングを行う。
図3は、本発明の一実施の形態における受信機の構成を示す。
同図に示す受信機20は、受信アンテナ30を介して電波を取得する電波受信部21、取得した電波から無線タグ40のタグIDと受信強度を検出するタグID・受信強度検出部22、検出したタグID及び受信強度をカメラ10及び回転テーブル70に転送し、カメラ10へのズーミングや回転テーブル70の回転駆動のための受信強度を送るカメラ・テーブル制御部23から構成される。
カメラ10は、ズーム機能を有し、受信機20から受信強度を取得すると、所定の値より低い場合には、ズーミングを行う。図4は、本発明の一実施の形態におけるカメラの構成を示す。同図に示すカメラ10は、レンズ14、受信機20からの受信強度を入力する受信強度入力部11、受信強度と倍率の対応関係が記録されているメモリ内の倍率テーブル13と、入力された受信強度に基づいて倍率テーブル13を参照して取得した倍率に基づいてレンズ14のズーミングを行う倍率調整部12とを有する。
図5は、本発明の一実施の形態における回転テーブルの構成を示す。
回転テーブル70は、受信機20からのタグIDと受信強度が入力される受信強度入力部71、予め受信強度と、無線タグ40が設定された被写体と受信機(カメラ)の距離範囲、被写体の動く速度、その頻度を考慮してステップ値及びステップ頻度が設定されているステップテーブル72、受信強度入力部71から入力されたタグIDの受信強度の大小及び変化の頻度に基づいて、ステップテーブル72のステップ値に基づいて、ステップトラック方式と同様の手法を用いて回転テーブルの回転を制御する回転制御部73と、回転制御部73の制御により回転軸75を回転させる回転モータ74と、テーブル部76を回転させる回転軸75から構成される。ここで、ステップトラック方式とは、衛星システムにおいて、地上アンテナがサテライトを追尾するとき、ある方向である受信強度に応じて試行錯誤的に動作させる方式である(例えば、「衛星通信」、飯田尚志編著、オーム社 p.150参照)。
また、回転軸75は、被写体の上下の動きがない場合には1軸とし、上下の動きがある場合には2軸とする。
ステップテーブル72は、図6に示すように、ケース番号毎に、複数のステップ角度及びステップ頻度から構成されている。回転制御部73は、被写体と受信機20(カメラ10)との距離、被写体の動く速度、動く頻度に応じてケース番号(ステップ角度、ステップ頻度)を選択する。ステップトラック方式の選択方法は、経験則に依っており、事前に最適であると思われるケース番号を選択し、問題があったときに別のケース番号を選択するという方法がとられる。ここでステップ頻度とは、ステップトラック方式で試行錯誤的にあるステップ角度でテーブル部76を回転させるときの、試行錯誤の駆動回数(回/sec)を表し、被写体の動きの変化が激しい場合には、その駆動回数も大きくなる。
回転制御部73は、被写体と受信機20(カメラ10)との距離範囲と被写体の動く速度、動く頻度を考慮して設定されたステップテーブル72を参照し、ステップ値、ステップ頻度を取得し、これをステップトラック方式に適用する。ステップトラック方式は、一般的に被写体の動きが速く、頻度も高ければ駆動のステップ角度、駆動の頻度を大きく設定し、逆に動きが遅く、動く頻度も少なければ、これらの設定値は小さくなる。なお、被写体の動きが大きく、激しい場合には、ステップ角度、試行錯誤の駆動の頻度を大きく設定する必要があり、手ぶれと同様の影響が懸念されるが、本発明は、園児等のそれほど激しい動きをしない被写体が対象であり、また、カメラと被写体との距離もある程度あることが期待でき、角度変化も小さいと考えられるので、当該ステップトラック方式を適用するものである。
次に、上記の構成における撮影装置の動作を説明する。
まず、カメラ10のズーム機能を用いない場合について説明する。ズーム機能を用いないケースとは、被写体の移動による被写体の大きさの変化は許容し、カメラの視野範囲の確保を重視する運用形態である。
図7は、本発明の一実施の形態における動作のフローチャート(ズーム機能なしの場合)である。
回転制御部73は、ステップテーブル72を参照し、ケース番号(ステップ角度、ステップ頻度)を選択する(ステップ101)。
次に、タグIDにより、対象となる被写体を識別し、当該被写体の初期捕捉(回転テーブルを1回転させて、そのとき、所定の受信レベルを受けたとき、初期補足ができたとする)する(ステップ102)。
受信機20のカメラ・テーブル制御部23は、回転テーブル70の回転制御部73に対して、テーブル部76を制御するよう指示する。回転制御部73は、回転テーブル70の回転モータ74に時計方向の回転を指示する(ステップ103)。これにより回転軸75が回転し、テーブル部76が回転する(ステップ104)。
ここで、受信機20のカメラ・テーブル制御部23において、検出された受信強度が増大した場合には、回転テーブル70に対して、ステップ103の処理に移行するよう指示し(ステップ105、Yes)、そうでない場合には(ステップ105、No)、回転モータ74に反時計方向への回転を指示する(ステップステップ106)。これにより回転軸75が反時計方向に回転し、テーブル部76も反時計方向に回転する(ステップ107)。さらに、受信機20のカメラ・テーブル制御部23において、検出された受信強度が増大している場合にはステップ106に移行するように回転制御73に対して指示し(ステップ108、Yes)、増大していない場合には(ステップ108、No)、ステップ103に移行する。
次に、カメラのズーム機能を用いる場合について説明する。
図8は、本発明の一実施の形態における動作のフローチャート(ズーム機能あり)である。
同図に示すステップ201〜208については、前述の図7の動作と同様であるため、その説明は省略する。
ステップ204以降において、受信機20のカメラ・テーブル制御部23において、強度入力部73から入力された受信強度が所定の値より低くなっている場合(ステップ209、Yes)には、カメラ10に対してズームを指示する(ステップ210)。これによりカメラ10は、受信強度に対応する倍率でズーミングし、そのズームを保持する(ステップ211)。一方、受信強度が所定の値以上である場合は(ステップ209,No)、被写体は所定の大きさを確保しているものとして、何も行わない。
ステップ207において、回転テーブル70のテーブル部76が反時計方向に回転しているとき、受信機20のカメラ。テーブル制御部23において、検出された受信強度が所定の値より低くなっている場合(ステップ212、Yes)には、前述と同様に、カメラ10に対してズームを指示する(ステップ213)。これによりカメラ10は、受信強度に対応する倍率でズーミングし、そのズームを保持する(ステップ214)。
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
幼稚園内の園児や、老人ホームの高齢者等の限られた室内空間に存在する特定の人物の様子を把握する、または、アミューズメントパーク等の屋外において、無線タグを有する被写体の映像を要求元に配信する、または、無線タグのID毎に蓄積するシステムに適用可能である。
また、無線タグを利用することにより、一般的な記録用の自動撮影カメラとしての展開が可能である。
本発明の一実施の形態における撮影装置の構成図(上面図)である。 本発明の一実施の形態における撮影装置の構成図(断面図)である。 本発明の一実施の形態における受信機の構成図である。 本発明の一実施の形態におけるカメラの構成図である。 本発明の一実施の形態における回転テーブル装置の構成図である。 本発明の一実施の形態におけるステップテーブルの例である。 本発明の一実施の形態における動作のフローチャート(ズーム機能なしの場合)である。 本発明の一実施の形態における動作のフローチャート(ズーム機能ありの場合)である。 従来の映像システムの構成図である。
符号の説明
10 カメラ
11 受信強度入力部
12 倍率調整部
13 倍率テーブル
14 レンズ
20 受信機
21 電波受信部
22 タグID・受信強度検出部
23 カメラ・テーブル制御部
24 受信強度最大値
40 無線タグ
50 シールドプレート(遮蔽板)
70 回転テーブル
71 受信強度入力部
72 ステップテーブル
73 回転制御部
74 回転モータ
75 回転軸
76 テーブル部
α カメラ視野範囲
β 受信機の無線タグ受信範囲
γ シールドプレートの設定角度

Claims (1)

  1. カメラにより撮影された無線タグを有する被写体の映像を、該無線タグのタグIDに基づいて、配信または、蓄積する無線タグ利用映像システムにおける撮影装置であって、
    無線タグを有する被写体の映像を撮影するカメラと、無線タグから送信される電波を受信する受信アンテナと、該受信アンテナの周囲に設けられ、該受信アンテナの電波受信方向を開口方向とした、前記無線タグから送信される電波の受信範囲を制限するためのV字状の遮蔽板と、該受信アンテナを介して該無線タグからのタグIDを受信すると共に、電波の受信強度を検出する受信機とを構造的に一体化したカメラ・受信機部と、
    前記カメラ・受信機部を載置し、前記受信機が受信した受信強度に基づいて、該受信強度が常に最大となるように回転を調整する回転調整手段を有する回転テーブル装置と、
    を有し、
    前記回転調整手段は、
    被写体と前記受信機(カメラ)との距離範囲、該被写体の動く速度、該被写体の動く頻度の範囲毎に、ステップ値及びステップ頻度が複数設定されているテーブルから選択されたステップ値及びステップ頻度に基づいて回転テーブルを回転させる手段を含む、
    ことを特徴とする撮影装置。
JP2003357373A 2003-10-17 2003-10-17 撮影装置 Expired - Fee Related JP3821121B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003357373A JP3821121B2 (ja) 2003-10-17 2003-10-17 撮影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003357373A JP3821121B2 (ja) 2003-10-17 2003-10-17 撮影装置

Publications (2)

Publication Number Publication Date
JP2005123931A JP2005123931A (ja) 2005-05-12
JP3821121B2 true JP3821121B2 (ja) 2006-09-13

Family

ID=34614280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003357373A Expired - Fee Related JP3821121B2 (ja) 2003-10-17 2003-10-17 撮影装置

Country Status (1)

Country Link
JP (1) JP3821121B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005316668A (ja) * 2004-04-28 2005-11-10 Matsushita Electric Ind Co Ltd 識別装置
JP5586447B2 (ja) * 2010-12-16 2014-09-10 三菱電機株式会社 映像監視装置及び映像監視システム
WO2019106995A1 (ja) * 2017-11-29 2019-06-06 ソニー株式会社 撮影装置、撮影方法およびプログラム
JP6888543B2 (ja) * 2017-12-25 2021-06-16 大日本印刷株式会社 自動撮影システム及び自動撮影方法
JP7433820B2 (ja) * 2019-09-20 2024-02-20 キヤノン株式会社 制御装置、制御方法、プログラム及び記憶媒体

Also Published As

Publication number Publication date
JP2005123931A (ja) 2005-05-12

Similar Documents

Publication Publication Date Title
US20050117033A1 (en) Image processing device, calibration method thereof, and image processing
US20050099500A1 (en) Image processing apparatus, network camera system, image processing method and program
EP2993894B1 (en) Image capturing method and electronic apparatus
CN111901524B (zh) 对焦方法、装置和电子设备
US20140267595A1 (en) Rotating surveillance camera
CN210958487U (zh) 一种拍摄设备
JP2015204595A (ja) 撮像装置、カメラ、リモコン装置、撮影方法、及びプログラム
CN207802125U (zh) 复眼照相机装置
JP3821121B2 (ja) 撮影装置
EP1148719A1 (en) Device for video tranmission between a camera and a control room
JP2006217607A (ja) 自動トラッキングシステム
KR101937143B1 (ko) 비구면 반구 돔으로 화각 가림현상을 최소화시킨 cctv 장치
JP2003274257A (ja) 自動動画撮影システム、自動動画撮影方法および自動動画撮像装置
US20210258505A1 (en) Image processing apparatus, image processing method, and storage medium
JP3821122B2 (ja) 無線タグ利用映像システム
JP2005020205A (ja) 画像撮影装置
JP2010239416A (ja) 撮像装置及びその制御方法
KR20140136278A (ko) 스마트폰을 이용한 ptz 감시 장치 및 감시 시스템
JP2005277698A (ja) 監視カメラおよび監視方法
US20070132848A1 (en) Photographic device
JP2002344796A (ja) リモート画像センタリングのためのシステムおよび方法
US11509802B2 (en) Method and system for a trail camera with modular Fresnel lenses
JPH11146295A (ja) 画像転送システム
CN112788229A (zh) 基于物联网的室内型自拍支援摄像头系统
JP4355260B2 (ja) 映り込み防止システム、撮像装置、及び受信装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060612

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090630

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100630

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100630

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110630

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120630

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130630

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees