JP4122634B2 - 遠隔監視システム及び遠隔監視方法 - Google Patents

遠隔監視システム及び遠隔監視方法 Download PDF

Info

Publication number
JP4122634B2
JP4122634B2 JP17753699A JP17753699A JP4122634B2 JP 4122634 B2 JP4122634 B2 JP 4122634B2 JP 17753699 A JP17753699 A JP 17753699A JP 17753699 A JP17753699 A JP 17753699A JP 4122634 B2 JP4122634 B2 JP 4122634B2
Authority
JP
Japan
Prior art keywords
image
monitoring
site
abnormality
monitoring system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP17753699A
Other languages
English (en)
Other versions
JP2001006078A (ja
Inventor
肇 坂野
英雄 寺田
航太 田野
隆之 佐藤
定男 出川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP17753699A priority Critical patent/JP4122634B2/ja
Publication of JP2001006078A publication Critical patent/JP2001006078A/ja
Application granted granted Critical
Publication of JP4122634B2 publication Critical patent/JP4122634B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、遠隔監視システム及び遠隔監視方法に関する。
【0002】
【従来の技術】
ビデオカメラを用いて被監視対象を監視する技術として、公衆回線やLAN(Local Earea Network)を用いることにより被監視対象を遠隔地の監視センターから監視する遠隔監視技術がある。
【0003】
例えば、特開平3−235595号公報には、公衆回線を用いて被監視対象を遠隔監視する監視システムが開示されている。この監視システムは、センサが被監視対象の異常を検出すると、撮像手段に被監視対象の動画の撮影を開始させ、この動画をモデム及び公衆回線を介して遠隔の監視センターに備えられた処理手段まで伝送して表示させるものである。また、特開平6−215275号公報には、監視画像の画像と音声とを取得伝送する手段と、異常を検出する手段として画像データや音声データを基準データと比較する手段とを備え、異常時の画像・音声を監視センターに伝送する技術が記載されている。
【0004】
【発明が解決しようとする課題】
ところで、上記従来技術において、監視システムの不具合は、被監視対象に異常が発生した際に、被監視対象の映像が監視センターあるいは管理人室に正常に送られてこないことによって発見される。すなわち、被監視対象に異常が発生して初めて、監視システムの不具合が発見されることになる。したがって、例えば何らかの原因によって、撮像手段やテレビカメラあるいはこれらから出力されて監視センターや管理人室まで伝送される映像信号の伝送系に故障が生じていた場合等、監視センターでは異常発生時に被監視対象の正しい映像が得られないため、異常に対して対処することができず、よって監視システムの信頼性が不十分である。
【0005】
本発明は、上述する問題点に鑑みてなされたもので、以下の点を目的とするものである。
(1)遠隔監視システムの信頼性を向上させる。
(2)被監視対象の異常発生前に遠隔監視システムの不具合を発見する。
【0006】
【課題を解決するための手段】
上記目的を達成するために、本発明では、遠隔監視システムに係わる第1の手段として、監視現場の画像(現場画像)を遠隔地の監視センターに送信する現場監視システム(A)を備え、該現場監視システムから受信した現場画像に基づいて監視センターで監視現場の状態を遠隔監視する遠隔監視システムにおいて、前記現場監視システムは、自らの異常を自主的に検出して監視センターに通報する自己異常検出報知手段(B)を備え、前記自己異常検出報知手段は、撮影装置(1)から取得された現場画像の輝度情報から輝度信号の立上がり部分あるいは立下り部分のレベル変化率を抽出し、当該レベル変化率と所定の閾値と比較することにより撮影環境の異常を検出して監視センターに通報する、という手段を採用する。
【0011】
また、本発明では、遠隔監視方法に係わる第1の手段として、監視現場の現場監視システムから受信した監視現場の画像(現場画像)に基づいて遠隔地の監視センターで監視現場の状態を監視する遠隔監視方法において、前記現場監視システムに自らの異常を自主的に検知させると共に撮影装置(1)から取得された現場画像の輝度情報から輝度信号の立上がり部分あるいは立下り部分のレベル変化率を抽出させ、当該レベル変化率と所定の閾値と比較することにより撮影環境の異常を検出させて監視センターに通報させる、という手段を採用する。
【0016】
【発明の実施の形態】
以下、図面を参照して、本発明に係わる遠隔監視システム及び遠隔監視方法の実施形態について説明する。
【0017】
〔第1実施形態〕
まず最初に、図1に示す遠隔監視システムのブロック図を参照して、本発明の第1実施形態について説明する。この図において、符号Aは監視現場に備えられる現場監視システムであり、カメラ1と画像ケーブル1Aとセンサ2と現場監視装置3とから構成されている。また、現場監視装置3は、無信号検出部3a、A/D変換器3b、画像圧縮部3c、データ送信装置3d、故障通報部3e及び発報制御部3fから構成されている。
【0018】
ここで、上記カメラ1と画像ケーブル1Aとは、本発明における撮像系を構成し、また無信号検出部3aとデータ送信装置3dと故障通報部3eとは、本発明における自己異常検出報知手段Bを構成するものである。
【0019】
カメラ1は、監視現場における所定の監視領域の画像(現場画像)を撮影し、その画像信号Sgを画像ケーブル1Aを介して無信号検出部3aに出力するものである。センサ2は、例えば赤外線センサであり、上記監視領域への不審物の侵入を検出し、その検出信号を発報制御部3fに出力するものである。また、場合によっては、センサ2を設けることなく、画像圧縮部3cにおいて画像圧縮と同時に侵入者像の検出のための画像処理を行うこともある。
【0020】
無信号検出部3aは、画像信号Sgの有無を検出するものであり、より具体的には画像信号Sgの一部である同期信号の有無を検出し、この検出信号を故障通報部3eに出力する。この無信号検出部3aは、同期信号の有無を常時監視しており、同期信号が検出されなくなると、この旨の検出信号を故障通報部3eに出力する。また、無信号検出部3aにカメラ1から出力された画像信号Sgは、無信号検出部3aを経由してA/D変換器3bに供給されるようになっている。なお、同期信号の有無を検出する方法としては、同期信号を積分するアナログ処理的な方法やデジタル処理を用いる方法等、種々の方法が周知であるので特に説明しない。
【0021】
A/D変換器3bは、画像信号Sgを量子化して画像圧縮部3cに出力するものである。画像圧縮部3cは、A/D変換器3bから入力された量子化画像信号を所定の圧縮アルゴリズムを用いて画像圧縮して圧縮画像符号としてデータ送信装置3dに出力する。上記故障通報部3eは、無信号検出部3aから同期信号が検出されない旨の検出信号が入力された場合に、上記撮像系の異常発生の通報をデータ送信装置3dに指示するものである。
【0022】
また、上記発報制御部3fは、センサ2から不審物の侵入を検出した旨の検出信号が入力された場合、あるいは画像圧縮部3cの画像処理によって侵入者像が検出された場合に、監視現場の異常発生の通報をデータ送信装置3dに指示するものである。データ送信装置3dは、上記故障通報部3eから入力された撮像系の異常発生の報知、画像圧縮部3cから入力された画像信号Sgの圧縮画像符号及び発報制御部3fから入力された監視現場の異常発生の通報を通信回線4を介して監視センターに送信するものである。
【0023】
通信回線4は、上記現場監視システムAと監視センターとを接続するものであり、例えば公衆回線あるいはLAN等である。監視センターには、通信回線4によって現場監視システムAと接続された画像受信処理装置5及びモニタ6が備えられている。また、画像受信処理装置5は、データ受信装置5a、画像展開部5b、D/A変換器5c及び現場異常報知部5dから構成されている。
【0024】
データ受信装置5aは、上記現場監視システムAのデータ送信装置3dと通信回線4を介して交信するものであり、具体的にはデータ送信装置3dから送信されてきた上記撮像系の異常発生の報知及び監視現場の異常発生の通報を受信して現場異常報知部5dに出力すると共に、画像信号Sgの圧縮画像符号を受信して画像展開部5bに出力する。画像展開部5bは、圧縮画像符号を上記圧縮アルゴリズムに対応した展開アルゴリズムを用いて画像伸張し、該画像伸張によって得られた量子化画像信号をD/A変換器5cに出力するものである。
【0025】
D/A変換器5cは、量子化画像信号に基づいて上記画像信号Sgを再生し、モニタ6に出力する。モニタ6は、画像信号Sgに基づいて現場画像を表示するものである。また、現場異常報知部5dは、データ受信装置5aから入力された撮像系の異常発生及び監視現場の異常発生の各通報を監視センターの監視員に報知するものである。
【0026】
次に、このように構成された遠隔監視システムの動作について説明する。
【0027】
現場監視システムAに異常が発生していない通常監視動作時において、センサ2によって監視現場の異常が検出されると、発報制御部3fは、監視現場の異常発生の通報をデータ送信装置3dに出力して監視センターの画像受信処理装置5に送信させる。データ送信装置3dは、監視現場の異常発生の通報を画像受信処理装置5に送信すると、画像圧縮部3cから画像信号Sgの圧縮画像符号を取り込んで引き続き画像受信処理装置5に送信する。
【0028】
このようなデータ送信装置3dに対して、監視センターのデータ受信装置5aは、監視現場の異常発生の通報及び画像信号Sgの圧縮画像符号を順次受信し、監視現場の異常発生の通報を現場異常通報部5dに出力すると共に、画像信号Sgの圧縮画像符号を画像展開部5bに出力する。この結果、現場異常通報部5dを介して監視員に監視現場の異常発生が報知されると共に、画像展開部5b及びD/A変換器5cを経由して画像信号Sgが再生されてモニタ6に現場画像が表示される。
【0029】
このような通常監視動作に対して、撮像系に異常が発生した場合には、以下のように動作する。すなわち、撮像系が正常に機能している場合には、無信号検出部3aには画像信号Sgが常時入力されており、その同期信号が検出される。しかし、カメラ1の故障、画像ケーブル1Aの断線あるいはカメラ1と画像ケーブル1Aとを接続するコネクタの解離等に起因して撮像系が異常状態に至ると、無信号検出部3aには画像信号Sgが入力されてなくなるので、同期信号が検出されなくなる。
【0030】
この結果、無信号検出部3aは、同期信号が検出されない旨の検出信号を故障報知部3eに出力するので、故障報知部3eは、データ送信装置3dに対して、撮像系の異常発生の通報を監視センターに通信するように指示する。この撮像系の異常発生の通報は、データ送信装置3dから通信回線4を介してデータ受信装置5aに受信され、データ受信装置5aから現場異常通報部5dに出力される。そして、現場異常通報部5dを介して監視員に通報される。監視員は、この通報に対して撮像系の異常状態を改善すべく、適切な処置を執ることができる。
【0031】
このように、本実施形態によれば、撮像系の異常発生が現場監視システムAによって自主的に検出されて監視センターに通報される。したがって、監視センターの監視員は、撮像系の異常に対して適切な対応を取ることにより、監視現場の異常発生前に撮像系の異常状態を修復することができるので、監視現場の異常発生じに現場画像を確実に取得することができる。
【0032】
〔第2実施形態〕
次に、図2に示すブロック図を参照して、本発明の第2実施形態について説明する。なお、この図2では、上記図1に示した構成要素と同一の構成要素について同一符号を付してある。以下の説明では、これら既に説明した構成要素については説明を省略し、上記第1実施形態とは異なる部分についてのみ説明する。
【0033】
本実施形態では、上記第1実施形態の無信号検出部3aに代えて、不正画像検出部3gを備えることを特徴としている。すなわち、監視現場には、不正画像検出部3gを備えた現場監視装置3’とカメラ1とセンサ2とからなる現場監視システムA’が設置され、不正画像検出部3gとデータ送信装置3dと故障通報部3eとによって本発明の自己異常検出報知手段B’が構成されている。
【0034】
この不正画像検出部3gは、A/D変換器3bから出力される画像信号Sgの量子化画像信号を入力とし、該量子化画像信号に種々の画像処理を施すことにより画像信号Sgの画像情報の異常つまり現場画像の異常を検出するものである。そして、不正画像検出部3gは、当該画像情報の異常が検出されると、この検出信号を故障通報部3eに出力する。
【0035】
上記第1実施形態では、画像信号Sgの同期信号の有無を検出することによって撮像系(カメラ1及び画像ケーブル1A)の異常を検出したが、本実施形態は、画像信号Sgに含まれる画像情報の異常を画像処理に基づいて検出し、これによってカメラ1を含む現場画像の撮影環境の異常を検出するものである。
【0036】
画像信号Sgの画像情報の異常とは、例えば監視現場の照明が何らかの原因で消灯した場合、撮影現場の照度が著しく低下するので、現場画像は、正常な状態に比べて極めて暗い画像となり、監視現場の状況を正確に反映したものとならない。このような異常画像を監視センターに送信しても、監視センターでは監視現場の正確な状況を把握することができない。
【0037】
このような撮影環境下では、画像信号Sgの画像情報中の輝度情報(輝度信号)は異常に低下する。この輝度信号の異常低下は、画像信号Sgの量子化画像信号から輝度情報を抽出することによって容易に検出することができる。不正画像検出部3gは、複数行う画像処理の1つとして量子化画像信号から輝度情報を抽出し、該輝度情報を所定のしきい値と比較することにより撮影環境の異常を検出する。
【0038】
また、何らかの原因でカメラ1のフォーカスがずれた場合、現場画像はぼやけた画像となり、監視現場の状況を正確に反映したものとならない。このような状況は、カメラ1の故障やカメラ1に対する故意のいたずら等によって生じ得る。このようなカメラ1の異常については、輝度信号の立上がり部分あるいは立下がり部分のレベル変化率(エッジ特性)を抽出することによって検出することができる。すなわち、不正画像検出部3gは、複数行う画像処理の1つとして量子化画像信号から輝度情報から立上がり部分あるいは立下がり部分のレベル変化率を抽出し、このレベル変化率を所定のしきい値と比較することによりカメラ1の異常を検出する。
【0039】
さらには、故意のいたずら等によってカメラ1のレンズ部に半透明の遮蔽物が貼付され、撮影が妨害されるような事態が想定される。このような場合、現場画像の輝度は異常に至らないが、現場画像が極めて輝度変化の少ない単色画像となる。このような事態に対して、不正画像検出部3gは、複数行う画像処理の1つとして、A/D変換器3bから入力される量子化画像信号から輝度変化部の多少や色変化の多少を抽出し、これらを所定のしきい値と比較することにより撮影環境の異常を検出する。
【0040】
このように、不正画像検出部3gは、量子化画像信号の画像情報に含まれる輝度情報や色情報について種々の画像処理を施すことにより、カメラ1から現場監視装置3’に対して画像信号Sgは正常に供給されているが、カメラ1単体及び該カメラ1を取り巻く撮影環境に起因する異常を多角的に検出する。したがって、監視センターでは、この種の異常に対して、本来監視しようとする監視現場の異常発生の前に、監視現場に人員を派遣する等の適切な対応を取ることにより、カメラ1単体や撮影環境の異常状態を除去することができる。
【0041】
【発明の効果】
以上説明したように、本発明に係わる遠隔監視システム及び遠隔監視方法によれば、以下のような効果を奏する。
【0042】
(1)請求項1及び請求項6記載の発明によれば、現場監視システムは自らの異常を自主的に検出して監視センターに通報するので、現場監視システム自身に発生した異常は、監視現場の異常発生に先立って監視センターに通報される。この結果、監視センターでは、現場監視システムの異常に対して事前に解消を図る対応を取ることができるので、監視現場の異常発生時に現場監視システムの異常によって現場画像を受信できないという事態を未然に防ぐことができる。したがって、遠隔監視システムの信頼性を向上させることが可能である。
【0043】
(2)請求項2及び請求項7記載の発明によれば、撮影装置から取得された現場画像の画像信号の有無に基づいて撮像系の異常を検出して監視センターに通報するので、監視センターでは、撮影装置や画像信号の画像ケーブル等の撮像系の異常を事前に把握することができる。したがって、監視センターでは、撮像系の異常に対して解消を図る対応を取ることができるので、遠隔監視システムの信頼性を向上させることが可能である。
【0044】
(3)請求項3及び請求項8記載の発明によれば、画像信号の一部である同期信号の有無に基づいて撮像系の異常を検出するので、当該撮像系の異常を確実に検出することが可能であり、よって遠隔監視システムの信頼性を向上させることができる。
【0045】
(4)請求項4及び請求項9記載の発明によれば、撮影装置から取得された現場画像の画像信号の画像情報の異常に基づいて撮影環境の異常を検出して監視センターに通報するので、撮影環境の異常を現場画像の面で検出することができる。例えば、撮影装置の撮影方向に異常が生じた場合つまり撮影装置の向きが何らかの原因で変化した場合、撮像装置から画像信号が出力されるが、画像信号の画像情報は、本来意図した現場画像のものではない。したがって、監視センターでは、撮影環境の異常に対して解消を図る対応を取ることができるので、遠隔監視システムの信頼性を向上させることができる。
【0046】
(5)請求項5及び請求項10記載の発明によれば、画像信号の画像情報に所定の画像処理を施すことによって撮影環境の異常を検出するので、現場画像の異常をより確実に検出することができる。したがって、遠隔監視システムの信頼性を向上させることができる。また、種々の画像処理を組み合わせて画像情報の異常を検出することにより、現場監視システム及び環境の異常を多角的に検知することができる。
【図面の簡単な説明】
【図1】 本発明の第1実施形態に係わる遠隔監視システムの機能構成を示すブロック図である。
【図2】 本発明の第2実施形態に係わる遠隔監視システムの機能構成を示すブロック図である。
【符号の説明】
A,A’……現場監視システム
B,B’……自己異常検出報知手段
1……カメラ
1A……画像ケーブル
2……センサ
3……現場監視装置
3a……無信号検出部
3b……A/D変換器
3c……画像圧縮部
3d……データ送信装置
3e……故障通報部
3f……発報制御部
3g……不正画像検出部
4……通信回線
5……画像受信処理装置
5a……データ受信装置
5b……画像展開部
5c……D/A変換器
5d……現場異常報知部
6……モニタ

Claims (2)

  1. 監視現場の画像(現場画像)を遠隔地の監視センターに送信する現場監視システム(A)を備え、該現場監視システムから受信した現場画像に基づいて監視センターで監視現場の状態を遠隔監視する遠隔監視システムにおいて、
    前記現場監視システムは、自らの異常を自主的に検出して監視センターに通報する自己異常検出報知手段(B)を備え、
    前記自己異常検出報知手段は、撮影装置(1)から取得された現場画像の輝度情報から輝度信号の立上がり部分あるいは立下り部分のレベル変化率を抽出し、当該レベル変化率と所定の閾値と比較することにより撮影環境の異常を検出して監視センターに通報する、
    ことを特徴とする遠隔監視システム。
  2. 監視現場の現場監視システム(A)から受信した監視現場の画像(現場画像)に基づいて遠隔地の監視センターで監視現場の状態を監視する遠隔監視方法において、
    前記現場監視システムに自らの異常を自主的に検知させると共に撮影装置(1)から取得された現場画像の輝度情報から輝度信号の立上がり部分あるいは立下り部分のレベル変化率を抽出させ、当該レベル変化率と所定の閾値と比較することにより撮影環境の異常を検出させて監視センターに通報させる、
    ことを特徴とする遠隔監視方法。
JP17753699A 1999-06-23 1999-06-23 遠隔監視システム及び遠隔監視方法 Expired - Lifetime JP4122634B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17753699A JP4122634B2 (ja) 1999-06-23 1999-06-23 遠隔監視システム及び遠隔監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17753699A JP4122634B2 (ja) 1999-06-23 1999-06-23 遠隔監視システム及び遠隔監視方法

Publications (2)

Publication Number Publication Date
JP2001006078A JP2001006078A (ja) 2001-01-12
JP4122634B2 true JP4122634B2 (ja) 2008-07-23

Family

ID=16032664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17753699A Expired - Lifetime JP4122634B2 (ja) 1999-06-23 1999-06-23 遠隔監視システム及び遠隔監視方法

Country Status (1)

Country Link
JP (1) JP4122634B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3887279B2 (ja) * 2002-07-17 2007-02-28 住友大阪セメント株式会社 監視装置
JP4735090B2 (ja) * 2005-07-11 2011-07-27 トヨタ自動車株式会社 赤外画像撮像装置
JP4396708B2 (ja) 2007-01-29 2010-01-13 ソニー株式会社 ネットワーク機器および監視カメラシステム
JP6949593B2 (ja) * 2017-07-18 2021-10-13 セコム株式会社 監視カメラ装置

Also Published As

Publication number Publication date
JP2001006078A (ja) 2001-01-12

Similar Documents

Publication Publication Date Title
US6930599B2 (en) Security system
US9300921B2 (en) Video security systems and methods
US8520068B2 (en) Video security system
US20030025800A1 (en) Control of multiple image capture devices
KR20090078186A (ko) 자가 진단이 가능한 감시 정보 전송 시스템 및 그 방법
KR20020000473A (ko) 인터넷을 이용한 안전 경비 시스템
JP4122634B2 (ja) 遠隔監視システム及び遠隔監視方法
JP4260325B2 (ja) 監視カメラシステム
JP2006332733A (ja) カメラ画像を利用した監視サービスサポートシステム
KR101483443B1 (ko) 제어신호 및 영상데이터를 전송하는 지능형 전송 장치
JP3969839B2 (ja) 画像監視装置
JP2000222646A (ja) 監視カメラシステム
KR102516103B1 (ko) 폐쇄망 cctv용 정보 전송 시스템
JP3939023B2 (ja) 画像監視システム
JP3134143B2 (ja) 遠隔監視システムにおける異常検出伝送装置
GB2416897A (en) A Remote Monitoring System
KR20050120165A (ko) 디브이알 장애처리 장치
KR100869177B1 (ko) 감시장치의 유지관리 시스템
KR200203248Y1 (ko) 인터넷을 이용한 안전 경비 시스템
JP2000287194A (ja) 監視装置
JPH07184190A (ja) 異常監視設備における画像伝送方式
KR20220029040A (ko) 저장장치 일체형 방범용 카메라 시스템 및 그를 이용한 감시방법
JP2005005782A (ja) 監視システム
JPH11146385A (ja) 異常検知装置
JPH08172684A (ja) 画像監視セキュリティシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070529

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080408

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080421

R151 Written notification of patent or utility model registration

Ref document number: 4122634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110516

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130516

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140516

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term