JP3332158B2 - 監視システム - Google Patents

監視システム

Info

Publication number
JP3332158B2
JP3332158B2 JP31681499A JP31681499A JP3332158B2 JP 3332158 B2 JP3332158 B2 JP 3332158B2 JP 31681499 A JP31681499 A JP 31681499A JP 31681499 A JP31681499 A JP 31681499A JP 3332158 B2 JP3332158 B2 JP 3332158B2
Authority
JP
Japan
Prior art keywords
priority level
signal
communication network
sensor
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31681499A
Other languages
English (en)
Other versions
JP2001136513A (ja
Inventor
真人 高木
守 佐薙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP31681499A priority Critical patent/JP3332158B2/ja
Publication of JP2001136513A publication Critical patent/JP2001136513A/ja
Application granted granted Critical
Publication of JP3332158B2 publication Critical patent/JP3332158B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、自動車、鉄道等の
交通機関、石油精製、化学、鉄鋼等の工業プラント、ま
たは、ビルディング等の建築物等において、任意に定め
た地点、場所、領域での状況の変化を的確に補足するこ
とができるようにした監視システムに関するものであ
る。
【0002】
【従来の技術】道路の交差点・料金所付近、ターミナル
駅周囲の鉄道車輌の運転状況、鉄鋼・化学等の工業プラ
ントの目視領域、大規模小売店・高層ビルディングの所
定場所における交通事故、交通渋滞、プラント運転異
常、防災等を発見、検出するには、予め設定した各種セ
ンサからのアラーム信号、または監視カメラからの現場
映像等を監視することによって行なわれている。
【0003】一般的には、集中管理センター等にあっ
て、複数台設置されているディスプレイに映し出される
カメラ映像、各種センサ信号の異常による警告、即ちラ
ンプ点灯、ブザー、音声出力等を常時監視して当該箇所
での正常/異常、周囲状況の変化をオペレータが認識し
ている。
【0004】
【発明が解決しようとする課題】このような従来の監視
システムは、オペレータが複数台のディスプレイ映像の
状況、複数台のランプ等を常に監視していなければなら
ず、その負担は大きく、見落としまたは重大事故の発見
が遅れる等の問題があった。
【0005】本発明は上記の問題を解決することを課題
とし、オペレータの監視作業の簡素化、異常状態の早期
発見を実現することを目的とする。
【0006】
【課題を解決するための手段】上記の課題を解決した本
発明は、次の通りである 請求項1の発明は、監視カメラと、複数台の各種センサ
と、前記監視カメラからの画像信号及び前記センサから
の出力信号を受けて優先度レベルを算出する優先度算出
装置と、通信網に結合し前記通信網上に伝送されている
信号の優先度レベルと内部で算出した前記優先度レベル
とを比較して内部で算出した前記優先度レベルが高い場
合は前記通信網に割り込みをかけて自己内部の信号を伝
送する伝送装置とを備えるセンサ端末とを少なくとも2
台以上異なった場所に設置することを特徴とする監視シ
ステムである。
【0007】請求項2の発明は、前記伝送装置は、前記
通信網上に、予め設定された数の前記センサ端末からの
信号が既に送信されている場合、自己の前記優先度レベ
ルより低い前記優先度レベルの前記センサ端末を検出し
て送信停止信号を送って代わりに自分が割り込むことを
特徴とする請求項1記載の監視システムである。
【0008】請求項3の発明は、前記通信網に、前記通
信網上に伝送されている信号の内容を表示する表示画面
を有する端末機を設置したことを特徴とする請求項1ま
たは請求項2記載の監視システムである。
【0009】請求項4の発明は、前記端末機は、前記通
信網上に伝送されている信号のうち任意の前記優先度レ
ベルのものを選択して表示する選択手段を備えることを
特徴とする請求項3記載の監視システムである。
【0010】請求項5の発明は、前記端末機は、任意の
前記センサ端末を指定し、指定した前記センサ端末にお
ける信号を強制的に前記通信網に伝送させて表示する指
定表示手段を備えることを特徴とする請求項3記載の監
視システムである。
【0011】請求項6の発明は、監視カメラと、複数台
の各種センサと、前記監視カメラからの画像信号及び前
記センサからの出力信号を受けて優先度レベルを算出す
る優先度算出装置と、通信網に結合可能で前記通信網上
に伝送されている信号の優先度レベルと内部で算出した
前記優先度レベルとを比較して内部で算出した前記優先
度レベルが高い場合は前記通信網に割り込みをかけて自
己内部の信号を伝送する伝送装置とを備えるセンサ端末
とを移動可能物体に搭載して巡回することを特徴とする
監視システムである。
【0012】
【発明の実施の形態】本発明を実施した例について図面
を用いて以下に説明する。本発明は、上述したように、
道路、鉄道、工業プラント、建築物等に適用できるもの
であり、図1に示すように、監視したい地点、領域、即
ち複数の定点に、センサ端末T1,…,Tmをm台設置
し、これらをイーサネット(登録商標)、イントラネッ
ト等のネットワークNWに接続し、更に監視センターA
に接続して監視システムを構築する。
【0013】センサ端末T1は、例えば、監視カメラc
10,音響センサs11,温度(火災発生)センサs1
2、距離センサS1n等、n台のセンサを備える。
【0014】監視カメラc10の映像信号は、画像処理
装置c11にて予め設定された画像比較アルゴリズムに
よって各種の映像パターン(事故映像パターン、渋滞映
像パターン等の異常映像パターン)と比較され、一致し
たときは、画像処理装置c11は一致信号としてトリガ
信号p0を出力する。
【0015】センサs11,s12,…,s1nも同様
に、その出力信号が予め設定したスレショルド値、異常
パターン等と一致したときはそれぞれトリガ信号p1,
p2,…,pnを出力する。
【0016】トリガ信号p0,p1,p2,…,pn
は、優先度算出装置P10に入力される。優先度算出装
置P10は、トリガ信号p0,p1,p2,…,pnの
各々の信号に基づいて、当該センサ端末T1の優先度レ
ベルQ1を算出する。
【0017】伝送装置F10は、当該センサ端末T10
のカメラ映像、センサ信号等をネットワークNWを介し
て監視センターAへ送信する装置である。即ち、監視カ
メラ、複数台のセンサを備えるセンサ端末は、設置され
ている場所での事故、異常等を検知してその連絡の緊急
性レベルを算出するものである。
【0018】更に、伝送装置F10は、ネットワークN
W上に現在伝送されている信号の発信元となるセンサ端
末の優先度レベルと、内部の優先度算出装置P10にて
算出された当該センサ端末T1の優先度レベルQ1とを
比較する。
【0019】優先度レベルQ1がネットワーク上に伝送
されている信号の優先度レベルより高い場合は、ネット
ワークNWに割り込みをかけ、センサ端末T1からの信
号(監視カメラc10の映像信号、各種センサs11,
s12,…,s1nの出力信号)を監視センターAへ送
信し、優先度レベルQ1の方が低い場合は、ネットワー
クNWへの割り込みを差し控える。
【0020】また、ネットワークNW上に、複数のセン
サ端末からの信号が同時に送信されているような場合、
優先度レベルQ1より低い優先度レベルのセンサ端末T
jを検出し、このセンサ端末Tjへ送信停止信号を送
り、送信が停止してからセンサ端末T1がセンサ端末T
jに代わってネットワークNW上に自分の信号を送信す
るようにしても良い。
【0021】他のセンサ端末も同様の構成を採用し、同
様の動作をする。監視センターAでは、ネットワークN
Wに接続する端末器を備え、ネットワークNWに伝送さ
れるセンサ端末からの映像信号、各種センサの信号をデ
ィスプレイAdに表示する。また、この端末機は、ディ
スプレイAdの他、通常の端末コンピュータとして動作
するように、本体、キーボードなどの入力装置を備える
ものとする。
【0022】つまり、本発明にあっては、監視センター
AにおけるディスプレイAdに、現在表示されている信
号よりも優先度レベルの高いセンサ端末からの信号がネ
ットワークNWより送信されてきた場合、現在の表示に
代わって、新たに、優先度レベルの高い信号が自動的に
表示されることとなる。
【0023】あるいは、ネットワークNWに複数の優先
度レベルの信号が伝送されている場合、これら複数の信
号をディスプレイAd上にウィンドウ表示し、任意の優
先度レベルの信号をボタンで選択して表示するようにし
ても良い。
【0024】尚、監視センターAにあって、複数地点の
センサ端末のうち、任意のセンサ端末を指定し、そのセ
ンサ端末における信号を強制的にネットワーク上に伝送
させて表示するようにしてもよい。
【0025】また、ネットワークも電話回線、無線連
絡、ローカル・エリア・ネットワーク等の通信網であっ
てよい。
【0026】更に、上述にあっては、複数地点にセンサ
端末を設置することを前提としたが、センサ端末は固定
でなくても良く、自動車、電車等の移動物体に搭載し、
センサ端末を移動可能とするようにしても良い。
【0027】即ち、自動車、電車等にセンサ端末を搭載
させて道路、鉄道等を巡回させてセンサ端末での警告発
生に対応して通信網により伝送するようなシステムも本
発明の範囲である。
【0028】更に、ネットワークも電話回線、無線連
絡、ローカル・エリア・ネットワーク等の通信網を指す
こととする。
【0029】このように構成された本発明システムを実
際に現場に適用した例を次に説明する。本発明は、上述
したように、道路交通機関、工業プラント、建築物等に
適用できるものであるが、理解を容易にするため、図2
に示すように、これら複数のセンサ端末T1,T2,T
3,T4,T5の各々を道路の交差点、自動車事故が発
生しやすい場所、渋滞が発生しやすい場所等に設置する
ことを想定する。尚、これらのセンサ端末T1,T2,
…,T5はネットワーク(図示せず)で接続され、監視
センターA(図示せず)に接続される。
【0030】この状態で、センサ端末T1が設置されて
いる地点T1付近で自動車とオートバイとの接触事故が
あったとする。
【0031】センサ端末T1は、車輌接触のときの音を
内部の音響センサs11で感知するとともに、画像処理
装置c11で接触のときの映像を接触映像パターンで感
知してそれぞれトリガ信号p0,p1を優先度算出装置
P10に送信する。
【0032】優先度算出装置P10は、トリガ信号p
0,p1のステイタスをみて、この接触事故は中度事
故:優先度レベル50と算出し、現在、ネットワークN
W上に伝送されている信号の優先度レベルと比較する。
現在は無事故状態と仮定すると、この優先度レベルは最
小値であり、この地点T1での現状の映像、各種センサ
の信号値がネットワークNWに伝送され、監視センター
Aに送信される。
【0033】監視センターAでは、無事故状態表示に代
わって、ネットワークNWに伝送されてきた優先度レベ
ル50の各種データを表示する。これにより、オペレー
タは、自動的に切り換わった映像により、地点T1に中
度事故が発生したことを直ちに知ることができる。
【0034】この状態にあって、今度は、地点T2で自
動車どうしの正面衝突事故及びこの事故による火災が発
生したとする。すると地点T2に設置されているセンサ
端末T2にあって、上記と同様に、車輌接触音を音響セ
ンサで感知するとともに、火災センサで火災を検知し、
更に、画像処理装置にて接触映像パターンにより、この
事故を発見してトリガ信号を優先度算出装置に送信す
る。
【0035】優先度算出装置は、トリガ信号のステイタ
スにより、この接触事故は重大事故:優先度レベル10
0と算出し、現在、ネットワークNW上に伝送されてい
る信号の優先度レベル50と比較する。比較の結果、今
回の事故のほうがより優先度レベルが高く、センサ端末
T2はネットワークNWに割り込みをかけ、この正面衝
突事故の現場の映像、各種センサの信号値等をネットワ
ークNW上に伝送する。これらの信号は監視センターA
のディスプレイに自動的に切り換わって表示される。
【0036】あるいは、複数のセンサ端末からの信号を
同時にネットワークNWに伝送できるようにし、監視セ
ンターAにて複数の端末からのそれぞれの信号をウィン
ドウ表示するようにしても良い。
【0037】即ち、優先度レベル50のセンサ端末T1
に対応するウィンドウ表示の上に、優先度レベル100
のセンサ端末T2からの信号を重ねてウィンドウ表示す
る。これにより、監視センターAでは、センサ端末T1
での事故状況が消去されることなく、今回の新たな事故
を認識し、画面のウィンドウ操作によって、センサ端末
T1地点での事故、センサ端末T2地点での事故を選択
表示できる。
【0038】続いて、センサ端末T5の設置地点にて、
自動車どうしの軽い追突事故が発生したとする。センサ
端末T5は、同様に、車輌接触音を音響センサで感知
し、画像処理装置にて接触映像パターンにより、この事
故を発見してトリガ信号を優先度算出装置に送信する。
【0039】優先度算出装置は、トリガ信号のステイタ
スにより、この接触事故は軽度事故:優先度レベル30
と算出し、現在ネットワークNW上に伝送されている信
号の優先度レベル100(または優先度レベル50,1
00の同時送信)と比較する。比較の結果、今回の事故
は優先度レベルが低く、センサ端末T5はネットワーク
NWへ割り込みをかけない。管理センターAのディスプ
レイAdには、センサ端末T2地点の映像(またはセン
サ端末T1地点及びセンサ端末T2地点それぞれのウィ
ンドウ表示)が表示されたままである。
【0040】あるいは、センサ端末T2地点での優先度
レベル30の事故、センサ端末T1地点での優先度レベ
ル50の事故、センサ端末T5地点での優先度レベル1
00の事故という順に事故が発生した場合を想定する。
このとき、ネットワークNWに2地点での信号しか伝送
できないとすると、センサ端末T5は、ネットワークN
W上の優先度レベルが一番低いセンサ端末T2に対して
送信停止信号を送信し、センサ端末T2に代わって、ネ
ットワークNW上に自分の信号を送信する。これによ
り、監視センターAでは、優先度レベルが高い事故を知
ることができる。
【0041】このようにして、監視センターAにあって
は、重大事故のみをディスプレイ表示することにより、
所定箇所の監視を実現することができ、事故処理の不要
な軽度の事故等は無視でき、効率の良い監視を行なえ
る。
【0042】また、監視センターAにおける端末機で、
任意のセンサ端末を指定し、そのセンサ端末における現
状を強制的にネットワークに伝送させて表示させるよう
にしても良い。
【0043】なお、上記の例では、自動車交通機関の事
故に限って説明をしたが、冒頭に述べたように、ターミ
ナル駅周辺の鉄道車輌、港湾付近の船舶、空港付近の航
空機等の他の交通機関にも本発明を適用することができ
る。即ち、このような自動車以外の交通機関での事故は
重大であり、事故発見よりは事故防止の目的のため、複
数台の鉄道車輌、船舶、航空機の相互の最適位置を指令
するというようなシステムにも本発明は適用できる。
【0044】事故検知以外にも、複数の場所、領域にお
ける何らかの緊急性を検知するようなシステムにも本発
明は適用できる。また、センサ端末も自動車、電車、小
型飛行機、小型船等の移動可能な物体に搭載すれば、固
定の地点ではなく、ある程度の広さを持つ領域の監視を
実現することもできる。
【0045】また、鉄鋼、化学等の工業プラントのよう
な、複数の領域監視を必要とするものにおいても、本発
明のシステムを適用することができる。
【0046】更に、ビルディング内の複数箇所、大規模
小売店等の建築物にあっても、火災防止、盗難防止等に
も本発明のシステムを採用することができる。
【0047】
【発明の効果】本発明によれば、以下のような効果を得
る。請求項1の発明によれば、優先度の高い異常が発生
した場合は、直ちにネットワークに割り込みがかかるの
で、オペレータは複雑な作業を必要とせずに、直ちに異
常を発見することができる。
【0048】請求項2の発明によれば、複数の優先度レ
ベルの信号が監視センターへ伝送されている場合に、優
先度レベルの高い信号が最小の優先度レベルのものと自
動的に入れ替わるので、ネットワーク上では常にある一
定の優先度レベルを維持することができる。
【0049】請求項3の発明によれば、監視センター側
の端末機は表示画面を有するので、ネットワーク上での
信号を画面上で直ちに認識できる。
【0050】請求項4の発明によれば、監視センター側
の端末機は、ネットワーク上の複数の信号のうち、任意
の優先度レベルの信号を選択できるようにしたので、オ
ペレータは短時間で複数の優先度レベルの信号を監視す
ることができる。
【0051】請求項5の発明によれば、監視センター側
で、優先度レベルに関係なく、強制的にオペレータが確
認したいセンサ端末を選択することができる。
【0052】請求項6の発明によれば、移動可能な物体
にセンサ端末を搭載するようにしたので、固定点でな
く、ある程度の広さを持った領域の監視を行うことがで
きる。
【図面の簡単な説明】
【図1】本発明の監視システムの実施例を表わす図であ
る。
【図2】本発明の監視システムを実際に道路交通機関に
適用したときの例を表わす図である。
【符号の説明】
T1,Tm センサ端末 c10 監視カメラ s11,s12,…,s1n センサ c11 画像処理装置 P10 優先度算出装置 F10 伝送装置 NW ネットワーク A 監視センター Ad ディスプレイ
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 7/18

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】 監視カメラと、複数台の各種センサと、
    前記監視カメラからの画像信号及び前記センサからの出
    力信号を受けて優先度レベルを算出する優先度算出装置
    と、通信網に結合し前記通信網上に伝送されている信号
    の優先度レベルと内部で算出した前記優先度レベルとを
    比較して内部で算出した前記優先度レベルが高い場合は
    前記通信網に割り込みをかけて自己内部の信号を伝送す
    る伝送装置とを備えるセンサ端末とを少なくとも2台以
    上異なった場所に設置することを特徴とする監視システ
    ム。
  2. 【請求項2】 前記伝送装置は、前記通信網上に、予め
    設定された数の前記センサ端末からの信号が既に送信さ
    れている場合、自己の前記優先度レベルより低い前記優
    先度レベルの前記センサ端末を検出して送信停止信号を
    送って代わりに自分が割り込むことを特徴とする請求項
    1記載の監視システム。
  3. 【請求項3】 前記通信網に、前記通信網上に伝送され
    ている信号の内容を表示する表示画面を有する端末機を
    設置したことを特徴とする請求項1または請求項2記載
    の監視システム。
  4. 【請求項4】 前記端末機は、前記通信網上に伝送され
    ている信号のうち任意の前記優先度レベルのものを選択
    して表示する選択手段を備えることを特徴とする請求項
    3記載の監視システム。
  5. 【請求項5】 前記端末機は、任意の前記センサ端末を
    指定し、指定した前記センサ端末における信号を強制的
    に前記通信網に伝送させて表示する指定表示手段を備え
    ることを特徴とする請求項3記載の監視システム。
  6. 【請求項6】 監視カメラと、複数台の各種センサと、
    前記監視カメラからの画像信号及び前記センサからの出
    力信号を受けて優先度レベルを算出する優先度算出装置
    と、通信網に結合可能で前記通信網上に伝送されている
    信号の優先度レベルと内部で算出した前記優先度レベル
    とを比較して内部で算出した前記優先度レベルが高い場
    合は前記通信網に割り込みをかけて自己内部の信号を伝
    送する伝送装置とを備えるセンサ端末とを移動可能物体
    に搭載して巡回することを特徴とする監視システム。
JP31681499A 1999-11-08 1999-11-08 監視システム Expired - Fee Related JP3332158B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31681499A JP3332158B2 (ja) 1999-11-08 1999-11-08 監視システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31681499A JP3332158B2 (ja) 1999-11-08 1999-11-08 監視システム

Publications (2)

Publication Number Publication Date
JP2001136513A JP2001136513A (ja) 2001-05-18
JP3332158B2 true JP3332158B2 (ja) 2002-10-07

Family

ID=18081224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31681499A Expired - Fee Related JP3332158B2 (ja) 1999-11-08 1999-11-08 監視システム

Country Status (1)

Country Link
JP (1) JP3332158B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008050409A1 (fr) * 2006-10-25 2008-05-02 Pioneer Corporation Dispositif de diffusion de l'information, procédé de diffusion de l'information, programme de diffusion de l'information et support d'enregistrement
JP5551236B2 (ja) * 2010-03-03 2014-07-16 パナソニック株式会社 道路状況管理システム及び道路状況管理方法
JP7308442B2 (ja) * 2018-07-19 2023-07-14 パナソニックIpマネジメント株式会社 情報処理方法、情報処理装置及び情報処理システム
JP7249879B2 (ja) * 2018-10-05 2023-03-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、及び、情報処理システム
WO2020071220A1 (ja) * 2018-10-05 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、及び、情報処理システム
EP4319184A3 (en) * 2018-10-05 2024-04-17 Panasonic Intellectual Property Corporation of America Information processing method, and information processing system

Also Published As

Publication number Publication date
JP2001136513A (ja) 2001-05-18

Similar Documents

Publication Publication Date Title
KR102027921B1 (ko) 텔레매틱스 시스템 및 상기 시스템에서의 텔레매틱스 서비스 제공 방법
KR101399026B1 (ko) 차선 변경 시 위험 알림 시스템 및 그 방법
US11699338B2 (en) Safety warning system
KR101719976B1 (ko) 주변 상황 적응형 고속도로 경보 시스템
KR20150031972A (ko) 2차적 교통사고 예방 시스템 및 방법
KR101958191B1 (ko) 도로용 비상상황 경보 시스템
JP3332158B2 (ja) 監視システム
JPH0863697A (ja) バス運行システム
JP2005149231A (ja) 交差点事故防止システム、交差点事故防止装置、交差点事故防止方法、およびプログラム
JP3721577B2 (ja) 監視システム
JP2005094587A (ja) 監視システム
JPH0554294A (ja) 交差点情報通信装置
Mateen et al. Autonomous Accidents Detection and alert for vehicles
JP2000259982A (ja) 道路交通管理システム
CN113591626A (zh) 一种基于视觉传感器的障碍物检测系统
JP2022090686A (ja) 自動車及び自動運転車
KR102559481B1 (ko) 자율주행 차가 혼재된 도로에서 교차로 사고 감소를 위한 신호 제어 시스템 및 방법
KR101871581B1 (ko) 차량 경고 시스템
JP4411557B2 (ja) 車用電波警報器
JP4241357B2 (ja) 踏切予告装置、踏切予告システム及び踏切予告方法
KR20230157756A (ko) 전동차 주행안전시스템
JP2667729B2 (ja) 警報発信装置
JPH06180795A (ja) 交通情報の表示制御方法
US20070008938A1 (en) Virtual network system
TW202032509A (zh) 立體投影輔助管理系統

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080726

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090726

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100726

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110726

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110726

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120726

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130726

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140726

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees