JPH05288514A - 建築限界障害物検出方式 - Google Patents

建築限界障害物検出方式

Info

Publication number
JPH05288514A
JPH05288514A JP4090631A JP9063192A JPH05288514A JP H05288514 A JPH05288514 A JP H05288514A JP 4090631 A JP4090631 A JP 4090631A JP 9063192 A JP9063192 A JP 9063192A JP H05288514 A JPH05288514 A JP H05288514A
Authority
JP
Japan
Prior art keywords
light
image
obstacle
image receiving
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4090631A
Other languages
English (en)
Other versions
JP3112045B2 (ja
Inventor
Takanori Ninomiya
隆典 二宮
Takao Yoshizawa
孝夫 吉沢
Muneo Sato
宗雄 佐藤
Yasuo Takenaka
泰雄 竹中
Hideaki Kimura
英明 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
East Japan Railway Co
Hitachi High Tech Corp
Original Assignee
Hitachi Ltd
East Japan Railway Co
Hitachi Electronics Engineering Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, East Japan Railway Co, Hitachi Electronics Engineering Co Ltd filed Critical Hitachi Ltd
Priority to JP04090631A priority Critical patent/JP3112045B2/ja
Publication of JPH05288514A publication Critical patent/JPH05288514A/ja
Application granted granted Critical
Publication of JP3112045B2 publication Critical patent/JP3112045B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 (修正有) 【目的】建築限界測定車において背景光を除去して昼夜
を問わず障害物を検出する。 【構成】投光器7の光源をメタルハライドランプにより
構成し、面状の投光光LTを周囲に投光する。波長帯域
選択ミラー81,透過フィルタ82,遮光フィルタ8
3、および受像カメラ84,85により受像系8の1組
を構成し、2組の受像系8A,8Bを斜め方向とし、視
野がオーバラップするように配置する。波長帯域選択ミ
ラーにより障害物Qと背景の地物R、発光体Sとの映像
光を2分割し、一方は透過フィルタを通し、他方は遮光
フィルタを通して受像する。障害物検出部において映像
データをフレームメモリに記憶し、2個の映像データに
対する差分演算と2値化により、投光光、または背景の
発光体に対する映像成分を抽出、一方を左右反転してA
ND合成することにより、発光体の成分を除去して障害
物を検出する。 【効果】作業性と測定車の稼働効率の向上に寄与する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、建築限界測定車に適
用し、鉄道線路の建築限界を侵す障害物を非接触で検出
する光学式の検出方式に関する。
【0002】
【従来の技術】鉄道線路には、軌道の側方や上方に各種
の構造物などが多数建植されており、列車運転や旅客の
安全を確保するために、車両の断面に対して車両限界
が、さらにその外方に構造物などに対する建築限界が設
けられている。図3(a)は車両限界と建築限界を説明
するもので、車両1は車体1aが車輪1cを有する台車
1bに支持されてレール2上を走行する。車両1は走行
により動揺するので、車体よりやや広い断面をとってそ
の外周が車両限界3とされる。さらに車両限界3より適
当な距離の外方に建築限界4が規定されている。いまも
し、建築限界4を侵す障害物があるときは車両がこれに
接触して両者が損傷する恐れがあり、特に旅客が車両の
窓やデッキから手など差し出すときは、障害物に触れて
怪我など重大な人身事故の原因となる。これらの危険を
事前に防止するために、建築限界を侵す障害物が定期的
または不定期に検測され、必要な措置が講ぜられてい
る。
【0003】図3(b)は従来使用されている建築限界
測定車の外観を示し、専用の車両1の外周に多数の矢羽
1dを配列したもので、建築限界を侵した障害物は走行
中にこれに触れ、検出センサが作動して直ちに障害物が
検出される。このような機械的な方式は、一定以上の速
度では矢羽とこれに触れた障害物が破損することがある
ので、走行速度に限度があり、作業効率を向上するため
に走行速度を高速化する必要があり、これに適する非接
触の光学式検出装置が望まれている。光学式による場合
は背景にある地物がともに受光されるので、これを除去
することが必要である。これに対してこの発明の発明者
らにより背景の影響を除去できる光学式の方法と装置が
考案され、この発明の先行技術として「平3−1872
48号、走行車両による限界測定方法およびその装置」
が特許出願されている。ただし、この方法および装置
は、屋外にある障害物や地物が天空の自然光の影響を強
く受けるので、夜間にのみ使用可能なものである。
【0004】図4は上記の特許出願にかかる、夜間を対
象とした限界測定装置の光学系の構成を示し、(a)は
平面図(b)は車両の直角断面における投光器の配置
図、(c)は投光光に対する受像カメラの受光範囲を示
す図である。図4(a),(b)において、車両1に光
学系5を搭載し、複数の投光器5aより車両1の走行方
向に対して直角方向に面状の投光光LTを投光する。
(a),(c)において、2個の受像カメラ5b,5c
をそれぞれの視野が投光光LTに対して斜め方向に交差
して、車両限界3と建築限界4の中間領域でオーバラッ
プし、建築限界の外方ではそれぞれ片側のみを受像する
ように対称的に配置する。いま例えば建築限界内に障害
物(例えば樹木)Qが、また限界外の背景には発光する
建物S1と街灯S2があるとする。これらよりの反射光L
Rまたは発光光LSは、視野に応じて各受像カメラに受像
される。
【0005】図5は上記の限界測定装置における受像デ
ータの処理方法の概要を示す。両受像カメラ5b,5c
の受像データは、障害物検出部6の対応したフレームメ
モリ61,62に記憶される。フレームメモリ61に
は、図4(c)で示した障害物Qの投光光LTに直接照
射された部分(図示黒色部分)は高レベルで、それ以外
の陰影部分(輪郭を点線で示す)の反射光LRは低レベ
ルで記憶される。同様に建物S1は発光する窓の部分の
発光光LSが高レベルで、陰影部分は低レベルで記憶さ
れる。一方、フレームメモリ62には、障害物Qと街灯
2が上記と同様に記憶される。これらの記憶データを
適当な閾値で2値化すると点線で示した低レベル部分が
除去され、障害物Qの直接照射部分と建物S1および街
灯S2の発光部分が残る。ここで、両記憶データの一方
を左右反転して両者をAND合成すると、建物S1と街
灯S2は両者にともにないため除去され、両者に共通し
た障害物Qのみが検出される。なお、上記の2値化と左
右反転は順序を換えても差し支えない。以上により検出
された障害物は、建築限界4を侵した位置を求めること
が必要であり、その方法は、測定装置に対する障害物Q
の距離を予めフレームメモリのアドレスに対応させてお
き、検出された障害物Qのアドレスデータにより、建築
限界に対する距離間隔が算出される。
【0006】
【発明が解決しようとする課題】上記の限界測定装置の
対象は夜間に限定されるため、測定員の作業性が良好で
なく、また限界測定車の稼働効率が低い。これらを向上
するために昼夜を問わず検出できる方法と装置が要請さ
れている。ここで問題は、昼間においては天空の自然光
により背景の地物が受像カメラに明瞭に受像され、また
地物には夜間と同様に発光するものがあるので、障害物
のみを検出するには、自然光に対抗して強い光度の光源
が必要である。しかしこれには限度があるので、これに
適合する受像系を使用するとともに、上記の障害物検出
部の処理方法をさらに改良することも必要である。この
発明は以上に鑑みてなされたもので、建築限界を侵す障
害物を昼夜を問わず検出できる方式を提供することを目
的とする。
【0007】
【課題を解決するための手段】この発明は上記の目的を
達成する建築限界障害物の検出方式であって、投光器よ
り車両の周囲に投光光を投光し、受像系により建築限界
を侵す障害物およびその背景の映像を受像し、障害物検
出部により受像データを処理して障害物を測定する光学
式障害物測定装置において、 (1)投光器の光源としてメタルハライドランプを使用
し、そのピーク波長を昼間の自然光の強度が低い波長帯
域に設定し、集光ミラーと投光レンズにより自然光に対
して良好なS/N比を有する面状の投光光を形成する。 (2)上記のピーク波長に対する波長帯域選択ミラー,
透過フィルタ,遮光フィルタ、および2個の受像カメラ
により受像系の1組を構成し、2組の受像系を投光光に
対して斜め方向とし、それぞれの視野が建築限界内でオ
ーバラップするように対称的に配置する。波長帯域選択
ミラーにより障害物と背景との映像光の波長帯域を選択
して2分割し、一方を透過フィルタを通して各組の一方
の受像カメラにそれぞれ受像し、その他方を遮光フィル
タを通して各組の他方の受像カメラによりそれぞれ受像
する。 (3)障害物検出部においては、各受像カメラの受像デ
ータをそれぞれのフレームメモリに記憶する。各組ごと
に2個の映像データに対する差分演算と2値化により、
背景の自然光に対する映像成分を除去して、投光光、ま
たは背景の発光体に対する映像成分を抽出する。抽出さ
れた2個の映像成分の一方を左右反転してAND合成す
ることにより、発光体の映像成分を除去し、上記の各項
により昼夜を問わず障害物を検出するものである。
【0008】
【作用】上記の障害物測定方式においては、投光器の光
源のメタルハライドランプは、そのピーク波長が、昼間
の自然光の強度の低い波長帯域に設定され、集光ミラー
と投光レンズにより形成された、自然光に対して良好な
S/N比を有する面状の投光光が車両の周囲に対して投
光され、建築限界内の障害物と背景の地物が照射され
る。ただし、地物には発光体が含まれる。受像系におい
ては、2組の受像系の視野がオーバラップしているた
め、建築限界内の障害物は限界車の走行中に各組の受像
カメラに同時に受像され、背景の地物は視野内のものが
各受像カメラにそれぞれ受像される。各組の受像系の波
長帯域選択ミラーにより、障害物と背景の映像光の波長
帯域が選択されて2分割され、その一方は透過フィルタ
によりピーク波長成分が抽出されて受像カメラにそれぞ
れ受像され、他方は遮光フィルタによりピーク波長成分
が減光されて各組の他方の受像カメラによりそれぞれ受
像される。ここで各組の2個の受像カメラの受光レベル
を比較すると、波長帯域選択ミラーと両フィルタによ
り、一方の受像カメラには、投光光に対する障害物の反
射光と背景の発光体が高レベルで受像され、自然光の反
射光はある程度低レベルに減光される。これに対して他
方の受像カメラには、投光光と自然光の反射光は低レベ
ルで受光される。ただし、発光体の発光光はかなり減光
されて残存する。つまりこの段階では背景の発光体は除
去されない。障害物検出部においては、フレームメモリ
に記憶された各受像系の2個の受像データに対して差分
演算と2値化がなされ、背景の自然光に対する映像成分
が除去され、投光光、または残存した発光体に対する映
像成分が抽出される。抽出された2個の映像成分の一方
を左右反転して両者をAND合成すると、発光体が除去
されて障害物のみが検出される。検出された障害物の建
築限界に対する位置は、フレームメモリのアドレスより
別途の方法により算出される。以上の検出方式は、光源
の強い投光光と、差分演算、2値化およびAND合成の
総合作用により、建築限界を侵した障害物を確実に検出
するもので、降雨や降雪時など特別な気象条件を除いて
昼夜の別なく適用することができる。
【0009】
【実施例】図1はこの発明の一実施例を示し、(a)は
光学系の構成図、(b)は昼間における天空の自然光の
分光分布特性の一例を示す曲線図、(c)は透過および
遮光フィルタと波長帯域選択ミラーの特性を示す曲線図
である。図1(a)において、車両1に複数の投光器7
を設け、車両の走行方向に対して直角方向に面状の投光
光LTを投光する。建築限界4の内側にはこれを侵す障
害物Qが存在し、背景には投光光LTと自然光とを反射
する地物R1,R2と、昼間でも発光光LSを発光する発
光体Sがあるものとする。図(b)において、昼間にお
ける自然光の強度は約400nm以下の近紫外域と90
0nm以上の近赤外域では強度がかなり低下する。これ
に対して投光器7の光源には、メタルハライドランプを
使用する。メタルハライドランプは混合したメタルガス
の調整により強度がピークをなすピーク波長を変化でき
るもので、ピーク波長λTを例えば(350〜370)
nmに設定し、ランプの出力を300Wとすると放射強
度は250μW/cm2程度となる。これを集光ミラー
と投光レンズにより集束すると、自然光の強度に対して
良好なS/N比がえられる。一方、受像系8は複数の投
光器に対応して複数組が設けられ、図1(a)は投光器
7に対応した受像系8Aと8Bを示す。各受像系は同一
の構成であるが、投光光LTに対して斜め方向に対称的
とし、それぞれの視野が車両限界3と建築限界4の間で
オーバラップするように配置することは、前記した図4
(c)の場合と同様である。各受像系には波長帯域選択
ミラー81と、透過フィルタ82を有する受像カメラ8
4、および遮光フィルタ83を有する受像カメラ85が
設けられる。図(c)において、透過フィルタ82は波
長λTの投光光LTを透過し、遮光フィルタ83はこれを
遮光する特性を有する。両フィルタの帯域幅△λ1と、
両者の間隔△λ2とをいずれも約50nmのものを使用
する。△λ1と△λ2を同一とする理由は、波長によって
強度が非常に変化する自然光を、両受像カメラになるべ
く同一レベルで受光し、後処理を好都合とするためであ
る。また波長帯域選択ミラー81は、両フィルタ82と
83の特性の中間より短い波長を透過し、長い波長を反
射する特性を有するものを使用して各フィルタの波長選
択特性を補強する。
【0010】図2によりこの発明における受像データの
処理方法を説明する。受像系8Aの受像カメラ84,8
5は、その視野内に存在する図1(a)の障害物Q、地
物R1および発光体Sの反射光LRまたは発光光LSをそ
れぞれのレベルで受像し、受像データは障害物検出部9
のフレームメモリ91,92にそれぞれ記憶される。こ
こで両者の差分をとると障害物Qの投光光LTの反射部
分と発光体Sがほぼ完全に抽出され、これに対して陰影
部分と地物R1の映像は同程度の低レベルであるため、
その差も低レベルで点線のように残存する。さらにこれ
を適当な閾値で2値化すると低レベルの点線が消失す
る。一方、受像系8Bの受像カメラ84,85は、視野
内の障害物Qと地物R2を受像し、受像データはフレー
ムメモリ93,94に記憶される。両者に対して上記と
同様の差分と2値化を行うことにより、障害物Qの反射
部分が同様に抽出される。ここで受像系8B側の2値化
データを左右反転して、受像系8A側の2値化データと
のAND合成を行うと、発光体Sが消失して障害物Qの
みが検出される。検出された障害物Qのフレームメモリ
におけるアドレスデータは、間隔算出部95に取り込ま
れて建築限界4に対する障害物Qの距離間隔が算出さ
れ、測定データが出力部96に出力される。以上の測定
は車両1の走行に伴って線路上の適当な距離間隔でなさ
れるが、走行により車両が動揺するので、上記により算
出された距離間隔に対してこの動揺分を補正することが
必要であり、また検出された障害物の線路キロ程を特定
することも必要である。このような補正機能と線路キロ
程の特定機能などを具備した障害物検測装置が、この発
明の発明者により別途、「建築限界障害物測定装置」と
して特許出願される。
【0011】
【発明の効果】以上の説明のとおり、この発明による建
築限界障害物の測定方式においては、昼間の自然光に比
較して良好なS/Nの面状の投光光を投光する投光器を
備え、これによる障害物に対する強い光度の照射と、受
像系の波長帯域選択ミラーと各フィルタによる波長選
択、および合理的なデータ処理による背景の除去によ
り、建築限界を侵した障害物が昼夜を問わず確実に検出
されるもので、従来の限界測定装置では不可能であった
昼間検出が可能となり、測定作業員の作業性と建築限界
測定車の稼働効率の向上に寄与するものである。
【図面の簡単な説明】
【図1】この発明の一実施例を示し、(a)は光学系の
構成図、(b)は昼間における自然光の分光分布特性の
一例を示す曲線図、(c)は透過および遮光フィルタと
波長帯域選択ミラーの特性を示す曲線図である。
【図2】図1における各受像カメラの受像データの処理
方法を示す。
【図3】(a)は車両限界と建築限界の説明図、(b)
は従来使用されている建築限界測定車の外観図である。
【図4】特許出願にかかる、夜間を対象とした限界測定
装置の光学系の構成を示し、(a)は平面図、(b)は
車両の直角断面における投光器の配置図、(c)は投光
光に対する受像カメラの受光範囲を示す図である。
【図5】図4の限界測定装置における受像データの処理
方法を示す。
【符号の説明】
1…車両、1a…車体、1b…台車、1c…車輪、2…
レール、3…車両限界、4…建築限界、5…光学系、5
a…投光器、5b,5c…受像カメラ、6…従来の障害
物検出部、61,62…フレームメモリ、7…投光器、
8,8A,8B…受像系、81…波長帯域選択ミラー、
82…透過フィルタ、83…遮光フィルタ、84,85
…受像カメラ、9…この発明の障害物検出部、91,9
2,93,94…フレームメモリ、95…間隔算出部、
96…出力部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 吉沢 孝夫 東京都千代田区大手町二丁目6番2号日立 電子エンジニアリング株式会社内 (72)発明者 佐藤 宗雄 東京都千代田区大手町二丁目6番2号日立 電子エンジニアリング株式会社内 (72)発明者 竹中 泰雄 東京都千代田区大手町二丁目6番2号日立 電子エンジニアリング株式会社内 (72)発明者 木村 英明 東京都千代田区丸の内一丁目6番5号東日 本旅客鉄道株式会社内

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】建築限界測定車に搭載され、投光器より該
    車両の周囲に投光光を投光し、受像系により建築限界を
    侵す障害物およびその背景の映像を受像し、障害物検出
    部により受像データを処理して該障害物を検出する光学
    式障害物検出装置において、(1)上記投光器の光源と
    してメタルハライドランプを使用し、該メタルハライド
    ランプの強度がピークをなすピーク波長を、昼間の自然
    光の強度が低い波長帯域に設定し、集光ミラーと投光レ
    ンズにより自然光に対して良好なS/N比を有する面状
    の投光光を形成し、(2)上記ピーク波長に対する波長
    帯域選択ミラー,透過フィルタ,遮光フィルタ、および
    2個の受像カメラにより上記受像系の1組を構成し、2
    組の該受像系を上記投光光に対して斜め方向とし、それ
    ぞれの視野が建築限界内でオーバラップするように対称
    的に配置し、上記波長帯域選択ミラーにより上記障害物
    と背景との映像光の波長帯域を選択して2分割し、分割
    された一方を、上記透過フィルタを通して各組の一方の
    受像カメラにそれぞれ受像し、分割された他方を上記遮
    光フィルタを通して各組の他方の受像カメラによりそれ
    ぞれ受像し、(3)上記障害物検出部において、上記各
    受像カメラの受像データをそれぞれのフレームメモリに
    記憶し、上記各組ごとに2個の受像データに対する差分
    演算と2値化により、背景の自然光に対する映像成分を
    除去して、上記投光光または背景の発光体による映像成
    分を抽出し、該抽出された2個の映像成分の一方を左右
    反転してAND合成することにより、該発光体の映像成
    分を除去し、上記各項により、昼夜を問わず上記障害物
    を検出することを特徴とする、建築限界障害物検出方
    式。
JP04090631A 1992-04-10 1992-04-10 建築限界障害物検出方式 Expired - Lifetime JP3112045B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04090631A JP3112045B2 (ja) 1992-04-10 1992-04-10 建築限界障害物検出方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04090631A JP3112045B2 (ja) 1992-04-10 1992-04-10 建築限界障害物検出方式

Publications (2)

Publication Number Publication Date
JPH05288514A true JPH05288514A (ja) 1993-11-02
JP3112045B2 JP3112045B2 (ja) 2000-11-27

Family

ID=14003841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04090631A Expired - Lifetime JP3112045B2 (ja) 1992-04-10 1992-04-10 建築限界障害物検出方式

Country Status (1)

Country Link
JP (1) JP3112045B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010243274A (ja) * 2009-04-03 2010-10-28 Hitachi High-Technologies Corp トロリ線摩耗量検出光学系およびトロリ線摩耗量測定装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7120544B2 (ja) 2018-08-23 2022-08-17 株式会社エスイー 金属原子だけからなる金属材料の沸点よりも高い沸点を有した金属原子を含む化合物をプラズマで処理して化合物と異なる生成物を得る製造方法、及び、製造装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010243274A (ja) * 2009-04-03 2010-10-28 Hitachi High-Technologies Corp トロリ線摩耗量検出光学系およびトロリ線摩耗量測定装置

Also Published As

Publication number Publication date
JP3112045B2 (ja) 2000-11-27

Similar Documents

Publication Publication Date Title
US6552342B2 (en) System for improving the visibility in vehicles
KR100874461B1 (ko) 차량의 외부 조명 제어 장치 및 차량의 자동 제어 장치
US7460161B2 (en) Multifunctional integrated visual system with CMOS or CCD technology matrix
CN104024827B (zh) 图像处理装置、图像捕捉方法和车辆
US6067110A (en) Object recognizing device
US4447800A (en) Obstacle detector for use in vehicles
JP2005195601A (ja) 自動車のための運転条件を検出するシステムおよび方法
US20160280229A1 (en) Object detection apparatus, moving body device control system and program thereof
US20150142263A1 (en) Imaging unit, attached matter detector, control system for vehicle, and vehicle
JP2003159996A (ja) 車両における視界を改善する装置
WO2013081160A1 (en) Attached matter detector, and attached matter detection method
KR20140027532A (ko) 촬상 장치, 물체 검출 장치, 광학 필터 및 광학 필터의 제조 방법
US6392539B1 (en) Object detection apparatus
JP2005136952A (ja) 色付き赤外線夜間視覚装置
US20150054954A1 (en) Imaging unit and method for installing the same
JP6555569B2 (ja) 画像処理装置、移動体機器制御システム及び画像処理用プログラム
JPH05278502A (ja) トロリー線の位置測定装置
JPH05288514A (ja) 建築限界障害物検出方式
JP3112044B2 (ja) 建築限界障害物測定装置
KR20080040084A (ko) 차량에서의 하이빔 제어 장치 및 방법
JP2016146583A (ja) 撮像装置、移動体機器制御システム及びプログラム
JP3792478B2 (ja) 車両周辺視認装置
JP2007045196A (ja) 列車扉検出装置
JPH09210905A (ja) レーザによる路面湿分検出装置
JPH0440595A (ja) レーザ光切断法による交通流計測方法及び交通流計測装置

Legal Events

Date Code Title Description
S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070922

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080922

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080922

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 12