JP3544703B2 - 巡回検査装置及び巡回検査のための表示方法 - Google Patents

巡回検査装置及び巡回検査のための表示方法 Download PDF

Info

Publication number
JP3544703B2
JP3544703B2 JP13447094A JP13447094A JP3544703B2 JP 3544703 B2 JP3544703 B2 JP 3544703B2 JP 13447094 A JP13447094 A JP 13447094A JP 13447094 A JP13447094 A JP 13447094A JP 3544703 B2 JP3544703 B2 JP 3544703B2
Authority
JP
Japan
Prior art keywords
signal
image
video
data
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP13447094A
Other languages
English (en)
Other versions
JPH085521A (ja
Inventor
宣幸 木村
清一郎 大井
直之 新保
俊道 岡田
晴樹 渡辺
俊哉 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Hitachi Kokusai Electric Inc
East Japan Railway Co
Original Assignee
Hitachi Ltd
Hitachi Kokusai Electric Inc
East Japan Railway Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, Hitachi Kokusai Electric Inc, East Japan Railway Co filed Critical Hitachi Ltd
Priority to JP13447094A priority Critical patent/JP3544703B2/ja
Publication of JPH085521A publication Critical patent/JPH085521A/ja
Application granted granted Critical
Publication of JP3544703B2 publication Critical patent/JP3544703B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、ビデオ技術による構造物の巡回監視システムに係り、特に線路、道路、橋梁、トンネルなどの構造物の保全管理に好適な巡回検査装置及び巡回検査のための表示方法に関する。
【0002】
【従来の技術】
完璧な安全性が要求され、保全管理が欠かせない鉄道の線路(軌道)や道路、橋梁、或いはトンネルなどの構造物では、それらの路面や壁面、構造体などがどのような状態にあるのかを常に正確に把握しておく必要がある。
【0003】
そこで、このような構造物については、それを検査対象物とした巡回検査が大切な業務となっており、このため、例えば、線路でのレールの歪みの程度、舗装道路のひびわれの有無と程度、轍(わだち)量の計測、路面下での空洞の有無、橋梁の歪み、遊間量、トンネル壁面のクラックの有無や程度、漏水の有無や性状調査などの検査が定期的、或いは適宜に実施されている。
【0004】
そして、従来技術では、所定の車両などの移送手段に搭載した、例えば加速度センサや、電波、赤外線、レーザー、超音波などを利用した各種の計測装置を用い、それらによる計測データを、計測を開始した基準点からの距離程データなどと共に保全管理情報としてパソコン(パーソナル・コンピュータ)のデータベースに記録し、その上で解析を行ない、管理するようにしていた。
【0005】
一方、このような検査では、目視による判定も欠かせない場合が多く、このため、巡回中、前記した計測作業と並行して、TV(テレビジョン)カメラにより線路や道路、橋梁、トンネルなどの撮像を行ない、こうして得た映像データを同じく保全管理情報とし、上記したパソコンとは別の所定の映像記録装置へ記録し、計測データの解析に際して比較参照することも、従来から行われていた。
【0006】
次に、このような巡回検査装置の従来技術について、鉄道における車両動揺量計測システムと線路周辺状態の監視システムからなる巡回検査装置を対象とした例について、図7〜図10により説明する。
図7は、車両に搭載された機器を示したもので、まず、線路周辺状態監視用としては、車両の運転室の窓から線路とその周辺を撮像するTVカメラ1と、撮像された映像データを記録するVTR(ビデオ・テープ・レコーダ)13と、映像確認用モニタ28が設けられており、これにより、外部の画像が、撮像日時と共に映像データとしてVTR13のビデオテープ13bに記録されて行くようになっている。
【0007】
次に、車両の動揺量計測用としては、車両の動揺による加速度を検出する加速度センサ2と、基準駅からの位置を示す地上子36を検出する車上子35、車両の走行速度を検出する速度発電機37、これら車上子35及び速度発電機37からの信号により、基準駅からの距離程を計測する距離程検出装置38、それにデータ記録装置46が設けられている。なお、地上子36は、基準地点となっている基準駅から予め決められた距離毎に、線路脇へ設置されている。
【0008】
距離程検出装置38は、車上子35からの信号と、速度発電機37からの信号を取り込み、それらのデータをディジタル信号としてデータ記録装置46へ転送する。
そして、データ記録装置46は、加速度センサ2から取り込んだデータと、距離程検出装置38から取り込んだデータから距離程、動揺の種類と方向、最大動揺量などを算出し、それらを日付と時刻により管理して計測データを作成し、フロッピーディスク46aへ記録する。
【0009】
従って、検査対象となる線路区間内で車両を走行させてやることにより、一方では走行した区間の線路の映像データがVTR13のビデオテープ13bに自動的に記録され、他方、走行した区間の線路から得られた計測データが、データ記録装置46のフロッピーディスク46aに自動的に記録されることになる。
【0010】
次に、図8は、例えば地上の検査室などで、巡回検査により車両内で得られた映像データと計測データから、線路状況を検査するシステムの系統図で、44は再生用のVTRで、45は画像再生用のモニタ、47はパソコン、そして48はパソコンのディスプレイである。
【0011】
上記したように、検査区間で得られた映像情報はビデオテープ13bに記録されており、走行速度と距離程の計測情報はフロッピーディスク46aに記録されている。そこで、それらを再生用VTR44およびパソコン47に装着し、それぞれ映像再生用モニタ45とディスプレイ48に表示させ、検査を行なう。
【0012】
図9は、映像再生用モニタ45の画面49を表わしたもので、再生用VTR44を動作させ、ビデオテープ13bから画像を再生すると、図示のように、車両前方の画像と共に、撮像時の日付49aと時刻49bが表示される。
【0013】
図10は、ディスプレィ48の画面50を表したもので、パソコン47を動作させると、フロッピーディスク46aに記憶されているデータが読みだされ、それにより、図示のように、距離程50a、動揺の種類と方向50b、最大動揺量50c、日付50d、それに時刻50eが表示される。
【0014】
そこで、以下、これにより検査手順について説明する。
まず、ディスプレィ48の表示画面50上には、図10に示すように、距離程50a、動揺の種類と方向50b、最大動揺量50c、日付50d、それに時刻50eなどが表示されるから、これらを検索して車両動揺量の大きな所を、その日付50dと時刻50eにより特定する。
次に、映像再生用モニタ45の画面49には、図9に示すように、車両前方の外部の画像と共に、その日付49aと時刻49bが表示されている。
そこで、ディスプレィ48の表示画面50上の日付50dと時刻50eを参照しながら再生用VTR44を早送り操作又は巻戻し操作し、映像再生用モニタ45の画面49上の日付49aと時刻49bが、ディスプレィ48の表示画面50上の日付50dと時刻50eと同じになったら、その表示された映像により線路状況を目視検査し、車両動揺量が大きく異常になっている理由、例えば線路盛土の流出、枕木の破損、レールの摩耗、レール固定用釘の脱落など、異常の発生原因を特定するのである。
【0015】
このように、従来技術では、計測データや映像データからなる保全管理情報を比較参照する場合、データベースに収集されたデータと記録された映像がそれぞれ独立した装置に記録されているため、例えばデータベースを検索し、構造物の異常のあった個所と、その部分での測定データが特定できても、その個所が記録された映像を再生するためには、計測データが持っている記録日時と、映像データに重畳された日時とを、それぞれの表示面から操作する者が読み取り、相互に比較し、日時が一致した画像が表示されるまで、VTRを早送り操作、或いは早戻し操作して検索していた。
【0016】
【発明が解決しようとする課題】
上記従来技術は、計測データと映像データの2種のデータの表示態様について特に配慮がされておらず、検査処理に際して操作性が悪く、また検査に長時間を要するなどの問題があった。
【0017】
すなわち、従来技術は、計測データと、測定個所の状態を記録した映像データとが独立しており、検査に際しては、それぞれのデータを独立して表示させ、検査する者が、それぞれの装置を操作し、複数の表示面を見ながら比較参照し、それらへ共通に記録されている日付や時刻を目安にして、必要な画像を検索する必要があり、このため操作性が悪く、検査に長時間を要してしまうのである。
【0018】
本発明の目的は、計測データと映像データの一致を取るための検索操作が不要で、計測データと映像の比較参照による検査が、良好な操作性のもとで、容易にしかも短時間で得られるようにした巡回検査装置を提供することにある。
【0019】
【課題を解決するための手段】
上記目的は、検査対象物に沿って移動可能な移送手段にテレビジョンカメラとセンサ手段とを搭載し、上記移送手段を移動させながら上記テレビジョンカメラより撮像した映像信号と上記センサ手段により検出した計測データとを記録し、この記録した映像信号と計測データとに基いて上記検査対象物の検査を行なうようにした巡回検査装置において、上記計測データを画像表示が可能なデータに変換して上記映像信号に重畳させる信号重畳手段を設け、上記記録した映像信号と計測データを画像再生したとき、上記検査対象物の画像と、この画像が撮像された箇所で検出した上記計測データとが同じ画面内に同時に表示されるように構成すると共に、上記移送手段の移動速度と、上記テレビジョンカメラによる上記検査対象物の撮像位置から上記センサ手段の設置位置までの距離の少なくとも一方に応じて遅延時間が制御される信号遅延手段を設け、上記計測データを画像表示が可能なデータに変換して上記映像信号に重畳させるとき、上記映像信号と上記画像表示が可能なデータの何れか一方が上記信号遅延手段による遅延を受けてから他方の信号に重畳されるようにして達成される。
【0020】
より具体的には、上記目的は、各種の計測センサや計測装置から得られる検査個所の性状を表わす計測データを、映像データに重畳可能な文字や図形、インデックスパルス信号に変換する手段、すなわち、例えばセンサからのアナログデータを数値化した文字又は数値化した値をグラフ化した図形に変換する手段、或いは数値化した値をコード化してインデックス信号に変換する手段と、それらを映像データに重畳する手段を設け、検査個所の状態や状況を撮影したTVカメラからの映像データに計測データを重畳し、映像記録装置へ記録することにより達成される。
【0021】
さらに、上記目的は、検査個所の性状を表わす計測データをコード化し、さらに音声帯域信号へ変換する手段を設け、映像信号を記録する映像記録装置に付随されている音声記録部に、計測データを音声帯域に変換したデータを記録することにより達成される。
【0022】
【作用】
上記信号重畳手段は、検査個所の状態や状況を目視で確認するためのTVカメラの映像信号が映像記録装置に記録されるとき、各種センサや計測装置からの計測データを表示可能なデータとして、映像信号に重畳するように働く。
このため、映像信号に重畳された各種の計測データは、撮影された映像と時間的に一致して、同じ検査個所から得られたものとなり、この結果、この映像信号を記録した後で再生すれば、その画像再生面には画像と計測データとが常に一緒に表示され、従って、表示された計測データには、常にそれに対応した検査個所の画像が表示されていることになるので、計測データによる異常判定と、その検査個所での目視による異常発生原因の特定とを、簡単な操作で容易に行なうことができる。
【0023】
また、上記各手段は、映像信号を再生したとき、映像信号に重畳されたインデックス信号或いは音声トラックに記録されたコード信号の検知を可能にするように働く。
従って、このとき再生されてくるコード信号を、映像を静止画として表示するための映像記録装置の制御信号として利用したり、他の記録装置へのダビング時の切換え信号として利用したりすることができ、さらには、インデックスやコード信号から計測データを検出して他のデータベースにデータを転送し、データ処理したりすることができる。
【0024】
【実施例】
以下、本発明による巡回検査装置について、図示の実施例により詳細に説明すると、まず、図1〜図6は、本発明による巡回検査装置を、鉄道の車両走行時での車両の動揺量の計測により線路の状態を検出し、同時に、画像により線路周辺状態の監視を行なうようにしたシステムに適用した場合の一実施例である。
【0025】
まず、図1は、この実施例において、検査対象物となる線路30に沿って移動可能な移送手段となる検査用の車両32に搭載される機器の配置図で、図2はそのシステム系統図である。
ここで、車両32としては、自力走行が可能な電車、気動車に限らず、これらに連結した付随車など、とにかく線路30のレール上を移動可能ならどのような車両でも良い。
【0026】
TVカメラ1は、運転室29内の運転士33の頭上前方などの適当な位置に配置され、窓34から前方の線路30とその周辺を撮像し、映像信号を映像−動揺量重畳装置5に供給するようになっている。
一方、加速度センサ2から出力される動揺加速度信号と、距離程検出装置38から出力される車両速度信号及び基準駅からの距離データも、同じく映像−動揺量重畳装置5に供給され、この映像−動揺量重畳装置5によりそれぞれ映像信号に変換された上で、TVカメラ1からの映像信号に重畳され、合成映像信号としてVTR13に供給され、ビデオテープ13aに記録される。
従って、この映像−動揺量重畳装置5は、信号重畳手段として機能することになる。
【0027】
距離程検出装置38には、車輪31の回転速度から車両の走行速度を検出する速度発電機37と、基準駅からの位置を示す地上子36を検出する車上子35とが接続され、それらのデータは、ディジタル信号として映像−動揺両重畳装置5に転送される。
【0028】
モニタ28は、VTR13に記録されている映像信号のモニタなど、主として撮像状態の確認用として使用されるもので、線路状況の検査は、別途、地上で行なわれるめ、可搬形の小形のモニタで良く、また機器の据付時及び調整時にだけ搬入して使用するようにしても良い。
【0029】
次に、図3は、この実施例で、地上の検査室で使用される線路状況検査システムの系統図である。
この実施例では、VTR13で得られたビデオテープ13aには、TVカメラ1による映像信号に、距離程検出装置38からの走行速度と距離程のデータが画像信号に変換され、重畳された合成映像信号が記録されているので、地上の検査室には再生用VTR44と画像再生用のモニタ45を設けるだけで良く、ビデオテープ13aを再生用VTR44で再生してやれば、モニタ45に表示された画像だけで、全路線の車両動揺量及び保線作業が必要と判断される基準値以上の動揺量が検知されたことと、その発生場所等が容易に確認できると共に、同時に表示されている映像により線路状況が直ちに目視検査できるので、車両動揺量を大きくしている原因、例えば線路盛土の流出、枕木の破損、レールの摩耗、レール固定用釘の脱落など、異常の発生原因をその場で同時に特定することができるのであるが、その詳細は以下に説明する。
【0030】
図4と図5は、映像−動揺量重畳装置5から出力された映像データにより、モニタ45に表示される映像の表示フォーマットの一例で、これらの図において、45Aは、モニタ45の表示画面であり、以下、これらの図により、この実施例による検査方法について説明する。
まず、図4に示す如く、この実施例では、画面45Aの中央部には線路状況画像43が映し出され、右上には日時39、左上には基準駅からの距離程と速度40が表示される。
【0031】
一方、左下には、加速度センサ2からの動揺量が、線路状況画像43や日時39、それに距離程と速度40の変化にあわせてリアルタイムで、バーグラフ41として表示され、右下には、加速度センサ2からの動揺量が、予め設定されている線路整備基準値を超えた場合にだけ、そのときの基準駅からの距離程と動揺方向、動揺の種類、動揺量を、一覧表42として表示されるようになっている。
【0032】
次に、バーグラフ41による動揺量の表示方式について説明すると、バーグラフ41には水平バーグラフ41aと垂直バーグラフ41bがあり、それぞれ水平方向の動揺量と、垂直方向の動揺量に対応しており、それらのグラフの中央部は動揺量ゼロ点、すなわち加速度0Gを表わしている。
従って、車両32に動揺がなく、加速度センサ2が加速度を計測してないときは、両バーグラフ41a、41bは、何れもこの0G点を示しているが、加速度が計測されると、計測された方向に対応して水平バーグラフ41a又は垂直バーグラフ41bに表示されるバーが、計測された動揺量に応じて左右方向又は垂直方向に伸長し、刻々と変化する動揺量をリアルタイムで表示する。
【0033】
そして、これら水平、垂直それぞれのバーグラフ41a、41bには、図5に示すように、線路の整備基準値41c、41eと、整備目標値41f、41dが設定できるように構成してあり、更に、バーグラフが整備目標値を超えたらバーグラフの表示色を、例えば緑色から赤色に変えて注意を促すようにし、整備基準値を超えたときには、その時の最大加速度値、すなわち最大動揺量を数値で表示させ、かつその時の距離程と速度および加速度の方向と種類を記憶し、合わせて画面右下の一覧表42に最新の最大動揺量データ3回分を表示するのである。
【0034】
なお、この一覧表42での表示を、過去3回分に制限したのは、画面中央部の線路状況画像43の表示領域を最大限に広くするためであり、他方、最大動揺量データについては、その発生頻度を確認するのに必要な最小限の回数としては、3回分で充分であろうと判断したに過ぎないためであり、従って、表示回数を増やして4回以上にしても良いし、最大動揺量の発生毎の表示をやめて、後述する一括表示のみとしても良い。
【0035】
従って、この実施例によれば、ビデオテープ13aを再生用のVTR44に装着して、再生用モニタ45に画像を表示させてやれば、その画面45Aには、図4、図5に示すように、計測された動揺量に応じて左右方向又は垂直方向に伸長し、刻々と変化する動揺量をリアルタイムで表示する水平バーグラフ41a及び垂直バーグラフ41bからなるバーグラフ41と、動揺量が、予め設定されている線路整備基準値を超えた場合にだけ、そのときの基準駅からの距離程と動揺方向、動揺の種類、それに動揺量が一覧表42として表示されると共に、同じく画面45Aの中央部には線路状況画像43が映し出され、右上には日時39、左上には基準駅からの距離程と速度40が表示されるので、1個のモニタ45の表示面を調べるだけで、全路線の車両動揺量及び保線作業が必要と判断される基準値以上の動揺量が検知されたことと、その発生場所とが容易に確認できると共に、このときには、その場所の線路状況が同時に線路状況画像43として表示されているので、この画像を目視するだけで直ちに線路状況が検査でき、車両動揺量を大きくしている原因、例えば線路盛土の流出、枕木の破損、レールの摩耗、レール固定用釘の脱落など、異常の発生原因を特定することができるのである。
【0036】
ところで、この実施例では、これら最大動揺量を表わすデータは、映像−動揺量重畳装置5のデータ格納メモリに記録しているため、画像として表示するだけでなく、発生した最大動揺量の全てを、図6に示すように、一括表示することも可能であり、さらに、プリンタ等を接続してやれば、データのプリントアウトも可能となる。
【0037】
次に、信号重畳手段を構成している映像−動揺量重畳装置5の詳細について、図11のブロックダイヤグラムにより説明する。
この実施例では、TVカメラ1としてS方式のカメラが用いられており、これから得られた線路周辺の映像信号が映像−動揺量重畳装置5に入力される。そして、このS方式のTVカメラ1から出力される映像信号は、輝度信号(Y)と色信号(C)が別々に分離されているので、そのまま直接デコーダ8に供給される。
【0038】
一方、この実施例では、NTSC方式などのコンポジット映像信号を出力するTVカメラでも使用できるように、NTSC入力端子が設けてあり、この端子から入力された信号は、一旦、Y/C分離回路6を経由し、コンポジット映像信号を輝度信号(Y)と色信号(C)に分離してからデコーダ8に入力するようになっている。
【0039】
映像信号には同期信号が含まれているが、このとき、TVカメラ1からのS方式の映像信号の場合には、その輝度信号(Y)に含まれており、他方、コンポジット映像信号の場合には、その信号自体に同期信号成分が含まれているため、それらを同期再生回路7に入力し、ここで同期信号成分を分離し、画像の水平、垂直同期信号や、基本クロック信号、例えばNTSCの場合はサブキャリア周波数の3.579545MHz、又はその逓倍の周波数のクロック等を発生させ、それらをデコーダ8やエンコーダ10などの映像プロセス回路に供給すると共に、アドレスコントローラ15にも供給するようになっている。
【0040】
デコーダ8からの出力は、加算回路9により、ミックスメモリ16から出力されるRGBディジタル信号からなる画像データと合成され、次段のエンコーダ10に供給される。
アドレスコントローラ15は、ミックスメモリ16を制御してCPU17により画像を合成するため、ミックスメモリ16のリード/ライトタイミングをTVカメラ1の同期信号に合致するように制御する。そして、これによりCPU17により合成した画像データを、外部から供給されるTVカメラ1からの映像信号に重畳することができるようにする。
【0041】
ミックスメモリ16は、RGBディジタル信号からなる画像データを供給する働きをする。このため、ミックスメモリ16には、RGBカラー信号1組を1画面として3画面分のメモリ16a、16b、16cが用意されており、これにより、後述する動揺量を表示するバーグラフや最大動揺量データの画像への重畳以外にも、最大動揺量を検知した場所での保守対策を文字表示したり、動揺量を計測する区間の線路地図を記憶しておき、現在の車両位置や最大動揺量が発生したときの位置を地図上に表示するなどのことができるようにしてある。
地図を重畳してモニタ画面45Aに表示できるようにした実施例による場合の表示例を図12に示す。
【0042】
CPU17には各種センサが接続される。そして、例えば加速度センサ2、温度センサ3、湿度センサ4などのアナログ量を与えるセンサについては、それぞれA/Dコンバータ21、22、23でディジタル信号に変換されてからCPU17で演算処理され、結果は画像データRGBディジタル信号として、TVカメラ1の映像に重畳し出力する。
【0043】
一方、距離程検出装置38からは、基準駅からの距離程や速度の情報がディジタル信号で随時転送され、それをCPU17が受けて同様にTVカメラ1の映像に重畳させ出力するようになっている。
【0044】
また、この実施例では、メモリカード読取装置25が設けてあり、この結果、車両動揺量を計測すべき保線区間(検査対象区間)での基準駅から各地上子までの距離や、上記した地図情報が登録されたメモリカードを用意することにより、メモリカード読取装置25のメモリカードを差し替えるだけで、そのメモリカードの内容と情報がCPU17に吸い上げられるので、容易に、しかも正確に各保線区間の初期設定を完了させることができる。
従って、この実施例によれば、複数の保線区間を検査対象とした場合でも各保線区間毎に、対応するメモリカードに差し替えるだけで容易に、しかも正確に初期設定することができる。
【0045】
また、この実施例では、CPU17が最大動揺量と判定したときの日時、距離程、速度、加速度、動揺の種類などの各種データは、発生毎に画像内に表示されると同時にRAM20にも記録されるようになっている。
従って、この実施例によれば、任意のタイミングで全てのデータを一括表示させたり、外部へデータとして出力させたりすることもできる。
【0046】
データライトコントロール18は、映像の最小単位であるフィールド(1/60秒)、又はフレーム(1/30秒)毎にミックスメモリ16のデータを書き替える制御を行なうように構成されている。
そして、このように映像の更新単位で画面内の文字や図表を書き替えてやるようにした結果、後でVTRなどでこま送り再生をしても画像の乱れがなく、一画面毎にデータが変更されるようになる。
従って、この実施例によれば、品位の高い映像を容易に得ることができる。
【0047】
次に、この実施例では、収音用のマイクロホン26が設けてあり、これにより検査地点で発生している音がVTR13の音声トラックに記録されるようになっている。
従って、この実施例によれば、再生用のVTR44で画像を再生したとき、線路状況を写した画像だけではなく、その地点での車両走行に伴う線路からの音も同時に聞くことができるから、線路状況の判定を多面的に行なうことができ、より正確に、且つ細かく異常原因を解析することができる。
【0048】
さらに、この実施例では、加算回路9により、TVカメラ1の映像信号にRGBディジタル信号の画像データを重畳させた上で、次段のエンコーダ10から得られる映像信号をモニタ12とVTR13に供給し、このときの実映像を目視監視したり、録画したりするようになっているが、このときインデックス重畳回路11が設けてあり、これにより映像のブランキング部分に日時、距離程、速度、加速度、それに動揺の種類など、各種のデータも同時に記録されるようになっている。
【0049】
この各種のデータは、CPU17の制御によるデジタルパルス信号として記録されるようになつており、この結果、このパルス信号をVTRの制御信号として利用することができるようになっている。
従って、例えば再生用のVTR44として、録画された映像信号を再生しながら、上記したディジタルパルス信号を検出する検出回路と、それを所定の設定値と比較する判定回路を備えたものを用い、所定の距離データを判定回路に設定してやれば、そのデータとVTR44から再生したディジタルパルス信号とを比較判定し、一致したとき制御信号を出力してVTR44を停止するなど構成してやれば、画像の検索が自動的に行なえるようになり、さらに操作性のよい検査装置を提供できる。
【0050】
なお、これは、距離データに限らず、その他のデータ、例えば最大動揺量を指定するだけで対応する画像を検索したり、再生画像から各種のデータを全て検出し、データとして外部のパソコン等で演算処理し、検索結果を纏めることができるようにすることもできる。
【0051】
また、この実施例では、データ変換回路19が設けてあり、これにより、別の重畳方式として、CPU17の制御によるデジタルパルス信号をデータ変換回路19で音声帯域の信号に変換し、VTR13の空きチャネルの音声トラックに日時、距離程、速度、加速度、動揺の種類等の各種データを記録することができるようになっている。
そこで、これらのデータフォーマットを、映像のタイムコード規格であるSMPTE規格に準拠させてやれば、汎用機器の利用も可能となる。
【0052】
さらに、上記実施例では、光ディスク装置や光磁気ディスク装置、或いは磁気ディスク装置などからなる記録装置14が設けてあり、従って、映像信号などの記録にVTR13を使用するだけではなく、この記録装置14に記録して検査を行なうようにすることもできる。
【0053】
そして、このとき、検査区間の全域にわたって線路の撮像を行ない、映像信号を記録する代りに、異常が検出された個所の映像とデータだけを記録するようにしてもよく、さらには、このとき、画像データを圧縮処理して記録するようにしても良く、これらによれば、記録時間の短縮と光ディスクなどの記録用メディアの有効利用を図ることができる。
【0054】
以上のように、上記実施例によれば、線路周辺の映像信号に各種センサ等からのデータを画像信号として重畳し、周辺映像と共にデータを管理するようにしたので、従来技術のように、VTRとパソコンの両方を操作し、日時等を比較して検索する必要がなく、画像を確認すれば、そこには直ちに各種データが記録されていて、それが表示されるので、短時間で正確な目視検査が簡単に行なえることになり、且つ検査に必要な機器が、再生用のVTRと、そのモニタ機器だけで済むので、機器数も低減でき、ローコストで最適な保全、検査システムを提供できる。
【0055】
また、上記実施例によれば、線路周辺の映像を記録するVTRに、映像信号だけではなく、映像のブランキング期間に各種センサ等からのデータをディジタル信号で記録し、これを電気的、自動的に判別して画像を検索し、パソコンへデータ転送してデータ管理するなどの機能を付加することもでき、これによれば、従来のパソコンによるデータ管理システムも実現できる。
【0056】
ところで、図11の実施例では、TVカメラ1としてS映像出力方式のカメラを用いた場合について説明したが、これは、この映像で線路状況を目視検査し、例えば線路盛土の流出、枕木の破損、レールの摩耗、レール固定用釘の脱落等の細かな被写体の画像から異常発生原因が特定できるよう意図したからであり、従って、細かな被写体による検査判定を特に必要としない場合には、NTSC方式などのTVカメラを用い、上記したNTSC入力端子を使用して検査するようにしても良く、これによれば、さらにコストの低減を得ることができる。
【0057】
さらに、この図11の実施例では、データ記録用の回路として、インデックス重畳回路11とデータ変換回路19の2種の回路が設けられており、これにより多機能化が与えられているが、本発明は、どちらか一方の回路だけでも充分に実施可能なことはいうまでもない。
【0058】
次に、本発明の他の実施例について説明する。
本発明では、図1から明らかなように、TVカメラ1が撮像している被写体の位置と、加速度センサ2が設置されている位置に違いがあり、この結果、それぞれによるデータは、厳密には時間的なずれがある。
【0059】
すなわち、図4において、モニタ画面に表示された線路状況画像43はTVカメラ1が捉えた画像であり、同時にモニタ画面に表示された動揺量を示すバーグラフ41の値は、加速度センサ2の検出した値であるが、上記したように、TVカメラ1と加速度センサ2の位置が一致していないため、時間的にずれを生じ、例えば動揺量異常を検出した線路位置は、厳密には、そのとき表示されている画像の線路周辺ではないことになってしまうのである。
【0060】
通常、線路状況画像43は線路周辺の異常を目視確認するために利用され、動揺量を示すバーグラフ41の値は、その近辺での何らかの異常、例えば地盤沈下や軌道の狂いなどがあるか否かを判断するために利用されるものなので、特にそれらが一致していなくとも、実用上はあまり問題はない。
【0061】
しかしながら、一致していたほうが自然であり、且つ、そうしておけば、動揺量異常が発生した位置の画像が同時に確認できるので、更に効率の良い巡回検査が行なえることになる。
そこで、以下に、図13により説明する実施例では、この時間的な一致が得られるようにしたものである。
【0062】
図13から明らかなように、この実施例は、TVカメラ1と、映像−動揺量重畳装置5に入力する間に、映像遅延回路52を設置したものである。
この映像遅延回路52は、A/Dコンバータ53と、画像メモリ群54、D/Aコンバータ55、それにリード/ライトアドレスコントローラ56とで構成されている。なお、その他の構成は、図1の実施例と同じである。
【0063】
そして、TVカメラ1からの映像信号は、まずA/Dコンバータ53によりディジタル化されてから、1フレームづつ、順次、画像メモリ54の各フレーム(1)〜(30)に記憶され、ついで、順次、1フレームづつ読出され、D/Aコンバータ55によりアナログ信号化されることになり、これにより、所定の時間、遅延されて映像−動揺量重畳装置5に入力されるようになる。
【0064】
このときの画像メモリ54に対する映像信号の記憶と読出の制御は、リード/ライトアドレスコントローラ56により行なわれ、これにより、上記した遅延時間が制御されるのであるが、このための遅延時間制御信号Sは、映像−動揺量重畳装置5内のCPU17から供給されるようになっている。
【0065】
次に、この実施例の動作について、画像遅延回路52の動作を中心にして説明する。
まず、画像メモリ54の記憶容量は、TVカメラ1による被写体の撮像位置から加速度センサ2までの距離と、車両32の移動速度から、その最大値が決定されている。
例えば、TVカメラ1による撮像位置と加速度センサ2との間の距離が20mで、車両32の移動速度が毎秒20mであったとするなら、1秒間でTVカメラ1で捉えた画像地点に加速度センサ2が到達することになるから、この場合には1秒間分の記憶容量が必要になる。
【0066】
一方、NTSC方式の映像信号は、画像の単位として、1/30秒で1フレームを構成しているから、1秒間分としては、30フレームの画像を記録できる容量が必要となり、従って、この実施例では、画像メモリ54として、上記したように、(1)から(30)までの30フレームのメモリが設けてあるのである。
【0067】
まず、TVカメラ1からの映像の最初のフレーム画像は一旦、画像メモリ54のフレーム(1)に記憶し、次に得られたフレーム画像はフレーム(2)に記憶する。そして、この動作を順次繰返し、フレーム(30)まで記憶されたら、ここでフレーム(1)の映像の読出を開始し、映像−動揺量重畳装置5へ出力する。そして、次に得られたTVカメラ1の映像は再生を完了したフレーム(1)に記憶し、同時にフレーム(2)の映像を読出し、以後、この動作を繰り返すことにより、入力された映像に対して、常に画像メモリ54の容量分、つまり、この場合には30フレーム分(1秒に相当)遅延した画像が順次、読出され、映像−動揺量重畳装置5に出力されてゆくことになる。
【0068】
従って、この実施例によれば、TVカメラ1の映像が1秒間遅延されるので、TVカメラ1による撮像位置と加速度センサ2との間の距離が20mで、車両32の移動速度が毎秒20mの場合、加速度センサ2が動揺量を検出したときに丁度、その地点でのカメラ画像が出力され、TVカメラ1の映像と加速度センサ2のデータが時間的に一致してVTR13に録画されるので、再生画像でも、それらが一致して表示されることになるので、動揺量異常が発生した位置の画像が、そのまま自然な状態で確認でき、効率良く巡回検査を行なうことができる。
【0069】
ところで、以上の説明では、画像メモリ54が有する30フレームの記憶容量を全て利用した結果、1秒の遅延時間を得るようにしているが、利用すべきフレームを変えてやれば、遅延時間を変えることができるから、TVカメラ1による撮像位置と加速度センサ2との間の距離、及び車両32の移動速度の何れかが変ったときには、それらに応じて映像−動揺量重畳装置5内のCPU17から供給される遅延時間制御信号Sによりリード/ライトアドレスコントローラ56を制御し、画像信号の記憶、読出に使用するメモリフレームを変えてやれば、車両32の移動速度などが変化したときでも、常に、同一地点の画像に対応したデータを同時に表示させることができる。
【0070】
例えば、画像メモリ54のメモリフレームを29フレーム用いて遅延させてやれば、遅延時間は(1−1/30)秒となり、28フレームを用いたときには、(1−2/30)秒というように、1/30秒単位で遅延時間を短くしてゆくこができるので、車両32の移動速度が毎秒20mから、毎秒(20/30≒0.66)早くなる毎に、1フレームづつ少なくしてやればよい。
【0071】
ところで、以上の実施例では、画像メモリ54のフレーム数を、一例として30画面分としたので、車両の移動速度が毎秒20mよりも遅くなったときには、完全な一致は得られなくなるが、画像メモリ54の容量を多くしてやれば、どのような速度にも追従させることが可能である。
【0072】
例えば300画面のフレームメモリを用いた場合には、1/30秒(1フレーム)×300画面=10秒間遅延できるので、20mの距離を車両が速度毎秒2mで移動しても、画像を一致させることができる許容範囲内となる。
そこで、映像−動揺量重畳装置5内のCPU17により、刻々と変化する車両の速度と、TVカメラが捉えている映像とセンサ位置間の距離から、一致させるのに必要な遅延時間を演算し、その時間を1フレーム時間、すなわち1/30秒で割った値を、映像遅延回路54で遅延に使用するフレームメモリ数としてやればよい。
【0073】
従って、この実施例によれば、車両の移動速度に影響されずに、TVカメラ1の映像と加速度センサ2の動揺量検出位置を誤差1フレーム時間以内で一致させることが可能になる。
【0074】
なお、以上の実施例では、TVカメラ1が車両の進行方向の前方を撮像するようにしてあるが、TVカメラ1を車両の最後尾に設け、後方を撮像するようにしてやれば、TVカメラ1の捉えた画像と加速度センサ2の位置関係が時間的に逆転するので、この場合には、加速度センサ2で検出したデータを遅延させるよう入力してやれば良い。
【0075】
そして、この場合には、画像データを遅延する必要が無いので、フレームメモリを用いる必要が無く、従って、遅延手段が簡単になり、遅延時間の変化の最小単位も小さくできるので、さらに良好な一致状態を得ることができる。
【0076】
なお、以上の実施例では、本発明を鉄道線路の巡回検査用に適用した場合について説明したが、これは例示にすぎず、本発明は、使用する移送手段を任意に選択することにより、道路、橋梁、トンネルなど、保全管理のための検査が必要な構造物なら、どのような場合でも、被検査対象物を問わず実施可能なことは言うまでもない。
【0077】
【発明の効果】
本発明によれば、車両などの移動体により移動しながら、連続的に被検査対象物の物理的性状と、その外観とを調べ、これらの結果を総合して検査を行なう装置において、被検査対象物をTVカメラで撮像して得た画像と、各種センサからのデータとを、モニタ面に重畳して表示させるようにしたので、映像信号に合わせたセンサからのデータの管理を適切にすることにより、再生画像を確認するだけで、そこには各種データが対応して記録されている状態となり、この結果、従来技術のようにVTRとパソコンの両方を操作し、日時等を比較、検索する必要がなく、従って、目視による判定も含めた正確な検査が簡単に、しかも短時間で容易に得られることになる。
【0078】
また、本発明によれば、検査のためにVTR及びパソコンシステムの2系統を必要としないので、必要な機器数が少なくて済み、この結果、最適な保全に必要な検査が、常に充分に行なえる巡回検査装置をローコストで提供することができる。
【0079】
さらに本発明によれば、検査のために得た各種データを画像又は音声信号としてVTR等の記録媒体に記録し、その再生映像からデータを自動判別してVTR等の記録媒体を制御したり、データをパソコンに転送したりすることによって、操作性の良い、映像データ記録システムが構築できるという効果もある。
【図面の簡単な説明】
【図1】本発明による巡回検査装置及び巡回検査のための表示方法の一実施例を示す機器配置図である。
【図2】本発明の一実施例における車両搭載部のシステム系統図である。
【図3】本発明の一実施例における検査部のシステム系統図である。
【図4】本発明の一実施例における画面表示フォーマットの一例を示す説明図である。
【図5】本発明の一実施例における画面表示フォーマットの他の一例を示す説明図である。
【図6】本発明の一実施例における一覧表の画面表示フォーマットの一例を示す説明図である。
【図7】巡回検査装置の従来例における車両搭載部のシステム系統図である。
【図8】巡回検査装置の従来例における検査部のシステム系統図である。
【図9】巡回検査装置の従来例における画面表示フォーマットの一例を示す説明図である。
【図10】巡回検査装置の従来例におけるパソコンの画面表示フォーマットの一例を示す説明図である。
【図11】本発明の一実施例における映像−動揺量表示装置の系統図である。
【図12】本発明の一実施例における画面表示フォーマットのさらに別の一例を示す説明図である。
【図13】本発明の他の一実施例を示す検査部のシステム系統図である。
【符号の説明】
1 TVカメラ
2 加速度センサ
3 温度センサ
4 湿度センサ
5 映像−動揺量重畳装置
6 Y/C分離回路
7 同期再生回路
8 デコーダ
9 加算回路
10 エンコーダ
11 インデックス重畳回路
12 モニタ
13 VTR
13a ビデオテープ
13b 映像のみのビデオテープ
14 記録媒体
15 アドレスコントローラ
16 ミックスメモリ
17 CPU
18 データライトコントロール
19 データ変換回路
20 RAM
21、22、23 A/Dコンバータ
25 メモリカード読取装置
26 マイクロホン
28 確認用モニタ
29 運転室
30 線路
31 車輪
32 車両
33 運転士
34 窓
35 車上子
36 地上子
37 速度発電機
38 距離程検出装置
39 日時
40 距離程とスピード
41 バーグラフ
41a 水平バーグラフ
41b 垂直バーグラフ
41c、41e 整備基準値
41f、41d 整備目標値
42 一覧表
42a 距離データ
42b 動揺の種類と方向
42c 加速度
43 線路状況画像
44 再生用VTR
45 再生用モニタ
45A 再生用モニタの表示画面
46 データ記録装置
46a フロッピディスク
46b 記録済フロッピディスク
47 パソコン
48 ディスプレイ
49a 日付
49b 時刻
50 ディスプレイ画面
50a 距離程
50b 動揺の種類と方向
50c 最大動揺量
50d 画面上の日付
50e 画面上の時刻
51 地図情報
52 映像遅延回路
53 A/Dコンバータ
54 画像メモリ
55 D/Aコンバータ
56 リード/ライトアドレスコントローラ

Claims (4)

  1. 検査対象物に沿って移動可能な移送手段にテレビジョンカメラとセンサ手段とを搭載し、上記移送手段を移動させながら上記テレビジョンカメラより撮像した映像信号と上記センサ手段により検出した計測データとを記録し、この記録した映像信号と計測データとに基いて上記検査対象物の検査を行なうようにした巡回検査装置において、
    上記計測データを画像表示が可能なデータに変換して上記映像信号に重畳させる信号重畳手段を設け、
    上記記録した映像信号と計測データを画像再生したとき、上記検査対象物の画像と、この画像が撮像された箇所で検出した上記計測データとが同じ画面内に同時に表示されるように構成すると共に、
    上記移送手段の移動速度と、上記テレビジョンカメラによる上記検査対象物の撮像位置から上記センサ手段の設置位置までの距離の少なくとも一方に応じて遅延時間が制御される信号遅延手段を設け、
    上記計測データを画像表示が可能なデータに変換して上記映像信号に重畳させるとき、上記映像信号と上記画像表示が可能なデータの何れか一方が上記信号遅延手段による遅延を受けてから他方の信号に重畳されるように構成したことを特徴とする巡回検査装置。
  2. 請求項1の発明において、
    上記信号重畳手段は、各種の計測センサや計測装置から得られる検査個所の性状を表わす計測データを、映像信号に重畳可能な文字や図形、インデックスパルス信号に変換する手段、及び上記計測データを、数値化した文字、又は数値化した値をグラフ化した図形に変換する手段、及び数値化した値をコード化してインデックス信号に変換する手段の少なくとも1手段と、それらを映像信号に重畳する手段とで構成されていることを特徴とする巡回検査装置。
  3. 請求項1又は請求項2の発明において、
    上記映像信号を映像記録装置に記録する際、映像信号内に、上記計測データと、上記移送手段の所定位置からの移動距離を表わす距離程、及び撮像と計測を行なった日時の少なくとも1種をインデックス信号として重畳する手段を設け、画像再生時、このインデックス信号の検出により、映像の検索が行なえるように構成したことを特徴とする巡回検査装置。
  4. 請求項1又は請求項2の発明において、
    上記映像信号を映像記録装置に記録する際、音声記録機能を有する該映像記録装置を用い、それによる音声信号記録用のチャネルに、上記計測データと、上記移送手段の所定位置からの移動距離を表わす距離程、及び撮像と計測を行なった日時の少なくとも1をインデックス信号として記録する手段を設け、
    画像再生時、この音声信号記録用のチャネルから再生されるインデックス信号の検出により、映像の検索が行なえるように構成したことを特徴とする巡回検査装置。
JP13447094A 1994-06-16 1994-06-16 巡回検査装置及び巡回検査のための表示方法 Expired - Fee Related JP3544703B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13447094A JP3544703B2 (ja) 1994-06-16 1994-06-16 巡回検査装置及び巡回検査のための表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13447094A JP3544703B2 (ja) 1994-06-16 1994-06-16 巡回検査装置及び巡回検査のための表示方法

Publications (2)

Publication Number Publication Date
JPH085521A JPH085521A (ja) 1996-01-12
JP3544703B2 true JP3544703B2 (ja) 2004-07-21

Family

ID=15129078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13447094A Expired - Fee Related JP3544703B2 (ja) 1994-06-16 1994-06-16 巡回検査装置及び巡回検査のための表示方法

Country Status (1)

Country Link
JP (1) JP3544703B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016032119A1 (ko) * 2014-08-29 2016-03-03 도로교통공단 트램용 안전운행시스템

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4631987B2 (ja) * 1998-10-19 2011-02-16 ソニー株式会社 情報処理端末、情報処理システム及び情報処理方法
WO2000032458A1 (de) * 1998-12-01 2000-06-08 Iws Elektronik- Und Informationsvera- Rbeitungsgesellschaft Mit Beschränkter Haftung Verfahren und einrichtung zur ermittlung von zuständen und/oder zustandsänderungen an schienenverkehrseinrichtungen
JP2010063260A (ja) * 2008-09-03 2010-03-18 Hitachi Ltd 列車走行制御装置及び方法
CN102285361A (zh) * 2011-07-15 2011-12-21 上海工程技术大学 一种轨距测量车
JP2014194391A (ja) * 2013-03-29 2014-10-09 Ranzu Space:Kk 土木建築物の計測システム
JP6327413B2 (ja) * 2013-07-18 2018-05-23 株式会社ニシヤマ 画像同期装置、測定システムおよび画像同期方法
JP6293579B2 (ja) * 2014-06-02 2018-03-14 日本信号株式会社 軌道検査装置
AT516278B1 (de) * 2014-10-22 2016-04-15 System 7 Railsupport Gmbh Verfahren zur Messung und Darstellung der Gleisgeometrie einer Gleisanlage
CN105539505A (zh) * 2016-03-01 2016-05-04 枣庄矿业(集团)有限责任公司铁路运输处 铁路线路质量数据采集检测系统
CN106200730A (zh) * 2016-09-12 2016-12-07 武汉科技大学 一种横通道及平导铁路隧道实验装置
JP7336972B2 (ja) * 2019-11-29 2023-09-01 株式会社日立製作所 画像確認支援システム
JPWO2023223430A1 (ja) * 2022-05-17 2023-11-23

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0486511A (ja) * 1990-07-31 1992-03-19 Central Japan Railway Co 光学式レール摩耗測定方法および測定システム
JP2786007B2 (ja) * 1990-09-13 1998-08-13 株式会社イセキ開発工機 管路の探査装置
JPH04222175A (ja) * 1990-12-22 1992-08-12 Reatsukusu:Kk トンネル坑壁画像の記録解析装置
JP2970964B2 (ja) * 1991-09-18 1999-11-02 株式会社日立製作所 監視装置
JPH04335129A (ja) * 1991-05-09 1992-11-24 Mitsubishi Heavy Ind Ltd 船舶の槽内検査装置
JP2963284B2 (ja) * 1992-07-24 1999-10-18 財団法人鉄道総合技術研究所 トンネル検査装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016032119A1 (ko) * 2014-08-29 2016-03-03 도로교통공단 트램용 안전운행시스템

Also Published As

Publication number Publication date
JPH085521A (ja) 1996-01-12

Similar Documents

Publication Publication Date Title
JP3544703B2 (ja) 巡回検査装置及び巡回検査のための表示方法
JP4984915B2 (ja) 撮像装置、撮像システム及び撮像方法
KR101111569B1 (ko) 궤도차량을 이용한 철도시설물 감시시스템 및 방법
JP5948465B1 (ja) 映像処理システム及び映像処理方法
WO2021045446A1 (ko) 운전면허시험을 위한 차량 관제 장치
WO2012057592A2 (ko) 궤도차량을 이용한 철도시설물 감시시스템 및 방법
JP3466169B2 (ja) 道路や周辺施設等の管理システム
JP5901825B1 (ja) 映像処理装置及び映像処理方法
JP2007095111A (ja) 映像データ及び検査データの記録システム
JPH11203590A (ja) 交通監視用テレビシステム
JPH11328574A (ja) 交通監視用テレビシステム
JPH0678976B2 (ja) トンネル検査装置
JP2011201426A (ja) 列車搭載用画像処理システム
KR100286156B1 (ko) 외관 검사 장치용 기록/재생 시스템 및 그 기록/재생 방법
JP7067852B1 (ja) 路面損傷位置の算定方法
JP4238016B2 (ja) 画像情報記録装置
JP4066856B2 (ja) コンベアレールの摩耗測定装置
JPH087069A (ja) 画像処理を用いた魚種別魚数計測装置
JPH11261990A (ja) 交通監視用テレビカメラ装置
JP7417871B2 (ja) 監視装置、監視システム、監視方法、及び、コンピュータプログラム
CN112346385A (zh) 一种基于5g通讯的桥梁检修车控制系统
KR100820244B1 (ko) 차량용 디브이알 검색 시스템
JP3924257B2 (ja) 電気・軌道検測車の画像収録・検索方法および画像収録・検索装置
RU2764816C1 (ru) Автоматизированное контрольно-габаритное устройство для контроля подвижных железнодорожных составов
JPH1051590A (ja) 連続走査画像取込装置

Legal Events

Date Code Title Description
A072 Dismissal of procedure

Free format text: JAPANESE INTERMEDIATE CODE: A073

Effective date: 20040309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040406

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080416

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090416

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100416

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110416

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120416

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140416

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees