JP4858316B2 - Trolley wire wear measuring device by image processing - Google Patents

Trolley wire wear measuring device by image processing Download PDF

Info

Publication number
JP4858316B2
JP4858316B2 JP2007148115A JP2007148115A JP4858316B2 JP 4858316 B2 JP4858316 B2 JP 4858316B2 JP 2007148115 A JP2007148115 A JP 2007148115A JP 2007148115 A JP2007148115 A JP 2007148115A JP 4858316 B2 JP4858316 B2 JP 4858316B2
Authority
JP
Japan
Prior art keywords
image
line sensor
line
trolley wire
lines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007148115A
Other languages
Japanese (ja)
Other versions
JP2008298733A (en
Inventor
勇介 渡部
誠 庭川
順之 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Original Assignee
Meidensha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp filed Critical Meidensha Corp
Priority to JP2007148115A priority Critical patent/JP4858316B2/en
Publication of JP2008298733A publication Critical patent/JP2008298733A/en
Application granted granted Critical
Publication of JP4858316B2 publication Critical patent/JP4858316B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像処理によるトロリ線摩耗測定装置に関する。特にトロリ線の摩耗部分の幅を測定する装置に関するものである。   The present invention relates to a trolley wire wear measuring apparatus using image processing. In particular, the present invention relates to an apparatus for measuring the width of a worn portion of a trolley wire.

電気鉄道車輌へ電力を供給するトロリ線は車輌が通過するたびに集電装置と接触が生じる。このため、電気鉄道車輌を運用していく中でトロリ線は徐々に摩耗して行き、交換をしない場合は最終的には破断して事故を招くことになる。
そこで、トロリ線には摩耗限界が設けられており、その摩耗限界を目安にトロリ線を交換し電気鉄道車輌の安全性を確保している。
The trolley line that supplies power to the electric railway vehicle comes into contact with the current collector every time the vehicle passes. For this reason, the trolley wire gradually wears while the electric railway vehicle is operated, and if it is not replaced, it eventually breaks and causes an accident.
Therefore, the trolley wire has a wear limit, and the trolley wire is replaced based on the wear limit to ensure the safety of the electric railway vehicle.

トロリ線の摩耗を測定する方法としては、トロリ線の厚みを直接測定する方法、トロリ線摩耗部の幅を計算して摩耗幅からトロリ線の厚みを換算する方法の2つの方法に大きく分けられる。
トロリ線の厚みを直接測定する方法としては、まず、ノギスなどの定規を用いてトロリ線の厚みを測定する方法がある。これは作業者が測定したいトロリ線部分の厚みをノギス等の定規を用いて手作業にて測定する方法で、測定したいトロリ線の厚みを確実に求めることができる。その反面、測定には手間がかかり自動化できないため、長い距離の区間を測定することは困難である。
There are two methods for measuring the wear of the trolley wire: a method of directly measuring the thickness of the trolley wire, and a method of calculating the width of the wear portion of the trolley wire and converting the thickness of the trolley wire from the wear width. .
As a method of directly measuring the thickness of the trolley wire, first, there is a method of measuring the thickness of the trolley wire using a ruler such as a caliper. This is a method in which the thickness of the trolley wire portion that the operator wants to measure is manually measured using a ruler such as a vernier caliper, and the thickness of the trolley wire to be measured can be reliably obtained. On the other hand, the measurement is laborious and cannot be automated, so it is difficult to measure a long distance section.

トロリ線の厚みを直接測定するもう1つの方法としては、光学センサを用いるものがある。これは回転ローラをトロリ線に押し付け、ローラ台にトロリ線を挟むように取り付けたレーザ照射装置と受光装置により、装置に挟まれたトロリ線部分での受光量を測定し、その受光量からトロリ線の厚みを換算するものである。この方式は連続的にトロリ線の厚みを測定することが可能であるが、トロリ線との接触を伴うため低速での運用を行う必要があり、トロリ線をセンサが挟む構造であるため、ポイント、エアーセクション、アンカーといったセンサと衝突するような構造物が存在する部分での使用が不可能であり、また、それら既存構造物の存在する場所では衝突しないよう測定位置から装置を離す必要がある。
トロリ線摩耗部の幅を計測する方法として、ナトリウムランプやレーザ光を照射してトロリ線摩耗部を測定する方法がある(例えば、特許文献1参照)。これはトロリ線下部が丸いひょうたん形状になっていて、摩耗によりトロリ線が平たく削れて行くほど割れた部分の幅が広くなることを利用したもので、摩耗幅からその箇所のトロリ線の厚みを換算する。
Another method for directly measuring the thickness of the trolley wire is to use an optical sensor. This is done by pressing the rotating roller against the trolley wire, and measuring the amount of light received at the trolley wire portion sandwiched between the devices with a laser irradiation device and a light receiving device attached so that the trolley wire is sandwiched between the roller stands. The thickness of the wire is converted. Although this method can continuously measure the thickness of the trolley wire, it is necessary to operate at low speed because it involves contact with the trolley wire. In addition, it is impossible to use the unit where there is a structure that collides with the sensor such as air section and anchor, and it is necessary to move the device away from the measurement position so that it does not collide with the existing structure. .
As a method of measuring the width of the trolley wire wear portion, there is a method of measuring the trolley wire wear portion by irradiating a sodium lamp or laser light (for example, see Patent Document 1). This uses the fact that the lower part of the trolley wire has a round gourd shape, and the width of the cracked part becomes wider as the trolley line is flattened due to wear, and the thickness of the trolley line at that point is determined from the wear width. Convert.

トロリ線摩耗部の測定方法としては、ナトリウムランプやレーザ光といった光源から照射した際のトロリ線摩耗部からの反射光を正反射で受光するように受光部のラインセンサとの位置を精密に調整し、正反射による強い光を撮像することでトロリ線摩耗部をホワイトアウト状態にし、その強い光を受けたホワイトアウト部分の幅からトロリ線摩耗部の幅を求めるものである。この方式は非接触であるため高速な運用が可能である。しかしながら、トロリ線を挟んでいるクランプや背景に映る構造物などのノイズの影響を受け易く、何らかのノイズにより間違った計測結果を得た場合はそれを確認する方法が無く、トロリ線摩耗として問題があった部分については、結局は直接トロリ線の厚みを測定する方法を使用して確認する。また、光源と受光装置の位置を精密に調整して正反射光を受けるようにする必要がある。   To measure the trolley wire wear part, the position of the light receiving part with the line sensor is precisely adjusted so that the reflected light from the trolley wire wear part is received by regular reflection when irradiated from a light source such as a sodium lamp or laser light. The trolley wire wear part is made into a whiteout state by imaging strong light due to regular reflection, and the width of the trolley wire wear part is obtained from the width of the whiteout part receiving the strong light. This method is non-contact and can be operated at high speed. However, it is easily affected by noise such as clamps sandwiching the trolley wire and structures reflected in the background, and there is no way to check the wrong measurement result due to some noise, which causes problems as trolley wire wear. In the end, it is confirmed by using a method of directly measuring the thickness of the trolley wire. In addition, it is necessary to precisely adjust the positions of the light source and the light receiving device so as to receive specularly reflected light.

これらに対して、ラインセンサ画像から画像処理によって摩耗幅を計測し、その摩耗幅の計測値からその箇所のトロリ線の厚みを換算する技術が開発されている(「画像処理によるトロリ線摩耗測定装置(特願2006−273523)」、以下、先件提案1と言う)。先件提案1によれば、非接触に短時間で長い距離を測定することができる。
先件提案1における画像処理の基本的な考え方は、図13に示すように、画像の入力手段としてラインセンサ10を用い、照明としては、ナトリウムランプやレーザ光ではなく、通常の照明器具2を利用するものである。
In response to this, a technique has been developed in which the wear width is measured by image processing from a line sensor image, and the thickness of the trolley wire at that location is converted from the measured value of the wear width ("Trolley wire wear measurement by image processing"). Device (Japanese Patent Application No. 2006-273523) ", hereinafter referred to as a prior proposal 1). According to the previous proposal 1, it is possible to measure a long distance in a short time without contact.
As shown in FIG. 13, the basic idea of the image processing in the prior proposal 1 is that a line sensor 10 is used as an image input means, and a normal lighting fixture 2 is used for illumination instead of a sodium lamp or laser light. It is what you use.

即ち、検査車輌3の屋根上に鉛直上向きを見上げるようにラインセンサ10を設置し、ラインセンサ10の走査線が検査車輌3の進行方向と垂直になるようにし、走査線がトロリ線4を横切るようにする。検査車輌3の屋根上には、トロリ線4に接触するパンタグラフ5か装備され、パンタグラフ5に接触して摩耗するトロリ線4の近傍が照明器具2により照明されると共にトロリ線4の様子がラインセンサ10により撮影される。
ラインセンサ10により撮影されたトロリ線4の画像信号は車内に設置された計測用パーソナルコンピュータ(以下、PCと言う)6に入力される。計測用PC6は、ラインセンサ1より得られる走査線の輝度信号を時系列に並べラインセンサ画像(平面の画像)を作成し、入力画像として記録装置7へ保存する。
That is, the line sensor 10 is installed on the roof of the inspection vehicle 3 so as to look up vertically, the scanning line of the line sensor 10 is perpendicular to the traveling direction of the inspection vehicle 3, and the scanning line crosses the trolley line 4. Like that. On the roof of the inspection vehicle 3, a pantograph 5 that comes into contact with the trolley wire 4 is provided, and the vicinity of the trolley wire 4 that comes in contact with the pantograph 5 is illuminated by the lighting device 2 and the state of the trolley wire 4 is lined up. Photographed by the sensor 10.
An image signal of the trolley wire 4 photographed by the line sensor 10 is input to a measurement personal computer (hereinafter referred to as PC) 6 installed in the vehicle. The measurement PC 6 arranges the luminance signals of the scanning lines obtained from the line sensor 1 in time series, creates a line sensor image (planar image), and stores it in the recording device 7 as an input image.

計測用PC6としては、例えば、図17に示すように、ラインセンサ画像作成部20、メモリ30,40、判別分析2値化処理部50、ノイズ除去処理部60、トロリ線摩耗部エッジ検出部70、トロリ線摩耗部幅計算部80より構成される。
計測用PC6は、図16に示すフローチャートに従い、入力したラインセンサ画像を画像処理してトロリ線の摩耗部の幅を、以下の手順により求める。
As the measurement PC 6, for example, as shown in FIG. 17, a line sensor image creation unit 20, memories 30 and 40, a discriminant analysis binarization processing unit 50, a noise removal processing unit 60, and a trolley wire wear unit edge detection unit 70. The trolley wire wear portion width calculation unit 80 is configured.
The measuring PC 6 performs image processing on the input line sensor image according to the flowchart shown in FIG. 16 to obtain the width of the worn portion of the trolley wire according to the following procedure.

[ラインセンサ画像の取得]
先ず、ラインセンサ10により取得された画像信号は、ラインセンサ画像作成部20にて時系列に並べられラインセンサ画像としてメモリ30へ保存される(ステップS1)。
[Acquisition of line sensor image]
First, the image signals acquired by the line sensor 10 are arranged in time series by the line sensor image creating unit 20 and stored in the memory 30 as a line sensor image (step S1).

[判別分析2値化処理によるトロリ線摩耗部分の強調]
次いで、ラインセンサ画像はメモリ40を経てパラメータと共に判別分析2値化処理部50ヘ送られ、判別分析2値化処理部50により2値化処理が行われる(ステップS2)。
ここで、トロリ線の摩耗部分はトロリ線がパンタグラフにより削られた部分であるため、摩耗していない部分に比べて強い光沢があるため、ラインセンサ画像上においてもトロリ線の摩耗部分は背景部分と比較して輝度値の異なる帯状の部分として撮影される。
[Enhancement of trolley wire wear by discriminant analysis binarization]
Next, the line sensor image is sent to the discriminant analysis binarization processing unit 50 together with the parameters via the memory 40, and binarization processing is performed by the discriminant analysis binarization processing unit 50 (step S2).
Here, the worn portion of the trolley wire is a portion where the trolley wire is scraped by a pantograph, and therefore, the trolley wire has a stronger gloss than the portion that is not worn. Therefore, the worn portion of the trolley wire is also the background portion on the line sensor image. Is taken as a band-like portion having a different luminance value compared to

判別分析2値化処理部50は、トロリ線摩耗部分(パンタグラフ接触面)とそのほかの背景部分(既存構造物など)を切り分けるように閾値を設定し、その閾値を用いてラインセンサ画像に対して、2値化処理を行い、トロリ線の摩耗部を強調した2値化ラインセンサ画像を構成する。
2値化ラインセンサ画像は、図14に示すように、トロリ線摩耗部分が白域、背景部分が黒域となる。
更に、判別分析2値化処理部50では、トロリ線の変位やトロリ線からの反射光の強さの違いに対応するために、判別分析2値化法を用いる。
The discriminant analysis binarization processing unit 50 sets a threshold value so as to separate a trolley wire wear portion (pantograph contact surface) and other background portions (existing structures, etc.), and the threshold value is used for the line sensor image. A binarization process is performed to construct a binarized line sensor image in which a worn portion of the trolley line is emphasized.
As shown in FIG. 14, the binarized line sensor image has a trolley wire wear portion in a white area and a background portion in a black area.
Further, the discriminant analysis binarization processing unit 50 uses a discriminant analysis binarization method in order to cope with the difference in the displacement of the trolley line and the intensity of the reflected light from the trolley line.

「判別分析2値化法」とは、画像に応じて閾値を決定する方式であり、各画像におけるヒストグラムにおいて、ある程度の範囲の輝度値で集合する画素数の塊(以下クラスと呼ぶ)があり、2値化した時背景とパターン領域に関するクラス内分散とクラス間分散の分散比が最大になるように、いかなる画像においても比較的良好な閾値を決定する。
そのため、閾値を固定値で決めた場合における、撮像時の環境によっては、トロリ線の摩耗部以外が強調、抽出、または摩耗部自身が抽出されないといった問題が解消される。
The “discriminant analysis binarization method” is a method for determining a threshold according to an image, and there is a block of pixels (hereinafter referred to as a class) that gathers in a certain range of luminance values in a histogram in each image. A relatively good threshold value is determined for any image so that the variance ratio of intra-class variance and inter-class variance regarding the background and pattern area is maximized when binarized.
For this reason, depending on the environment at the time of imaging when the threshold value is determined as a fixed value, problems such as emphasis and extraction of parts other than the worn parts of the trolley wire, or the worn parts themselves are not extracted are solved.

[2値化ラインセンサ画像のノイズ除去]
ラインセンサ画像から2値化処理により2値化ラインセンサ画像を構成した場合、そのままではトロリ線摩耗部の傷や背景部分の状態により細かな点々状のノイズが含まれる場合がある。
そこで、2値化ラインセンサ画像がメモリ40を経てノイズ除去処理部60へ送られると、ノイズ除去処理部60は、2値化処理の膨張、収縮処理を行い、これらのノイズを除去する(ステップS3)。
[Noise removal from binarized line sensor image]
When a binarized line sensor image is constructed from the line sensor image by binarization processing, fine dot-like noise may be included depending on the scratches on the trolley wire worn portion or the background portion.
Therefore, when the binarized line sensor image is sent to the noise removal processing unit 60 via the memory 40, the noise removal processing unit 60 performs expansion and contraction processing of the binarization processing to remove these noises (steps). S3).

[トロリ線摩耗部のエッジ検出]
引き続き、ノイズを除去した2値化ラインセンサ画像がパラメータと共にメモリ40を経てトロリ線摩耗部エッジ検出部70へ送られると、トロリ線摩耗部エッジ検出部70は2値化ラインセンサ画像上において白域で表されているトロリ線摩耗部の両側のエッジを検出する(ステップS4)。
[Edge detection of trolley wire wear part]
Subsequently, when the binarized line sensor image from which noise is removed is sent to the trolley wire wear part edge detection unit 70 via the memory 40 together with the parameters, the trolley line wear part edge detection unit 70 displays white on the binarization line sensor image. Edges on both sides of the trolley wire wear portion represented by the area are detected (step S4).

これらのエッジ点は、あるラインについて左から探索した場合、背景の黒域から摩耗部分の白域へ変化する点が摩耗部分左側のエッジ点として、また摩耗部分の白域から背景の黒域へ変化する点を摩耗部分右側のエッジ点として検出することができる。
この処理を画像の上から下ヘライン毎に行うことで、図15に示すように、1枚の2値化ラインセンサ画像に関するトロリ線摩耗部分のエッジを検出する。
When these edge points are searched from the left for a certain line, the point that changes from the black area of the background to the white area of the worn area is the edge point on the left side of the worn area, and from the white area of the worn area to the black area of the background. The changing point can be detected as an edge point on the right side of the wear portion.
By performing this process for each upper to lower line of the image, as shown in FIG. 15, the edge of the trolley line wear portion relating to one binarized line sensor image is detected.

[トロリ線摩耗部幅の計算]
更に、2値化ラインセンサ画像から検出したトロリ線摩耗部分の両側のエッジデータは、メモリ40を経てパラメータ及びトロリ線高さデータと共にトロリ線摩耗部幅計算部80へ送られ、トロリ線摩耗部幅計算部80はラインセンサ10の一つの走査ライン上にある両側のエッジ点間距離をトロリ線摩耗部分の画像上の幅として計算する(ステップS5)。
[Calculation of trolley wire wear part width]
Further, the edge data on both sides of the trolley wire wear portion detected from the binarized line sensor image is sent to the trolley wire wear portion width calculation unit 80 together with the parameters and the trolley wire height data via the memory 40, and the trolley wire wear portion. The width calculation unit 80 calculates the distance between the edge points on both sides on one scanning line of the line sensor 10 as the width on the image of the trolley line wear portion (step S5).

具体的には、この時のラインセンサ10からトロリ線4までの高さ、レンズ焦点距離、センサ幅、センサ画素数から、1画素[pix]に対する実寸法[mm]の度合いである画像分解能[mm/pix]を計算し、トロリ線摩耗部分の画像上の幅と画像分解能との乗算を行うことでトロリ線摩耗部分の幅を計算する。
計算に用いるラインセンサ10からトロリ線4までの高さについては、別の手段(例えば、「画像処理によるトロリ線摩耗測定装置(特願2005−068793)」、以下、先件提案2と言う)等によって得られるデータを用いて求めるものとする。
Specifically, from the height from the line sensor 10 to the trolley line 4 at this time, the lens focal length, the sensor width, and the number of sensor pixels, the image resolution which is the degree of the actual dimension [mm] with respect to one pixel [pix] [ mm / pix] is calculated, and the width of the trolley wire wear portion is multiplied by the image resolution to calculate the width of the trolley wire wear portion.
As for the height from the line sensor 10 to the trolley wire 4 used for the calculation, another means (for example, “trolley wire wear measuring device by image processing (Japanese Patent Application No. 2005-068793)”, hereinafter referred to as the prior proposal 2). It is determined using data obtained by the above.

こうして求めたエッジデータ、トロリ線摩耗部、計算に用いたラインセンサ画像や対応するライン番号を指し示すデータ等を記録しておく。
このように説明したように、先件提案1の画像処理によるトロリ線摩耗測定装置は、非接触の方式であるため高速な運用が可能であり、短期で長い距離の区間を測定することができる。
The edge data thus obtained, the trolley wire wear part, the line sensor image used for the calculation, data indicating the corresponding line number, and the like are recorded.
As described above, the trolley wire wear measuring device based on the image processing of the previous proposal 1 is a non-contact method, and thus can be operated at high speed and can measure a long distance section in a short time. .

また、装置の構造上、ポイント、エアーセクション、アンカーといった既存構造物から離れた位置にセンサが設置されているため、回転ローラと光学センサを用いてトロリ線の厚みを直接計測する方法に比べて既存構造物との衝突を考慮する必要がなく、基本的に全ての区間においてラインセンサ画像の撮像が可能であり、測定区間でのトロリ線および近傍にある既存構造物の画像データを取得することができる。   In addition, because the sensor is installed at a position away from existing structures such as points, air sections, and anchors due to the structure of the device, compared to the method of directly measuring the thickness of the trolley wire using a rotating roller and an optical sensor. There is no need to consider collisions with existing structures, and line sensor images can be taken basically in all sections, and trolley lines in the measurement section and image data of existing structures in the vicinity are acquired. Can do.

また、特別な照明を使用する必要がなく、レーザ光を使用するような人体への影響を考慮するような取り扱いへの難しさがなく、光源と受光装置間での精密な位置合わせを行う煩わしさがない。
さらにどのような撮像環境においても、自動的に比較的良好な閾値を算出することが可能になり、閾値を定数で決めていた場合に起こる輝度の低さによるトロリ線が抽出されない現象が改善され、またデータとしてラインセンサ画像が残っているため、トロリ線摩耗として問題があった部分については、その部分の画像を見ることで問題の確認を行うことが可能である。
In addition, there is no need to use special illumination, there is no difficulty in handling that takes into account the effects on the human body, such as using laser light, and there is no need to perform precise alignment between the light source and the light receiving device. There is not.
Furthermore, it is possible to automatically calculate a relatively good threshold value in any imaging environment, and the phenomenon that the trolley line due to the low brightness that occurs when the threshold value is determined by a constant is not improved is improved. In addition, since the line sensor image remains as data, it is possible to confirm the problem of the portion having a problem with the trolley wire wear by looking at the image of the portion.

特開平10−194015号公報JP-A-10-194015

トロリ線摩耗の測定方法としては、トロリ線の厚みをノギスなどの定規を用いて直接測定する方法、トロリ線の厚みを光学センサを用いて直接測定する方法、トロリ線摩耗郡の幅をナトリウムランプやレーザ光を照射して測定し摩耗部からトロリ線の厚みを換算する方法、先件提案1の画像処理によるトロリ線摩耗測定方法があり、次の問題がある。   The trolley wire wear can be measured by directly measuring the thickness of the trolley wire using a ruler such as a caliper, directly measuring the thickness of the trolley wire using an optical sensor, and the width of the trolley wire wear group using a sodium lamp. There are a method for measuring by irradiating laser beam and converting the thickness of the trolley wire from the worn portion, and a trolley wire wear measuring method by the image processing of the previous proposal 1, which has the following problems.

(1)トロリ線の厚みをノギスなどの定規を用いて直接測定する方法の場合、作業者が手作業にて測定を行うため、測定には手間がかかり自動化できないため、長い距離の区間を短期間で測定することは困難である。 (1) In the case of the method of directly measuring the thickness of the trolley wire using a ruler such as a caliper, since the measurement is performed manually by an operator, the measurement is troublesome and cannot be automated. It is difficult to measure between.

(2)トロリ線の厚みを光学センサを用いて直接測定する方法の場合、回転ローラとトロリ線との接触を伴うため低速での運用を行う必要がある。
また、トロリ線をセンサが挟む構造であるため、ポイント、エアーセクション、アンカーといったセンサと衝突するような構造物が存在する部分での使用が不可能であり、それら既存構造物の存在する場所では衝突しないよう測定位置から装置を離す必要がある。
(2) In the case of the method of directly measuring the thickness of the trolley wire using an optical sensor, it is necessary to operate at a low speed because it involves contact between the rotating roller and the trolley wire.
In addition, because the structure is such that the trolley wire is sandwiched between sensors, it cannot be used where there are structures that collide with sensors such as points, air sections, and anchors. It is necessary to move the device away from the measurement position so that it does not collide.

(3)トロリ線摩耗部の幅をナトリウムランプやレーザ光を照射して測定し摩耗幅からトロリ線の厚みを換算する方法の場合、まず、ナトリウムランプやレーザ光といった特殊な照明光を用意する必要があり、特にレーザ光を使用する場合は人体への影響を考慮する必要があるため取り扱いに注意が必要である。次に、トロリ線を挟んでいるクランプや背景に映る構造物などのノイズの影響を受け易く、何らかのノイズにより間違った計測結果を得た場合はそれを確認する方法が無いため、トロリ線摩耗として問題があった部分についてもその原因を確認する手段が無く、結局は直接トロリ線の厚みを測定する方法を使用して確認する手間がかかる。また、光源と受光装置の位置を精密に調整して正反射光を受けるようにする必要がある。 (3) When the width of the trolley wire wear part is measured by irradiating a sodium lamp or laser light and the thickness of the trolley wire is converted from the wear width, first, special illumination light such as a sodium lamp or laser light is prepared. In particular, when laser light is used, it is necessary to consider the influence on the human body, so care must be taken in handling. Next, since it is easily affected by noise such as clamps sandwiching the trolley wire and structures reflected in the background, there is no way to confirm the wrong measurement result due to some noise, so trolley wire wear There is no means for confirming the cause of a problem portion, and eventually it takes time to confirm using a method of directly measuring the thickness of the trolley wire. In addition, it is necessary to precisely adjust the positions of the light source and the light receiving device so as to receive specularly reflected light.

(4)トロリ線は全域に渡り一本のトロリ線で連続しているわけでなく、製造や工事等の都合上複数のトロリ線を連結して使用している。この連結箇所(以後これを「セクション区間」と呼ぶ)においては、図18に示すように、通常トロリ線が架線柱1〜2区間分重複しているため、重複区間の始端および末端で、図19に示すように、測定区間の2値化ラインセンサ画像にトロリ線として画像を上下に横断しない箇所がある。そのため、図19の左側に示すように、2値化ラインセンサ画像において上下横断する白域(横断白域)のみをトロリ線摩耗部と認識すると、図19の右側に示すように2値化ラインセンサ画像において上下横断しない白域(非横断白域)はトロリ線と認識できない。つまり、2値化ラインセンサ画像の途中でトロリ線がなくなると画像を上下に横断していないのでトロリ線として認識せず背景のノイズとして処理してしまう場合があった。 (4) The trolley wire is not continuous with a single trolley wire over the entire area, but a plurality of trolley wires are connected and used for convenience of manufacturing and construction. At this connection point (hereinafter referred to as “section section”), as shown in FIG. 18, since the trolley wire is usually overlapped by one or two overhead pole sections, at the beginning and end of the overlapping section, As shown in FIG. 19, there is a portion that does not cross the image vertically as a trolley line in the binarized line sensor image in the measurement section. Therefore, as shown on the left side of FIG. 19, if only the white area (transverse white area) that crosses vertically in the binarized line sensor image is recognized as a trolley line wear part, the binarized line as shown on the right side of FIG. 19. A white area (non-crossing white area) that does not cross in the sensor image cannot be recognized as a trolley line. In other words, if the trolley line disappears in the middle of the binarized line sensor image, the image is not traversed up and down, so that it may not be recognized as a trolley line and may be processed as background noise.

上記課題を解決する本発明の請求項1に係る画像処理によるトロリ線摩耗測定装置は、ラインセンサより得られる走査線の輝度信号を時系列に並べてラインセンサ画像を作成するラインセンサ作成手段と、前記ラインセンサ画像を2値化して2値化ラインセンサ画像とすることにより、トロリ線摩耗部分を強調する2値化手段と、前記2値化ラインセンサ画像のノイズを除去するノイズ除去手段と、ノイズを除去された前記2値化ラインセンサ画像からトロリ線摩耗部分のエッジを出するエッジ検出手段と、前記トロリ線摩耗部分のエッジ点間距離からトロリ線の摩耗幅を計算するトロリ線摩耗幅計算手段とを有する画像処理によるトロリ線摩耗測定装置において、前記ラインセンサ画像をMライン毎に区切って連続する番号を付したn番目のラインセンサ画像に対して、(n−1)番目のラインセンサ画像におけるMラインのうちのNライン(M≧N)であってn番目のラインセンサ画像に時系列的に連続する画像(以下、予備ライン画像と言う)及び(n+1)番目のラインセンサ画像におけるMラインのうちのNラインであってn番目のラインセンサ画像に時系列的に連続する画像(以下、予備ライン画像と言う)を連結して(M+2N)ラインよりなるラインセンサ画像を作成する予備ライン画像連結手段を備え、前記ノイズ除去手段、前記エッジ検出手段及び前記トロリ線摩耗幅算出手段は、前記予備ライン画像連結手段により作成された(M+2N)ラインよりなるラインセンサ画像に対して各処理を行うことを特徴とする。
A trolley wire wear measuring device by image processing according to claim 1 of the present invention that solves the above problems, line sensor creating means for creating a line sensor image by arranging the luminance signals of the scanning lines obtained from the line sensor in time series, Binarizing means for emphasizing a trolley wire wear portion by binarizing the line sensor image into a binarized line sensor image; noise removing means for removing noise from the binarized line sensor image; an edge detecting means for detect an edge of the trolley wire worn portion from the binarized line sensor image that has been removed of noise, trolley wire wear to calculate the wear width of the trolley wire from the distance between edge points of the trolley wire worn portion In a trolley wire wear measuring apparatus using image processing having a width calculating means, the line sensor image is divided into M lines and numbered consecutively. An image that is N lines (M ≧ N) of the M lines in the (n−1) th line sensor image and is continuous in time series with the nth line sensor image (hereinafter referred to as “line sensor image”). ) And N lines of the M lines in the (n + 1) th line sensor image, which are continuous in time series with the nth line sensor image (hereinafter referred to as a preliminary line image). And a preliminary line image connecting means for creating a line sensor image comprising (M + 2N) lines, and the noise removing means, the edge detecting means and the trolley wire wear width calculating means are provided by the preliminary line image connecting means. Each process is performed on the created line sensor image including (M + 2N) lines.

上記課題を解決する本発明の請求項2に係る画像処理によるトロリ線摩耗測定装置は、請求項1記載のトロリ線摩耗測定装置において、前記(M+2N)ラインよりなるラインセンサ画像のうち2値化処理後の前記予備ライン画像において時系列方向に横断する白域(以下、横断白域という)が存在するときは、前記n番目のラインセンサ画像における2値化処理後において時系列方向に部分的に横断する白域(以下、非横断白域)をトロリ線摩耗部分であると判断するパターン解析手段を追加したことを特徴とする。   A trolley wire wear measuring apparatus using image processing according to claim 2 of the present invention for solving the above-mentioned problem is the trolley wire wear measuring apparatus according to claim 1, wherein binarization is performed among the line sensor images including the (M + 2N) lines. When a white area crossing in the time series direction (hereinafter referred to as a transverse white area) exists in the preliminary line image after processing, a partial area in the time series direction is obtained after the binarization processing in the n-th line sensor image. A pattern analysis means for determining that a white area that crosses (hereinafter, non-crossing white area) is a trolley wire wear portion is added.

上記課題を解決する本発明の請求項3に係る画像処理によるトロリ線摩耗測定装置は、請求項1記載のトロリ線摩耗測定装置において、前記(M+2N)ラインよりなるラインセンサ画像のうち前記n番目のラインセンサ画像に2値化処理後において時系列方向に横断する横断白域が存在する場合、または、前記(M+2N)ラインよりなるラインセンサ画像のうち前記n番目のラインセンサ画像に2値化処理後において時系列方向に部分的に横断する非横断白域が存在し、かつ、当該非横断白域が2値化処理後の前記予備ライン画像において時系列方向に横断する横断白域と連続する場合の何れかに該当するときは、前記非横断白域をトロリ線摩耗部分であると判断するパターン解析手段を追加したことを特徴とする。   The trolley wire wear measuring apparatus according to claim 3 of the present invention for solving the above-mentioned problems is the trolley wire wear measuring apparatus according to claim 1, wherein the nth line sensor image comprising the (M + 2N) lines. When a white line crossing in the time-series direction exists in the line sensor image after binarization processing, or binarization is performed on the n-th line sensor image among the line sensor images composed of the (M + 2N) lines. There is a non-crossing white area that partially crosses in the time-series direction after processing, and the non-crossing white area is continuous with the cross-white area that crosses in the time-series direction in the preliminary line image after binarization processing. If any of the cases is true, pattern analysis means for determining that the non-crossing white area is a trolley wire wear portion is added.

段落0022で述べた通り、画像解析を行うラインセンサ位置の画像を用いた2値化処理後の画像では、上下に横断する連続する白域をトロリ線として抽出していたので、セクション区間など2値化処理後の画像を上下が横断していない場合、ノイズとして処理されていた。
これに対し、本願発明によれば、時系列に連続する前回解析エリアと次回解析エリアを用いて、これらエリアの設定区間を上下に横断する連続する白域と今回解析エリアで連続する白域もトロリ線として認識することにより、セクション区間など今回解析エリア内で2値化処理後の画像で上下に横断していない場合でもトロリ線と認識して抽出することが可能となる。
As described in paragraph 0022, in the image after binarization processing using the image of the line sensor position where the image analysis is performed, a continuous white area that traverses up and down is extracted as a trolley line. When the image after the valuation processing did not cross the top and bottom, it was processed as noise.
On the other hand, according to the present invention, using the previous analysis area and the next analysis area that are continuous in time series, the continuous white area that traverses the set section of these areas up and down and the white area that continues in the current analysis area are also included. By recognizing as a trolley line, it is possible to recognize and extract a trolley line even if the image after binarization processing in the current analysis area such as a section section does not cross vertically.

以下、本発明を実施する最良の形態について、図1を参照して説明する。
図1(a)は、本発明のトロリ線摩耗測定に関する画像処理の概念図、図1(b)は、2値化用記憶領域内を模式的に示す概念図である。
即ち、全測定区間のラインセンサ画像は、ハードディスクドライブ(以下、HDDと言う)100に保存された後、HDD100から読み出されて2値化用記憶領域200に展開される。
The best mode for carrying out the present invention will be described below with reference to FIG.
FIG. 1A is a conceptual diagram of image processing relating to trolley wire wear measurement according to the present invention, and FIG. 1B is a conceptual diagram schematically showing the inside of a binarization storage area.
That is, the line sensor images of all the measurement sections are stored in the hard disk drive (hereinafter referred to as HDD) 100, read out from the HDD 100, and developed in the binarization storage area 200.

2値化用記憶領域200において、ラインセンサ画像は、1ラインの画像データ(走査線の輝度信号)を時系列t1,t2,t3,t4,…に並べたものである。
2値化処理後において、ラインセンサ画像を、Mライン毎に区切って連続番号nを付すと、1番目のラインセンサ画像は、1ラインの画像データをM個時系列t1〜tMで並べたものであり、2番目のラインセンサ画像は、1ラインの画像データをM個時系列tM〜tM+Mで並べたものであり、一般式としては、n番目のラインセンサ画像は、1ラインの画像データをM個時系列tM・(n-1)+1〜tM・nで並べたものである。
In the binarization storage area 200, the line sensor image is obtained by arranging one line of image data (scanning line luminance signal) in time series t 1 , t 2 , t 3 , t 4 ,.
After the binarization process, when the line sensor image is divided into M lines and given a serial number n, the first line sensor image is arranged with M pieces of image data of one line in time series t 1 to t M. The second line sensor image is an image data of one line arranged in M time series t M to t M + M. As a general formula, the n th line sensor image is One line of image data is arranged in M time series t M · ( n−1) +1 to t M · n .

このように、Mライン毎に区切られたラインセンサ画像は、1ラインの画像データをM個時系列に並べたものであり、背景技術の欄で説明した説明した画像処理において使用されるラインセンサ画像と同一である。
そして、連続番号nを付したラインセンサ画像は、例えば、HDD300に一時的に保存された後、HDD300から読み出され、n番目のラインセンサ画像に対して、(n−1)番目のラインセンサ画像におけるMラインのうちのNライン(M≧N)であってn番目のラインセンサ画像に時系列的に連続する予備ライン及び(n+1)番目のラインセンサ画像におけるMラインのうちのNラインであってn番目のラインセンサ画像に時系列的に連続する予備ライン画像を連結して(M+2N)ラインよりなるラインセンサ画像を作成する。
As described above, the line sensor image divided for each M line is obtained by arranging one line of image data in M time series, and is used in the image processing described in the background section. It is the same as the image.
The line sensor image with the serial number n is, for example, temporarily stored in the HDD 300 and then read from the HDD 300, and the (n−1) th line sensor is read from the nth line sensor image. N lines (M ≧ N) of the M lines in the image, and a spare line that is continuous in time series with the nth line sensor image and N lines of the M lines in the (n + 1) th line sensor image Then, the n-th line sensor image is connected to a preliminary line image that is continuous in time series to create a line sensor image composed of (M + 2N) lines.

このようにして作成された(M+2N)ラインよりなるラインセンサ画像を以降の画像処理における判断対象とするのが本発明の画像処理によるトロリ線摩耗幅測定装置である。
従って、本発明においては、従来の画像処理において使用される2値化ラインセンサ画像に比較し、予備ライン画像の分だけ、つまり、2Nラインよりなる画像の分だけ、画像の領域が拡張されたものとなる。
The trolley wire wear width measuring device according to the image processing according to the present invention uses the line sensor image formed of the (M + 2N) lines thus created as a determination target in the subsequent image processing.
Therefore, in the present invention, compared with the binarized line sensor image used in the conventional image processing, the area of the image is expanded by the amount of the preliminary line image, that is, the image of 2N lines. It will be a thing.

本発明の第1の実施例に係る画像処理によるトロリ線摩耗測定装置を図7及び図8に示す。図7は処理のフローチャートを示し、図8はその装置構成例を示すものである。
本実施例においても、背景技術の欄で説明した通り、図13に示すように、画像の入力手段としてラインセンサ10を用い、照明としては、ナトリウムランプやレーザ光ではなく、通常の照明器具2を利用するものである点では共通するものである。
A trolley wire wear measuring apparatus using image processing according to the first embodiment of the present invention is shown in FIGS. FIG. 7 shows a flowchart of the process, and FIG. 8 shows an example of the apparatus configuration.
Also in this embodiment, as described in the background art section, as shown in FIG. 13, the line sensor 10 is used as an image input means, and illumination is not a sodium lamp or laser light, but a normal lighting fixture 2. They are common in that they are used.

更に、本実施例では、図8に示すように、背景技術の欄で説明した画像処理によるトロリ線摩耗測定装置において、ラインセンサ画像作成部20及びメモリ30に代えて、予備ライン連結処理を行うラインセンサ画像作成部21及びメモリ31を設け、更に、パターン解析を行うパターン解析処理部90を追加したものである。
即ち、図8に示すように、ラインセンサにより取得された走査線の輝度信号は、ラインセンサ画像作成部21にて時系列に並べられメモリ31へ保存されると共に(ステップS1)、メモリ31を利用して予備ライン画像の連結処理がなされる(ステップS6)。
Further, in this embodiment, as shown in FIG. 8, in the trolley wire wear measuring apparatus using the image processing described in the background art section, a preliminary line connection process is performed instead of the line sensor image creation unit 20 and the memory 30. A line sensor image creation unit 21 and a memory 31 are provided, and a pattern analysis processing unit 90 that performs pattern analysis is further added.
That is, as shown in FIG. 8, the luminance signals of the scanning lines acquired by the line sensor are arranged in time series by the line sensor image creating unit 21 and stored in the memory 31 (step S1). Utilizing this, the preliminary line image is connected (step S6).

ここで、背景技術の欄で説明した画像解析を行っていたライン数Mを、例えば、1000ラインとすると、解析エリアは従来では1000ライン毎となっていたが、本実施例では、1000ライン毎の画像の上下に前回、次回の解析エリアと重複する予備ライン部分を連結してラインセンサ画像を作成するのである。
例えば、図2及び図3に示すように、従来の画像解析を行っていた解析エリアである1000ラインの画像Bと隣接する前の解析エリアの画像の一部である100ラインの画像を予備ライン画像Aとし、その次の解析エリアの画像の一部である100ラインの画像を予備ライン画像Cとすると、1000ラインの画像Bに対して予備ライン画像A,Cを連結する。
Here, if the number M of lines that have been subjected to the image analysis described in the Background Art column is, for example, 1000 lines, the analysis area has conventionally been every 1000 lines, but in this embodiment, every 1000 lines. The line sensor image is created by connecting the preliminary line portions overlapping the previous and next analysis areas above and below the image.
For example, as shown in FIGS. 2 and 3, a 1000-line image B, which is an analysis area where conventional image analysis has been performed, and a 100-line image, which is a part of an image in the previous analysis area adjacent to the analysis line, are reserved lines. Assuming that an image A is an image of 100 lines that is a part of an image in the next analysis area, which is a preliminary line image C, the preliminary line images A and C are connected to an image B of 1000 lines.

この予備ライン数の設定は、例えば、検査車輌の画像撮像スピードが時速40Kmの場合と時速100Kmの場合では同じ周波数で撮像したとすると1ライン辺りの移動距離が異なってくる。そのため、検査車輌の撮像環境により適正なライン数を設定する。
本実施例は、予備ラインNを、上述した通り、100ラインとし、従って、1000+100+100=1200ラインのラインセンサ画像を用いて、以下の画像処理を実施する。
For example, when the image pickup speed of the inspection vehicle is 40 km / h and when the image is picked up at the same frequency, the movement distance per line differs. Therefore, an appropriate number of lines is set according to the imaging environment of the inspection vehicle.
In this embodiment, the spare line N is set to 100 lines as described above, and therefore the following image processing is performed using a line sensor image of 1000 + 100 + 100 = 1200 lines.

即ち、このように予備ライン画像の連結されたラインセンサ画像は、背景技術の欄で説明した通り、判別分析2値化処理(ステップS2)、ノイズ除去処理(ステップS3)、トロリ線摩耗部のエッジ検出処理(ステップS4)を経た後、パターン解析処理部90へ送られ、パターン解析処理が行われる(ステップS7)。
パターン解析処理は、図4の右側部分及び左側部分に示すように、1000ラインの画像Bを横断する横断白域をトロリ線として判定する点については、段落0022で前述した通りである。
That is, as described in the background art section, the line sensor image in which the preliminary line images are connected in this way is subjected to discriminant analysis binarization processing (step S2), noise removal processing (step S3), trolley wire wear portion. After the edge detection process (step S4), it is sent to the pattern analysis processing unit 90 to perform the pattern analysis process (step S7).
In the pattern analysis processing, as shown in the right side portion and the left side portion of FIG. 4, as described above in paragraph 0022, the crossing white area crossing the 1000-line image B is determined as a trolley line.

更に、パターン解析処理は、図5の左側部分に示すように、予備ライン画像Aを横断する横断白域と、1000ラインの画像Bの途中まで白域で横断する非横断白域とが連続するときは、非横断白域をトロリ線として判定し、また、図6の右側部分に示すように、1000ラインの画像Bの途中から横断する白域と、予備ライン画像Cを横断する横断白域とが連続するときは、非横断白域をトロリ線として判定する点に特徴がある。   Further, in the pattern analysis process, as shown in the left part of FIG. 5, a transverse white area that crosses the preliminary line image A and a non-crossing white area that crosses the white area up to the middle of the image B of 1000 lines are continuous. In this case, the non-crossing white area is determined as a trolley line, and as shown in the right part of FIG. 6, the white area crossing from the middle of the image B of 1000 lines and the crossing white area crossing the preliminary line image C Is characterized in that a non-crossing white area is determined as a trolley line.

つまり、段落0022で前述した画像解析では、1000ラインの画像Bの解析エリアにおいてのみトロリ線か否かを判定していたのに対し、本実施例におけるパターン解析は、1000ラインの画像Bに加え、100ラインの予備ライン画像A、画像Cをも利用してトロリ線か否かを判定する。
そのため、本実施例では、1000ラインの画像Bの画像のみでトロリ線として判定していた場合に比較して、図18に示すセクション部において、ノイズとして処理していたをトロリ線を確実に抽出することができるのである。
That is, in the image analysis described above in paragraph 0022, it is determined whether or not the trolley line is only in the analysis area of the 1000-line image B. On the other hand, the pattern analysis in this embodiment is performed in addition to the 1000-line image B. The 100-line preliminary line image A and image C are also used to determine whether or not the trolley line is used.
Therefore, in this embodiment, the trolley line that is processed as noise in the section shown in FIG. 18 is surely extracted as compared with the case where only the 1000-line image B image is determined as the trolley line. It can be done.

その後のトロリ線摩耗部幅の検出処理(ステップS5)など上記以外の構成及び処理については、図16及び図17に示す構成及び処理と同様であり、同様な作用を奏するものである。   The configuration and processing other than the above, such as the subsequent trolley wire wear portion width detection processing (step S5), are the same as the configuration and processing shown in FIGS. 16 and 17 and have the same effect.

本発明の第2の実施例に係る画像処理によるトロリ線摩耗測定装置を図11及び図12に示す。図11は処理のフローチャートを示し、図12はその装置構成例を示すものである。
本実施例においても、背景技術の欄で説明した通り、図13に示すように、画像の入力手段としてラインセンサ10を用い、照明としては、ナトリウムランプやレーザ光ではなく、通常の照明器具2を利用するものである。
FIGS. 11 and 12 show a trolley wire wear measuring apparatus using image processing according to a second embodiment of the present invention. FIG. 11 shows a flowchart of the process, and FIG. 12 shows an example of the apparatus configuration.
Also in this embodiment, as described in the background art section, as shown in FIG. 13, the line sensor 10 is used as an image input means, and illumination is not a sodium lamp or laser light, but a normal lighting fixture 2. Is to be used.

即ち、検査車輌3の屋根上に鉛直上向きを見上げるようにラインセンサ10を設置し、ラインセンサ10の走査線が検査車輌3の進行方向と垂直になるようにし、走査線がトロリ線4を横切るようにする。検査車輌3の屋根上には、トロリ線4に接触するパンタグラフ5か装備され、パンタグラフ5に接触して摩耗するトロリ線4の近傍が照明器具2により照明されると共にトロリ線4の様子がラインセンサ10により撮影される。   That is, the line sensor 10 is installed on the roof of the inspection vehicle 3 so as to look up vertically, the scanning line of the line sensor 10 is perpendicular to the traveling direction of the inspection vehicle 3, and the scanning line crosses the trolley line 4. Like that. On the roof of the inspection vehicle 3, a pantograph 5 that comes into contact with the trolley wire 4 is provided, and the vicinity of the trolley wire 4 that comes in contact with the pantograph 5 is illuminated by the lighting device 2 and the state of the trolley wire 4 is lined up. Photographed by the sensor 10.

ラインセンサ10により撮影されたトロリ線4の画像信号は車内に設置された計測用パーソナルコンピュータ(以下、PCと言う)6に入力される。計測用PC6は、ラインセンサ1より得られる走査線の輝度信号を時系列に並べラインセンサ画像(平面の画像)を作成し、入力画像として記録装置7へ保存する。   An image signal of the trolley wire 4 photographed by the line sensor 10 is input to a measurement personal computer (hereinafter referred to as PC) 6 installed in the vehicle. The measurement PC 6 arranges the luminance signals of the scanning lines obtained from the line sensor 1 in time series, creates a line sensor image (planar image), and stores it in the recording device 7 as an input image.

計測用PC6としては、例えば、図12に示すように、ラインセンサ画像作成部22、メモリ32,40、2値化処理部51、ノイズ除去処理部60、トロリ線摩耗部エッジ検出部70、トロリ線摩耗部幅計算部80より構成される。
計測用PC6は、図11に示すフローチャートに従い、入力したラインセンサ画像を画像処理してトロリ線の摩耗部の幅を、以下の手順により求める。
As the measurement PC 6, for example, as shown in FIG. 12, a line sensor image creation unit 22, memories 32 and 40, a binarization processing unit 51, a noise removal processing unit 60, a trolley wire wear part edge detection unit 70, a trolley The line wear portion width calculation unit 80 is configured.
According to the flowchart shown in FIG. 11, the measurement PC 6 performs image processing on the input line sensor image to obtain the width of the worn portion of the trolley wire according to the following procedure.

[ラインセンサ画像の取得]
先ず、ラインセンサ10により取得された画像信号は、ラインセンサ画像作成部22にて時系列に並べられラインセンサ画像としてメモリ32へ保存される(ステップT1)。
[Acquisition of line sensor image]
First, the image signals acquired by the line sensor 10 are arranged in time series by the line sensor image creating unit 22 and stored in the memory 32 as a line sensor image (step T1).

[ラインセンサ画像の連結]
メモリ32に保存されるラインセンサ画像は、時系列に並べられた所定数のラインよりなるが、その後の画像処理過程においてノイズフィルタ等の処理により、図9に示すように、画像の上端および下端の数行に関して処理できない部分が存在してしまいデータ抜けが発生する。
本来は連続しているはずのデータだが、その数行分のデータが抜けてしまう現象を防ぐため、処理対象となる画像に対し、時間的にその前後となる画像を上下に連結させ、上下に数行分の画像を連結する連結処理をする(ステップT2)。
[Connection of line sensor images]
The line sensor image stored in the memory 32 includes a predetermined number of lines arranged in time series. As shown in FIG. 9, the upper and lower ends of the image are processed by a noise filter or the like in the subsequent image processing process. There are parts that cannot be processed with respect to several lines, and data loss occurs.
In order to prevent the phenomenon that data of several lines is lost, it is supposed to be continuous, but the image that is the target of processing is connected vertically to the image to be processed. A concatenation process for concatenating several lines of images is performed (step T2).

即ち、ラインセンサ画像作成部22は、メモリ32に記憶されているラインセンサ画像に対し、図10に示すように、n番目のラインセンサ画像に対して、(n−1)番目のラインセンサ画像の一部(予備ライン画像)と、(n+1)番目のラインセンサ画像の一部(予備ライン画像)とを連結して画像処理エリアとするのである。
従って、以下の画像処理において、画像の上端および下端の数行に関して処理できない部分が存在してしまい、予備ライン画像においてデータ抜けが発生したとしても、n番目のラインセンサ画像についてのデータ抜けを未然に防止することが可能となる。
That is, the line sensor image creation unit 22 performs the (n−1) th line sensor image with respect to the nth line sensor image with respect to the line sensor image stored in the memory 32, as shown in FIG. A part (preliminary line image) and a part (preliminary line image) of the (n + 1) th line sensor image are connected to form an image processing area.
Therefore, in the following image processing, there are portions that cannot be processed with respect to the top and bottom lines of the image, and even if data loss occurs in the preliminary line image, data loss for the n-th line sensor image has not occurred. Can be prevented.

[2値化処理によるトロリ線摩耗部分の強調]
次いで、ラインセンサ画像はメモリ40を経てパラメータと共に2値化処理部51ヘ送られ、2値化処理部50により2値化処理が行われる(ステップT3)。
ここで、トロリ線の摩耗部分はトロリ線がパンタグラフにより削られた部分であるため、摩耗していない部分に比べて強い光沢があるため、ラインセンサ画像上においてもトロリ線の摩耗部分は背景部分と比較して輝度値の異なる帯状の部分として撮影される。
[Enhancement of trolley wire wear by binarization]
Next, the line sensor image is sent to the binarization processing unit 51 through the memory 40 together with the parameters, and binarization processing is performed by the binarization processing unit 50 (step T3).
Here, the worn portion of the trolley wire is a portion where the trolley wire is scraped by a pantograph, and therefore, the trolley wire has a stronger gloss than the portion that is not worn. Therefore, the worn portion of the trolley wire is also the background portion on the line sensor image. Is taken as a band-like portion having a different luminance value compared to

2値化処理部50は、トロリ線摩耗部分(パンタグラフ接触面)とそのほかの背景部分(既存構造物など)を切り分けるように閾値を設定し、その閾値を用いてラインセンサ画像に対して、2値化処理を行い、トロリ線の摩耗部を強調した2値化ラインセンサ画像を構成する。
2値化ラインセンサ画像は、図14に示すように、トロリ線摩耗部分が白域、背景部分が黒域となる。
The binarization processing unit 50 sets a threshold value so as to separate a trolley wire wear part (pantograph contact surface) and other background parts (existing structures, etc.), and uses the threshold value for 2 to the line sensor image. A binarization line sensor image is constructed by performing a binarization process and emphasizing a worn portion of a trolley wire.
As shown in FIG. 14, the binarized line sensor image has a trolley wire wear portion in a white area and a background portion in a black area.

[2値化ラインセンサ画像のノイズ除去]
ラインセンサ画像から2値化処理により2値化ラインセンサ画像を構成した場合、そのままではトロリ線摩耗部の傷や背景部分の状態により細かな点々状のノイズが含まれる場合がある。
そこで、2値化ラインセンサ画像がメモリ40を経てノイズ除去処理部60へ送られると、ノイズ除去処理部60は、2値化処理の膨張、収縮処理を行い、これらのノイズを除去する(ステップT4)。
[Noise removal from binarized line sensor image]
When a binarized line sensor image is constructed from the line sensor image by binarization processing, fine dot-like noise may be included depending on the scratches on the trolley wire worn portion or the background portion.
Therefore, when the binarized line sensor image is sent to the noise removal processing unit 60 via the memory 40, the noise removal processing unit 60 performs expansion and contraction processing of the binarization processing to remove these noises (steps). T4).

[トロリ線摩耗部のエッジ検出]
引き続き、ノイズを除去した2値化ラインセンサ画像がパラメータと共にメモリ40を経てトロリ線摩耗部エッジ検出部70へ送られると、トロリ線摩耗部エッジ検出部70は2値化ラインセンサ画像上において白域で表されているトロリ線摩耗部の両側のエッジを検出する(ステップT5)。
[Edge detection of trolley wire wear part]
Subsequently, when the binarized line sensor image from which noise is removed is sent to the trolley wire wear part edge detection unit 70 via the memory 40 together with the parameters, the trolley line wear part edge detection unit 70 displays white on the binarization line sensor image. Edges on both sides of the trolley wire wear portion represented by the area are detected (step T5).

これらのエッジ点は、あるラインについて左から探索した場合、背景の黒域から摩耗部分の白域へ変化する点が摩耗部分左側のエッジ点として、また摩耗部分の白域から背景の黒域へ変化する点を摩耗部分右側のエッジ点として検出することができる。
この処理を画像の上から下ヘライン毎に行うことで、図15に示すように、1枚の2値化ラインセンサ画像に関するトロリ線摩耗部分のエッジを検出する。
When these edge points are searched from the left for a certain line, the point that changes from the black area of the background to the white area of the worn area is the edge point on the left side of the worn area, and from the white area of the worn area to the black area of the background. The changing point can be detected as an edge point on the right side of the wear portion.
By performing this process for each upper to lower line of the image, as shown in FIG. 15, the edge of the trolley line wear portion relating to one binarized line sensor image is detected.

[トロリ線摩耗部幅の計算]
更に、2値化ラインセンサ画像から検出したトロリ線摩耗部分の両側のエッジデータは、メモリ40を経てパラメータ及びトロリ線高さデータと共にトロリ線摩耗部幅計算部80へ送られ、トロリ線摩耗部幅計算部80はラインセンサ10の一つの走査ライン上にある両側のエッジ点間距離をトロリ線摩耗部分の画像上の幅として計算する(ステップT6)。
[Calculation of trolley wire wear part width]
Further, the edge data on both sides of the trolley wire wear portion detected from the binarized line sensor image is sent to the trolley wire wear portion width calculation unit 80 together with the parameters and the trolley wire height data via the memory 40, and the trolley wire wear portion. The width calculation unit 80 calculates the distance between the edge points on both sides on one scanning line of the line sensor 10 as the width on the image of the trolley line wear portion (step T6).

具体的には、この時のラインセンサ10からトロリ線4までの高さ、レンズ焦点距離、センサ幅、センサ画素数から、1画素[pix]に対する実寸法[mm]の度合いである画像分解能[mm/pix]を計算し、トロリ線摩耗部分の画像上の幅と画像分解能との乗算を行うことでトロリ線摩耗部分の幅を計算する。
計算に用いるラインセンサ10からトロリ線4までの高さについては、例えば、先件提案2等の別の手段によって得られるデータを用いて求めるものとする。
Specifically, from the height from the line sensor 10 to the trolley line 4 at this time, the lens focal length, the sensor width, and the number of sensor pixels, the image resolution which is the degree of the actual dimension [mm] with respect to one pixel [pix] [ mm / pix] is calculated, and the width of the trolley wire wear portion is multiplied by the image resolution to calculate the width of the trolley wire wear portion.
The height from the line sensor 10 used for the calculation to the trolley line 4 is obtained using data obtained by another means such as the previous proposal 2 or the like.

こうして求めたエッジデータ、トロリ線摩耗部、計算に用いたラインセンサ画像や対応するライン番号を指し示すデータ等を記録しておく。   The edge data thus obtained, the trolley wire wear part, the line sensor image used for the calculation, data indicating the corresponding line number, and the like are recorded.

このように説明したように、本実施例の画像処理によるトロリ線摩耗測定装置によれば、以下の効果を奏する。
(1)非接触式の方式であるため高速な運用が可能であり、短期間で長い距離の区間を測定することができる。
(2)装置の構造上、ポイント、エアーセクション、アンカーといった既存構造物から離れた位置にセンサが設置されているため、回転ローラと光学センサを用いてトロリ線の厚みを直接計測する方法に比べて既存構造物との衝突を考慮する必要が無く、既存構造物が存在する場所にでも連続的に測定を行うことができる。
(3)各画像端におけるデータ抜けがなくなり、連続したトロリ線摩耗幅データを求めることができる。
(4)トロリ線摩耗幅データの単なる補間とは異なり、時間的に前後する画像データを連結することで実画像からデータを作成するため、データ補間部においてもより正確なデータを求めることができる。
(5)基本的に全ての区間においてラインセンサ画像の撮像が可能であり、測定区間でのトロリ線及び近傍にある既存構造物の画像データを取得することができる。
(6)特別な照明を使用する必要が無い。
(7)レーザ光を使用する方法に比べて人体への影響を考慮する必要が無く、取り扱いが簡単である。
(8)トロリ線摩耗部の反射光を正反射で受ける必要が無いため、光源と受光装置間で精密な位置あわせを行う煩わしさが無い。
(9)測定区間のラインセンサ画像が残っているため、トロリ線摩耗として問題があった部分については、その部分の画像を見ることで問題の確認を行うことが可能である。
As described above, according to the trolley wire wear measuring apparatus using image processing according to the present embodiment, the following effects can be obtained.
(1) Since it is a non-contact method, it can be operated at high speed, and a long distance section can be measured in a short period.
(2) Due to the structure of the device, sensors are installed at positions away from existing structures such as points, air sections, anchors, etc. Compared to the method of directly measuring the thickness of the trolley wire using a rotating roller and an optical sensor. Therefore, it is not necessary to consider the collision with the existing structure, and the measurement can be continuously performed even in the place where the existing structure exists.
(3) Data omission at each image edge is eliminated, and continuous trolley wire wear width data can be obtained.
(4) Unlike simple interpolation of trolley wire wear width data, data is created from actual images by linking image data that moves back and forth in time, so the data interpolation unit can also obtain more accurate data. .
(5) Basically, it is possible to capture line sensor images in all sections, and it is possible to acquire trolley lines in the measurement section and image data of existing structures in the vicinity.
(6) There is no need to use special lighting.
(7) Compared to the method using laser light, there is no need to consider the influence on the human body, and handling is simple.
(8) Since it is not necessary to receive the reflected light of the trolley wire wear part by regular reflection, there is no trouble of performing precise alignment between the light source and the light receiving device.
(9) Since the line sensor image in the measurement section remains, it is possible to confirm the problem by looking at the image of the portion where there is a problem with trolley wire wear.

本発明は、トロリ線の摩耗部分の幅を測定する装置として産業上広く利用可能なものである。   The present invention can be widely used industrially as a device for measuring the width of a worn portion of a trolley wire.

図1(a)は、本発明のトロリ線摩耗測定に関する画像処理の概念図、図1(b)は、2値化用記憶領域内を模式的に示す概念図である。FIG. 1A is a conceptual diagram of image processing relating to trolley wire wear measurement according to the present invention, and FIG. 1B is a conceptual diagram schematically showing the inside of a binarization storage area. 画像A,B,Cを白域が横断する2値化ラインセンサ画像の例を示す説明図である。It is explanatory drawing which shows the example of the binarization line sensor image which a white area crosses image A, B, C. 画像解析エリアの連結を示す説明図である。It is explanatory drawing which shows the connection of an image analysis area. 画像A又はCを横断する横断白域と画像Bを横断する横断白域が連続する2値化ラインセンサ画像の例を示す説明図である。It is explanatory drawing which shows the example of the binarization line sensor image with which the crossing white area which crosses the image A or C and the crossing white area which crosses the image B are continuous. 画像Aを横断する横断白域と画像Bを部分的に横断する非横断白域が連続する2値化ラインセンサ画像の例を示す説明図である。It is explanatory drawing which shows the example of the binarization line sensor image in which the crossing white area which crosses the image A, and the non-crossing white area which partially crosses the image B continue. 画像Cを横断する白域と画像Bを横断する白域が連続する2値化ラインセンサ画像の例を示す説明図である。It is explanatory drawing which shows the example of the binarization line sensor image with which the white area which crosses the image C, and the white area which crosses the image B continue. 本発明の実施例1に係るトロリ線摩耗部測定装置のフローチャートであるIt is a flowchart of the trolley wire wear part measuring apparatus which concerns on Example 1 of this invention. 本発明の実施例2に係るトロリ線摩耗部測定装置の構成図である。It is a block diagram of the trolley wire wear part measuring apparatus which concerns on Example 2 of this invention. データ抜け箇所を有するラインセンサ画像の説明図である。It is explanatory drawing of the line sensor image which has a data missing part. n番目のラインセンサ画像に対して、(n−1)番目のラインセンサ画像の一部(予備ライン画像)と、(n+1)番目のラインセンサ画像の一部(予備ライン画像)とを連結した画像処理エリアを示す説明図である。A part of the (n−1) th line sensor image (preliminary line image) and a part of the (n + 1) th line sensor image (preliminary line image) are connected to the nth line sensor image. It is explanatory drawing which shows an image processing area. 本発明の実施例2に係るトロリ線摩耗部測定装置のフローチャートであるIt is a flowchart of the trolley wire wear part measuring apparatus which concerns on Example 2 of this invention. 本発明の実施例2に係るトロリ線摩耗部測定装置の構成図である。It is a block diagram of the trolley wire wear part measuring apparatus which concerns on Example 2 of this invention. トロリ線摩耗計測用ラインセンサの配置例を示す概略図である。It is the schematic which shows the example of arrangement | positioning of the trolley wire wear measurement line sensor. トロリ線摩耗部の2値化ラインセンサ画像の例を示す説明図である。It is explanatory drawing which shows the example of the binarization line sensor image of a trolley wire wear part. トロリ線摩耗部のエッジ検出例を示す説明図である。It is explanatory drawing which shows the example of edge detection of a trolley wire wear part. 背景技術に係るトロリ線摩耗測定のフローチャートである。It is a flowchart of the trolley wire wear measurement which concerns on background art. 背景技術に係るトロリ線摩耗測定装置の構成図である。It is a block diagram of the trolley wire wear measuring apparatus which concerns on background art. トロリ線連結箇所(セクション区間)の説明図である。It is explanatory drawing of a trolley line connection location (section area). トロリ線連結箇所末端の2値化ラインセンサ画像の例を示す説明図である。It is explanatory drawing which shows the example of the binarization line sensor image of a trolley line connection location terminal.

符号の説明Explanation of symbols

2 照明器具
3 検査車輌
4 トロリ線
5 パンタグラフ
6 計測用PC
7 記録装置
10 ラインセンサ
20,21,22 ラインセンサ画像作成部
30,31,32,40 メモリ
50 判別分析2値化処理部
51 2値化処理部
60 ノイズ処理部
70 トロリ線摩耗部エッジ検出部
80 トロリ線摩耗部幅計算部
100,300 HDD(ハードディスクドライブ)
200 2値化用記憶領域
A,B,C 画像
2 Lighting equipment 3 Inspection vehicle 4 Trolley wire 5 Pantograph 6 PC for measurement
7 recording device 10 line sensor 20, 21, 22 line sensor image creation unit 30, 31, 32, 40 memory 50 discriminant analysis binarization processing unit 51 binarization processing unit 60 noise processing unit 70 trolley wire wear unit edge detection unit 80 Trolley wire wear part width calculation part 100,300 HDD (hard disk drive)
200 Storage area for binarization A, B, C Image

Claims (3)

ラインセンサより得られる走査線の輝度信号を時系列に並べてラインセンサ画像を作成するラインセンサ作成手段と、前記ラインセンサ画像を2値化して2値化ラインセンサ画像とすることにより、トロリ線摩耗部分を強調する2値化手段と、前記2値化ラインセンサ画像のノイズを除去するノイズ除去手段と、ノイズを除去された前記2値化ラインセンサ画像からトロリ線摩耗部分のエッジを出するエッジ検出手段と、前記トロリ線摩耗部分のエッジ点間距離からトロリ線の摩耗幅を計算するトロリ線摩耗幅計算手段とを有する画像処理によるトロリ線摩耗測定装置において、前記ラインセンサ画像をMライン毎に区切って連続する番号を付したn番目のラインセンサ画像に対して、(n−1)番目のラインセンサ画像におけるMラインのうちのNライン(M≧N)であってn番目のラインセンサ画像に時系列的に連続する画像(以下、予備ライン画像と言う)及び(n+1)番目のラインセンサ画像におけるMラインのうちのNラインであってn番目のラインセンサ画像に時系列的に連続する画像(以下、予備ライン画像と言う)を連結して(M+2N)ラインよりなるラインセンサ画像を作成する予備ライン画像連結手段を備え、前記ノイズ除去手段、前記エッジ検出手段及び前記トロリ線摩耗幅算出手段は、前記予備ライン画像連結手段により作成された(M+2N)ラインよりなるラインセンサ画像に対して各処理を行うことを特徴とする画像処理によるトロリ線摩耗測定装置。 Line sensor creation means for creating a line sensor image by arranging the luminance signals of the scanning lines obtained from the line sensor in time series, and binarizing the line sensor image to obtain a binarized line sensor image. and binarizing means emphasizing portion to detect a noise removal means for removing noise of the binary line sensor image, the edges of the trolley wire worn portion from the binarized line sensor image that has been removed of noise In the trolley wire wear measuring device by image processing, comprising edge detection means and trolley wire wear width calculation means for calculating the wear width of the trolley wire from the distance between edge points of the trolley wire wear portion, the line sensor image is converted into M lines. M lines in the (n−1) -th line sensor image with respect to the n-th line sensor image that is numbered consecutively every time. Of these, N lines (M ≧ N) and an image that is continuous in time series with the nth line sensor image (hereinafter referred to as a preliminary line image) and of the M lines in the (n + 1) th line sensor image Preliminary line image coupling means for creating a line sensor image consisting of (M + 2N) lines by connecting N-line and n-th line sensor images continuous in time series (hereinafter referred to as preliminary line images). The noise removing means, the edge detecting means, and the trolley line wear width calculating means perform each process on a line sensor image composed of (M + 2N) lines created by the preliminary line image connecting means. A trolley wire wear measuring device using image processing. 前記(M+2N)ラインよりなるラインセンサ画像のうち2値化処理後の前記予備ライン画像において時系列方向に横断する白域(以下、横断白域という)が存在するときは、前記n番目のラインセンサ画像における2値化処理後において時系列方向に部分的に横断する白域(以下、非横断白域)をトロリ線摩耗部分であると判断するパターン解析手段を追加したことを特徴とする請求項1のトロリ線摩耗測定装置。 When a white area (hereinafter referred to as a transverse white area) crossing in the time series direction exists in the preliminary line image after the binarization process among the line sensor images composed of the (M + 2N) lines, the nth line A pattern analysis means for determining that a white area partially traversing in the time-series direction after the binarization processing in the sensor image (hereinafter, non-crossing white area) is a trolley line wear part is added. Item 1. A trolley wire wear measuring device according to item 1. 前記(M+2N)ラインよりなるラインセンサ画像のうち前記n番目のラインセンサ画像に2値化処理後において時系列方向に横断する横断白域が存在する場合、または、前記(M+2N)ラインよりなるラインセンサ画像のうち前記n番目のラインセンサ画像に2値化処理後において時系列方向に部分的に横断する非横断白域が存在し、かつ、当該非横断白域が2値化処理後の前記予備ライン画像において時系列方向に横断する横断白域と連続する場合の何れかに該当するときは、前記非横断白域をトロリ線摩耗部分であると判断するパターン解析手段を追加したことを特徴とする請求項1のトロリ線摩耗測定装置。 Of the line sensor images composed of the (M + 2N) lines, the n-th line sensor image has a transverse white area that crosses in the time-series direction after binarization processing, or a line composed of the (M + 2N) lines Among the sensor images, the n-th line sensor image has a non-crossing white area that partially crosses in the time-series direction after binarization processing, and the non-crossing white area is the binarized image after the binarization process. A pattern analysis means for determining that the non-crossing white area is a trolley wire wear part when it corresponds to any of the cases where it is continuous with the crossing white area traversing in the time-series direction in the preliminary line image is characterized. The trolley wire wear measuring apparatus according to claim 1.
JP2007148115A 2007-06-04 2007-06-04 Trolley wire wear measuring device by image processing Active JP4858316B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007148115A JP4858316B2 (en) 2007-06-04 2007-06-04 Trolley wire wear measuring device by image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007148115A JP4858316B2 (en) 2007-06-04 2007-06-04 Trolley wire wear measuring device by image processing

Publications (2)

Publication Number Publication Date
JP2008298733A JP2008298733A (en) 2008-12-11
JP4858316B2 true JP4858316B2 (en) 2012-01-18

Family

ID=40172367

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007148115A Active JP4858316B2 (en) 2007-06-04 2007-06-04 Trolley wire wear measuring device by image processing

Country Status (1)

Country Link
JP (1) JP4858316B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110317909A1 (en) * 2010-06-29 2011-12-29 General Electric Company Tool wear quantification system and method
JP5776378B2 (en) * 2011-06-30 2015-09-09 株式会社明電舎 Crossover measuring device by image processing
JP6225362B2 (en) 2013-11-11 2017-11-08 株式会社明電舎 Train self-position estimation device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5841441B2 (en) * 1978-12-27 1983-09-12 日本国有鉄道 Trolley wire sliding surface width measurement method
JPS60147604A (en) * 1984-01-12 1985-08-03 Sumitomo Electric Ind Ltd Detector for wear of contact wire
JP4635657B2 (en) * 2005-03-11 2011-02-23 株式会社明電舎 Trolley wire wear measuring device by image processing
JP2006250776A (en) * 2005-03-11 2006-09-21 Meidensha Corp Abrasion state measuring device of trolley line by image processing
JP4608352B2 (en) * 2005-04-05 2011-01-12 株式会社明電舎 Trolley wire position measuring device

Also Published As

Publication number Publication date
JP2008298733A (en) 2008-12-11

Similar Documents

Publication Publication Date Title
JP4973108B2 (en) Trolley wire wear measuring device
JP4635657B2 (en) Trolley wire wear measuring device by image processing
JP5245445B2 (en) Crossover measuring device
JP5175528B2 (en) Tunnel lining crack inspection system
JP6206957B2 (en) Trolley wire measuring device and trolley wire measuring method
JP4816567B2 (en) Trolley wire wear measuring device by image processing
KR101280243B1 (en) Measuring system for height and stagger and wear of catenary using machine vision
JP6424362B2 (en) Filament measurement apparatus and method thereof
JP5287177B2 (en) Trolley wire wear and displacement measuring device by image processing
JP5162874B2 (en) Trolley wire wear measuring device
JP2007271446A (en) Instrument for measuring abrasion in trolley wire by imaging processing
TWI510384B (en) Pantograph measurement method and pantograph measurement device
JP4779770B2 (en) Trolley wire wear measuring device by image processing
JP4858316B2 (en) Trolley wire wear measuring device by image processing
JP5629478B2 (en) Pantograph monitoring device
JP5223472B2 (en) Wear measuring apparatus and wear measuring method
JP4835506B2 (en) Trolley wire wear measuring device by image processing
JP3219358B2 (en) Wheel tread defect inspection system
JP6268382B2 (en) Trolley wire wear measuring apparatus and trolley wire wear measuring method by image processing
JP5945780B2 (en) Trolley wire illumination reflected light distribution map creation method and trolley wire wear measuring device using the method
JP6841096B2 (en) Sliding surface width detection device and method for trolley wire

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111017

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4858316

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3