JP6920979B2

JP6920979B2 - Overhead wire fitting detection device and method

Info

Publication number: JP6920979B2
Application number: JP2017247234A
Authority: JP
Inventors: 亀山　悟; 悟亀山; 光平 ▲高▼野; 剛士黒川; 創平山田
Original assignee: Meidensha Corp; East Japan Railway Co
Current assignee: Meidensha Corp; East Japan Railway Co
Priority date: 2017-12-25
Filing date: 2017-12-25
Publication date: 2021-08-18
Anticipated expiration: 2037-12-25
Also published as: JP2019111942A

Description

本発明は、ハンガーを始めとする架線金具を画像処理によって検出する架線金具検出装置及び方法に関する。 The present invention relates to an overhead wire fitting detection device and a method for detecting an overhead wire fitting such as a hanger by image processing.

架線には、ハンガー等の架線金具が使用されている。
まず、ハンガーを検出する必要性について説明する。
鉄道事業者では、走行中に電車線路を録画し、録画画像から電車の走行位置を特定している。従来、電車の走行位置を特定する技術としては、ＧＰＳ（Global Positioning System）やＡＴＣ（Automatic Train Control）技術があるが、これらは電車の運行上支障がない程度の精度を有するものの、画像中から電車の走行位置を特定するような場合には、より正確に走行位置を把握することが要求されている。 Overhead wire fittings such as hangers are used for the overhead wire.
First, the necessity of detecting the hanger will be described.
The railway operator records the train track while driving and identifies the running position of the train from the recorded image. Conventionally, there are GPS (Global Positioning System) and ATC (Automatic Train Control) technologies as technologies for specifying the running position of a train. When specifying the running position of a train, it is required to grasp the running position more accurately.

また、正常なハンガーは鉛直に架設されているが、温度変化等により鉛直方向に対して傾斜を有すると、電車の集電特性を劣化させるため、ハンガーの角度を把握することも要求されている。従来、ハンガーを検出する技術として、下記の特許文献１〜３が公知となっている。特許文献１は、撮影した画像からテンプレートマッチング処理又は鉛直のエッジ検出処理によって、ハンガーを検出する手法である。また、特許文献２は、撮影した画像から、Ｈｏｕｇｈ変換処理又は輝度ヒストグラム処理又は２本の直線の交点を検出して、ハンガーを検出する手法である。特許文献３は、ＧＳＴＨ（Gray Scale-Top Hat）処理を応用することで、ハンガーを検出する手法である。 In addition, although a normal hanger is erected vertically, if it is tilted in the vertical direction due to temperature changes or the like, the current collecting characteristics of the train will deteriorate, so it is also required to grasp the angle of the hanger. .. Conventionally, the following Patent Documents 1 to 3 are known as techniques for detecting hangers. Patent Document 1 is a method of detecting a hanger from a captured image by a template matching process or a vertical edge detection process. Further, Patent Document 2 is a method of detecting a hanger by detecting a Hough transform process, a luminance histogram process, or an intersection of two straight lines from a captured image. Patent Document 3 is a method of detecting a hanger by applying a GSTH (Gray Scale-Top Hat) process.

特許第５４０２０９６号公報Japanese Patent No. 5402096 特開２０１０−２８５０５４号公報Japanese Unexamined Patent Publication No. 2010-285054 特開２０１６−１６８９３７号公報Japanese Unexamined Patent Publication No. 2016-168937

上記特許文献１、２に開示された発明は、単純な線条構成であれば、ハンガー検出が可能であるが、わたり線やオーバーラップ箇所等、複数の線条が交差する箇所では、ハンガーの検出が難しい。 The invention disclosed in Patent Documents 1 and 2 can detect a hanger if it has a simple streak configuration. Difficult to detect.

また、特許文献１は、鉛直のエッジ検出によってハンガーを検出する。一般的なエッジ検出は２ｐｉｘｅｌ間の微分値の大きい箇所をエッジとして検出する。２ｐｉｘｅｌの局所的な検出は、誤検出が多いという課題がある。 Further, Patent Document 1 detects a hanger by detecting a vertical edge. In general edge detection, a portion having a large differential value between 2 pixels is detected as an edge. Local detection of 2pixel has a problem that there are many false detections.

また、特許文献２は、Ｈｏｕｇｈ変換でハンガーを検出する。Ｈｏｕｇｈ変換は画像全体の特徴とハンガーの特徴との相対的な投票量を用いてハンガーを見つけるので、画像全体に対して小さく写るハンガーを検出することは難しい。 Further, Patent Document 2 detects a hanger by Hough transform. Since the Hough transform finds the hanger using the relative voting amount between the characteristics of the entire image and the characteristics of the hanger, it is difficult to detect the hanger that appears small with respect to the entire image.

また、特許文献３は、ＧＳＴＨ処理を応用してハンガーを検出する。この手法であれば、架線に対して交差する長方形形状をしたハンガーは検出できる。しかし、例えば、コネクタのような、長方形ではなく、曲線を持つような形状のものは、検出できない。 Further, Patent Document 3 detects a hanger by applying a GSTH process. With this method, a rectangular hanger that intersects the overhead wire can be detected. However, for example, a connector having a curved shape rather than a rectangular shape cannot be detected.

本発明は上記課題に鑑みなされたもので、ハンガーだけではなく、コネクタ等の架線金具を検出することができる架線金具検出装置及び方法を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an overhead wire fitting detection device and a method capable of detecting not only a hanger but also an overhead wire fitting such as a connector.

上記課題を解決する第１の発明に係る架線金具検出装置は、
電車車両の走行中に架線及び架線設備を前記電車車両の進行方向に対して垂直に撮影するラインセンサカメラと、
前記ラインセンサカメラから出力された画像信号を時系列に並べて作成した画像に対し、画像処理を行って、前記画像の中から架線金具を検出する画像処理部とを有し、
前記画像処理部は、
前記画像の中から前記架線と同じ方向に延伸しているものを除去し、残ったものを検出することにより、前記架線と異なる方向に延伸している前記架線金具を検出する
ことを特徴とする。 The overhead wire metal fitting detection device according to the first invention that solves the above problems is
A line sensor camera that captures the overhead wire and overhead wire equipment perpendicular to the traveling direction of the train vehicle while the train vehicle is running, and a line sensor camera.
It has an image processing unit that performs image processing on an image created by arranging image signals output from the line sensor camera in chronological order and detects an overhead wire fitting from the image.
The image processing unit
It is characterized in that the overhead wire fitting extending in a direction different from the overhead wire is detected by removing the one extending in the same direction as the overhead wire from the image and detecting the remaining one. ..

上記課題を解決する第２の発明に係る架線金具検出装置は、
上記第１の発明に記載の架線金具検出装置において、
前記画像処理部は、
前記ラインセンサカメラから出力された前記画像信号を時系列に並べて作成した前記画像に対し、輝度反転処理を行う画像輝度反転部と、
前記画像輝度反転部で前記輝度反転処理を行った前記画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理部と、
前記ＧＳＴＨ処理部で前記ＧＳＴＨ処理を行った前記画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理部と、
前記グレースケールオープニング処理部で前記グレースケールオープニング処理を行った前記画像に対し、２値化処理を行う２値化処理部と、
前記２値化処理部で前記２値化処理を行った前記画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理部と、
前記クロージング処理部で前記クロージング処理を行った前記画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具かどうかを判定する金具判定部と、
を有する
ことを特徴とする。 The overhead wire metal fitting detection device according to the second invention that solves the above problems is
In the overhead wire metal fitting detection device according to the first invention,
The image processing unit
An image luminance inversion unit that performs luminance inversion processing on the image created by arranging the image signals output from the line sensor camera in chronological order.
A GSTH processing unit that performs GSTH processing in the extending direction of the overhead wire with respect to the image that has undergone the brightness inverting processing in the image brightness inverting unit.
A grayscale opening processing unit that performs grayscale opening processing in a direction perpendicular to the extending direction of the overhead wire with respect to the image that has undergone the GSTH processing in the GSTH processing unit.
A binarization processing unit that performs binarization processing on the image that has undergone the grayscale opening processing in the grayscale opening processing unit, and a binarization processing unit.
A closing processing unit that performs closing processing in a direction perpendicular to the extension direction of the overhead wire with respect to the image that has been binarized by the binarization processing unit.
A metal fitting determination unit that detects a white mass from the image that has undergone the closing process by the closing processing unit and determines whether or not the metal fitting is an overhead wire fitting based on the size of the detected white mass.
It is characterized by having.

上記課題を解決する第３の発明に係る架線金具検出装置は、
上記第１の発明に記載の架線金具検出装置において、
前記画像処理部は、
前記ラインセンサカメラから出力された前記画像信号を時系列に並べて作成した前記画像に対し、前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定部と、
前記ラインセンサカメラから出力された前記画像信号を時系列に並べて作成した前記画像に対し、前記昼夜判定部で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転部と、
前記画像輝度反転部で前記輝度反転処理を行った前記画像に対し、前記昼夜判定部で明るさが夜と同等と判定された前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正部と、
前記明るさ補正部で前記明るさ補正処理を行った前記画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理部と、
前記ＧＳＴＨ処理部で前記ＧＳＴＨ処理を行った前記画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理部と、
前記グレースケールオープニング処理部で前記グレースケールオープニング処理を行った前記画像に対し、２値化処理を行う２値化処理部と、
前記２値化処理部で前記２値化処理を行った前記画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理部と、
前記クロージング処理部で前記クロージング処理を行った前記画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具かどうかを判定する金具判定部と、
を有する
ことを特徴とする。 The overhead wire metal fitting detection device according to the third invention that solves the above problems is
In the overhead wire metal fitting detection device according to the first invention,
The image processing unit
A day / night determination unit that determines whether the brightness of each image signal is equivalent to daytime or nighttime with respect to the image created by arranging the image signals output from the line sensor camera in chronological order.
For the image created by arranging the image signals output from the line sensor camera in chronological order, the image brightness inversion process is performed on the image signal whose brightness is determined to be equivalent to daytime by the day / night determination unit. Department and
Brightness that performs brightness correction processing to increase the difference in brightness to the image signal whose brightness is determined to be equivalent to night by the day / night determination unit with respect to the image for which the brightness inversion process has been performed by the image brightness inversion unit. Brightness correction part and
A GSTH processing unit that performs GSTH processing in the extending direction of the overhead wire with respect to the image that has undergone the brightness correction processing by the brightness correction unit.
A grayscale opening processing unit that performs grayscale opening processing in a direction perpendicular to the extending direction of the overhead wire with respect to the image that has undergone the GSTH processing in the GSTH processing unit.
A binarization processing unit that performs binarization processing on the image that has undergone the grayscale opening processing in the grayscale opening processing unit, and a binarization processing unit.
A closing processing unit that performs closing processing in a direction perpendicular to the extension direction of the overhead wire with respect to the image that has been binarized by the binarization processing unit.
A metal fitting determination unit that detects a white mass from the image that has undergone the closing process by the closing processing unit and determines whether or not the metal fitting is an overhead wire fitting based on the size of the detected white mass.
It is characterized by having.

上記課題を解決する第４の発明に係る架線金具検出装置は、
上記第３の発明に記載の架線金具検出装置において、
前記画像処理部は、
前記明るさ補正部で前記明るさ補正処理を行った前記画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理部を有し、
前記ＧＳＴＨ処理部は、前記メディアンフィルタ処理部で前記メディアンフィルタ処理を行った前記画像に対し、前記架線の延伸方向に前記ＧＳＴＨ処理を行う
ことを特徴とする。 The overhead wire metal fitting detection device according to the fourth invention that solves the above problems is
In the overhead wire fitting detection device according to the third invention,
The image processing unit
It has a median filter processing unit that performs median filter processing on the image that has undergone the brightness correction processing by the brightness correction unit.
The GSTH processing unit is characterized in that the GSTH processing is performed on the image that has been subjected to the median filter processing by the median filter processing unit in the extending direction of the overhead wire.

上記課題を解決する第５の発明に係る架線金具検出方法は、
電車車両の走行中にラインセンサカメラを用いて架線及び架線設備を前記電車車両の進行方向に対して垂直に撮影し、
前記ラインセンサカメラから出力された画像信号を時系列に並べて画像を作成し、
前記画像の画像処理の際、前記画像の中から前記架線と同じ方向に延伸しているものを除去し、残ったものを検出することにより、前記架線と異なる方向に延伸している架線金具を検出する
ことを特徴とする。 The overhead wire metal fitting detection method according to the fifth invention for solving the above problems is
While the train vehicle is running, a line sensor camera is used to photograph the overhead wire and the overhead wire equipment perpendicular to the traveling direction of the train vehicle.
An image is created by arranging the image signals output from the line sensor camera in chronological order.
During image processing of the image, the overhead wire fitting extending in a direction different from the overhead wire is removed by removing the one extending in the same direction as the overhead wire from the image and detecting the remaining one. It is characterized by detecting.

上記課題を解決する第６の発明に係る架線金具検出方法は、
上記第５の発明に記載の架線金具検出方法において、
前記画像処理の際、
前記ラインセンサカメラから出力された前記画像信号を時系列に並べて作成した前記画像に対し、輝度反転処理を行い、
前記輝度反転処理を行った前記画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行い、
前記ＧＳＴＨ処理を行った前記画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行い、
前記グレースケールオープニング処理を行った前記画像に対し、２値化処理を行い、
前記２値化処理を行った前記画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行い、
前記クロージング処理を行った前記画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具かどうかを判定する
ことを特徴とする。 The overhead wire metal fitting detection method according to the sixth invention for solving the above problems is
In the overhead wire fitting detection method according to the fifth invention,
During the image processing
Luminance inversion processing is performed on the image created by arranging the image signals output from the line sensor camera in chronological order.
The image obtained by performing the brightness inversion processing is subjected to GSTH processing in the extending direction of the overhead wire.
A grayscale opening process was performed on the image subjected to the GSTH process in a direction perpendicular to the extending direction of the overhead wire.
The image that has undergone the grayscale opening process is subjected to binarization processing.
The image obtained by the binarization process is subjected to a closing process in a direction perpendicular to the extending direction of the overhead wire.
It is characterized in that a white lump is detected from the image subjected to the closing process, and whether or not it is the overhead wire fitting is determined from the size of the detected white lump.

上記課題を解決する第７の発明に係る架線金具検出方法は、
上記第５の発明に記載の架線金具検出方法において、
前記画像処理の際、
前記ラインセンサカメラから出力された前記画像信号を時系列に並べて作成した前記画像に対し、前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定し、
前記ラインセンサカメラから出力された前記画像信号を時系列に並べて作成した前記画像に対し、明るさが昼と同等と判定された前記画像信号に輝度反転処理を行い、
前記輝度反転処理を行った前記画像に対し、明るさが夜と同等と判定された前記画像信号に明暗の差を大きくする明るさ補正処理を行い、
前記明るさ補正処理を行った前記画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行い、
前記ＧＳＴＨ処理を行った前記画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行い、
前記グレースケールオープニング処理を行った前記画像に対し、２値化処理を行い、
前記２値化処理を行った前記画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行い、
前記クロージング処理を行った前記画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具かどうかを判定する
ことを特徴とする。 The overhead wire metal fitting detection method according to the seventh invention for solving the above problems is
In the overhead wire fitting detection method according to the fifth invention,
During the image processing
With respect to the image created by arranging the image signals output from the line sensor camera in chronological order, it is determined for each image signal whether the brightness is equivalent to daytime or nighttime.
With respect to the image created by arranging the image signals output from the line sensor camera in chronological order, the image signal whose brightness is determined to be equivalent to daytime is subjected to brightness inversion processing.
The image to which the brightness inversion processing has been performed is subjected to brightness correction processing for increasing the difference in brightness to the image signal whose brightness is determined to be equivalent to that at night.
The image to which the brightness correction processing has been performed is subjected to GSTH processing in the extending direction of the overhead wire.
A grayscale opening process was performed on the image subjected to the GSTH process in a direction perpendicular to the extending direction of the overhead wire.
The image that has undergone the grayscale opening process is subjected to binarization processing.
The image obtained by the binarization process is subjected to a closing process in a direction perpendicular to the extending direction of the overhead wire.
It is characterized in that a white lump is detected from the image subjected to the closing process, and whether or not it is the overhead wire fitting is determined from the size of the detected white lump.

上記課題を解決する第８の発明に係る架線金具検出方法は、
上記第７の発明に記載の架線金具検出方法において、
前記明るさ補正処理を行った後、前記明るさ補正処理を行った前記画像に対し、メディアンフィルタ処理を行い、
前記メディアンフィルタ処理を行った前記画像に対し、前記架線の延伸方向に前記ＧＳＴＨ処理を行う
ことを特徴とする。 The overhead wire metal fitting detection method according to the eighth invention for solving the above problem is
In the overhead wire fitting detection method according to the seventh invention,
After performing the brightness correction process, the image obtained by performing the brightness correction process is subjected to a median filter process.
The image is subjected to the median filter treatment, and the GSTH treatment is performed in the extending direction of the overhead wire.

本発明によれば、ハンガーだけではなく、コネクタ等の架線金具を検出することができる。 According to the present invention, not only hangers but also overhead wire fittings such as connectors can be detected.

架線金具の分類を説明する説明図である。It is explanatory drawing explaining the classification of the overhead wire metal fittings. 従来技術と本発明での検出可能対象及び検出不可能対象を説明する図であって、架線設備の枕木方向からの図である。It is a figure explaining the detectable object and the undetectable object in the prior art and the present invention, and is the figure from the sleeper direction of the overhead wire equipment. 従来技術と本発明での検出可能対象及び検出不可能対象を説明する図であって、架線設備を撮影した画像の図である。It is a figure explaining the detectable object and the undetectable object in the prior art and the present invention, and is the figure of the image which photographed the overhead wire equipment. 本発明に係る架線金具検出装置の設置例を示す説明図である。It is explanatory drawing which shows the installation example of the overhead wire metal fitting detection apparatus which concerns on this invention. 本発明に係る架線金具検出装置の実施形態の一例（実施例１）を示すブロック図である。It is a block diagram which shows an example (Example 1) of embodiment of the overhead wire metal fitting detection apparatus which concerns on this invention. 図５に示した架線金具検出装置で実施する架線金具検出方法を説明するフローチャートである。It is a flowchart explaining the overhead wire metal fitting detection method carried out by the overhead wire metal fitting detection apparatus shown in FIG. 図５で説明するラインセンサ画像Ｇ１を示す模式図である。It is a schematic diagram which shows the line sensor image G1 described with FIG. 図５で説明するラインセンサ画像Ｇ２を示す模式図である。It is a schematic diagram which shows the line sensor image G2 described with FIG. 図５で説明するラインセンサ画像Ｇ３を示す模式図である。It is a schematic diagram which shows the line sensor image G3 described with FIG. 図５で説明するラインセンサ画像Ｇ４を示す模式図である。It is a schematic diagram which shows the line sensor image G4 described with FIG. 図５で説明するラインセンサ画像Ｇ５を示す模式図である。It is a schematic diagram which shows the line sensor image G5 described with FIG. 図５で説明するラインセンサ画像Ｇ６を示す模式図である。It is a schematic diagram which shows the line sensor image G6 described with FIG. 図５で説明するラベル付きラインセンサ画像Ｇ７を示す模式図である。It is a schematic diagram which shows the line sensor image G7 with the label described with FIG. 図５で説明する金具位置情報（画像Ｇ８）を示す模式図である。It is a schematic diagram which shows the metal fitting position information (image G8) described with FIG. 本発明に係る架線金具検出装置の実施形態の他の一例（実施例２）を示すブロック図である。It is a block diagram which shows another example (Example 2) of embodiment of the overhead wire metal fitting detection apparatus which concerns on this invention. 図１５に示した架線金具検出装置で実施する架線金具検出方法を説明するフローチャートである。It is a flowchart explaining the overhead wire metal fitting detection method carried out by the overhead wire metal fitting detection apparatus shown in FIG. 図１５で説明するラインセンサ画像Ｇ１０を示す模式図である。It is a schematic diagram which shows the line sensor image G10 described with FIG. 図１５で説明するラインセンサ画像Ｇ１１を示す模式図である。It is a schematic diagram which shows the line sensor image G11 described with FIG. 図１５で説明するラインセンサ画像Ｇ１２を示す模式図である。It is a schematic diagram which shows the line sensor image G12 described with FIG. 図１５で説明するラインセンサ画像Ｇ１３を示す模式図である。It is a schematic diagram which shows the line sensor image G13 described with FIG. 図１５で説明するラインセンサ画像Ｇ１４を示す模式図である。It is a schematic diagram which shows the line sensor image G14 described with FIG. 図１５で説明するラインセンサ画像Ｇ１５を示す模式図である。It is a schematic diagram which shows the line sensor image G15 described with FIG. 図１５で説明するラインセンサ画像Ｇ１６を示す模式図である。It is a schematic diagram which shows the line sensor image G16 described with FIG. 図１５で説明するラインセンサ画像Ｇ１７を示す模式図である。It is a schematic diagram which shows the line sensor image G17 described with FIG. 図１５で説明するラベル付きラインセンサ画像Ｇ１８を示す模式図である。It is a schematic diagram which shows the line sensor image G18 with the label described with FIG. 図１５で説明する金具位置情報（画像Ｇ１９）を示す模式図である。It is a schematic diagram which shows the metal fitting position information (image G19) described with FIG.

本発明の考え方を説明すると、画像処理される画像において（後述の図３に示す画像参照）、従来は、ハンガーのような横方向のものを検出する手法であるのに対し、本発明は、縦方向に伸びる架線や吊架線をまず初めに除去し、残ったものを検出する手法である。これにより、架線設備を枕木方向から見た際に（後述の図２に示す側面図参照）、架線と異なる方向に延伸している架線金具を検出することができる。すなわち、ハンガーに限らず、コネクタ等の架線金具を検出することができる。そのため、以下に例示するもの以外のものでも、架線と異なる方向に延伸している形状をした物体は検出可能である。 Explaining the concept of the present invention, the present invention is a method of detecting a lateral object such as a hanger in an image to be image-processed (see the image shown in FIG. 3 described later). This is a method of first removing the overhead wires and suspension wires that extend in the vertical direction and then detecting the remaining ones. As a result, when the overhead wire equipment is viewed from the direction of the sleepers (see the side view shown in FIG. 2 described later), it is possible to detect the overhead wire fitting extending in a direction different from the overhead wire. That is, not only hangers but also overhead wire fittings such as connectors can be detected. Therefore, it is possible to detect an object having a shape extending in a direction different from that of the overhead wire, even if it is not the one illustrated below.

ここで、図１〜図３において、従来技術と本発明で検出できる架線金具の適用範囲をまとめる。図１は、架線金具の分類を説明する説明図であり、架線金具を形状の特徴から１群、２群、３群に分け、それぞれの群に具体例を数点載せている。また、図２は、架線設備を側面（枕木方向）から見た図であり、図３は、架線設備を撮影した画像の図である。ここでは、従来技術としては、特許文献３を対象とするが、特許文献１、２でも同様である。 Here, in FIGS. 1 to 3, the applicable ranges of the overhead wire fittings that can be detected by the prior art and the present invention are summarized. FIG. 1 is an explanatory diagram for explaining the classification of the overhead wire fittings, and the overhead wire fittings are divided into 1 group, 2 groups, and 3 groups according to the characteristics of the shape, and several specific examples are placed in each group. Further, FIG. 2 is a view of the overhead wire facility as viewed from a side surface (direction of sleepers), and FIG. 3 is a view of an image of the overhead wire facility. Here, as the prior art, Patent Document 3 is targeted, but the same applies to Patent Documents 1 and 2.

従来技術では、３群のハンガーのみを対象としている。３群とは、架線設備を枕木方向から見た際に（図２参照）、架線と異なる方向に延伸しており、かつ、その延伸方向が架線の法線方向となる架線金具である。理論上、ドロッパも従来技術で検出可能と考える。 In the prior art, only three groups of hangers are targeted. The third group is an overhead wire fitting that extends in a direction different from that of the overhead wire when the overhead wire equipment is viewed from the direction of the sleepers (see FIG. 2), and the extending direction is the normal direction of the overhead wire. Theoretically, it is considered that the dropper can also be detected by the conventional technique.

一方、本発明は、３群を含む２群を対象としている。２群は、架線設備を枕木方向から見た際に（図２参照）、架線と異なる方向に延伸している架線金具であることが条件であるため、コネクタやフィードイヤー等も検出することが可能となる。 On the other hand, the present invention targets two groups including three groups. Group 2 is a condition that the overhead wire equipment is an overhead wire fitting that extends in a direction different from the overhead wire when viewed from the direction of the sleepers (see Fig. 2), so connectors, feed ears, etc. can also be detected. It will be possible.

このように、従来技術では、ハンガーのように、延伸方向が架線の法線方向となる架線金具を検出できる。これは、本発明でも同じく検出できる。一方、コネクタのような、延伸方向が架線の法線方向でない、曲線を持つような形状であると、従来技術では検出できないが、本発明では検出可能である。なお、交差金具のような、架線と異なる方向に延伸していない金具は、従来技術、本発明ともに検出できない。 As described above, in the prior art, it is possible to detect an overhead wire fitting whose extension direction is the normal direction of the overhead wire, such as a hanger. This can also be detected in the present invention. On the other hand, a shape such as a connector having a curved line whose extending direction is not the normal direction of the overhead wire cannot be detected by the prior art, but can be detected by the present invention. It should be noted that a metal fitting that does not extend in a direction different from the overhead wire, such as a cross metal fitting, cannot be detected by either the prior art or the present invention.

従って、本発明で検出する架線金具としては、例えば、以下のものが対象となる。
・ハンガー、ドロッパ
・コネクタ、フィードイヤー、ダブルイヤー
・曲線引金具、支持物 Therefore, as the overhead wire metal fittings detected in the present invention, for example, the following are targeted.
・ Hangers, dropper connectors, feed ears, double ears, curved metal fittings, supports

以下、上述した架線金具を検出する本発明に係る架線金具検出装置及び方法について、図４〜図２６を参照して、その実施形態を説明する。 Hereinafter, embodiments of the overhead wire fitting detection device and method according to the present invention for detecting the above-mentioned overhead wire fitting will be described with reference to FIGS. 4 to 26.

なお、以降の説明において、「ライン」とは、ラインセンサカメラ（以降、ラインセンサ）等の測域センサで、１回スキャンした時に撮影される線状の画像（走査線の輝度信号）のことである。例えば、ラインセンサが１０００Ｈｚで測定する際、１秒間に得られるライン数は１０００ラインとなる。 In the following description, the "line" is a linear image (brightness signal of the scanning line) taken when scanning once with a range sensor such as a line sensor camera (hereinafter, line sensor). Is. For example, when the line sensor measures at 1000 Hz, the number of lines obtained per second is 1000 lines.

［実施例１］
図４は、本発明に係る架線金具検出装置の設置例を示す説明図である。また、図５は、本実施例の架線金具検出装置を示すブロック図であり、図６は、図５に示した架線金具検出装置で実施する架線金具検出方法を説明するフローチャートである。また、図７〜図１４は、図５で説明する画像Ｇ１〜Ｇ８を各々示す模式図である。 [Example 1]
FIG. 4 is an explanatory diagram showing an installation example of the overhead wire fitting detection device according to the present invention. Further, FIG. 5 is a block diagram showing the overhead wire fitting detection device of this embodiment, and FIG. 6 is a flowchart illustrating a method of detecting the overhead wire fitting implemented by the overhead wire fitting detection device shown in FIG. 7 to 14 are schematic views showing the images G1 to G8 described with reference to FIG. 5, respectively.

本発明に係る架線金具検出装置は、画像処理により架線金具を検出するものであり、図４に示すように、電車車両（以降、車両と呼ぶ）１の屋根上に設置されたラインセンサ２と、車両１の内部に設置された画像処理部３とを備えている。また、架線（トロリ線）４は吊架線５に概ね等間隔に設置された複数のハンガー６によって支持されている。 The overhead wire metal fitting detection device according to the present invention detects the overhead wire metal fitting by image processing, and as shown in FIG. 4, the line sensor 2 installed on the roof of the train vehicle (hereinafter referred to as a vehicle) 1 The image processing unit 3 installed inside the vehicle 1 is provided. Further, the overhead wire (trolley wire) 4 is supported by a plurality of hangers 6 installed at substantially equal intervals on the overhead wire 5.

ラインセンサ２は、車両１の屋根上の側方に設置され、その光軸が車両１の進行方向に直交するように、且つ、その視野に一つのハンガー６が収まるように設置角度及び仰角を設定されている。図４中の一点鎖線は、車両１の進行方向に垂直に撮影されたラインセンサ２の撮影ラインを示しており、ラインセンサ２によって車両１の走行中に撮影された画像信号が画像処理部３に入力される。 The line sensor 2 is installed on the side of the roof of the vehicle 1, and the installation angle and elevation angle are set so that the optical axis thereof is orthogonal to the traveling direction of the vehicle 1 and one hanger 6 fits in the field of view. It is set. The alternate long and short dash line in FIG. 4 indicates the photographing line of the line sensor 2 photographed perpendicularly to the traveling direction of the vehicle 1, and the image signal photographed by the line sensor 2 while the vehicle 1 is traveling is the image processing unit 3. Is entered in.

画像処理部３は、入力された画像信号の処理、解析を行って、架線金具を検出するものであり、演算装置３１と記録装置３２とから構成されている。本実施例では、画像処理部３は、シンプルな構成とするため、昼間撮影画像に対してのみに画像処理を行う構成となっている。ここで、昼間撮影画像とは、夜間撮影画像のように空が架線よりも暗く映らないことを指し、トンネルや高架橋等も架線上空に無いことを前提としている。 The image processing unit 3 processes and analyzes the input image signal to detect the overhead wire fitting, and is composed of an arithmetic unit 31 and a recording device 32. In this embodiment, since the image processing unit 3 has a simple structure, the image processing unit 3 is configured to perform image processing only on the daytime captured image. Here, the daytime image means that the sky does not appear darker than the overhead line as in the nighttime image, and it is assumed that there are no tunnels, viaducts, etc. above the overhead line.

従って、本実施例において、画像処理部３は、図５に示すように、ラインセンサ画像作成部３１ａ、画像輝度反転部３１ｃ、ＧＳＴＨ処理部３１ｆ、グレースケールオープニング処理部３１ｇ、２値化処理部３１ｈ、クロージング処理部３１ｉ、ラベリング処理部３１ｊ、金具判定部３１ｋ、メモリＭ１、Ｍ２から構成されている。各構成要素の機能については、図６に示すフローチャートと共に説明する。 Therefore, in this embodiment, as shown in FIG. 5, the image processing unit 3 includes a line sensor image creation unit 31a, an image brightness inversion unit 31c, a GSTH processing unit 31f, a grayscale opening processing unit 31g, and a binarization processing unit. It is composed of 31h, a closing processing unit 31i, a labeling processing unit 31j, a metal fitting determination unit 31k, and memories M1 and M2. The function of each component will be described together with the flowchart shown in FIG.

本実施例の架線金具検出方法について、図６のフローチャートを参照すると共に、図５及び図７〜図１４も参照して説明をする。なお、図７においては、画像を見やすくするため、実際の画像のコントラスト及び明るさを調整して図示している。 The overhead wire fitting detection method of this embodiment will be described with reference to the flowchart of FIG. 6 and also with reference to FIGS. 5 and 7 to 14. In FIG. 7, in order to make the image easier to see, the contrast and brightness of the actual image are adjusted and shown.

（ステップＳ１）
ラインセンサ画像作成部３１ａは、車両１の走行中にラインセンサ２から入力される画像信号（ライン）を時系列的に並べて、ラインセンサ画像Ｇ１を作成する。作成されたラインセンサ画像Ｇ１は、メモリＭ１に記録され、その後、メモリＭ２に記録される。ラインセンサ画像Ｇ１としては、例えば、図７に示すような画像が得られ、この図７では、一例として、架線４、吊架線５と共に、ハンガー６、コネクタ７が撮影されている。この図７は、上述したように、昼間撮影画像である。 (Step S1)
The line sensor image creation unit 31a creates a line sensor image G1 by arranging image signals (lines) input from the line sensor 2 while the vehicle 1 is traveling in chronological order. The created line sensor image G1 is recorded in the memory M1 and then recorded in the memory M2. As the line sensor image G1, for example, an image as shown in FIG. 7 is obtained, and in FIG. 7, as an example, the hanger 6 and the connector 7 are photographed together with the overhead wire 4 and the overhead wire 5. As described above, FIG. 7 is a daytime photographed image.

（ステップＳ２）
画像輝度反転部３１ｃは、ラインセンサ画像Ｇ１が入力されると、０から２５５の輝度値で表現されたグレースケールのラインセンサ画像Ｇ１に対し、輝度値を反転させる輝度反転処理を行って、輝度反転処理後のラインセンサ画像Ｇ２をメモリＭ２へ保存する。具体的には、輝度値０を２５５に、１を２５４に、・・・、２５４を１に、２５５を０にしている。この輝度反転処理の結果、図７に示す元画像のラインセンサ画像Ｇ１は、図８に示すラインセンサ画像Ｇ２に変換されることになる。これにより、架線４、吊架線５、ハンガー６、コネクタ７が白、背景が黒となる画像を作成でき、後段のＧＳＴＨ処理を行えるようにしている。 (Step S2)
When the line sensor image G1 is input, the image brightness inversion unit 31c performs a brightness inversion process for inverting the brightness value of the grayscale line sensor image G1 represented by the brightness values from 0 to 255, and the brightness is increased. The line sensor image G2 after the inversion process is saved in the memory M2. Specifically, the brightness value 0 is set to 255, 1 is set to 254, ..., 254 is set to 1, and 255 is set to 0. As a result of this luminance inversion processing, the line sensor image G1 of the original image shown in FIG. 7 is converted into the line sensor image G2 shown in FIG. As a result, it is possible to create an image in which the overhead wire 4, the overhead wire 5, the hanger 6, and the connector 7 are white and the background is black, so that the GSTH process in the subsequent stage can be performed.

（ステップＳ３）
ＧＳＴＨ処理部３１ｆは、ラインセンサ画像Ｇ２が入力されると、ラインセンサ画像Ｇ２に対して、横方向ではなく、縦方向にＧＳＴＨ処理を行う。具体的には、まず、縦方向にグレースケールオープニング処理（収縮してから膨張する処理）を行うことで、ハンガー６やコネクタ７等の横線を消す。ここで行う収縮膨張の回数は、ハンガー６やコネクタ７の縦方向の長さよりも大きな値に設定することで、ハンガー６やコネクタ７等の横線を消すことができるようになる。続いて、図８に示すラインセンサ画像Ｇ２からグレースケールオープニング処理をした画像を引くことで、図９に示すように、ハンガー６やコネクタ７、そして、架線４や吊架線５の縁のみが残るようなラインセンサ画像Ｇ３を得ることができ、これをメモリＭ２へ保存する。 (Step S3)
When the line sensor image G2 is input, the GSTH processing unit 31f performs GSTH processing on the line sensor image G2 in the vertical direction instead of the horizontal direction. Specifically, first, a grayscale opening process (a process of contracting and then expanding) is performed in the vertical direction to erase horizontal lines such as the hanger 6 and the connector 7. By setting the number of contractions and expansions performed here to a value larger than the vertical length of the hanger 6 and the connector 7, the horizontal lines of the hanger 6 and the connector 7 can be erased. Subsequently, by subtracting the grayscale opening processed image from the line sensor image G2 shown in FIG. 8, only the hanger 6, the connector 7, and the edges of the overhead wire 4 and the overhead wire 5 remain as shown in FIG. Such a line sensor image G3 can be obtained, and this is stored in the memory M2.

ＧＳＴＨ処理部３１ｆでは、撮影された架線４や吊架線５がラインセンサ画像Ｇ２中で縦方向となっているので、縦方向にＧＳＴＨ処理を行っているが、例えば、撮影された架線４や吊架線５がラインセンサ画像Ｇ２中で横方向となっていれば、その方向と同じ横方向にＧＳＴＨ処理を行えば良い。つまり、ＧＳＴＨ処理は、架線４や吊架線５の延伸方向に行えば良い。 In the GSTH processing unit 31f, since the photographed overhead wire 4 and the overhead wire 5 are in the vertical direction in the line sensor image G2, the GSTH processing is performed in the vertical direction. If the overhead wire 5 is in the horizontal direction in the line sensor image G2, the GSTH process may be performed in the same horizontal direction as that direction. That is, the GSTH process may be performed in the extending direction of the overhead wire 4 and the suspension wire 5.

（ステップＳ４）
グレースケールオープニング処理部３１ｇは、ラインセンサ画像Ｇ３が入力されると、ラインセンサ画像Ｇ３中に残った架線４や吊架線５の縁を消すため、横方向にグレースケールオープニング処理を行う。具体的には、図９に示すラインセンサ画像Ｇ３中に残った架線４や吊架線５の縁よりも大きな値でグレースケールオープニング処理を行うことで、図１０に示すように、架線４や吊架線５の縁を消去したラインセンサ画像Ｇ４を得ることができ、これをメモリＭ２へ保存する。 (Step S4)
When the line sensor image G3 is input, the grayscale opening processing unit 31g performs grayscale opening processing in the lateral direction in order to erase the edges of the overhead wire 4 and the suspension wire 5 remaining in the line sensor image G3. Specifically, by performing the grayscale opening process with a value larger than the edge of the overhead wire 4 and the overhead wire 5 remaining in the line sensor image G3 shown in FIG. 9, the overhead wire 4 and the suspension are suspended as shown in FIG. A line sensor image G4 in which the edge of the overhead wire 5 is erased can be obtained, and this is stored in the memory M2.

グレースケールオープニング処理部３１ｇでは、架線４や吊架線５がラインセンサ画像Ｇ３中で縦方向となっているので、横方向にグレースケールオープニング処理を行っているが、例えば、架線４や吊架線５がラインセンサ画像Ｇ３中で横方向となっていれば、その方向と垂直な縦方向にグレースケールオープニング処理を行えば良い。つまり、グレースケールオープニング処理は、架線４や吊架線５の延伸方向に垂直な方向に行えば良い。 In the grayscale opening processing unit 31g, since the overhead wire 4 and the suspension wire 5 are in the vertical direction in the line sensor image G3, the grayscale opening processing is performed in the horizontal direction. For example, the overhead wire 4 and the suspension wire 5 are performed. If is in the horizontal direction in the line sensor image G3, the grayscale opening process may be performed in the vertical direction perpendicular to that direction. That is, the grayscale opening process may be performed in a direction perpendicular to the extending direction of the overhead wire 4 and the overhead wire 5.

（ステップＳ５）
２値化処理部３１ｈは、ラインセンサ画像Ｇ４が入力されると、グレースケールを白黒２値に変換する２値化処理を行う。このときの２値化閾値は、背景よりも大きく、かつ、非常に小さな輝度値（例えば、１０等）を設定する。つまり、背景の輝度値よりも大きな値はすべて２５５に変換する。この２値化は、固定値で行っても良いし、動的に閾値を決定する手法（例えば、大津の２値化等）を用いても良い。この処理により、図１１に示すように、２値化されたラインセンサ画像Ｇ５を得ることができ、これをメモリＭ２へ保存する。 (Step S5)
When the line sensor image G4 is input, the binarization processing unit 31h performs a binarization process for converting grayscale into black and white binary. The binarization threshold value at this time is set to a brightness value (for example, 10 or the like) that is larger than the background and very small. That is, all values larger than the brightness value of the background are converted to 255. This binarization may be performed with a fixed value, or a method of dynamically determining the threshold value (for example, binarization of Otsu) may be used. By this process, as shown in FIG. 11, a binarized line sensor image G5 can be obtained, and this is stored in the memory M2.

（ステップＳ６）
ラインセンサ画像Ｇ５では、ＧＳＴＨ処理部３１ｆで消した架線４や吊架線５の幅だけ、ハンガー６やコネクタ７の架線金具は途切れた塊となってしまっている。そのため、クロージング処理部３１ｉは、ラインセンサ画像Ｇ５が入力されると、途切れた塊をくっつけるため、横方向にクロージング処理（膨張してから収縮する処理）を行う。このとき、クロージング処理の膨張収縮回数は、架線４や吊架線５の幅よりも大きな値を設定する。この処理により、図１２に示すように、架線４や吊架線５の幅で一度途切れたハンガー６やコネクタ７の架線金具が再度くっついた２値化のラインセンサ画像Ｇ６を得ることができ、これをメモリＭ２へ保存する。 (Step S6)
In the line sensor image G5, the overhead wire metal fittings of the hanger 6 and the connector 7 are broken lumps by the width of the overhead wire 4 and the overhead wire 5 erased by the GSTH processing unit 31f. Therefore, when the line sensor image G5 is input, the closing processing unit 31i performs a closing process (expansion and then contraction) in the lateral direction in order to attach the interrupted lumps. At this time, the number of expansions and contractions of the closing process is set to a value larger than the width of the overhead wire 4 and the overhead wire 5. By this process, as shown in FIG. 12, it is possible to obtain a binarized line sensor image G6 in which the hanger 6 and the overhead wire metal fitting of the connector 7 once interrupted by the width of the overhead wire 4 and the overhead wire 5 are reattached. Is saved in the memory M2.

クロージング処理部３１ｉでは、ＧＳＴＨ処理部３１ｆで縦方向にＧＳＴＨ処理を行っているので、横方向にクロージング処理を行っているが、例えば、ＧＳＴＨ処理部３１ｆで横方向にＧＳＴＨ処理を行えば、ＧＳＴＨ処理の方向に垂直な縦方向にクロージング処理を行えば良い。つまり、クロージング処理は、架線４や吊架線５の延伸方向に垂直な方向に行えば良い。 In the closing processing unit 31i, since the GSTH processing unit 31f performs the GSTH processing in the vertical direction, the closing processing is performed in the horizontal direction. The closing process may be performed in the vertical direction perpendicular to the processing direction. That is, the closing process may be performed in a direction perpendicular to the extending direction of the overhead wire 4 and the suspension wire 5.

（ステップＳ７）
ラベリング処理部３１ｊは、ラインセンサ画像Ｇ６が入力されると、２値化画像の白色塊を検出し、それぞれの塊にラベル付けをするラベリング処理を行う。例えば、図１２に示すラインセンサ画像Ｇ６にラベリング処理を行うことにより、図１３に示すように、検出した白色塊の各々にラベルＬ１〜Ｌ６を付けたラベル付きラインセンサ画像Ｇ７を得ることができ、これをメモリＭ２へ保存する。 (Step S7)
When the line sensor image G6 is input, the labeling processing unit 31j detects white lumps in the binarized image and performs labeling processing for labeling each lump. For example, by performing labeling processing on the line sensor image G6 shown in FIG. 12, it is possible to obtain a labeled line sensor image G7 in which labels L1 to L6 are attached to each of the detected white lumps, as shown in FIG. , Save this in memory M2.

（ステップＳ８）
金具判定部３１ｋは、ラベル付きラインセンサ画像Ｇ７が入力されると、ラベルＬ１〜Ｌ６の白色塊の大きさを見て、架線金具かノイズかを判定する。大きさが小さいものはノイズであるものとして除去し、一定の大きさ以上の白色塊を架線金具と判定する。この結果、図１４に示すように、ハンガー６とコネクタ７のみを抽出した画像Ｇ８を得ることができ、これをメモリＭ２へ保存する。このとき、白色塊の形状を見て、架線金具の種別を判定しても良い。例えば、ハンガー６であれば長方形な形状であり、コネクタ７であれば曲率を持つような形状である。そのような形状から架線金具の種類まで判定することが可能である。 (Step S8)
When the labeled line sensor image G7 is input, the metal fitting determination unit 31k determines whether it is an overhead wire metal fitting or noise by looking at the size of the white mass of the labels L1 to L6. Those with a small size are removed as noise, and white lumps with a certain size or larger are judged to be overhead wire fittings. As a result, as shown in FIG. 14, an image G8 obtained by extracting only the hanger 6 and the connector 7 can be obtained, and this is stored in the memory M2. At this time, the type of the overhead wire fitting may be determined by looking at the shape of the white mass. For example, the hanger 6 has a rectangular shape, and the connector 7 has a curvature. It is possible to determine from such a shape to the type of overhead wire fitting.

なお、上述したラベリング処理部３１ｊは、視認性のためにはあった方がよいが、必須ではない。ラベリング処理部３１ｊがない場合には、金具判定部３１ｋには、ラインセンサ画像Ｇ６が入力され、金具判定部３１ｋは、ラインセンサ画像Ｇ６に対して、白色塊の検出を行い、検出した白色塊の大きさを見て、架線金具かノイズかを判定すればよい。 The labeling processing unit 31j described above should be present for visibility, but is not essential. When the labeling processing unit 31j is not provided, the line sensor image G6 is input to the metal fitting determination unit 31k, and the metal fitting determination unit 31k detects the white mass on the line sensor image G6 and detects the white mass. It is sufficient to judge whether it is an overhead wire fitting or noise by looking at the size of.

以上説明したように、本実施例では、画像中で所定の方向に伸びる架線４や吊架線５をまず初めに除去し、残ったものを検出しており、これにより、架線設備を枕木方向から見た際に、架線４や吊架線５と異なる方向に延伸しているハンガー６やコネクタ７等の架線金具を検出することができる。 As described above, in the present embodiment, the overhead wire 4 and the overhead wire 5 extending in a predetermined direction are first removed in the image, and the remaining one is detected. When viewed, it is possible to detect overhead wire fittings such as a hanger 6 and a connector 7 extending in a direction different from that of the overhead wire 4 and the overhead wire 5.

［実施例２］
図１５は、本実施例の架線金具検出装置を示すブロック図であり、図１６は、図１５に示した架線金具検出装置で実施する架線金具検出方法を説明するフローチャートである。また、図１７〜図２６は、図１５で説明する画像Ｇ１０〜Ｇ１９を各々示す模式図である。 [Example 2]
FIG. 15 is a block diagram showing the overhead wire fitting detecting device of this embodiment, and FIG. 16 is a flowchart illustrating a method of detecting the overhead wire fitting implemented by the overhead wire fitting detecting device shown in FIG. 17 to 26 are schematic views showing the images G10 to G19 described with reference to FIG. 15, respectively.

上述した図４で説明したように、本発明に係る架線金具検出装置は、ラインセンサ２と画像処理部３とを備え、画像処理部３は、演算装置３１と記録装置３２とから構成されている。本実施例では、画像処理部３は、実施例１に対し、夜間撮影画像やトンネルや高架橋等が架線上空にある場合に対しても画像処理を行う構成となっている。 As described with reference to FIG. 4 described above, the overhead wire metal fitting detection device according to the present invention includes a line sensor 2 and an image processing unit 3, and the image processing unit 3 includes an arithmetic unit 31 and a recording device 32. There is. In this embodiment, the image processing unit 3 has a configuration in which image processing is performed even when a night-time photographed image, a tunnel, a viaduct, or the like is above the overhead line, as compared with the first embodiment.

従って、本実施例において、画像処理部３は、図１５に示すように、ラインセンサ画像作成部３１ａ、昼夜判定部３１ｂ、画像輝度反転部３１ｃ、明るさ補正部３１ｄ、メディアンフィルタ処理部３１ｅ、ＧＳＴＨ処理部３１ｆ、グレースケールオープニング処理部３１ｇ、２値化処理部３１ｈ、クロージング処理部３１ｉ、ラベリング処理部３１ｊ、金具判定部３１ｋ、メモリＭ１、Ｍ２から構成されている。つまり、実施例１に示した画像処理部３の構成に対し、昼夜判定部３１ｂと明るさ補正部３１ｄとメディアンフィルタ処理部３１ｅが加わった構成となる。各構成要素の機能については、図１６に示すフローチャートと共に説明する。 Therefore, in this embodiment, as shown in FIG. 15, the image processing unit 3 includes a line sensor image creation unit 31a, a day / night determination unit 31b, an image brightness inversion unit 31c, a brightness correction unit 31d, and a median filter processing unit 31e. It is composed of a GSTH processing unit 31f, a grayscale opening processing unit 31g, a binarization processing unit 31h, a closing processing unit 31i, a labeling processing unit 31j, a metal fitting determination unit 31k, and memories M1 and M2. That is, in addition to the configuration of the image processing unit 3 shown in the first embodiment, the day / night determination unit 31b, the brightness correction unit 31d, and the median filter processing unit 31e are added. The function of each component will be described together with the flowchart shown in FIG.

本実施例の架線金具検出方法について、図１６のフローチャートを参照すると共に、図１５及び図１７〜図２６も参照して説明をする。なお、図１７及び図１８においては、画像を見やすくするため、実際の画像のコントラスト及び明るさを調整して図示している。 The overhead wire fitting detection method of this embodiment will be described with reference to the flowchart of FIG. 16 and also with reference to FIGS. 15 and 17 to 26. In addition, in FIGS. 17 and 18, in order to make the image easier to see, the contrast and brightness of the actual image are adjusted and shown.

（ステップＳ１１）
ラインセンサ画像作成部３１ａは、車両１の走行中にラインセンサ２から入力される画像信号（ライン）を時系列的に並べて、ラインセンサ画像Ｇ１０を作成する。作成されたラインセンサ画像Ｇ１０は、メモリＭ１に保存され、その後、メモリＭ２に保存される。ラインセンサ画像Ｇ１０としては、例えば、図１７に示すような画像が得られ、この図１７では、一例として、架線４、吊架線５と共に、ハンガー６が撮影されている。この図１７は、夜間撮影画像である。 (Step S11)
The line sensor image creation unit 31a creates a line sensor image G10 by arranging image signals (lines) input from the line sensor 2 in chronological order while the vehicle 1 is traveling. The created line sensor image G10 is stored in the memory M1 and then stored in the memory M2. As the line sensor image G10, for example, an image as shown in FIG. 17 is obtained, and in FIG. 17, as an example, the hanger 6 is photographed together with the overhead wire 4 and the suspension wire 5. FIG. 17 is a night-time photographed image.

（ステップＳ１２）
昼夜判定部３１ｂは、ラインセンサ画像Ｇ１０が入力されると、ラインセンサ画像Ｇ１０を構成するそれぞれのラインに対して昼夜判定処理を行う。つまり、各ラインの明るさが昼（昼と同等）なのか夜（夜と同等）なのかを判定する。判定基準は、各ラインにおいて、その明るさの中央値が閾値以上であれば昼とし、閾値以下であれば夜とする。例えば、架線上空にトンネルや高架橋等がある場合には、架線上空が照明等で昼と同等に明るければ昼と判定し、架線上空が夜と同等に暗ければ夜と判定する。昼夜判定処理の閾値はラインセンサ２の状態によって適切な値を設定しておく。各ラインに対する昼夜判定処理の結果を昼夜フラグデータとしてメモリＭ２へ保存する。 (Step S12)
When the line sensor image G10 is input, the day / night determination unit 31b performs day / night determination processing on each line constituting the line sensor image G10. That is, it is determined whether the brightness of each line is daytime (equivalent to daytime) or nighttime (equivalent to nighttime). The criterion is daytime if the median brightness of each line is equal to or greater than the threshold value, and nighttime if the central value is equal to or less than the threshold value. For example, when there is a tunnel or viaduct over the overhead line, if the sky above the overhead line is as bright as daytime due to lighting or the like, it is determined to be daytime, and if the sky above the overhead line is as dark as nighttime, it is determined to be nighttime. An appropriate value is set for the threshold value of the day / night determination process according to the state of the line sensor 2. The result of the day / night determination process for each line is saved in the memory M2 as day / night flag data.

（ステップＳ１３）
画像輝度反転部３１ｃは、ラインセンサ画像Ｇ１０及び昼夜フラグデータが入力されると、実施例１と同様に、ラインセンサ画像Ｇ１０の輝度値を反転させる輝度反転処理を行うが、昼夜フラグデータに基づいて、昼夜判定部３１ｂで明るさが昼（昼と同等）と判定されたラインのみに輝度反転を行って、輝度反転処理後のラインセンサ画像Ｇ１１をメモリＭ２へ保存する。例えば、図１７に示す夜間撮影のラインセンサ画像Ｇ１０の場合は、輝度反転処理を行っても、全ラインが夜判定されているので、図１８に示すラインセンサ画像Ｇ１１のように、何も変化しない。一方、図７に示す昼間撮影のラインセンサ画像Ｇ１の場合は、全ラインが昼判定されているので、図８に示すラインセンサ画像Ｇ２のように変換されることになる。 (Step S13)
When the line sensor image G10 and the day / night flag data are input, the image brightness inversion unit 31c performs the brightness inversion process for reversing the brightness value of the line sensor image G10 as in the first embodiment, but is based on the day / night flag data. Then, the luminance inversion is performed only on the line whose brightness is determined to be daytime (equivalent to daytime) by the day / night determination unit 31b, and the line sensor image G11 after the luminance inversion process is saved in the memory M2. For example, in the case of the line sensor image G10 taken at night shown in FIG. 17, since all the lines are determined at night even if the luminance inversion process is performed, nothing changes as in the line sensor image G11 shown in FIG. do not. On the other hand, in the case of the line sensor image G1 of the daytime shooting shown in FIG. 7, since all the lines are determined to be daytime, the line sensor image G2 is converted as shown in FIG.

（ステップＳ１４）
明るさ補正部３１ｄは、ラインセンサ画像Ｇ１１及び昼夜フラグデータが入力されると、昼夜判定部３１ｂで明るさが夜（夜と同等）と判定されたラインに対して、白と黒（明暗）の差を大きくするように輝度値を補正する明るさ補正処理を行って、明るさ補正処理後のラインセンサ画像Ｇ１２をメモリＭ２へ保存する。この補正方法は自由であり、例えば、上位０．３５％を輝度値２５５に飽和させるような線形補正を行う。その結果、図１７に示す元画像のラインセンサ画像Ｇ１０は、全ラインが夜判定されているため、図１９に示すようなラインセンサ画像Ｇ１２に変換されることになる。これにより、架線４、吊架線５、ハンガー６が白、背景が黒となる画像を作成でき、後段のＧＳＴＨ処理を行えるようにしている。 (Step S14)
When the line sensor image G11 and the day / night flag data are input, the brightness correction unit 31d is white and black (bright / dark) with respect to the line whose brightness is determined to be night (equivalent to night) by the day / night determination unit 31b. A brightness correction process for correcting the brightness value is performed so as to increase the difference between the two, and the line sensor image G12 after the brightness correction process is saved in the memory M2. This correction method is free, and for example, linear correction is performed so as to saturate the upper 0.35% to the luminance value 255. As a result, the line sensor image G10 of the original image shown in FIG. 17 is converted into the line sensor image G12 as shown in FIG. 19 because all the lines are determined at night. As a result, it is possible to create an image in which the overhead wire 4, the overhead wire 5, and the hanger 6 are white and the background is black, so that the GSTH process in the subsequent stage can be performed.

（ステップＳ１５）
メディアンフィルタ処理部３１ｅは、明るさ補正部３１ｄにより、背景に発生した白い点々（ごま塩ノイズ）を除去するためにメディアンフィルタを掛ける処理である。従って、ラインセンサ画像Ｇ１２が入力されると、メディアンフィルタ処理を行う。この処理により、図２０に示すようなラインセンサ画像Ｇ１３を得ることができ、これをメモリＭ２へ保存する。 (Step S15)
The median filter processing unit 31e is a process in which the brightness correction unit 31d applies a median filter in order to remove white dots (salt-and-pep noise) generated in the background. Therefore, when the line sensor image G12 is input, the median filter process is performed. By this process, the line sensor image G13 as shown in FIG. 20 can be obtained, and this is stored in the memory M2.

（ステップＳ１６）
ＧＳＴＨ処理部３１ｆは、ラインセンサ画像Ｇ１３が入力されると、実施例１と同様に、ラインセンサ画像Ｇ１３に対して、縦方向にＧＳＴＨ処理を行う。この処理により、図２１に示すようなラインセンサ画像Ｇ１４を得ることができ、これをメモリＭ２へ保存する。 (Step S16)
When the line sensor image G13 is input, the GSTH processing unit 31f performs GSTH processing in the vertical direction on the line sensor image G13 as in the first embodiment. By this process, the line sensor image G14 as shown in FIG. 21 can be obtained, and this is stored in the memory M2.

なお、上述したメディアンフィルタ処理部３１ｅは、ノイズ除去の観点からはあった方がよいが、必須ではない。メディアンフィルタ処理部３１ｅがない場合には、ＧＳＴＨ処理部３１ｆには、ラインセンサ画像Ｇ１２が入力され、ＧＳＴＨ処理部３１ｆは、ラインセンサ画像Ｇ１２に対して、縦方向にＧＳＴＨ処理を行えばよい。 The median filter processing unit 31e described above may be present from the viewpoint of noise removal, but is not essential. When the median filter processing unit 31e is not provided, the line sensor image G12 may be input to the GSTH processing unit 31f, and the GSTH processing unit 31f may perform GSTH processing on the line sensor image G12 in the vertical direction.

（ステップＳ１７）
グレースケールオープニング処理部３１ｇは、ラインセンサ画像Ｇ１４が入力されると、実施例１と同様に、ラインセンサ画像Ｇ１４中に残った架線４や吊架線５の縁を消すため、横方向にグレースケールオープニング処理を行う。この処理により、図２２に示すようなラインセンサ画像Ｇ１５を得ることができ、これをメモリＭ２へ保存する。 (Step S17)
When the line sensor image G14 is input, the grayscale opening processing unit 31g erases the edges of the overhead wire 4 and the suspension wire 5 remaining in the line sensor image G14 in the same manner as in the first embodiment. Perform the opening process. By this process, the line sensor image G15 as shown in FIG. 22 can be obtained, and this is stored in the memory M2.

（ステップＳ１８）
２値化処理部３１ｈは、ラインセンサ画像Ｇ１５が入力されると、実施例１と同様に、グレースケールを白黒２値に変換する２値化処理を行う。この処理により、図２３に示すようなラインセンサ画像Ｇ１６を得ることができ、これをメモリＭ２へ保存する。 (Step S18)
When the line sensor image G15 is input, the binarization processing unit 31h performs a binarization process for converting grayscale into black-and-white binary as in the first embodiment. By this process, the line sensor image G16 as shown in FIG. 23 can be obtained, and this is stored in the memory M2.

（ステップＳ１９）
クロージング処理部３１ｉは、ラインセンサ画像Ｇ１６が入力されると、実施例１と同様に、途切れた塊をくっつけるため、横方向にクロージング処理を行う。この処理により、図２４に示すようなラインセンサ画像Ｇ１７を得ることができ、これをメモリＭ２へ保存する。 (Step S19)
When the line sensor image G16 is input, the closing processing unit 31i performs a closing process in the lateral direction in order to attach the interrupted lumps as in the first embodiment. By this process, the line sensor image G17 as shown in FIG. 24 can be obtained, and this is stored in the memory M2.

（ステップＳ２０）
ラベリング処理部３１ｊは、ラインセンサ画像Ｇ１７が入力されると、実施例１と同様に、２値化画像の白色塊を検出し、それぞれの塊にラベル付けをするラベリング処理を行う。この処理により、図２５に示すようなラベル付きラインセンサ画像Ｇ１８を得ることができ、これをメモリＭ２へ保存する。例えば、図２４に示すラインセンサ画像Ｇ１７にラベリング処理を行うことにより、図２５に示すように、検出した白色塊の各々にラベルＬ１〜Ｌ３を付けたラベル付きラインセンサ画像Ｇ１８を得ることができる。 (Step S20)
When the line sensor image G17 is input, the labeling processing unit 31j detects white lumps of the binarized image and performs labeling processing for labeling each lump, as in the first embodiment. By this process, a labeled line sensor image G18 as shown in FIG. 25 can be obtained, and this is stored in the memory M2. For example, by performing labeling processing on the line sensor image G17 shown in FIG. 24, as shown in FIG. 25, it is possible to obtain a labeled line sensor image G18 in which labels L1 to L3 are attached to each of the detected white lumps. ..

（ステップＳ２１）
金具判定部３１ｋは、ラベル付きラインセンサ画像Ｇ１８が入力されると、実施例１と同様に、ラベルＬ１〜Ｌ３の白色塊の大きさを見て、架線金具かノイズかを判定する。大きさが小さいものはノイズであるものとして除去し、一定の大きさ以上の白色塊を架線金具と判定する。この結果、図２６に示すように、ハンガー６のみを抽出した画像Ｇ１９を得ることができ、これをメモリＭ２へ保存する。 (Step S21)
When the labeled line sensor image G18 is input, the metal fitting determination unit 31k determines whether it is an overhead wire metal fitting or noise by looking at the size of the white mass of the labels L1 to L3, as in the first embodiment. Those with a small size are removed as noise, and white lumps with a certain size or larger are judged to be overhead wire fittings. As a result, as shown in FIG. 26, an image G19 obtained by extracting only the hanger 6 can be obtained, and this is stored in the memory M2.

なお、ここでも、上述したラベリング処理部３１ｊは、視認性のためにはあった方がよいが、必須ではない。ラベリング処理部３１ｊがない場合には、金具判定部３１ｋには、ラインセンサ画像Ｇ１７が入力され、金具判定部３１ｋは、ラインセンサ画像Ｇ１７に対して、白色塊の検出を行い、検出した白色塊の大きさを見て、架線金具かノイズかを判定すればよい。 Again, the labeling processing unit 31j described above should be present for visibility, but it is not essential. When the labeling processing unit 31j is not provided, the line sensor image G17 is input to the metal fitting determination unit 31k, and the metal fitting determination unit 31k detects the white mass on the line sensor image G17 and detects the white mass. It is sufficient to judge whether it is an overhead wire fitting or noise by looking at the size of.

以上説明したように、本実施例では、画像を構成する各ラインが昼なのか夜なのか（又はトンネル等なのか）を判定することで、昼夜を問わずに、画像中で所定の方向に伸びる架線４や吊架線５をまず初めに除去し、残ったものを検出しており、これにより、架線設備を枕木方向から見た際に、架線４や吊架線５と異なる方向に延伸しているハンガー６等の架線金具を検出することができる。 As described above, in the present embodiment, by determining whether each line constituting the image is daytime or nighttime (or a tunnel or the like), the direction is determined in the image regardless of daytime or nighttime. The extending overhead wire 4 and the suspension wire 5 are first removed, and the remaining one is detected. As a result, when the overhead wire equipment is viewed from the sleeper direction, the overhead wire 4 and the suspension wire 5 are extended in a direction different from that of the overhead wire 4 and the suspension wire 5. It is possible to detect an overhead wire fitting such as a hanger 6 that is present.

本発明は、画像処理による架線金具の検出装置及び方法に好適なものである。 The present invention is suitable for a detection device and method for overhead wire fittings by image processing.

１電車車両
２ラインセンサカメラ
３画像処理部
４架線
５吊架線
６ハンガー
７コネクタ
３１演算装置
３１ａラインセンサ画像作成部
３１ｂ昼夜判定部
３１ｃ画像輝度反転部
３１ｄ明るさ補正部
３１ｅメディアンフィルタ処理部
３１ｆＧＳＴＨ処理部
３１ｇグレースケールオープニング処理部
３１ｈ２値化処理部
３１ｉクロージング処理部
３１ｊラベリング処理部
３１ｋ金具判定部
３２記録装置 1 Train vehicle 2 Line sensor camera 3 Image processing unit 4 Overhead wire 5 Suspended line 6 Hanger 7 Connector 31 Computing device 31a Line sensor image creation unit 31b Day / night judgment unit 31c Image brightness inversion unit 31d Brightness correction unit 31e Median filter processing unit 31f GSTH Processing unit 31g Grayscale opening processing unit 31h Binarization processing unit 31i Closing processing unit 31j Labeling processing unit 31k Metal fittings judgment unit 32 Recording device

Claims

A line sensor camera that captures the overhead wire and overhead wire equipment perpendicular to the traveling direction of the train vehicle while the train vehicle is running, and a line sensor camera.
It has an image processing unit that performs image processing on an image created by arranging image signals output from the line sensor camera in chronological order and detects an overhead wire fitting from the image.
The image processing unit
By removing the one extending in the same direction as the overhead wire from the image and detecting the remaining one, the overhead wire fitting extending in a direction different from the overhead wire is detected .
An image luminance inversion unit that performs luminance inversion processing on the image created by arranging the image signals output from the line sensor camera in chronological order.
A GSTH processing unit that performs GSTH processing in the extending direction of the overhead wire with respect to the image that has undergone the brightness inverting processing in the image brightness inverting unit.
A grayscale opening processing unit that performs grayscale opening processing in a direction perpendicular to the extending direction of the overhead wire with respect to the image that has undergone the GSTH processing in the GSTH processing unit.
A binarization processing unit that performs binarization processing on the image that has undergone the grayscale opening processing in the grayscale opening processing unit, and a binarization processing unit.
A closing processing unit that performs closing processing in a direction perpendicular to the extension direction of the overhead wire with respect to the image that has been binarized by the binarization processing unit.
A metal fitting determination unit that detects a white mass from the image that has undergone the closing process by the closing processing unit and determines whether or not the metal fitting is an overhead wire fitting based on the size of the detected white mass.
An overhead wire fitting detection device characterized by having.

A line sensor camera that captures the overhead wire and overhead wire equipment perpendicular to the traveling direction of the train vehicle while the train vehicle is running, and a line sensor camera.
It has an image processing unit that performs image processing on an image created by arranging image signals output from the line sensor camera in chronological order and detects an overhead wire fitting from the image.
The image processing unit
By removing the one extending in the same direction as the overhead wire from the image and detecting the remaining one, the overhead wire fitting extending in a direction different from the overhead wire is detected.
A day / night determination unit that determines whether the brightness of each image signal is equivalent to daytime or nighttime with respect to the image created by arranging the image signals output from the line sensor camera in chronological order.
For the image created by arranging the image signals output from the line sensor camera in chronological order, the image brightness inversion process is performed on the image signal whose brightness is determined to be equivalent to daytime by the day / night determination unit. Department and
Brightness that performs brightness correction processing to increase the difference in brightness to the image signal whose brightness is determined to be equivalent to night by the day / night determination unit with respect to the image for which the brightness inversion process has been performed by the image brightness inversion unit. Brightness correction part and
A GSTH processing unit that performs GSTH processing in the extending direction of the overhead wire with respect to the image that has undergone the brightness correction processing by the brightness correction unit.
A grayscale opening processing unit that performs grayscale opening processing in a direction perpendicular to the extending direction of the overhead wire with respect to the image that has undergone the GSTH processing in the GSTH processing unit.
A binarization processing unit that performs binarization processing on the image that has undergone the grayscale opening processing in the grayscale opening processing unit, and a binarization processing unit.
A closing processing unit that performs closing processing in a direction perpendicular to the extension direction of the overhead wire with respect to the image that has been binarized by the binarization processing unit.
A metal fitting determination unit that detects a white mass from the image that has undergone the closing process by the closing processing unit and determines whether or not the metal fitting is an overhead wire fitting based on the size of the detected white mass.
An overhead wire fitting detection device characterized by having.

In the overhead wire metal fitting detection device according to claim 2.
The image processing unit
It has a median filter processing unit that performs median filter processing on the image that has undergone the brightness correction processing by the brightness correction unit.
The GSTH processing unit is an overhead wire metal fitting detection device, characterized in that the GSTH processing is performed on the image obtained by the median filter processing unit in the extending direction of the overhead wire.

While the train vehicle is running, a line sensor camera is used to photograph the overhead wire and the overhead wire equipment perpendicular to the traveling direction of the train vehicle.
An image is created by arranging the image signals output from the line sensor camera in chronological order.
During image processing of the image, the overhead wire fitting extending in a direction different from the overhead wire is removed by removing the one extending in the same direction as the overhead wire from the image and detecting the remaining one. Detect and
During the image processing
Luminance inversion processing is performed on the image created by arranging the image signals output from the line sensor camera in chronological order.
The image obtained by performing the brightness inversion processing is subjected to GSTH processing in the extending direction of the overhead wire.
A grayscale opening process was performed on the image subjected to the GSTH process in a direction perpendicular to the extending direction of the overhead wire.
The image that has undergone the grayscale opening process is subjected to binarization processing.
The image obtained by the binarization process is subjected to a closing process in a direction perpendicular to the extending direction of the overhead wire.
A method for detecting an overhead wire fitting, which comprises detecting a white lump from the image subjected to the closing process and determining whether or not the white lump is the overhead wire fitting based on the size of the detected white lump .

While the train vehicle is running, a line sensor camera is used to photograph the overhead wire and the overhead wire equipment perpendicular to the traveling direction of the train vehicle.
An image is created by arranging the image signals output from the line sensor camera in chronological order.
During image processing of the image, the overhead wire fitting extending in a direction different from the overhead wire is removed by removing the one extending in the same direction as the overhead wire from the image and detecting the remaining one. Detect and
During the image processing
With respect to the image created by arranging the image signals output from the line sensor camera in chronological order, it is determined for each image signal whether the brightness is equivalent to daytime or nighttime.
With respect to the image created by arranging the image signals output from the line sensor camera in chronological order, the image signal whose brightness is determined to be equivalent to daytime is subjected to brightness inversion processing.
The image to which the brightness inversion processing has been performed is subjected to brightness correction processing for increasing the difference in brightness to the image signal whose brightness is determined to be equivalent to that at night.
The image to which the brightness correction processing has been performed is subjected to GSTH processing in the extending direction of the overhead wire.
A grayscale opening process was performed on the image subjected to the GSTH process in a direction perpendicular to the extending direction of the overhead wire.
The image that has undergone the grayscale opening process is subjected to binarization processing.
The image obtained by the binarization process is subjected to a closing process in a direction perpendicular to the extending direction of the overhead wire.
A method for detecting an overhead wire fitting, which comprises detecting a white lump from the image subjected to the closing process and determining whether or not the white lump is the overhead wire fitting based on the size of the detected white lump .

In the overhead wire fitting detection method according to claim 5,
After performing the brightness correction process, the image obtained by performing the brightness correction process is subjected to a median filter process.
A method for detecting an overhead wire fitting, which comprises performing the GSTH process on the image subjected to the median filter process in the extending direction of the overhead wire.