WO2024070612A1 - 線条異常検知システム及び線条異常検知方法 - Google Patents

線条異常検知システム及び線条異常検知方法 Download PDF

Info

Publication number
WO2024070612A1
WO2024070612A1 PCT/JP2023/032955 JP2023032955W WO2024070612A1 WO 2024070612 A1 WO2024070612 A1 WO 2024070612A1 JP 2023032955 W JP2023032955 W JP 2023032955W WO 2024070612 A1 WO2024070612 A1 WO 2024070612A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
wire
fitting
likelihood
abnormality detection
Prior art date
Application number
PCT/JP2023/032955
Other languages
English (en)
French (fr)
Inventor
孝徳 小井手
大樹 山本
匠朗 川畑
Original Assignee
株式会社明電舎
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社明電舎 filed Critical 株式会社明電舎
Publication of WO2024070612A1 publication Critical patent/WO2024070612A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60M—POWER SUPPLY LINES, AND DEVICES ALONG RAILS, FOR ELECTRICALLY- PROPELLED VEHICLES
    • B60M1/00—Power supply lines for contact with collector on vehicle
    • B60M1/12—Trolley lines; Accessories therefor
    • B60M1/28—Manufacturing or repairing trolley lines
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving

Definitions

  • the present invention relates to a line abnormality detection system and a line abnormality detection method.
  • Patent Document 1 discloses a technology for detecting contact wires from line sensor camera images.
  • Patent Document 2 discloses a technology for combining line sensor camera images and range lasers to extract overhead and suspended wires and perform three-dimensional measurements.
  • Patent Document 1 the continuity of the overhead lines is evaluated by edge detection processing of images captured by a line sensor camera, but there is a problem in that image processing cannot reliably detect the wires.
  • Patent Document 2 multiple image processing steps must be performed on the image from the line sensor, which results in heavy processing due to the need for three-dimensional measurement, and the processing time is therefore long.
  • the present invention aims to provide a line abnormality detection system and a line abnormality detection method that can detect lines with higher accuracy and in a shorter time.
  • the wire abnormality detection system of the present invention is a wire abnormality detection system that detects abnormalities in wires including at least suspension wires and trolley wires used for operating railway vehicles, and is characterized by comprising an imaging unit that photographs the wires and metal fittings attached to the wires, a trolley wire fitting detection unit that detects the metal fittings from image data photographed by the imaging unit, a wire detection unit that detects an image area including the wires from the image data based on the positions of the detected metal fittings and on a likelihood indicating the degree to which the metal fittings can be connected in a straight line, and a wire abnormality detection unit that detects abnormalities in the wires from the image area including the wires.
  • the wire abnormality detection method of the present invention is a wire abnormality detection method for detecting an abnormality in a wire including at least a suspension wire and a contact wire for the operation of a railway vehicle, and is characterized by including the steps of photographing the wire and metal fittings attached to the wire with an imaging unit, detecting the metal fittings from image data photographed by the imaging unit, detecting an image area including the wire from the image data based on the position of the detected metal fittings and on a likelihood indicating the degree to which the metal fittings can be connected in a straight line, and detecting an abnormality in the wire from the image area including the wire.
  • This invention makes it possible to detect lines more reliably and in a shorter time.
  • FIG. 1 is a perspective view showing an electric railway facility in which a wire abnormality detection system 10 according to a first embodiment of the present invention is used.
  • FIG. 2 is a block diagram showing a functional configuration of the line abnormality detection system 10 according to the first embodiment.
  • 4 is a flowchart for explaining the operation of the line abnormality detection system 10 according to the first embodiment.
  • 2 is a conceptual diagram for explaining a line detection process performed by the line abnormality detection system 10 according to the first embodiment.
  • FIG. 1 is a conceptual diagram for explaining a method for calculating a joint likelihood of main parts by the line abnormality detection system 10 according to the first embodiment.
  • FIG. 10 is a conceptual diagram for explaining a method for calculating a joint likelihood of a remainder rectangle by the line abnormality detection system 10 according to the first embodiment.
  • FIG. 1 is a conceptual diagram for explaining rectangular metal fitting connection information obtained by the line abnormality detection system 10 according to the first embodiment.
  • FIG. 1 is a conceptual diagram for explaining a method for allocating line rectangles by the line abnormality detection system 10 according to the first embodiment.
  • FIG. FIG. 11 is a perspective view showing an electric railway facility in which a wire abnormality detection system 10 according to a second embodiment of the present invention is used.
  • FIG. 11 is a block diagram showing a functional configuration of a line abnormality detection system 10 according to a second embodiment.
  • 10 is a flowchart for explaining the operation of the line abnormality detection system 10 according to the second embodiment.
  • FIG. 11 is a schematic diagram showing a metal fitting rectangle of a compound section in which the line abnormality detection system 10 according to the second embodiment is used.
  • FIG. 11 is a perspective view showing an electric railway facility in which a wire abnormality detection system 10 according to a third embodiment of the present invention is used.
  • FIG. 11 is a block diagram showing a functional configuration of a line abnormality detection system 10 according to a third embodiment.
  • 10 is a flowchart for explaining the operation of the line abnormality detection system 10 according to the third embodiment.
  • FIG. 13 is a conceptual diagram for explaining a joint likelihood calculation method using laser data by the line anomaly detection system 10 according to the third embodiment.
  • the object of the present invention is to enable automatic line detection in images acquired from a camera mounted on the roof of a railway vehicle, and to reduce the labor required for maintenance and inspection work on line by performing abnormality detection on the line-detected images in subsequent processing.
  • FIG. 1 is a perspective view showing electric railway equipment in which a wire abnormality detection system 10 according to a first embodiment of the present invention is used.
  • a vehicle 1 is traveling in the direction of travel indicated by the arrow.
  • overhead poles 3 are arranged at predetermined intervals along the track on which the vehicle 1 travels, and a suspension wire 4 is suspended from the overhead poles 3.
  • the suspension wire 4 supports a contact wire 5 by a hanger 6 (metal fitting).
  • the wire abnormality detection system 10 is composed of two line sensor cameras (imaging units) 11a, 11b installed on the vehicle roof 2 and an analysis device 12.
  • the line sensor cameras 11a, 11b are installed so that their imaging surfaces are in the direction of the sleepers.
  • the line sensor cameras 11a, 11b photograph the wires (suspension wire 4, trolley wire 5) and hangers 6 (metal fittings) from diagonally downward directions on the left and right sides of the vehicle.
  • two line sensor cameras 11a, 11b are used in order to capture images from the left and right directions in case there is a problem such as an inability to capture images for some reason, but the wire abnormality detection system 10 will function with just one camera.
  • Figure 1 only shows one wire (main line; suspension wire 4, contact wire 5), but in reality, there may also be wires such as crossover wires that cross the main line diagonally.
  • wires such as the crossover wires included in addition to the main line wires, and explain this as a "remainder rectangle.”
  • FIG. 2 is a block diagram showing the functional configuration of the wire abnormality detection system 10 according to the first embodiment.
  • the wire abnormality detection system 10 is composed of line sensor cameras 11a, 11b and an analysis device 12.
  • the analysis device 12 is composed of a memory unit 13, an electric train line metal fitting detection unit 14, a wire detection unit 15, and a wire abnormality detection unit 16.
  • Image data captured by the line sensor cameras 11a, 11b is stored in the memory unit 13.
  • the line sensor cameras 11a, 11b continuously capture images, and from then on, analysis processing is performed with each space between overhead poles as one unit.
  • the overhead contact wire fittings detection unit 14 detects fittings (hangers 6) from the image data stored in the memory unit 13, and stores this in the memory unit 13 as fittings detection information.
  • the wire detection unit 15 detects wires (suspension wires 4, trolley wires 5) from the fittings detection information stored in the memory unit 13, and stores this in the memory unit 13 as wire detection information.
  • the wire abnormality detection unit 16 detects abnormalities in the wires (suspension wires 4, trolley wires 5) from the wire detection image assigned based on the wire detection information stored in the memory unit 13, and stores this in the memory unit 13 as an abnormality determination (result).
  • Figure 3 is a flowchart for explaining the operation of the wire abnormality detection system 10 according to the first embodiment.
  • the electric train line fitting detection unit 14 detects images of fittings (hangers 6) by performing electric train line fitting detection processing on image data 20 between overhead poles stored in the memory unit 13, and obtains fitting detection information 21 that links the fitting detection position (xmin, ymin, xmax, ymax) with a label name (step S10).
  • the method of electric train line fitting detection processing is not particularly limited.
  • it may be an object detection model using deep learning such as SSD, YOLO, Faster R-CNN, M2Det, etc.
  • FIG. 4 is a conceptual diagram for explaining the wire detection process by the wire abnormality detection system 10 of the first embodiment.
  • the image data is one unit per pole.
  • the thick line in the figure is the hanger 6 (metal fitting) that suspends the trolley wire 5.
  • all hangers 6 (metal fittings) in the image are detected, a metal fitting rectangle 6a that surrounds each hanger 6 (metal fitting) is set, and the coordinates of the metal fitting rectangle 6a are obtained as the metal fitting detection position (xmin, ymin, xmax, ymax).
  • a label name is set to indicate which metal fitting each hanger 6 (metal fitting) corresponds to and to distinguish which metal fitting in the image it is.
  • the wire detection unit 15 receives metal fitting detection information 21 that links the metal fitting detection positions (xmin, ymin, xmax, ymax) and label names of all hangers 6 (metal fittings) included between the overhead poles, connects metal fitting rectangles 6a that it has determined to be on the same overhead line (metal fitting rectangle 6a joining process: steps S14, S16, S18 below), and finally assigns a wire rectangle (wire rectangle assignment process: step S20 below), thereby performing wire detection and obtaining wire detection information 22 (step S12).
  • the line detection unit 15 first registers the "hanger" label rectangle for the metal fitting rectangle 6a from the metal fitting detection information 21 as a metal fitting rectangle to be used for line detection (step S14). Next, the line detection unit 15 combines the metal fitting rectangles of the main parts (straight parts) (step S16). Here, the combination of the metal fitting rectangles of the main parts (straight parts) will be explained.
  • FIG. 5 is a conceptual diagram for explaining a method of calculating the likelihood of joining main parts by the line abnormality detection system 10 according to the first embodiment.
  • the likelihood of joining is calculated from the positional relationship between each of the joining candidates. As shown in FIG.
  • the likelihood of joining is calculated using three parameters, namely, the deviation distance D x indicating the distance of the deviation of the center of gravity of the metal fitting rectangle, the distance in the line direction D y indicating the distance between the metal fitting rectangles, and the angle ⁇ indicating the angle of the deviation of the center of gravity, and the deviation distance likelihood L Dx , the distance likelihood in the line direction L Dy , and the angle likelihood L ⁇ are calculated by weighting and adding up each likelihood from the following formulas (1) to (4). Since the main line (traveling line) is depicted linearly in the vertical direction of the image, the elements of the deviation distance D x and the distance D y in the line direction are emphasized.
  • the rectangles with the maximum total likelihood L are joined and registered as the joining source (parent rectangle) and the joining destination (child rectangle). Therefore, the smaller the deviation distance Dx , the closer the distance Dy in the line direction is to the specified installation interval, and the closer the angle ⁇ is to 0, the larger the total likelihood becomes.
  • the line detection unit 15 combines the excess rectangles other than the main part (metal fitting rectangles other than the main part) (step S18).
  • the excess rectangles (diagonal parts) with metal fitting rectangles we will explain how to combine the excess rectangles (diagonal parts) with metal fitting rectangles.
  • FIG. 6 is a conceptual diagram for explaining a method for calculating the likelihood of joining of a remainder rectangle by the line anomaly detection system 10 according to the first embodiment.
  • the likelihood of joining is calculated from the positional relationship of the target fitting rectangle (the fitting rectangle "1", the fitting rectangle "0" above it, and the fitting rectangle "2" below it in FIG. 6) among the fitting rectangles that were not joined as the main part. As shown in Fig.
  • the combined likelihood is calculated using three parameters: the line direction distance Dy1 indicating the distance between the first fitting rectangle "0” and the second fitting rectangle “1”, the line direction distance Dy2 indicating the distance between the second fitting rectangle “1” and the third fitting rectangle “2”, and the differential angle ⁇ d indicating the angle formed by the line connecting the centers of gravity of the first fitting rectangle "0” and the second fitting rectangle “1” and the line connecting the centers of gravity of the second fitting rectangle “1” and the third fitting rectangle “2".
  • the combined likelihood is calculated by weighting and adding up the differential angle likelihood L ⁇ d , the line direction distance likelihood LDY2 , and the line direction distance likelihood LDY1 according to the following equations (5) to (8).
  • the remainder rectangle is a rectangle that is not distributed linearly in the vertical direction of the image, and is considered to be a line that is an oblique photograph of the above-mentioned crossover wire, etc., so the element of the differential angle ⁇ d is emphasized.
  • the fitting rectangle with the maximum total likelihood L is registered as the connection source (parent rectangle) and connection destination (child rectangle). Therefore, the smaller the difference angle ⁇ d is, and the closer the line direction distance Dy1 and the line direction distance Dy2 are to the specified installation interval, the larger the total likelihood is.
  • FIG. 7 is a conceptual diagram for explaining the metal fitting rectangle connection information by the wire anomaly detection system 10 according to the first embodiment.
  • the line detection unit 15 performs an allocation process to allocate line rectangles containing lines from the combined metal fitting rectangles (step S20). More specifically, the allocation process of line rectangles is performed for each combined group based on the combination information of the metal fitting rectangles. The allocation of line rectangles to combined group G1 shown in FIG. 7 is described below.
  • Figures 8(a) and (b) are conceptual diagrams for explaining a method for allocating stripe rectangles by the stripe anomaly detection system 10 according to the first embodiment.
  • areas are divided using the rectangle height position as a boundary, and an approximation formula passing through the coordinates of the center of gravity of the rectangle is found for each area.
  • an approximation formula for a linear function is found from the coordinates of the nearest pair of rectangles.
  • an approximation formula for a quadratic function is found from the coordinates of the three previous and following rectangles.
  • the line rectangle size is determined using the larger of the two metal fitting rectangles closest to the top of the image coordinate system, and the center coordinates of the line rectangle are set to the approximate formula found in Figure 8 (a), and line rectangles (square dashed rectangles) are assigned starting from the top.
  • the final line rectangle is adjusted by adding an amount that makes it difficult to cut.
  • the position of the next rectangle assignment line can also be adjusted by [rectangle width x shift rate (0 to 1)].
  • the line abnormality detection unit 16 performs line abnormality detection processing by inputting the line detection image assigned based on the line detection information 22, performing anomaly detection to detect line abnormalities, and finally outputting an anomaly determination result (step S22).
  • the method of anomaly detection here is not particularly limited, but may be, for example, image recognition using a deep learning object recognition model such as VAE, GAN, ResNET, DeepSAD, or CS-FLOW.
  • the electric train wire fitting detection unit 14 detects fittings attached to the wires from images acquired by the line sensor cameras 11a and 11b mounted on the vehicle roof 2 of the vehicle 1, the wire detection unit 15 detects the wires from the fitting detection information, and the wire abnormality detection unit 16 detects wire abnormalities from the wire detection information and the wire image. This makes it possible to detect wires with higher accuracy and in a shorter time, thereby realizing labor savings in maintenance and inspection work for wires.
  • the line detection unit 15 calculates the likelihood that metal fittings can be connected in a straight line, and detects lines from image data based on the likelihood. This makes it possible to detect not only the main line, but also lines that intersect with the main line with greater accuracy and in a shorter time, thereby realizing labor savings in maintenance and inspection work for lines.
  • FIG. 9 is a perspective view showing an electric railway facility in which a wire anomaly detection system 10 according to a second embodiment of the present invention is used.
  • the second embodiment is directed to processing a compound catenary type section.
  • the compound catenary type is a system in which an auxiliary catenary 7 is added between a suspension wire 4 and a contact wire 5, the suspension wire 4 supports the auxiliary catenary 7 with a dropper 8, and the auxiliary catenary 7 supports the contact wire 5 with a hanger 6.
  • FIG. 10 is a block diagram showing the functional configuration of the line abnormality detection system 10 according to the second embodiment. Note that parts corresponding to the functional configuration of the line abnormality detection system 10 according to the first embodiment shown in FIG. 1 are given the same reference numerals and their explanations are omitted.
  • a metal fitting identification unit 17 is newly provided.
  • the metal fitting identification unit 17 acquires metal fitting detection information that identifies the above-mentioned hanger 6 and dropper 8 as different metal fittings. Therefore, the line detection unit 15 detects lines for each metal fitting rectangle based on the metal fitting detection information identified for each metal fitting.
  • FIG. 11 is a flowchart for explaining the operation of the line abnormality detection system 10 according to the second embodiment.
  • the operation of the line abnormality detection system 10 according to the second embodiment is basically the same as that of the first embodiment, but the metal fitting identification unit 17 adds an identification process based on the type of metal fitting, and the line detection unit 15 performs a line detection process according to the type of metal fitting.
  • the electric train line fitting detection unit 14 detects images of the fittings (hanger 6, dropper 8) by performing electric train line fitting detection processing on the image data 20 between the overhead poles stored in the memory unit 13, and obtains fitting detection information 21 that links the fitting detection position (xmin, ymin, xmax, ymax) with the label name (step S30).
  • the fitting identification unit 17 obtains fitting detection information 24 that identifies the hanger 6 and dropper 8 as different fittings from the fitting detection information 21 (step S32). Because the hanger 6 and dropper 8 are different sizes, the width of the fitting rectangle is used as information to identify the hanger 6 and dropper 8.
  • FIG. 12 is a schematic diagram showing metal fitting rectangles in a compound section in which the wire anomaly detection system 10 according to the second embodiment is used. As shown in FIG. 12, the rectangle width of the hanger 6 rectangle and the metal fitting rectangle of the dropper 8 are significantly different. There are no particular limitations on the classification method, but for example, two-class classification based on the metal fitting rectangle width size using k-means may be performed.
  • the wire detection unit 15 receives the metal fitting detection information 24, which links the metal fitting detection positions and label names of all metal fittings (hangers 6 and droppers 8) included between the overhead poles, connects the metal fitting rectangles determined to be on the same overhead line, and finally performs wire detection by assigning a wire rectangle, and obtains wire detection information 25 (step S34).
  • Steps S36 to S42 shown in the figure are similar to steps S14 to S20 in the first embodiment, except that there are different metal fittings (hangers 6 and droppers 8) that have been identified, so their explanation is omitted.
  • the wire detection information 25 is obtained as the wire rectangle obtained by combining the hangers 6 and the wire rectangle obtained by combining the droppers 8.
  • the line abnormality detection unit 16 performs line abnormality detection processing by inputting a line detection image assigned based on line detection information 25 including a line rectangle obtained by connecting hangers 6 together and a line rectangle obtained by connecting droppers 8 together, performing anomaly detection to detect line abnormalities, and finally outputting an anomaly determination result 26 (step S44).
  • the method of anomaly detection here is not particularly limited, but for example, image recognition using an object recognition model of deep learning may be used.
  • the metal fittings identification unit 17 is provided, but this is not limiting.
  • the train line metal fittings detection unit 14 detects and labels the hangers 6 and droppers 8 as metal fittings ("hanger” and “dropper"), and the wire detection unit 15 registers the hangers 6 and droppers 8 according to the labels. In this way, the train line metal fittings detection unit 14 and the wire detection unit 15 may share the functions of the metal fittings identification unit 17.
  • metal fittings attached to the wires are detected from images acquired by line sensor cameras 11a, 11b mounted on the vehicle roof 2 of the vehicle 1, different metal fittings are classified, the wires are detected from the metal fitting detection information for each classified metal fitting, and abnormalities in the wires are detected from the wire detection information and the wire images.
  • the likelihood indicating the degree to which metal fittings can be connected in a straight line is calculated, and wires are detected from image data based on the likelihood. This makes it possible to detect the suspension wires, auxiliary suspension wires, and contact wires used in the compound catenary system with greater accuracy and in a shorter time, not only for the main line but also for wires that cross the main line, thereby realizing labor-saving maintenance and inspection work for the wires.
  • Fig. 13 is a perspective view showing an electric railway facility in which a wire anomaly detection system 10 according to a third embodiment of the present invention is used. Note that parts corresponding to those in Fig. 1 are given the same reference numerals and their explanations are omitted.
  • a range laser 18 is additionally disposed on the vehicle roof 2. The range laser 18 acquires the distance to the wires (suspension wires 4 and trolley wires 5) and metal fittings (hangers 6) and the elevation angle relative to the wires (suspension wires 4 and trolley wires 5) and metal fittings (hangers 6) as laser data.
  • FIG. 14 is a block diagram showing the functional configuration of the wire abnormality detection system 10 according to the third embodiment. Note that parts corresponding to those in FIG. 2 are given the same reference numerals and their explanations are omitted.
  • the range laser 18 acquires the distance to the wires (suspension wire 4 and trolley wire 5) and the elevation angle relative to the wires (suspension wire 4 and trolley wire 5) as laser data and stores them in the memory unit 13. Therefore, the wire detection unit 15 detects the wires for each metal fitting rectangle based on the metal fitting detection information classified for each metal fitting and the laser data.
  • FIG. 15 is a flowchart for explaining the operation of the line abnormality detection system 10 according to the third embodiment.
  • the operation of the line abnormality detection system 10 according to the third embodiment is basically the same as that of the first embodiment, but the processing in the line detection unit 15 is line detection processing using metal fitting detection information and laser data.
  • the electric train line fittings detection unit 14 detects images of fittings (hangers 6) by performing an electric train line fittings detection process on the image data 20 between the overhead poles stored in the memory unit 13, and obtains fittings detection information 21 that links the fitting detection position with the label name (step S50).
  • the wire detection unit 15 receives the metal fitting detection information 21, which links the metal fitting detection positions and label names of all metal fittings (hangers 6) included between the overhead poles, and the laser data 30 acquired by the range laser 18, and connects the metal fitting rectangles that it has determined to be on the same overhead line, and finally performs wire detection by assigning wire rectangles, and acquires wire detection information 25 (step S52).
  • steps S54 to S60 shown in the figure are similar to steps S14 to S20 in the first embodiment, but we will explain a method of calculating the likelihood using laser data 30 that is different from that in the first embodiment.
  • 16(a) to (d) are conceptual diagrams for explaining a method of calculating a likelihood of combination using the laser data 30 by the line anomaly detection system 10 according to the third embodiment.
  • a likelihood term using the laser data 30 is added.
  • the likelihood using the laser data 30 is calculated in the following manner. First, as shown in FIG. 16(a), it is confirmed that a laser point exists in the metal fitting rectangle "0" that is the combination source (if it does not exist, the likelihood is 0), and as shown in FIG. 16(b), a linear approximation equation is calculated between the metal fitting rectangle "1" that is the combination candidate. Next, as shown in FIG.
  • a laser angle ⁇ l based on the linear approximation equation and a rectangle angle ⁇ based on a straight line connecting the center of gravity points of the metal fitting rectangles "0" and “1” are calculated, and as shown in FIG. 16(d), a difference angle ⁇ sl between the laser angle ⁇ l and the rectangle angle ⁇ is calculated.
  • a laser likelihood L1 indicating the degree of deviation between a straight line connecting the centers of gravity of the metal fitting rectangle and a straight line expressed by a linear approximation equation by the laser is calculated from the following equation (9).
  • the laser likelihood L1 is calculated for all channels of the input laser data 30, and the highest total likelihood L is used (lasers are managed by channel by tracking the same overhead line).
  • the total value obtained by weighting and adding up the laser likelihood L1 , the deviation distance likelihood Ldx of the first embodiment, the distance likelihood Ldy in the line direction, and the angle likelihood L ⁇ is the total likelihood L with the candidate rectangle to be combined (Equation (10)). Since more input information is input than in the first embodiment, more accurate line detection is possible.
  • line detection is performed using the laser data 30 for combining the remaining rectangles in step S58.
  • the same process as in the first and second embodiments is performed for the allocation of line rectangles in step S60.
  • the line abnormality detection unit 16 performs line abnormality detection processing by inputting the line detection image assigned based on the line detection information 31, performing anomaly detection to detect abnormalities in the lines, and finally outputting an abnormality determination result 32 (step S64).
  • the method of anomaly detection here is not particularly limited, but for example, image recognition using an object recognition model of deep learning may be used.
  • metal fittings attached to the lines are detected from images acquired by the line sensor cameras 11a and 11b mounted on the vehicle roof 2 of the vehicle 1, and a likelihood indicating the degree to which the metal fittings can be connected in a straight line is calculated from the metal fitting detection information and the laser data 30 acquired by the range laser 18.
  • the lines are detected from the image data based on the likelihood, and abnormalities in the lines are detected from the line detection information and the line image. This makes it possible to detect the lines with greater accuracy and in a shorter time, thereby realizing labor savings in maintenance and inspection work for the lines.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Mechanical Engineering (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

線条をより高精度で、かつより短時間で検出する線条異常検知システムを提供する。線条異常検知システム１０は、ラインセンサカメラ１１ａ、１１ｂ、記憶部、電車線金具検出部、線条検出部及び線条異常検知部から構成される。ラインセンサカメラ１１ａ、１１ｂは、走行中の車両１の車両屋根２上から線条（吊架線４、トロリ線５、ハンガ６）を撮影する。車線金具検出部は、画像データから線条に付帯する金具（ハンガ６）を検出する。線条検出部は、金具同士が直線状に結合し得る度合を示す尤度を算出し、該尤度に基づいて画像データから線条（吊架線４、トロリ線５）を検出する。線条異常検知部は、線条検出情報と線条画像とから線条（吊架線４、トロリ線５）の異常を検知する。

Description

線条異常検知システム及び線条異常検知方法
　本発明は、線条異常検知システム及び線条異常検知方法に関する。
　従来、電気鉄道設備のうち、架空電車線（トロリ線、吊架線、補助吊架線；以下「線条」)に対する保守点検作業があり、線条を構成する撚り線のほつれや断線等を検査員が目視で確認して保守を行っている。しかしながら、目視による点検には限界があり、異常を見逃す可能性があった。
　そこで、特許文献１には、ラインセンサカメラ画像からトロリ線を検出する技術が開示されている。また、特許文献２には、ラインセンサカメラ画像及び測域レーザを組み合わせて、架線及び吊架線の抽出を行い、三次元計測を行う技術が開示されている。
特開２００９－０４０２１５号公報 特開２０１５－０１７８８２号公報
　しかしながら、特許文献１では、ラインセンサカメラによる画像に対してエッジ検出処理により架線の連続性を評価しているが、画像処理では、線条を確実に検出することができないという問題がある。
　また、特許文献２では、ラインセンサの画像に対して複数の画像処理を施す必要があるため、三次元計測を行うため処理が重くなり、処理に時間を要するという問題がある。
　そこで本発明は、線条をより高精度で、かつより短時間で検出することが可能な線条異常検知システム及び線条異常検知方法を提供することを課題とする。
　本発明は、上記課題を解決するため、以下の手段を採用する。
　すなわち、本発明の線条異常検知システムは、鉄道車両の運行のための少なくとも吊架線とトロリ線とを含む線条の異常を検知する線条異常検知システムであって、前記線条と前記線条に付帯する金具とを撮影する撮像部と、前記撮像部によって撮影された画像データから前記金具を検出する電車線金具検出部と、前記検出された金具の位置に基づいて、金具同士が直線で結合し得る度合を示す尤度に基づいて、前記画像データから前記線条が含まれる画像領域を検出する線条検出部と、前記線条が含まれる画像領域から前記線条の異常を検知する線条異常検知部と、を備えることを特徴とする。
　また、本発明の線条異常検知方法は、鉄道車両の運行のための少なくとも吊架線とトロリ線とを含む線条の異常を検知する線条異常検知方法であって、前記線条と前記線条に付帯する金具とを撮像部によって撮影すること、前記撮像部によって撮影された画像データから前記金具を検出すること、前記検出された金具の位置に基づいて、金具同士が直線で結合し得る度合を示す尤度に基づいて、前記画像データから前記線条が含まれる画像領域を検出すること、前記線条が含まれる画像領域から前記線条の異常を検知すること、を含むことを特徴とする。
　この発明によれば、線条をより確実に、かつより短時間で検出することができる。
本発明の第１実施形態による線条異常検知システム１０が用いられる電気鉄道設備を示す斜視図である。 本第１実施形態による線条異常検知システム１０の機能構成を示すブロック図である。 本第１実施形態による線条異常検知システム１０の動作を説明するためのフローチャートである。 本第１実施形態による線条異常検知システム１０による線条検出処理を説明するための概念図である。 本第１実施形態による線条異常検知システム１０による主要部分の結合尤度算出方法を説明するための概念図である。 本第１実施形態による線条異常検知システム１０による余り矩形の結合尤度算出方法を説明するための概念図である。 本第１実施形態による線条異常検知システム１０による金具矩形の結合情報を説明するための概念図である。 本第１実施形態による線条異常検知システム１０による線条矩形の割当方法を説明するための概念図である。 本発明の第２実施形態による線条異常検知システム１０が用いられる電気鉄道設備を示す斜視図である。 本第２実施形態による線条異常検知システム１０の機能構成を示すブロック図である。 本第２実施形態による線条異常検知システム１０の動作を説明するためのフローチャートである。 本第２実施形態による線条異常検知システム１０が用いられるコンパウンド区間の金具矩形を示す模式図である。 本発明の第３実施形態による線条異常検知システム１０が用いられる電気鉄道設備を示す斜視図である。 本第３実施形態による線条異常検知システム１０の機能構成を示すブロック図である。 本第３実施形態による線条異常検知システム１０の動作を説明するためのフローチャートである。 本第３実施形態による線条異常検知システム１０によるレーザデータを用いた結合尤度算出方法を説明するための概念図である。
　以下、添付図面を参照して、本発明の実施の形態について説明する。
　本発明は、鉄道車両の屋根上搭載カメラから取得された画像に対し、自動で線条検出を行うことを可能とし、後段処理で線条検出画像に対して異常検知を行うことで、線条に対する保守点検業務の省力化を実現することが本発明の目的である。
Ａ．第１実施形態
　図１は、本発明の第１実施形態による線条異常検知システム１０が用いられる電気鉄道設備を示す斜視図である。図１において、車両１は、矢印で示す進行方向に走行している。電気鉄道設備としては、車両１が走行する線路に沿って所定の間隔で架線柱３が配設されており、該架線柱３から吊架線４が吊り下げられている。そして、吊架線４がハンガ６（金具）でトロリ線５を支持している。
　本第１実施形態において、線条異常検知システム１０は、車両屋根２上に設置された２台のラインセンサカメラ（撮像部）１１ａ、１１ｂと解析装置１２とから構成される。ラインセンサカメラ１１ａ、１１ｂは、撮像面が枕木方向になるように設置される。すなわち、ラインセンサカメラ１１ａ、１１ｂは、車両の左右の斜め下方向から線条（吊架線４、トロリ線５）とハンガ６（金具）とを撮影することになる。なお、２台のラインセンサカメラ１１ａ、１１ｂを用いているのは、何らかの原因で撮影ができないなどの不具合があることを想定し、左右それぞれの方向から画像を撮影するためであるが、１台のみでも本線条異常検知システム１０は機能する。
　なお、図１には、１つの線条（本線；吊架線４、トロリ線５）しか示していないが、実際には、本線に対して斜めに交差する渡り線等の線条も存在する場合がある。以下の処理では、本線の線条に加えて上記渡り線等の線条が含まれる場合を想定し、「余り矩形」として説明している。
　図２は、本第１実施形態による線条異常検知システム１０の機能構成を示すブロック図である。線条異常検知システム１０は、上述したように、ラインセンサカメラ１１ａ、１１ｂと解析装置１２とから構成される。解析装置１２は、記憶部１３、電車線金具検出部１４、線条検出部１５及び線条異常検知部１６から構成される。ラインセンサカメラ１１ａ、１１ｂで撮影された画像データは、記憶部１３に保存される。ラインセンサカメラ１１ａ、１１ｂは、連続して画像を撮影しており、以降では、架線柱間分を１単位として解析処理される。
　電車線金具検出部１４は、記憶部１３に保存されている画像データから金具（ハンガ６）を検出し、金具検出情報として記憶部１３に保存する。線条検出部１５は、記憶部１３に保存されている金具検出情報から線条（吊架線４、トロリ線５）を検出し、線条検出情報として記憶部１３に保存する。線条異常検知部１６は、記憶部１３に保存されている線条検出情報に基づいて割り当てられた線条検出画像から線条（吊架線４、トロリ線５）の異常を検知し、異常判定（結果）として記憶部１３に保存する。
　図３は、本第１実施形態による線条異常検知システム１０の動作を説明するためのフローチャートである。まず、電車線金具検出部１４は、記憶部１３に保存されている架線柱間の画像データ２０に対して電車線金具検出処理を行うことで金具（ハンガ６）の画像を検出し、金具検出位置（xmin, ymin, xmax, ymax）とラベル名とを紐付けた金具検出情報２１を取得する（ステップＳ１０）。なお、電車線金具検出処理の方法は特に限定しない。例えば、SSD、YOLO、FasterR-CNN、M2Det等の深層学習を用いた物体検出モデル等であってもよい。
　ここで、図４は、本第１実施形態の線条異常検知システム１０よる線条検出処理を説明するための概念図である。図示するように、画像データは、架線柱間分を１単位としている。図４に示す画像データの場合には、２つの線条（交差線条）が撮影された場合を示している。図中の太線分は、トロリ線５を吊り下げているハンガ６（金具）である。線条検出処理では、画像内の全てのハンガ６（金具）が検出され、それぞれのハンガ６（金具）を囲む金具矩形６ａを設定し、その金具矩形６ａの座標を金具検出位置（xmin, ymin, xmax, ymax）として取得する。また、線条検出処理では、それぞれのハンガ６（金具）が何の金具に該当するのかを示し、画像内のどの金具であるかを区別するためのラベル名を設定する。この場合、ラベル名は「ハンガｉ」（ｉ＝０，１，...，ｎ）である。
　次に、線条検出部１５は、架線柱間に含まれる全てのハンガ６（金具）の金具検出位置（xmin, ymin, xmax, ymax）とラベル名とが紐付けられた金具検出情報２１を受け取り、同架線上にあると判定した金具矩形６ａを結んでいき（金具矩形６ａの結合処理：下記ステップＳ１４、Ｓ１６、Ｓ１８）、最終的に線条矩形を割り当てる（線条矩形の割当処理：下記ステップＳ２０）ことで線条検出を行い、線条検出情報２２を取得する（ステップＳ１２）。
　より詳細に説明すると、線条検出部１５は、まず、金具検出情報２１から、金具矩形６ａに対して、「ハンガ」ラベル矩形を線条検出に用いる金具矩形として登録する（ステップＳ１４）。次に、線条検出部１５は、主要部分(直線的な部分)の金具矩形を結合する（ステップＳ１６）。ここで、主要部分(直線的な部分)の金具矩形の結合について説明する。
　図５は、本第１実施形態による線条異常検知システム１０による主要部分の結合尤度算出方法を説明するための概念図である。主要部分（直線的な部分）の結合では、各結合候補同士の位置関係から結合尤度を計算する。図５に示すように、結合候補として金具矩形「０」と金具矩形「１」とに注目した場合、結合尤度は、金具矩形の重心のずれの距離を示す偏位距離Ｄｘ、金具矩形間の距離を示すライン方向の距離Ｄｙ、上記重心のずれの角度を示す角度θの３つのパラメータを用い、以下の式（１）～（４）から偏位距離尤度ＬＤｘ、ライン方向の距離尤度ＬＤｙ、角度尤度Ｌθ、それぞれの尤度に重み付けして合計した合計尤度Ｌを算出する。本線（走行線）は、画像縦方向に直線的に写るため、偏位距離Ｄｘとライン方向の距離Ｄｙとの要素を重視する。そして、互いに合計尤度Ｌが最大となる矩形を結合元（親矩形）及び結合先（子矩形）として結合して登録する。したがって、偏位距離Ｄｘが小さいほど、ライン方向の距離Ｄｙが規定された設置間隔に近いほど、角度θが０に近いほど、合計尤度は大きくなる。
Figure JPOXMLDOC01-appb-M000001
　次に、線条検出部１５は、主要部分以外の余り矩形（主要部分以外の金具矩形）を結合する（ステップＳ１８）。ここで、余り矩形(斜めの部分)の金具矩形の結合について説明する。
　図６は、本第１実施形態による線条異常検知システム１０による余り矩形の結合尤度算出方法を説明するための概念図である。余り矩形の結合では、主要部分として結合されなかった金具矩形の中で、対象となる金具矩形（図６における金具矩形「１」とその上の金具矩形「０」とその下の金具矩形「２」）の位置関係から結合尤度を計算する。結合尤度は、図６に示すように、第１の金具矩形「０」と第２の金具矩形「１」との距離を示すライン方向の距離Ｄｙ１、第２の金具矩形「１」と第３の金具矩形「２」との距離を示すライン方向の距離Ｄｙ２、第１の金具矩形「０」と第２の金具矩形「１」の重心を結ぶ直線と第２の金具矩形「１」と第３の金具矩形「２」の重心を結ぶ直線とが成す角度を示す差分角度θｄの３つのパラメータを用い、下記式（５）～（８）から、差分角度尤度Ｌθｄ、ライン方向の距離尤度ＬＤｙ２、ライン方向の距離尤度ＬＤｙ１に対して重み付けして合計した合計尤度Ｌを算出する。余り矩形は、画像縦方向に直線的でない分布の矩形で、上述した渡り線等が斜めに撮影された線条と考えられるため、差分角度θｄの要素を重視する。そして、合計尤度Ｌが最大となる金具矩形を結合元（親矩形）及び結合先（子矩形）として登録する。したがって、差分角度θｄが小さいほど、ライン方向の距離Ｄｙ１及びライン方向の距離Ｄｙ２が規定された設置間隔に近いほど、合計尤度は大きくなる。
Figure JPOXMLDOC01-appb-M000002
　図７は、本第１実施形態による線条異常検知システム１０による金具矩形の結合情報を説明するための概念図である。上述した主要部分(直線的な部分)の金具矩形の結合及び余り矩形（金具矩形）の結合により、図７に示すように、金具矩形「０」、「２」、「４」、「６」、「８」が主要部分として結合され、金具矩形「１」、「３」、「５」、「７」、「９」が余り矩形として結合される。主要部分の結合を結合グループＧ１とし、余り矩形の結合を結合グループＧ２とする。
　次に、線条検出部１５は、結合された金具矩形から、線条を含む線条矩形を割り当てる割当処理を行う（ステップＳ２０）。より詳細には、線条矩形の割当処理は、金具矩形の結合情報を元に各結合グループ単位で行う。以下では、図７に示す結合グループＧ１に対する線条矩形の割当について説明する。
　図８（ａ）、（ｂ）は、本第１実施形態による線条異常検知システム１０による線条矩形の割当方法を説明するための概念図である。図８（ａ）に示すように、矩形高さ位置を境界としてエリアを分け、各エリアで矩形の重心座標を通る近似式を求める。最上段及び最下段のエリアは、直近のペア矩形座標から１次関数の近似式を求める。それ以外は前後３つの矩形座標から２次関数の近似式を求める。
　次に、図８（ｂ）に示すように、画像座標の上端から直近の２つの金具矩形のうち矩形幅が大きい方の値を用いて線条矩形サイズとし、線条矩形の中心座標を図８（ａ）で求めた近似式上とし、上から順に線条矩形（正方形の破線矩形）を割り当てる。最後の線条矩形には、キリが悪い分を足して調整する。また、次の矩形割当ライン位置は［矩形幅×シフト率（０～１）］で調整可能とする。
　最後に、線条異常検知部１６は、線条異常検知処理として、線条検出情報２２に基づいて割り当てられた線条検出画像を入力とし、線条の異常を検知する異常検知を行い、最終的に異常判定結果を出力する（ステップＳ２２）。ここでの異常検知の方法については、特に限定しないが、例えば、VAE、GAN、ResNET、DeepSAD、CS-FLOW等の深層学習の物体認識モデルを用いた画像識別等を用いればよい。
　上述した第１実施形態によれば、車両１の車両屋根２上に搭載したラインセンサカメラ１１ａ、１１ｂで取得した画像から、電車線金具検出部１４で、線条に付帯する金具を検出し、線条検出部１５で金具検出情報から線条を検出し、線条異常検知部１６で線条検出情報と線条画像とから線条の異常を検知するようにしたので、線条をより高精度で、かつより短時間で検出することができ、線条に対する保守点検業務の省力化を実現することができる。
　また、上述した第１実施形態によれば、線条検出部１５で、金具同士が直線状に結合し得る度合を示す尤度を算出し、該尤度に基づいて画像データから線条を検出するようにしたので、本線のみならず、本線と交差する線条についても、より高精度で、かつより短時間で検出することができ、線条に対する保守点検業務の省力化を実現することができる。
　Ｂ．第２実施形態
　次に、本発明の第２実施形態について説明する。
　図９は、本発明の第２実施形態による線条異常検知システム１０が用いられる電気鉄道設備を示す斜視図である。第２実施形態は、コンパウンドカテナリ式の区間に対する処理となる。コンパウンドカテナリ式とは、図９に示すように、吊架線４とトロリ線５との間に補助吊架線７を追加し、吊架線４がドロッパ８で補助吊架線７を支持し、補助吊架線７がハンガ６でトロリ線５を支持する方式である。
　図１０は、本第２実施形態による線条異常検知システム１０の機能構成を示すブロック図である。なお、図１に示す第１実施形態による線条異常検知システム１０の機能構成に対応する部分には同一の符号を付けて説明を省略する。本第２実施形態では、金具識別部１７を新たに設けている。金具識別部１７は、上述したハンガ６とドロッパ８とを異なる金具として識別した金具検出情報を取得する。したがって、線条検出部１５は、金具ごとに識別された金具検出情報に基づいて、それぞれの金具矩形毎に線条を検出する。
　図１１は、本第２実施形態による線条異常検知システム１０の動作を説明するためのフローチャートである。第２実施形態による線条異常検知システム１０の動作は、基本的に、第１実施形態と同様であるが、金具識別部１７による金具の種類による識別処理が追加されるとともに、線条検出部１５での処理が金具の種類に応じた線条検出処理となる。
　まず、電車線金具検出部１４は、記憶部１３に保存されている架線柱間の画像データ２０に対して電車線金具検出処理を行うことで金具（ハンガ６、ドロッパ８）の画像を検出し、金具検出位置（xmin, ymin, xmax, ymax）とラベル名とを紐付けた金具検出情報２１を取得する（ステップＳ３０）。次に、金具識別部１７は、金具検出情報２１からハンガ６とドロッパ８とを異なる金具として識別した金具検出情報２４を取得する（ステップＳ３２）。ハンガ６とドロッパ８とではその大きさが異なるので、ハンガ６とドロッパ８の識別には、金具矩形の幅を情報として用いる。
　図１２は、本第２実施形態による線条異常検知システム１０が用いられるコンパウンド区間の金具矩形を示す模式図である。図１２に示すように、ハンガ６の矩形とドロッパ８の金具矩形では、矩形幅が大きく異なる。分類手法としては、特に限定しないが、例えば、ｋ－ｍｅａｎｓを用いた金具矩形幅サイズによる２クラス分類を行うようにしてもよい。
　次に、線条検出部１５は、架線柱間に含まれる全ての金具（ハンガ６及びドロッパ８）の金具検出位置とラベル名とが紐付けられた金具検出情報２４を受け取り、同架線上にあると判定した金具矩形を結んでいき、最終的に線条矩形を割り当てることで線条検出を行い、線条検出情報２５を取得する（ステップＳ３４）。図示するステップＳ３６～Ｓ４２は、識別された異なる金具（ハンガ６、ドロッパ８）があることを除けば、第１実施形態のステップＳ１４～Ｓ２０と同様であるので説明を省略する。金具矩形の結合処理において、結合候補とする矩形は同じラベル同士（同じ金具同士）のものだけとすることで、コンパウンドカテナリ式の区間における線条検出の精度を高めることが可能である。したがって、本第２実施形態では、線条検出情報２５としては、ハンガ６同士を結合して得られた線条矩形とドロッパ８同士を結合して得られた線条矩形とが取得される。
　最後に、線条異常検知部１６は、線条異常検知処理として、ハンガ６同士を結合して得られた線条矩形とドロッパ８同士を結合して得られた線条矩形とを含む線条検出情報２５に基づいて割り当てられた線条検出画像を入力とし、線条の異常を検知する異常検知を行い、最終的に異常判定結果２６を出力する（ステップＳ４４）。ここでの異常検知の方法については、第１実施形態と同様に、特に限定しないが、例えば、深層学習の物体認識モデルを用いた画像識別等を用いればよい。
　なお、上述した第２実施形態においては、金具識別部１７を設けるとしたが、これに限らず、電車線金具検出部１４で、金具としてハンガ６とドロッパ８とをそれぞれ検出してラベリング（「ハンガ」、「ドロッパ」）しておき、線条検出部１５で、ラベルに従って、ハンガ６とドロッパ８とを登録する。このように、電車線金具検出部１４と線条検出部１５とが金具識別部１７の機能を分担するようにしてもよい。
　上述した第２実施形態によれば、コンパウンドカテナリ式の区間において、車両１の車両屋根２上に搭載したラインセンサカメラ１１ａ、１１ｂで取得した画像から、線条に付帯する金具を検出し、異なる金具を分類し、分類した金具ごとの金具検出情報から線条を検出し、線条検出情報と線条画像とから線条の異常を検知するようにしたので、コンパウンドカテナリ式で用いられる吊架線、補助吊架線、トロリ線をより高精度で、かつより短時間で検出することができ、線条に対する保守点検業務の省力化を実現することができる。
　また、上述した第１実施形態によれば、金具同士が直線状に結合し得る度合を示す尤度を算出し、該尤度に基づいて画像データから線条を検出するようにしたので、本線のみならず、本線と交差する線条についても、コンパウンドカテナリ式で用いられる吊架線、補助吊架線、トロリ線をより高精度で、かつより短時間で検出することができ、線条に対する保守点検業務の省力化を実現することができる。
Ｃ．第３実施形態
　次に、本発明の第３実施形態について説明する。
　図１３は、本発明の第３実施形態による線条異常検知システム１０が用いられる電気鉄道設備を示す斜視図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。第２実施形態では、ラインセンサカメラ１１ａ、１１ｂに加えて、車両屋根２上に測域レーザ１８を追加して配設している。測域レーザ１８は、線条（吊架線４及びトロリ線５）及び金具（ハンガ６）までの距離と、線条（吊架線４及びトロリ線５）及び金具（ハンガ６）に対する仰角とをレーザデータとして取得する。
　図１４は、本第３実施形態による線条異常検知システム１０の機能構成を示すブロック図である。なお、図２に対応する部分には同一の符号を付けて説明を省略する。測域レーザ１８は、線条（吊架線４及びトロリ線５）までの距離と線条（吊架線４及びトロリ線５）に対する仰角とをレーザデータとして取得して記憶部１３に保存する。したがって、線条検出部１５は、金具ごとに分類された金具検出情報及びレーザデータに基づいて、金具矩形毎に線条を検出する。
　図１５は、本第３実施形態による線条異常検知システム１０の動作を説明するためのフローチャートである。第３実施形態による線条異常検知システム１０の動作は、基本的に、第１実施形態と同様であるが、線条検出部１５での処理が金具検出情報及びレーザデータを用いた線条検出処理となる。
　まず、電車線金具検出部１４は、記憶部１３に保存されている架線柱間の画像データ２０に対して電車線金具検出処理を行うことで金具（ハンガ６）の画像を検出し、金具検出位置とラベル名とを紐付けた金具検出情報２１を取得する（ステップＳ５０）。
　次に、線条検出部１５は、架線柱間に含まれる全ての金具（ハンガ６）の金具検出位置とラベル名とが紐付けられた金具検出情報２１と、及び測域レーザ１８で取得されたレーザデータ３０とを受け取り、同架線上にあると判定した金具矩形を結んでいき、最終的に線条矩形を割り当てることで線条検出を行い、線条検出情報２５を取得する（ステップＳ５２）。
　第３実施形態において、図示するステップＳ５４～Ｓ６０は、第１実施形態のステップＳ１４～Ｓ２０と同様であるが、第１実施形態とは異なるレーザデータ３０を用いた尤度の算出方法について説明する。
　図１６（ａ）～（ｄ）は、本第３実施形態による線条異常検知システム１０によるレーザデータ３０を用いた結合尤度算出方法を説明するための概念図である。ステップＳ５６の主要部分の結合において、レーザデータ３０を用いた尤度項を追加している。図１６（ａ）～（ｄ）に示すように、以下の流れでレーザデータ３０を用いた尤度を計算する。まず、図１６（ａ）に示すように、結合元となる金具矩形「０」にレーザ点が存在することを確認し（存在しない場合は尤度０）、図１６（ｂ）に示すように、結合候補の金具矩形「１」との間で１次近似式を算出する。次いで、図１６（ｃ）に示すように、１次近似式に基づくレーザ角度θｌと、金具矩形「０」と「１」の重心点を結ぶ直線に基づく矩形角度θとを算出し、図１６（ｄ）に示すように、レーザ角度θｌと矩形角度θとの差分角度θｓｌを算出する。そして、下記式（９）から金具矩形の重心を結ぶ直線とレーザによる１次近似式で表わされる直線とのずれの程度を示すレーザ尤度Ｌｌを算出する。
Figure JPOXMLDOC01-appb-M000003
　レーザ尤度Ｌｌは、入力されたレーザデータ３０全てのチャンネルに対して計算を行い、最も合計尤度Ｌが高かったものを用いる（レーザは、同一架線を追跡してチャンネルで管理する）。レーザ尤度Ｌｌと第１実施形態の偏位距離尤度Ｌｄｘ、ライン方向の距離尤度Ｌｄｙ、角度尤度Ｌθとに重み付けして合計した合計値が結合候補矩形との合計尤度Ｌとなる（式（１０））。第１実施形態の場合よりも入力情報が多くなるため、より精度良く線条検出が可能となる。ステップＳ５８における余り矩形の結合についても、同様に、レーザデータ３０を用いて線条検出を行う。また、ステップＳ６０における線条矩形の割当については第１、第２実施形態と同様の処理を行う。
　最後に、線条異常検知部１６は、線条異常検知処理として、線条検出情報３１に基づいて割り当てられた線条検出画像を入力とし、線条の異常を検知する異常検知を行い、最終的に異常判定結果３２を出力する（ステップＳ６４）。ここでの異常検知の方法については、上述した第１、第２実施形態と同様に、特に限定しないが、例えば、深層学習の物体認識モデルを用いた画像識別等を用いればよい。
　上述した第３実施形態によれば、車両１の車両屋根２上に搭載したラインセンサカメラ１１ａ、１１ｂで取得した画像から線条に付帯する金具を検出し、金具検出情報と測域レーザ１８で取得したレーザデータ３０とから、金具同士が直線状に結合し得る度合を示す尤度を算出し、該尤度に基づいて画像データから線条を検出し、線条検出情報と線条画像とから線条の異常を検知するようにしたので、線条をより高精度で、かつより短時間で検出することができ、線条に対する保守点検業務の省力化を実現することができる。
　１　車両
　２　車両屋根
　３　架線柱
　４　吊架線
　５　トロリ線
　６　ハンガ
　７　補助吊架線
　８　ドロッパ
　１０　線条異常検知システム
　１１ａ、１１ｂ　ラインセンサカメラ
　１２　解析装置
　１３　記憶部
　１４　電車線金具検出部
　１５　線条検出部
　１６　線条異常検知部
　１７　金具識別部
　１８　測域レーザ
　２０　画像データ
　２１　金具検出情報
　２２、２５、３１　線条検出情報
　２３、２６、３２　異常判定結果
　２４　金具検出情報（識別済み）
　３０　レーザデータ

Claims (7)

  1. 　鉄道車両の運行のための少なくとも吊架線とトロリ線とを含む線条の異常を検知する線条異常検知システムであって、
    　前記線条と前記線条に付帯する金具とを撮影する撮像部と、
    　前記撮像部によって撮影された画像データから前記金具を検出する電車線金具検出部と、
    　前記検出された金具の位置に基づいて、金具同士が直線で結合し得る度合を示す尤度に基づいて、前記画像データから前記線条が含まれる画像領域を検出する線条検出部と、
    　前記線条が含まれる画像領域から前記線条の異常を検知する線条異常検知部と、
    　を備えることを特徴とする線条異常検知システム。
  2. 　前記線条は、前記吊架線、前記トロリ線に加え、補助吊架線を含み、前記金具は、少なくとも、前記トロリ線を支持するハンガと前記補助吊架線を支持するドロッパとを含み、
    　前記画像データから前記ハンガと前記ドロッパとを識別する金具識別部をさらに備え、
    　前記線条検出部は、前記ハンガと前記ドロッパとを区別して前記画像データから前記線条が含まれる画像領域を検出する、
    　ことを特徴とする請求項１に記載の線条異常検知システム。
  3. 　前記線条検出部は、前記画像データに含まれる少なくとも２つの金具の重心のずれを示す偏位距離尤度と、前記２つの金具との距離に対応するライン方向の距離尤度と、前記２つの金具の重心のずれの角度に対応する角度尤度との合計尤度に基づいて、前記画像データから前記線条が含まれる画像領域を検出する、
    　ことを特徴とする請求項１又は２に記載の線条異常検知システム。
  4. 　前記線条検出部は、前記画像データに含まれる少なくとも３つの金具のうち、第１の金具と第２の金具の距離に対応するライン方向の距離尤度と、前記第２の金具と第３の金具の距離に対応するライン方向の距離尤度と、前記第１の金具と前記第２の金具との重心を結ぶ直線と前記第２の金具と前記第３の金具との重心を結ぶ直線とが成す角度に対応する差分角度尤度とを合計した合計尤度に基づいて、前記画像データから前記線条が含まれる画像領域を検出する、
    　ことを特徴とする請求項１に記載の線条異常検知システム。
  5. 　前記線条及び前記金具までの距離及び仰角を取得する測域レーザをさらに備え、
    　前記線条検出部は、検出された金具の位置と前記測域レーザにより取得された距離及び仰角とに基づいて、金具同士が直線で結合し得る度合を示す尤度に基づいて、前記画像データから前記線条が含まれる画像領域を検出する、
    　ことを特徴とする請求項１に記載の線条異常検知システム。
  6. 　前記線条検出部は、
    　前記画像データに含まれる少なくとも２つの金具の重心を結ぶ直線が成す角度と前記測域レーザによるレーザ点が成す角度とのずれの程度に対応するレーザ尤度と、前記少なくとも２つの金具の重心のずれを示す偏位距離尤度と、前記少なくとも２つの金具の距離に対応するライン方向の距離尤度と、前記少なくとも２つの金具の重心のずれの角度に対応する角度尤度とを合計した合計尤度に基づいて、前記画像データから前記線条が含まれる画像領域を検出する、
    　ことを特徴とする請求項５に記載の線条異常検知システム。
  7. 　鉄道車両の運行のための少なくとも吊架線とトロリ線とを含む線条の異常を検知する線条異常検知方法であって、
    　前記線条と前記線条に付帯する金具とを撮像部によって撮影すること、
    　前記撮像部によって撮影された画像データから前記金具を検出すること、
    　前記検出された金具の位置に基づいて、金具同士が直線で結合し得る度合を示す尤度に基づいて、前記画像データから前記線条が含まれる画像領域を検出すること、
    　前記線条が含まれる画像領域から前記線条の異常を検知すること、
    　を含むことを特徴とする線条異常検知方法。
PCT/JP2023/032955 2022-09-29 2023-09-11 線条異常検知システム及び線条異常検知方法 WO2024070612A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-155627 2022-09-29
JP2022155627A JP7380799B1 (ja) 2022-09-29 2022-09-29 線条異常検知システム及び線条異常検知方法

Publications (1)

Publication Number Publication Date
WO2024070612A1 true WO2024070612A1 (ja) 2024-04-04

Family

ID=88729127

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/032955 WO2024070612A1 (ja) 2022-09-29 2023-09-11 線条異常検知システム及び線条異常検知方法

Country Status (3)

Country Link
JP (1) JP7380799B1 (ja)
TW (1) TW202421463A (ja)
WO (1) WO2024070612A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006284535A (ja) * 2005-04-05 2006-10-19 Meidensha Corp トロリー線の位置測定装置
JP2009234338A (ja) * 2008-03-26 2009-10-15 Railway Technical Res Inst 鉄道のトロリ線の状態診断装置
JP2014169939A (ja) * 2013-03-04 2014-09-18 Railway Technical Research Institute 架線位置計測装置及び方法
JP2014169936A (ja) * 2013-03-04 2014-09-18 Railway Technical Research Institute 架空電車線線条位置計測方法及び装置
JP2014198524A (ja) * 2013-03-29 2014-10-23 株式会社日立ハイテクノロジーズ 架線検測方法及び装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006284535A (ja) * 2005-04-05 2006-10-19 Meidensha Corp トロリー線の位置測定装置
JP2009234338A (ja) * 2008-03-26 2009-10-15 Railway Technical Res Inst 鉄道のトロリ線の状態診断装置
JP2014169939A (ja) * 2013-03-04 2014-09-18 Railway Technical Research Institute 架線位置計測装置及び方法
JP2014169936A (ja) * 2013-03-04 2014-09-18 Railway Technical Research Institute 架空電車線線条位置計測方法及び装置
JP2014198524A (ja) * 2013-03-29 2014-10-23 株式会社日立ハイテクノロジーズ 架線検測方法及び装置

Also Published As

Publication number Publication date
TW202421463A (zh) 2024-06-01
JP2024049413A (ja) 2024-04-10
JP7380799B1 (ja) 2023-11-15

Similar Documents

Publication Publication Date Title
EP3576008B1 (en) Image based lane marking classification
JP4793324B2 (ja) 車両監視装置および車両監視方法
US10509971B2 (en) Landmark recognition device and landmark recognition method using a database storing landmark extraction information
EP3705371A1 (en) Obstacle detecting device
JP6424362B2 (ja) 線条計測装置及びその方法
EP0700017A2 (en) Method and apparatus for directional counting of moving objects
EP3195263B1 (en) Identification of a contact point between a pantograph and a power supply line in an image
EP3936369B1 (en) Pantograph displacement measuring device, and trolley-wire hard-spot detection method
JP6277468B2 (ja) 車両前方電柱位置検査装置
EP2821747A1 (en) Pantograph measurement method, and pantograph measurement device
TWI616638B (zh) Line measuring device and method
WO2024070612A1 (ja) 線条異常検知システム及び線条異常検知方法
JP7143956B2 (ja) 前方監視装置及び前方監視装置のキャリブレーション方法
JP3629935B2 (ja) 移動体の速度計測方法およびその方法を用いた速度計測装置
JP3882683B2 (ja) トロリー線の位置計測装置
JP7299041B2 (ja) 架線金具検出装置および架線金具検出方法
JP4150223B2 (ja) 踏切監視装置および踏切監視方法
JP6844697B2 (ja) 線条判別装置および線条判別方法
JP2002008019A (ja) 軌道認識装置及び軌道認識装置を用いた鉄道車両
JP2020149286A (ja) 架線金具検出装置および架線金具検出方法
JP7130356B2 (ja) 画像処理装置及び鉄道設備部品の保守管理方法
JP2020034499A (ja) 非接触式パンタグラフ接触力測定装置
JP4552409B2 (ja) 画像処理装置
JP2004005206A (ja) 道路状況撮影装置、交通管制設備及び交通管制方法
JP6635183B1 (ja) 摩耗測定装置および摩耗測定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23871848

Country of ref document: EP

Kind code of ref document: A1