WO2021153068A1 - 設備診断システム - Google Patents

設備診断システム Download PDF

Info

Publication number
WO2021153068A1
WO2021153068A1 PCT/JP2020/047002 JP2020047002W WO2021153068A1 WO 2021153068 A1 WO2021153068 A1 WO 2021153068A1 JP 2020047002 W JP2020047002 W JP 2020047002W WO 2021153068 A1 WO2021153068 A1 WO 2021153068A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
moving image
equipment
railway
Prior art date
Application number
PCT/JP2020/047002
Other languages
English (en)
French (fr)
Inventor
直人 瀬戸
広幸 小林
雄介 高橋
世支明 山崎
勝大 堀江
拓也 二神
陽平 服部
博章 伊藤
紀康 加藤
堀口　和俊
Original Assignee
株式会社 東芝
東芝インフラシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝, 東芝インフラシステムズ株式会社 filed Critical 株式会社 東芝
Priority to EP20916387.2A priority Critical patent/EP4098475A4/en
Priority to CN202080095039.XA priority patent/CN115023384B/zh
Publication of WO2021153068A1 publication Critical patent/WO2021153068A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L2205/00—Communication or navigation systems for railway traffic
    • B61L2205/04—Satellite based navigation systems, e.g. global positioning system [GPS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02—Indicating or recording positions or identities of vehicles or trains
    • B61L25/025—Absolute localisation, e.g. providing geodetic coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the embodiment according to the present invention relates to an equipment diagnostic system.
  • the railway manager needs to know the abnormality promptly.
  • a moving image including railway equipment is photographed and stored by a camera installed forward in a railway vehicle, and an observer examines the abnormality of the railway equipment by watching the moving image.
  • the purpose is to provide an equipment diagnosis system that can detect abnormalities in railway equipment more efficiently.
  • the equipment diagnosis system includes an imaging unit, a position measuring unit, a coding unit, a first video decoding unit, an image selection unit, a second video decoding unit, and an image comparison unit.
  • the imaging unit is provided on the railway vehicle and images the railway equipment provided along the traveling path of the railway vehicle.
  • the position measurement unit measures the vehicle position of a running railroad vehicle.
  • the coding unit associates the moving image captured by the imaging unit with the vehicle position and encodes the moving image.
  • the first moving image decoding unit decodes the first moving image of the railway equipment to be diagnosed among the encoded moving images.
  • the image selection unit selects a selected image of the railway equipment to be diagnosed from the encoded moving image stored in advance in the moving image storage unit in association with the vehicle position based on the first vehicle position associated with the first moving image. do.
  • the second moving image decoding unit decodes the second moving image of the railway equipment to be diagnosed corresponding to the selected image.
  • the image comparison unit calculates a motion vector between the first image included in the decoded first moving image and the second image included in the decoded second moving image, and based on the motion vector, determines the motion vector. Diagnose abnormalities in railway equipment.
  • FIG. 1 is a block diagram showing a configuration of the equipment diagnosis system 100 according to the first embodiment.
  • the equipment diagnosis system 100 diagnoses the state of railway equipment.
  • the railway equipment is, for example, a railway sign or the like.
  • the equipment diagnosis system 100 is not limited to railways, and may diagnose equipment in other vehicle systems such as buses and trams, for example.
  • the equipment diagnosis system 100 includes an on-board diagnostic device 100a mounted on a railroad vehicle RV and a ground diagnostic device 100b.
  • the railroad vehicle RV runs on the track R. Further, the railway vehicle RV can send and receive data to and from the ground diagnostic apparatus 100b by wireless communication or the like.
  • the on-board diagnostic device 100a includes a camera 10, a coding device 20, a position measuring device 30, a storage device 40, and a communication control unit 50.
  • the camera 10 as an imaging unit is provided on the railway vehicle RV.
  • the camera 10 is installed, for example, in the traveling direction (forward) of the railway vehicle RV. Further, the camera 10 images the railway equipment provided along the traveling path (railroad track R) of the railway vehicle RV.
  • the camera 10 captures, for example, a moving image including railway equipment installed on the ground when the railway vehicle RV travels on the track R.
  • the type of camera is not limited. Further, it is preferable that the camera 10 can shoot at a high resolution. Further, the camera 10 transmits the captured moving image to the coding device 20.
  • the position measuring device 30 as a position measuring unit measures the vehicle position (position information) of the running railway vehicle RV.
  • the position measuring device 30 measures, for example, the position information of the railway vehicle RV, and transmits the measured position information to the coding device 20.
  • the position measuring device 30 is, for example, a GNSS (Global Navigation Satellite System) device.
  • the GNSS device receives radio waves from a plurality of artificial satellites by antennas and measures the position information of the railway vehicle RV. When the railway vehicle RV is in a tunnel, the GNSS device cannot receive radio waves from the artificial satellite.
  • the position measuring device 30 may be used in combination with a device that measures the vehicle position (position information) of the railway vehicle RV based on the output of the speed generator (tachogenerator) provided on the axle of the railway vehicle RV. This makes it possible to interpolate the position information while traveling in the tunnel.
  • the position measuring device 30 detects the acceleration in the traveling direction of the railway vehicle RV using an acceleration sensor or a gyro sensor, integrates the acceleration upstairs to calculate the position, and thereby calculates the position of the railway vehicle RV (position information). May be used in combination with a device for measuring the above, or may be substituted for the device.
  • the coding device 20 generates a coded image frame by coding the front image (surveillance moving image) of the railway vehicle RV taken by the camera 10 in image frame units, and further, with respect to the coded image frame.
  • Surveillance moving image data is generated by adding the position information measured by the position measuring device 30. Further, as will be described later, the coding device 20 may add at least one of the time information and the weather information to the surveillance moving image data as further information.
  • the coding device 20 may acquire time information from the position measuring device 30, for example.
  • the coding device 20 is, for example, a computer device. The details of the coding device 20 will be described later with reference to FIG.
  • the storage device 40 stores the surveillance moving image data including the monitoring moving image encoded by the coding device 20.
  • the ground diagnostic device 100b diagnoses the normal or abnormal state of the railway equipment.
  • the ground diagnostic apparatus 100b diagnoses the ground equipment by, for example, comparing the reference moving image data stored in advance with the monitoring moving image captured by the camera 10 while simultaneously reproducing the reference moving image data. Details of the ground diagnostic apparatus 100b will be described later with reference to FIG.
  • FIG. 2 is a block diagram showing the configuration of the coding device 20 according to the first embodiment.
  • the coding device 20 includes a position information acquisition unit 202, a monitoring video acquisition unit 203, a coding unit 201, a video storage control unit 205, and a storage unit 204.
  • a processor such as a CPU (Central Processing Unit) of the railway vehicle RV stores a part or all of the coding unit 201, the position information acquisition unit 202, the monitoring video acquisition unit 203, and the video storage control unit 205. It is realized by executing the software stored in the part 204. Further, a part or all of the coding unit 201, the position information acquisition unit 202, the monitoring video acquisition unit 203, and the video storage control unit 205 are LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA. It may be realized by hardware that is a circuit board such as (Field Programmable Gate Array).
  • LSI Large Scale Integration
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the position information acquisition unit 202 acquires the position information of the traveling railroad vehicle RV from the position measuring device 30.
  • the surveillance video acquisition unit 203 acquires a video taken by the camera 10 while the railway vehicle RV is running as a surveillance video.
  • the coding unit 201 associates the surveillance video captured by the camera 10 with the position information.
  • the coding unit 201 encodes the surveillance moving image.
  • the coding unit 201 compresses the moving image by, for example, inter-frame prediction or quantization.
  • the video compression format is, for example, H. 264 and H. It is 265 mag.
  • the moving image storage control unit 205 stores the monitoring moving image data in the storage device 40. Further, the communication control unit 50 reads out the monitoring moving image data stored in the storage device 40 and transmits it to the ground diagnostic device 100b installed outside the vehicle via the wireless communication unit 501. The communication control unit 50 may receive the monitoring moving image data directly from the coding unit 201 instead of reading the monitoring moving image data from the storage device 40.
  • the storage unit 204 stores various information such as a program executed by the processor of the on-board diagnostic device 100a.
  • the storage unit 204 is realized by, for example, a RAM (RandomAccessMemory), a ROM (ReadOnlyMemory), a flash memory, or the like.
  • FIG. 3 is a flow chart showing the operation of the coding device 20 according to the first embodiment.
  • step S110 the surveillance video acquisition unit 203 and the position information acquisition unit 202 each acquire the surveillance video from the camera 10 and the position information from the position measurement device 30.
  • step S120 the coding unit 201 generates a coded image frame by coding the monitoring moving image for each image frame.
  • step S130 the coding unit 201 associates the position information with each coded image frame to generate the monitoring moving image data.
  • the coding unit 201 stores the generated surveillance moving image data in a data format prepared in advance.
  • the surveillance moving image data is stored in the storage device 40 by the moving image storage control unit 205.
  • the monitoring moving image data stored in the storage device 40 is stored in an external recording medium such as a memory card or an external HDD (Hard Disk Drive), and the data can be copied to the ground diagnostic device 100b.
  • an external recording medium such as a memory card or an external HDD (Hard Disk Drive
  • step S140 the communication control unit 50 reads the monitoring moving image data from the storage device 40 and transmits the monitoring video data from the wireless communication unit 501 to the ground diagnostic device 100b via a wireless communication network such as a mobile phone network.
  • step S110 is executed again.
  • FIG. 4 is a block diagram showing the configuration of the ground diagnostic apparatus 100b according to the first embodiment.
  • the ground diagnostic apparatus 100b includes a data storage unit 601, a reference moving image reading unit 602, a monitoring moving image reading unit 603, a decoded image determination unit 604, a monitoring moving image decoding unit 605, a reference moving image decoding unit 606, and an image.
  • a comparison unit 607, a result storage control unit 608, a diagnosis result storage unit 608a, and a storage unit 609 are provided.
  • a part or all of them is realized by executing software stored in the storage unit 609 by a processor such as a CPU included in the ground diagnostic apparatus 100b.
  • a part or all of them may be realized by hardware which is a circuit board such as LSI, ASIC, and FPGA.
  • the data storage unit 601 includes the surveillance moving image data received from the on-board diagnostic device 100a and the railway equipment installed on the ground, which is previously photographed by the camera 10 installed forward in the railway vehicle RV. Stores multiple reference video data with different travel sections and travel times.
  • the monitoring video reading unit 603 reads the monitoring video data from the data storage unit 601. More specifically, the monitoring video reading unit 603 reads the monitoring video data of a certain traveling section and a certain traveling time taken during normal operation. The monitoring video reading unit 603 extracts the position information added to the coded image frame from the read monitoring video data, reads the reference video data of the traveling section including the position information from the data storage unit 601 and reads the reference video. It is transmitted to unit 602. Further, the monitoring moving image reading unit 603 transmits the position information extracted from the monitoring moving image data to the decoded image determination unit 604.
  • the decoded image determination unit 604 determines the playback location of the reference video data based on the position information received from the surveillance video reading unit 603, and adjusts so that the positions of the decryption points of the surveillance video coded data and the reference video data are equal to each other. do.
  • the monitoring video decoding unit 605 as the first video decoding unit decodes the monitoring video encoded data received from the monitoring video reading unit 603. That is, the surveillance moving image decoding unit 605 combines the monitoring moving images of the railway equipment to be diagnosed among the encoded monitoring moving images. In addition, the surveillance video decoding unit 605 acquires a plurality of decoded surveillance images (image frames). Further, the surveillance video decoding unit 605 transmits the surveillance image (image frame) to the image comparison unit 607.
  • the reference moving image reading unit 602 reads the reference moving image from the data storage unit 601.
  • the decoded image determination unit 604 as an image selection unit determines from which position of the reference moving image data should be decoded based on the position information (first position information) associated with the coded image frame obtained from the monitoring moving image. As a result, the comparison position between the plurality of frames obtained by decoding the monitoring moving image encoded data by the image comparison unit 607 and the plurality of frames obtained by decoding the reference moving image data is determined. For example, if the decoded image determination unit 604 sets a certain station as the playback start position, the monitored moving image coding data and the reference moving image data are decoded with respect to the certain station, respectively.
  • the image comparison unit 607 detects changes in railway equipment by comparing the decoded image frames with each other.
  • the decoded image determination unit 604 selects a selected image of the railway equipment to be diagnosed from the encoded reference moving image stored in advance in the moving image storage unit (data storage unit 601) based on the first position information. ..
  • the selected image is an image that serves as a reference for comparison by the image comparison unit 607.
  • the reference video decoding unit 606 as the second video decoding unit decodes the second video (reference video) of the railway equipment to be diagnosed corresponding to the selected image.
  • the reference moving image decoding unit 606 decodes the reference moving image data, for example.
  • the reference moving image decoding unit 606 acquires a plurality of decoded reference images (image frames). Further, the reference moving image decoding unit 606 transmits the reference image to the image comparison unit 607.
  • the image comparison unit 607 sets a motion vector between the first image frame (surveillance image) included in the decoded surveillance video and the second image frame (reference image) included in the decoded reference video. calculate.
  • the motion vector indicates the motion (displacement amount) from the reference frame. Further, the image comparison unit 607 diagnoses an abnormality in the railway equipment based on the motion vector. As a result, abnormalities in railway equipment can be detected more efficiently.
  • the image comparison unit 607 calculates the motion vector so that the vehicle position associated with the surveillance image and the vehicle position associated with the reference image correspond to each other. For example, the image comparison unit 607 reproduces the first image frame (surveillance moving image) and the second image frame (reference moving image) side by side, and calculates a motion vector while comparing the image frames with each other. Since the traveling speed of the railway vehicle RV is not always the same between the surveillance video and the reference video, it may not be possible to appropriately compare the image frames. Therefore, the image comparison unit 607 adjusts the reproduction speed so that the vehicle positions are close to each other. As a result, the image frames can be compared more appropriately. The details of the diagnosis of the railway equipment by the image comparison unit 607 will be described later with reference to FIGS. 5 and 6.
  • the result storage control unit 608 stores the vehicle position corresponding to the railway equipment determined to be abnormal in the diagnosis result storage unit 608a. As a result, the user can watch a moving image of the railway equipment determined to be abnormal based on the position information. As a result, the user can easily recognize the abnormality of the railway equipment and go straight to the site.
  • the result storage control unit 608 may store the diagnosis result of the image comparison unit 607 in the diagnosis result storage unit 608a.
  • the diagnosis result includes, for example, information such as abnormal or normal. Further, in the example shown in FIG. 4, the diagnosis result storage unit 608a is provided inside the ground diagnostic device 100b, but may be provided outside the ground diagnostic device 100b.
  • the storage unit 609 stores various information such as a program executed by the processor of the ground diagnostic apparatus 100b.
  • the storage unit 609 is realized by, for example, a RAM, a ROM, a flash memory, or the like.
  • FIG. 5 is a diagram showing an example of calculation of a motion vector.
  • RF1 and RF2 indicate railway equipment. More specifically, RF1 and RF2 are labels.
  • RG indicates a monitoring area.
  • the monitoring area RG is a preset area fixed in the image. Further, the monitoring area RG is set in advance at a position where the railway equipment is displayed in the image.
  • B represents a block. Block B divides the monitoring area RG. Further, the blocks B arranged in a grid pattern are rectangular blocks (macro blocks) such as 8 ⁇ 8 pixel units and 16 ⁇ 16 pixel units.
  • FIG. 5 shows a set of a first image frame and a second image frame to be compared.
  • a set of a plurality of sets is shown.
  • the lower right side of FIG. 5 shows a diagram in which the first image frame and the second image frame are superposed.
  • the motion vector MV is also shown.
  • the lower left side of FIG. 5 shows a diagram obtained by extracting the motion vector MV from the lower right side diagram.
  • the image comparison unit 607 calculates the motion vector by, for example, the block matching method used for inter-frame prediction.
  • the image comparison unit 607 searches for similar blocks between the first image frame and the second image frame for each divided block B.
  • the image comparison unit 607 searches for a block having the minimum luminance error, for example.
  • the image comparison unit 607 calculates the displacement between the similar blocks B as a motion vector.
  • the marker RF1 in the second image frame is normal. However, the marker RF1 in the first image frame is bent. Therefore, a finite motion vector MV is calculated. On the other hand, the marker RF2 in the first image frame remains normal with almost no change from the second image frame. Therefore, the motion vector MV is almost zero.
  • the image comparison unit 607 calculates a motion vector for each of a plurality of blocks B that divide the monitoring area RG in the first image frame and the second image frame.
  • the monitoring area RG is an area in which the railway equipment is displayed in the image frame between the time when the railway equipment is displayed in the image frame and the time when the railway vehicle RV passes through the railway equipment.
  • the monitoring area RG is a preset area.
  • the block B is an area set for each of a plurality of pixels in the monitoring area RG. Further, the image comparison unit 607 may correct the deviation of the orientation of the monitoring area RG and the like.
  • the image comparison unit 607 defines the area displayed in a grid pattern as the monitoring area RG, and calculates the motion vectors of all blocks B (macroblocks) in the monitoring area RG. For example, if there is a change in the monitoring area RG, a motion vector is generated, but if there is no change, a motion vector is not generated (or the absolute value of the motion vector is a minute value).
  • the image frame there is a background image other than the object to be actually monitored. However, the background image is information included in the first image frame and the second image frame substantially equally. Therefore, the image comparison unit 607 sets, for example, the difference value between them as a threshold value, and determines whether or not a change has occurred in the monitoring area RG by comparing with the threshold value.
  • FIG. 6 is a diagram showing an example of an abnormality determination method.
  • the graph shown in FIG. 6 shows the amount of difference change in FIG. 5 in chronological order.
  • the difference change amount is the sum of the absolute values of the motion vectors for each block B.
  • the vertical axis of the graph shows the amount of difference change.
  • the horizontal axis of the graph indicates the time.
  • the horizontal axis of the graph may be the vehicle position, the number of sets of image frames to be compared, and the like.
  • L1 shows an example of the amount of difference change between the first image frame and the second image frame.
  • L2 indicates a predetermined value (threshold value) of the difference change amount.
  • L1 is time series data
  • L2 is a constant value that does not depend on time.
  • the difference change amount L1 is low.
  • the difference change amount L1 increases.
  • the railroad vehicle RV approaches the signs RF1 and RF2.
  • the labels RF1 and RF2 are expanded in the monitoring region RG. Therefore, the motion vector and the amount of difference change are further increased.
  • the railcar RV passes the signs RF1 and RF2. Since the labels RF1 and RF2 are emitted from the monitoring region RG, the difference change amount L1 is reduced.
  • the image comparison unit 607 diagnoses the abnormality of the labels RF1 and RF2 by comparing the difference change amount L1 with the predetermined value L2.
  • the image comparison unit 607 determines that the railway equipment to be diagnosed is abnormal when the absolute value of the motion vector is continuously equal to or greater than the predetermined value L2 for a predetermined period.
  • a predetermined period By setting a predetermined period, it is possible to exclude the influence of noise and an object moving in the vicinity of the line R, and perform an abnormality determination.
  • the predetermined period is, for example, 1 second.
  • the predetermined period may be changed depending on the traveling speed, the frame rate of the moving image, and the like. For example, if the predetermined period is too short, it may be determined as abnormal due to noise. On the other hand, if the predetermined period is too long, the railway vehicle RV may pass through the railway equipment before it is determined to be abnormal.
  • the predetermined value L2 is set based on the background difference amount which is the absolute value of the motion vector of the background portion.
  • the predetermined value L2 is, for example, a value obtained by adding a background difference amount to a certain value.
  • the image comparison unit 607 calculates the amount of difference generated in the background portion other than the railway equipment in the monitoring area RG. This makes it possible to recognize changes in railway equipment in distinction from changes in the background portion. In addition, railway equipment can be diagnosed more appropriately.
  • the predetermined period may be the number of pairs of image frames to be compared. Further, the predetermined period and the predetermined value L2 are set in advance.
  • the image comparison unit 607 determines that the railway equipment to be diagnosed is abnormal when the sum of the absolute values for each of the plurality of blocks B is continuously equal to or greater than the predetermined value L2 for a predetermined period.
  • the image comparison unit 607 states that the railway equipment to be diagnosed is abnormal when the absolute value that increases as the railway vehicle RV approaches the railway equipment is continuously equal to or greater than the predetermined value L2 for a predetermined period. judge.
  • FIG. 7 is a flow chart showing the operations of the monitoring moving image reading unit 603, the reference moving image reading unit 602, and the decoded image determination unit 604 according to the first embodiment.
  • step S210 the surveillance moving image reading unit 603 reads out the monitoring moving image data.
  • step S220 the monitoring moving image reading unit 603 transmits the position information of each coded image frame (first coded image frame) constituting the monitoring moving image data to the decoded image determination unit 604.
  • step S230 the monitoring moving image reading unit 603 reads out the reference moving image data.
  • step S240 the decoded image determination unit 604 determines the coded image frame (second coded image frame) corresponding to the position closest to the position information corresponding to the first coded image frame (matching position). Select from the reference video data.
  • the selected coded image frame corresponds to the selected image.
  • the second image frame obtained by decoding the selected second coded image frame becomes an image to be compared with the first image frame obtained by decoding.
  • FIG. 8 is a flow chart showing the operation of the image comparison unit 607 and the result storage control unit 608 according to the first embodiment.
  • step S310 the image comparison unit 607 is obtained by decoding an arbitrary first image frame obtained by decoding the first coded image frame and a second coded image frame selected by the decoded image determination unit 604. Using the second image frame, the amount of motion vector for all blocks B (macroblocks) in the preset monitoring area RG is calculated.
  • step S320 the image comparison unit 607 calculates the absolute value of the entire monitoring region RG of the calculated motion vector and defines it as the difference change amount.
  • step S330 the image comparison unit 607 determines whether or not the amount of difference change in the monitoring area RG exceeds the threshold value (predetermined value L2) for a predetermined period.
  • the image comparison unit 607 determines that an abnormality has occurred in the railway equipment existing in the monitoring area RG.
  • step S340 is executed.
  • step S310 is executed again.
  • step S340 the result storage control unit 608 stores the position information of the first image frame determined that the abnormality has occurred in the diagnosis result storage unit 608a.
  • the image comparison unit 607 may determine whether or not the number of sets of image frames to be compared is a predetermined number of times in succession and the difference change amount is a predetermined value L2 or more.
  • the decoded image determination unit 604 is encoded in advance in the data storage unit 601 based on the position information associated with the first coded image data.
  • a second coded image frame is selected from the reference moving image data.
  • the image comparison unit 607 calculates a motion vector between the monitoring area RG included in the decoded first image frame and the monitoring area RG included in the decoded second image frame, and moves. Diagnose abnormalities in railway equipment based on vectors. As a result, abnormalities in railway equipment can be detected more efficiently.
  • the coding unit 201 associates the surveillance video captured by the camera 10 with the position information, and encodes each image frame constituting the surveillance video.
  • the ground diagnostic device 100b is not limited to the outside of the railway vehicle RV, and may be provided inside the on-board diagnostic device 100a. In this case, the on-board diagnostic device 100a can diagnose the railway equipment in real time.
  • a display control unit that controls the display unit so as to display at least one of the diagnosis result of the image comparison unit 607 and the position information of the railway equipment determined to be abnormal may be further provided.
  • the user can send personnel to the site to perform maintenance work and the like.
  • the time information is, for example, information indicating the time of day.
  • the time information is used as auxiliary information when comparing the first image frame and the second image frame. For example, if the surveillance video is a daytime video and the reference video is a night video, there is a large difference in brightness even if the shooting target is the same. Since it can be selected, it can be dealt with by grasping and excluding the difference in the shooting time zone of both moving images.
  • the environmental information includes, for example, information such as the weather at the time of shooting (sunny, cloudy, rain, snow, etc.). As shown in FIG.
  • the position measuring device 30 measures time information.
  • the environmental information may be obtained from the outside via the wireless communication unit 501.
  • the position information acquisition unit 202 acquires time information and environmental information.
  • the coding unit 201 associates the position information, the time information, and the environment information with the first coding frame, for example.
  • the reference video data includes a plurality of video data having different environmental conditions such as time and weather.
  • the image comparison unit 607 may diagnose the abnormality of the railway equipment by combining the brightness change between the videos with the motion vector. Specifically, the brightness difference in the area where the railway equipment exists is calculated. When the first image frame and the second image frame are image frames taken at the same time, the difference in brightness is sufficiently small even if there is a difference in weather or the like. Therefore, it is possible to detect when the brightness difference is large, when part or all of the railway equipment is lost in the surveillance video, when foreign matter adheres to the railway equipment, when trees approach the railway equipment, etc., and the motion vector amount If the amount of change in is used, the abnormality can be detected more appropriately.
  • FIG. 9 is a flow chart showing the operations of the monitoring moving image reading unit 603, the reference moving image reading unit 602, the decoded image determination unit 604, and the image comparison unit 607 according to the second embodiment.
  • the second embodiment is different from the first embodiment in that, at the time of image comparison, images having a higher degree of similarity are compared by pattern matching.
  • the decoded image determination unit 604 determines the decoded position of the reference moving image based on the vehicle position (position information) of the railway vehicle RV obtained from the surveillance moving image coding data.
  • the image comparison unit 607 extracts five second decoded image frames, for example, at positions before and after the position information. That is, the image comparison unit 607 extracts a plurality of extracted images associated with positions within a predetermined range from the first vehicle position from the second composite image frame.
  • the image comparison unit 607 calculates the similarity using a certain first decoded image frame and a plurality of second decoded image frames (extracted images) in the monitored moving image data. Further, the image comparison unit 607 selects an extracted image having the highest degree of similarity to a certain first decoded image frame.
  • the image comparison unit 607 selects an extracted image similar to a certain first decoded image frame by pattern matching between the images.
  • the image comparison unit 607 calculates a motion vector between a certain first decoded image frame and the selected extracted image.
  • the image comparison unit 607 calculates the similarity not only within the monitoring area RG but also for the entire image. Therefore, for example, pattern matching can be performed by a characteristic building or the like in the image. More specifically, the similarity is a normalized cross-correlation (NCC). Normalized cross-correlation is indicated by values from -1.0 to 1.0, indicating that 1.0 is the most similar.
  • NCC normalized cross-correlation
  • the determination accuracy can be further improved by performing equipment diagnosis using motion vectors for the first decoded image frame and the second decoded image frame having a high degree of similarity.
  • steps S210 to S230 are the same as in FIG. 7.
  • step S241 the decoded image determination unit 604 determines the decoding position of the reference moving image, which is the closest to the shooting start position of the monitoring moving image encoded data.
  • the surveillance video decoding unit 605 decodes the surveillance video and generates a first decoded image frame.
  • the reference moving image decoding unit 606 decodes the reference moving image and generates a second decoded image frame.
  • the first decoded image frame and the second decoded image frame are transmitted to the image comparison unit 607.
  • step S251 the image comparison unit 607 selects a plurality of second decoded image frames for a certain first decoded image frame, determines the degree of similarity with the selected image, and selects the most similar image. ..
  • the image comparison unit 607 calculates the motion vector while adjusting the reproduction speed.
  • the image frames may not fit. This is because, for example, the difference in the measured vehicle position between the reference moving image and the monitoring moving image described in the first embodiment and the difference in the sampling rate between the camera 10 and the position measuring device 30.
  • the difference in sampling rate for example, the camera 10 acquires 30 image frames per second, and the position measuring device 30 acquires 15 data per second. In this case, the same position information is associated with the two image frames. Therefore, the position information different from the actual one is associated with the image frame.
  • the higher the traveling speed of the railroad vehicle RV in both the surveillance video and the reference video the larger the interval between the measured vehicle positions, so the influence of the above difference in sampling rate and the difference in the measured vehicle position becomes even greater. Will end up.
  • the accuracy of matching between the surveillance video and the reference video can be improved by selecting the image having the maximum similarity from the plurality of images.
  • the accuracy of abnormality diagnosis of railway equipment can be improved.
  • the image comparison unit 607 calculates the moving image as a vector when calculating the normalized cross-correlation. As a result, it is possible to make it difficult to receive an error (effect) due to the brightness of the environment in the similarity determination.
  • the equipment diagnosis system 100 according to the second embodiment can obtain the same effect as that of the first embodiment.
  • FIG. 10 is a block diagram showing the configuration of the coding device 20 according to the third embodiment.
  • the third embodiment is different from the first embodiment in that kilometer information is used to grasp the position of the railway equipment.
  • the coding device 20 further includes an information storage unit 206 for about a kilometer.
  • the kilometer information storage unit 206 stores the kilometer information of each railway facility in advance.
  • the kilometer information is information owned by the railway manager, and indicates the position of the railway equipment with reference to a certain position on the traveling route (track R).
  • a certain position is, for example, a station.
  • the kilometer information indicates the distance of a railroad facility from a station.
  • the coding unit 201 associates the moving image with the vehicle position and kilometer information.
  • the decoded image determination unit 604 is based on the first kilometer information associated with the first vehicle position and the surveillance video, and from the encoded moving image stored in advance in the data storage unit 601 in association with the vehicle position and kilometer information. , Select Select an image.
  • the accuracy of grasping the position of railway equipment can be improved. This makes it possible to more appropriately select the selected image from the reference moving image. In addition, it is possible to more easily find the cueing of the reproduction position in the moving image reproduction by the image comparison unit 607.
  • the result storage control unit 608 may control the diagnosis result storage unit 608a so as to store information about a kilometer corresponding to the railway equipment determined to be abnormal. As a result, it is possible to more easily confirm the abnormal railway equipment.
  • the equipment diagnosis system 100 according to the third embodiment can obtain the same effect as that of the first embodiment. Further, the equipment diagnosis system 100 according to the third embodiment may be combined with the second embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本実施形態による設備診断システムは、撮像部と、位置計測部と、符号化部と、画像選択部と、画像比較部と、を備える。撮像部は、鉄道車両に設けられ、鉄道車両の走行経路に沿って設けられる鉄道設備を撮像する。位置計測部は、走行中の鉄道車両の車両位置を計測する。符号化部は、撮像部が撮像した動画と車両位置とを関連付けるとともに、動画を符号化する。画像選択部は、第１動画に関連付けられた第１車両位置に基づいて、車両位置と関連付けて動画記憶部に予め記憶される符号化された動画から、診断対象の鉄道設備の選択画像を選択する。画像比較部は、復号化された第１動画に含まれる第１画像と、復号化された第２動画に含まれる第２画像と、の間の動きベクトルを算出し、動きベクトルに基づいて、鉄道設備の異常を診断する。

Description

設備診断システム
　本発明による実施形態は、設備診断システムに関する。
　鉄道管理者は、地上に設置してある鉄道設備に異常がある場合、その異常を速やかに知る必要がある。そのために、例えば、鉄道車両において前方に向けて設置されたカメラによって鉄道設備を含む動画を撮影して記憶し、監視員がその動画を見ることで鉄道設備の異常を調べる手法がある。
　しかし、上述の手法では、監視員が動画を見て鉄道設備の異常を調べるため、手間がかかるという問題がある。
特開２００５－２１７９３７号公報 特開平３－２５０１０３号公報
　鉄道設備の異常をより効率的に検知することができる設備診断システムを提供することを目的とする。
　本実施形態による設備診断システムは、撮像部と、位置計測部と、符号化部と、第１動画復号化部と、画像選択部と、第２動画復号化部と、画像比較部と、を備える。撮像部は、鉄道車両に設けられ、鉄道車両の走行経路に沿って設けられる鉄道設備を撮像する。位置計測部は、走行中の鉄道車両の車両位置を計測する。符号化部は、撮像部が撮像した動画と車両位置とを関連付けるとともに、動画を符号化する。第１動画復号化部は、符号化された動画のうち、診断対象の鉄道設備の第１動画を復号化する。画像選択部は、第１動画に関連付けられた第１車両位置に基づいて、車両位置と関連付けて動画記憶部に予め記憶される符号化された動画から、診断対象の鉄道設備の選択画像を選択する。第２動画復号化部は、選択画像に対応する、診断対象の鉄道設備の第２動画を復号化する。画像比較部は、復号化された第１動画に含まれる第１画像と、復号化された第２動画に含まれる第２画像と、の間の動きベクトルを算出し、動きベクトルに基づいて、鉄道設備の異常を診断する。
第１実施形態による設備診断システムの構成を示すブロック図。 第１実施形態による符号化装置の構成を示すブロック図。 第１実施形態による符号化装置の動作を示すフロー図。 第１実施形態による地上診断装置の構成を示すブロック図。 動きベクトルの算出の一例を示す図。 異常判定の方法の一例を示す図。 第１実施形態による監視動画読出し部、基準動画読出し部および復号画像判定部の動作を示すフロー図。 第１実施形態による画像比較部および結果記憶制御部の動作を示すフロー図。 第２実施形態による監視動画読出し部、基準動画読出し部および復号画像判定部の動作を示すフロー図。 第３実施形態による符号化装置の構成を示すブロック図。
　以下、図面を参照して本発明に係る実施形態を説明する。本実施形態は、本発明を限定するものではない。図面は模式的または概念的なものであり、各部分の比率などは、必ずしも現実のものと同一とは限らない。明細書と図面において、既出の図面に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
（第１実施形態）
　図１は、第１実施形態による設備診断システム１００の構成を示すブロック図である。設備診断システム１００は、鉄道設備の状態を診断する。鉄道設備は、例えば、鉄道標識等である。尚、設備診断システム１００は、鉄道に限られず、例えば、バスや路面電車等の他の車両システムにおける設備を診断してもよい。
　設備診断システム１００は、鉄道車両ＲＶに搭載された車上診断装置１００ａと、地上診断装置１００ｂと、を備える。
　鉄道車両ＲＶは、線路Ｒ上を走行する。また、鉄道車両ＲＶは、無線通信等により、地上診断装置１００ｂとの間でデータの送受信をすることができる。
　車上診断装置１００ａは、カメラ１０と、符号化装置２０と、位置計測装置３０と、記憶装置４０と、通信制御部５０と、を備える。
　撮像部としてのカメラ１０は、鉄道車両ＲＶに設けられる。カメラ１０は、例えば、鉄道車両ＲＶの進行方向（前方）に向けて設置される。また、カメラ１０は、鉄道車両ＲＶの走行経路（線路Ｒ）に沿って設けられる鉄道設備を撮像する。カメラ１０は、例えば、鉄道車両ＲＶが線路Ｒ上を走行する際に、地上に設置される鉄道設備を含む動画を撮影する。尚、カメラの種別は限定されない。また、カメラ１０は、高解像度で撮影できることが好ましい。また、カメラ１０は、撮影した動画を符号化装置２０に送信する。
　位置計測部としての位置計測装置３０は、走行中の鉄道車両ＲＶの車両位置（位置情報）を計測する。位置計測装置３０は、例えば、鉄道車両ＲＶの位置情報を計測し、計測した位置情報を符号化装置２０に送信する。位置計測装置３０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）装置である。ＧＮＳＳ装置は、アンテナによって複数の人工衛星から電波を受信して、鉄道車両ＲＶの位置情報を計測する。尚、鉄道車両ＲＶがトンネルに入っているとき等の場合、ＧＮＳＳ装置は人工衛星から電波を受信できない。そこで、位置計測装置３０は、鉄道車両ＲＶの車軸に設けられる速度発電機（タコジェネレータ）の出力に基づいて鉄道車両ＲＶの車両位置（位置情報）を計測する装置を併用してもよい。これにより、トンネル内走行中の位置情報を補間することができる。
　また、位置計測装置３０は、加速度センサやジャイロセンサを用いて鉄道車両ＲＶの進行方向の加速度を検出し、加速度を二階積分して位置を算出することで鉄道車両ＲＶの車両位置（位置情報）を計測する装置を有し併用してもよく、または、該装置に代用されてもよい。
　符号化装置２０は、例えば、カメラ１０が撮影した鉄道車両ＲＶの前方映像（監視動画）を画像フレーム単位で符号化することで符号化画像フレームを生成し、更にこの符号化画像フレームに対して位置計測装置３０で計測した位置情報を付加することで監視動画データを生成する。また、符号化装置２０は、後で説明するように、時間情報および天候情報の少なくとも１つをさらに情報として監視動画データに付加してもよい。符号化装置２０は、例えば、位置計測装置３０から時間情報を取得すればよい。符号化装置２０は、例えば、コンピュータ装置である。尚、符号化装置２０の詳細については、図２を参照して、後で説明する。
　記憶装置４０は、符号化装置２０により符号化された監視動画を含む監視動画データを記憶する。
　地上診断装置１００ｂは、鉄道設備の正常または異常等の状態を診断する。地上診断装置１００ｂは、例えば、予め保存される基準動画データと、カメラ１０が撮像した監視動画と、を同時に再生しながら比較することで、地上設備を診断する。地上診断装置１００ｂの詳細については、図４を参照して、後で説明する。
　次に、符号化装置２０の詳細について説明する。
　図２は、第１実施形態による符号化装置２０の構成を示すブロック図である。
　符号化装置２０は、位置情報取得部２０２と、監視動画取得部２０３と、符号化部２０１と、動画記憶制御部２０５と、記憶部２０４と、を備える。
　尚、符号化部２０１、位置情報取得部２０２、監視動画取得部２０３、そして動画記憶制御部２０５のうちの一部または全部は、鉄道車両ＲＶが有するＣＰＵ（Central Processing Unit）等のプロセッサが記憶部２０４に記憶されるソフトウェアを実行することによって実現される。また、符号化部２０１、位置情報取得部２０２、監視動画取得部２０３、そして動画記憶制御部２０５のうちの一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の回路基板であるハードウェアによって実現されてもよい。
　位置情報取得部２０２は、位置計測装置３０から、走行している鉄道車両ＲＶの位置情報を取得する。
　監視動画取得部２０３は、鉄道車両ＲＶの走行時にカメラ１０によって撮影された動画を、監視動画として取得する。
　符号化部２０１はカメラ１０が撮像した監視動画と、位置情報とを関連付ける。また、符号化部２０１は、監視動画を符号化する。符号化部２０１は、例えば、フレーム間予測や量子化等により、動画を圧縮する。動画圧縮形式は、例えば、Ｈ．２６４やＨ．２６５等である。
　動画記憶制御部２０５は、監視動画データを記憶装置４０に記憶させる。また、通信制御部５０は、記憶装置４０に記憶されている監視動画データを読み出し、無線通信部５０１を介して車両外に設置された地上診断装置１００ｂに送信する。なお、通信制御部５０は、記憶装置４０から監視動画データを読み出すのではなく、符号化部２０１から、直接、監視動画データを受け取るようにしてもよい。
　記憶部２０４は、車上診断装置１００ａが有するプロセッサが実行するプログラム等の各種情報を記憶する。記憶部２０４は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ等により実現される。
　図３は、第１実施形態による符号化装置２０の動作を示すフロー図である。
　まず、ステップＳ１１０において、監視動画取得部２０３および位置情報取得部２０２は、それぞれ、カメラ１０から監視動画を取得し、位置計測装置３０から位置情報を取得する。次に、ステップＳ１２０において、符号化部２０１は、監視動画を画像フレーム毎に符号化することで符号化画像フレームを生成する。次に、ステップＳ１３０において、符号化部２０１は、各符号化画像フレームに位置情報を対応付けて監視動画データを生成する。そして、符号化部２０１は、この生成した監視動画データを予め用意したデータフォーマットに格納する。その後、監視動画データは、動画記憶制御部２０５によって記憶装置４０に記憶される。なお、記憶装置４０に保存した監視動画データはメモリカードや外付けＨＤＤ（Hard Disk Drive）等の外部記録媒体に保存され、地上診断装置１００ｂへデータをコピーすることもできる。
　次に、ステップＳ１４０において、通信制御部５０は、監視動画データを記憶装置４０から読出し、無線通信部５０１から携帯電話網などの無線通信網を介して地上診断装置１００ｂへ送信する。ステップＳ１４０の後、再びステップＳ１１０が実行される。
　次に、地上診断装置１００ｂの詳細について説明する。
　図４は、第１実施形態による地上診断装置１００ｂの構成を示すブロック図である。
　地上診断装置１００ｂは、データ記憶部６０１と、基準動画読出し部６０２と、監視動画読出し部６０３と、復号画像判定部６０４と、監視動画復号化部６０５と、基準動画復号化部６０６と、画像比較部６０７と、結果記憶制御部６０８と、診断結果記憶部６０８ａと、記憶部６０９と、を備える。
　尚、データ記憶部６０１、基準動画読出し部６０２、監視動画読出し部６０３、復号画像判定部６０４、監視動画復号化部６０５、基準動画復号化部６０６、画像比較部６０７、そして結果記憶制御部６０８のうちの一部または全部は、地上診断装置１００ｂが有するＣＰＵ等のプロセッサが記憶部６０９に記憶されるソフトウェアを実行することによって実現される。また、データ記憶部６０１、基準動画読出し部６０２、監視動画読出し部６０３、復号画像判定部６０４、監視動画復号化部６０５、基準動画復号化部６０６、画像比較部６０７、そして結果記憶制御部６０８のうちの一部または全部は、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等の回路基板であるハードウェアによって実現されてもよい。
　データ記憶部６０１は、車上診断装置１００ａから受信した監視動画データ、および、予め、鉄道車両ＲＶにおいて前方に向けて設置されたカメラ１０によって撮影された地上に設置してある鉄道設備を含み、走行区間や走行時間が異なる複数の基準動画データを記憶する。
　監視動画読出し部６０３は、データ記憶部６０１から監視動画データを読み出す。より詳細には、監視動画読出し部６０３は、平常運転時に撮影した、ある走行区間、ある走行時間の監視動画データを読み出す。監視動画読出し部６０３は、読み出した監視動画データから符号化画像フレームに付加されている位置情報を抽出し、この位置情報を含む走行区間の基準動画データをデータ記憶部６０１から読み出して基準動画読出し部６０２に送信する。また、監視動画読出し部６０３は、監視動画データから抽出した位置情報を復号画像判定部６０４に送信する。復号画像判定部６０４は監視動画読出し部６０３から受信した位置情報を基に、基準動画データの再生箇所を決定し、監視動画符号化データと基準動画データの復号地点の位置が等しくなるように調整する。
　第１動画復号化部としての監視動画復号化部６０５は、監視動画読出し部６０３から受信した監視動画符号化データを復号化する。すなわち、監視動画復号化部６０５は、符号化された監視動画のうち、診断対象の鉄道設備の監視動画を複合化する。また、監視動画復号化部６０５は、復号化した複数の監視画像（画像フレーム）を取得する。また、監視動画復号化部６０５は、監視画像（画像フレーム）を画像比較部６０７に送信する。
　基準動画読出し部６０２は、データ記憶部６０１から基準動画を読み出す。
　画像選択部としての復号画像判定部６０４は、監視動画から求めた符号化画像フレームに関連付けられる位置情報（第１位置情報）に基づいて、基準動画データのどの位置から復号化すべきか判定する。これにより、画像比較部６０７による監視動画符号化データを復号化した複数のフレームと基準動画データを復号化した複数のフレーム同士の比較位置が決定される。例えば、復号画像判定部６０４が或る駅を再生の開始位置とすれば、ある駅を基準に監視動画符号化データと基準動画データとはそれぞれ復号化される。画像比較部６０７は、復号化された画像フレーム同士を比較することで、鉄道設備の変化を検出する。すなわち、復号画像判定部６０４は、第１位置情報に基づいて、動画記憶部（データ記憶部６０１）に予め記憶される符号化された基準動画から、診断対象の鉄道設備の選択画像を選択する。選択画像は、画像比較部６０７による比較の基準になる画像である。
　第２動画復号化部としての基準動画復号化部６０６は、選択画像に対応する、診断対象の鉄道設備の第２動画（基準動画）を復号化する。基準動画復号化部６０６は、例えば、基準動画データを復号化する。また、基準動画復号化部６０６は、復号化した複数の基準画像（画像フレーム）を取得する。また、基準動画復号化部６０６は、基準画像を画像比較部６０７に送信する。
　画像比較部６０７は、復号化された監視動画に含まれる第１画像フレーム（監視画像）と、復号化された基準動画に含まれる第２画像フレーム（基準画像）と、の間の動きベクトルを算出する。動きベクトルは、基準となるフレームからの動き（変位量）を示す。また、画像比較部６０７は、動きベクトルに基づいて、鉄道設備の異常を診断する。これにより、鉄道設備の異常をより効率的に検知することができる。
　また、より詳細には、画像比較部６０７は、監視画像に関連付けられる車両位置と、基準画像に関連付けられる車両位置と、を対応させるように動きベクトルを算出する。画像比較部６０７は、例えば、第１画像フレーム（監視動画）および第２画像フレーム（基準動画）を並べるように再生し、画像フレーム同士を比較しながら動きベクトルを算出する。尚、監視動画と基準動画とで、鉄道車両ＲＶの走行速度が必ずしも同じとは限らないことから、画像フレームを適切に比較することができない場合がある。そこで、画像比較部６０７は、それぞれの車両位置が互いに近い位置になるように、再生速度を調整する。これにより、画像フレーム同士をより適切に比較することがきる。尚、画像比較部６０７による鉄道設備の診断の詳細については、図５および図６を参照して、後で説明する。
　結果記憶制御部６０８は、異常であると判定された鉄道設備に対応する車両位置を診断結果記憶部６０８ａに記憶する。これにより、ユーザは、位置情報を基に、異常と判定された鉄道設備の動画を見ることができる。この結果、ユーザは、鉄道設備の異常を容易に認識し、現場に直行することができる。尚、結果記憶制御部６０８は、画像比較部６０７の診断結果を診断結果記憶部６０８ａに記憶するようにしてもよい。診断結果は、例えば、異常または正常等の情報を含む。また、図４に示す例では、診断結果記憶部６０８ａは、地上診断装置１００ｂ内に設けられるが、地上診断装置１００ｂの外部に設けられていてもよい。
　記憶部６０９は、地上診断装置１００ｂが有するプロセッサが実行するプログラム等の各種情報を記憶する。記憶部６０９は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ等により実現される。
　次に、動きベクトルによる異常判定の詳細について説明する。
　図５は、動きベクトルの算出の一例を示す図である。ＲＦ１およびＲＦ２は、鉄道設備を示す。より詳細には、ＲＦ１およびＲＦ２は、標識である。ＲＧは、監視領域を示す。監視領域ＲＧは、予め設定される、画像内で固定された領域である。また、監視領域ＲＧは、画像内において鉄道設備が表示される位置に、予め設定される。Ｂは、ブロックを示す。ブロックＢは、監視領域ＲＧを分割する。また、格子状に配列されたブロックＢは、例えば、８×８画素単位や、１６×１６画素単位等の矩形ブロック（マクロブロック）である。
　図５の上段には、比較対象である第１画像フレームと第２画像フレームとの組を示す。図５に示す例では、複数の組のうちの或る組が示されている。図５の下段右側は、第１画像フレームと第２画像フレームとを重ね合わせた図を示す。尚、動きベクトルＭＶも示されている。図５の下段左側は、下段右側の図から動きベクトルＭＶを抜き出した図を示す。
　画像比較部６０７は、例えば、フレーム間予測に用いられるブロックマッチング法により動きベクトルを算出する。画像比較部６０７は、分割されたブロックＢ毎に、第１画像フレームと第２画像フレームとの間で類似するブロックを探索する。画像比較部６０７は、例えば、輝度の誤差が最小となるブロックを探索する。画像比較部６０７は、類似するそれぞれのブロックＢ間の変位を動きベクトルとして算出する。
　図５に示す例では、第２画像フレーム内の標識ＲＦ１は、正常である。しかし、第１画像フレーム内の標識ＲＦ１は、曲がっている。従って、有限の動きベクトルＭＶが算出される。一方、第１画像フレーム内の標識ＲＦ２は、第２画像フレームからほとんど変化がなく、正常のままである。従って、動きベクトルＭＶは、ほとんどゼロである。
　画像比較部６０７は、第１画像フレームおよび第２画像フレーム内の監視領域ＲＧを分割する複数のブロックＢ毎に動きベクトルを算出する。監視領域ＲＧは、画像フレーム内に鉄道設備が表示されてから鉄道車両ＲＶが鉄道設備を通り過ぎるまでの間に、画像フレーム内において鉄道設備が表示される領域である。監視領域ＲＧは、予め設定される領域である。ブロックＢは、監視領域ＲＧ内において、複数の画素ごとに設定される領域である。また、画像比較部６０７は、監視領域ＲＧの向きのずれ等を補正してもよい。
　図５において、画像比較部６０７は、格子状に表示された領域を監視領域ＲＧと定義し、監視領域ＲＧ内の全ブロックＢ（マクロブロック）の動きベクトルを算出する。例えば、監視領域ＲＧに変化がある場合、動きベクトルが発生するが、変化がない場合、動きベクトルは発生しない（または、動きベクトルの絶対値は微小な値となる）。画像フレーム内には、実際に監視したい対象物以外にも背景画像が存在する。しかし、背景画像は、第１画像フレームと第２画像フレームとにほぼ等しく含まれる情報である。従って、画像比較部６０７は、例えば、それらの差分値を閾値に設定し、閾値との比較により監視領域ＲＧ内に変化が発生したか否かを判定する。
　図６は、異常判定の方法の一例を示す図である。図６に示すグラフは、図５における差分変化量を時系列で示す。差分変化量は、ブロックＢ毎の動きベクトルの絶対値の総和である。グラフの縦軸は、差分変化量を示す。グラフの横軸は、時刻を示す。尚、グラフの横軸は、車両位置や、比較される画像フレームの組の数等であってもよい。Ｌ１は、第１画像フレームと第２画像フレームとの間の差分変化量の一例を示す。Ｌ２は、差分変化量の所定値（閾値）を示す。尚、Ｌ１は時系列データであり、Ｌ２は、時間に依存しない一定値である。
　図６に示すｔ１では、画像フレーム内に標識ＲＦ１、ＲＦ２がまだ入っていないため、差分変化量Ｌ１は低い。ｔ２では、第１画像フレーム内の標識ＲＦ１が第２画像フレーム内の標識ＲＦ１に対して曲がっているため、差分変化量Ｌ１は上昇する。ｔ３では、鉄道車両ＲＶが標識ＲＦ１、ＲＦ２に近づく。この場合、監視領域ＲＧ中で標識ＲＦ１、ＲＦ２が拡大される。従って、動きベクトルおよび差分変化量がさらに上昇する。ｔ４では、鉄道車両ＲＶが標識ＲＦ１、ＲＦ２を通り過ぎる。監視領域ＲＧ中から標識ＲＦ１、ＲＦ２が出るため、差分変化量Ｌ１が減少する。画像比較部６０７は、この差分変化量Ｌ１と所定値Ｌ２との比較により、標識ＲＦ１、ＲＦ２の異常を診断する。
　画像比較部６０７は、動きベクトルの絶対値が所定期間継続して所定値Ｌ２以上である場合、診断対象の鉄道設備が異常であると判定する。所定期間の設定により、ノイズや、線路Ｒ付近で動く物体の影響を除外して、異常判定を行うことができる。所定期間は、例えば、１秒である。尚、所定期間は、走行速度や動画のフレームレート等によって変更されてもよい。例えば、所定期間が短すぎる場合、ノイズによって異常と判定されてしまう場合がある。一方、所定期間が長すぎる場合、異常と判定する前に鉄道車両ＲＶが鉄道設備を通り過ぎてしまう場合がある。また、所定値Ｌ２は、背景部分の動きベクトルの絶対値である背景差分量に基づいて設定される。所定値Ｌ２は、例えば、或る値に背景差分量を加算した値である。画像比較部６０７は、監視領域ＲＧ内の鉄道設備以外の背景部分で発生する差分量を算出する。これにより、背景部分の変化と区別して鉄道設備の変化を認識することができる。また、鉄道設備をより適切に診断することができる。尚、所定期間は、比較する画像フレーム同士の組の数でもあってもよい。また、所定期間および所定値Ｌ２は、予め設定される。
　より詳細には、画像比較部６０７は、複数のブロックＢ毎の絶対値の和が所定期間継続して所定値Ｌ２以上である場合、診断対象の鉄道設備が異常であると判定する。
　また、より詳細には、画像比較部６０７は、鉄道車両ＲＶが鉄道設備に近づくにつれて大きくなる絶対値が所定期間継続して所定値Ｌ２以上である場合、診断対象の鉄道設備が異常であると判定する。
　図７は、第１実施形態による監視動画読出し部６０３、基準動画読出し部６０２および復号画像判定部６０４の動作を示すフロー図である。
　まず、ステップＳ２１０において、監視動画読出し部６０３は、監視動画データを読み出す。次に、ステップＳ２２０において、監視動画読出し部６０３は、監視動画データを構成する符号化画像フレーム（第１符号化画像フレーム）個々の位置情報を復号画像判定部６０４に送信する。次に、ステップＳ２３０において、監視動画読出し部６０３は、基準動画データを読み出す。次に、ステップＳ２４０において、復号画像判定部６０４は、第１符号化画像フレームに対応する位置情報に最も近い位置（一致する位置）に対応する符号化画像フレーム（第２符号化画像フレーム）を基準動画データから選択する。選択した符号化画像フレームは、選択画像に対応する。選択した第２符号化画像フレームを復号化して得た第２画像フレームが、復号化して得られる第１画像フレームと比較される画像となる。
　図８は、第１実施形態による画像比較部６０７および結果記憶制御部６０８の動作を示すフロー図である。
　まず、ステップＳ３１０において、画像比較部６０７は、第１符号化画像フレームを復号化した任意の第１画像フレームと、復号画像判定部６０４で選択した第２符号化画像フレームを復号化して得た第２画像フレームを用いて、予め設定した監視領域ＲＧ内の全ブロックＢ（マクロブロック）に対する動きベクトル量を算出する。次に、ステップＳ３２０において、画像比較部６０７は、算出した動きベクトルの監視領域ＲＧ全体の絶対値を算出し、差分変化量と定義する。
　次に、ステップＳ３３０において、画像比較部６０７は、所定期間、監視領域ＲＧ内の差分変化量が閾値（所定値Ｌ２）を超えた否かを判定する。差分変化量が所定期間継続して設定した閾値（所定値Ｌ２）を超える場合（Ｓ３３０のＹＥＳ）、画像比較部６０７は監視領域ＲＧ内に存在する鉄道設備に異常が発生したと判定する。その後、ステップＳ３４０が実行される。一方、差分変化量が所定期間継続して設定された閾値（所定値Ｌ２）を超えない場合（Ｓ３３０のＮＯ）、ステップＳ３１０が再び実行される。ステップＳ３４０において、結果記憶制御部６０８は、異常が発生したと判定した第１画像フレームの位置情報を診断結果記憶部６０８ａに保存する。尚、ステップＳ３３０において、画像比較部６０７は、比較される画像フレームの組の数が所定回数連続して、差分変化量が所定値Ｌ２以上であるか否かを判定してもよい。
　以上のように、第１実施形態によれば、復号画像判定部６０４は、第１符号化画像データに対応付けられた位置情報に基づいて、データ記憶部６０１に予め記憶される符号化された基準動画データから、第２符号化画像フレームを選択する。また、画像比較部６０７は、復号化された第１画像フレームに含まれる監視領域ＲＧと、復号化された第２画像フレームに含まれる監視領域ＲＧと、の間の動きベクトルを算出し、動きベクトルに基づいて、鉄道設備の異常を診断する。これにより、鉄道設備の異常をより効率的に検知することができる。
　また、符号化部２０１は、カメラ１０が撮像した監視動画と位置情報とを関連付けるとともに、監視動画を構成する画像フレーム毎に符号化する。
　尚、地上診断装置１００ｂは、鉄道車両ＲＶ外に限られず、車上診断装置１００ａ内に設けられてもよい。この場合、車上診断装置１００ａは、リアルタイムに鉄道設備の診断を行うことが可能となる。
　また、画像比較部６０７の診断結果、および、異常であると判定された鉄道設備の位置情報の少なくとも１つを表示するように表示部を制御する表示制御部をさらに備えていてもよい。これにより、ユーザは、保守作業等を実行するよう現場に人員を送ることができる。
　また、位置情報だけでなく、時間情報や環境情報も、第１符号化画像フレームや第２符号化画像フレームに関連付けられてもよい。時間情報は、例えば、１日のうちの時刻を示す情報である。時間情報は、第１画像フレームと第２画像フレームを比較する際の補助情報として用いられる。例えば 、監視動画が日中の動画で、基準動画が夜の動画であれば、撮影対象物が同一でも輝度の違いが大きいが、時間情報を用いることで監視動画と時間帯の近い基準動画を選択することができるため、両動画の撮影時間帯の違いを把握し除外することで、対応することができる。また、環境情報は、例えば、撮影時の天候（晴れ、曇り、雨、雪等）等の情報を含む。図２に示すように、例えば、位置計測装置３０は時間情報を計測する。一方、環境情報は、無線通信部５０１を介して外部から入手すればよい。位置情報取得部２０２は時間情報や環境情報を取得する。また、符号化部２０１は、例えば、位置情報、時間情報および環境情報を第１符号化フレームに関連付ける。また、基準動画データには、時間、天候といった環境条件の異なる複数の動画データが含まれている。
　また、画像比較部６０７は、監視動画と基準動画が同じ時間帯で撮影された動画である場合、動画同士の輝度変化を、動きベクトルと組み合わせて鉄道設備の異常を診断してもよい。具体的には、鉄道設備の存在する領域の輝度差を算出する。第１画像フレームと第２画像フレームが同一時刻に撮影された画像フレームの場合、天候等の違いがあっても輝度差が十分に小さい。従って、輝度差が大きい場合、監視動画において鉄道設備の一部または全部が無くなった場合や、鉄道設備に異物が付着した場合、鉄道設備に樹木が接近した場合等を検知でき、さらに動きベクトル量の変化量を用いれば、より適切に異常を検知することができる。
（第２実施形態）
　図９は、第２実施形態による監視動画読出し部６０３、基準動画読出し部６０２、復号画像判定部６０４および画像比較部６０７の動作を示すフロー図である。第２実施形態は、画像比較の際に、パターンマッチングによって類似度のより高い画像同士の比較が行われる点で、第１実施形態と異なる。
　復号画像判定部６０４は、監視動画符号化データから得られる鉄道車両ＲＶの車両位置（位置情報）を基に、基準動画の復号化位置を決定する。画像比較部６０７は、例えば、位置情報の前後の位置において、５枚の第２復号化画像フレームを抽出する。すなわち、画像比較部６０７は、第１車両位置から所定範囲内の位置に関連付けられる複数の抽出画像を第２複合化画像フレームから抽出する。また、画像比較部６０７は、監視動画データ中の或る第１復号化画像フレームと複数の第２復号化画像フレーム（抽出画像）とを用いて類似度を算出する。また、画像比較部６０７は、或る第１復号化画像フレームと類似度が最も高い抽出画像を選択する。すなわち、画像比較部６０７は、画像同士のパターンマッチングにより、或る第１復号化画像フレームと似ている抽出画像を選択する。また、画像比較部６０７は、或る第１復号化画像フレームと選択した抽出画像との間の動きベクトルを算出する。尚、画像比較部６０７は、監視領域ＲＧ内に限られず、画像全体で類似度を算出する。従って、例えば、画像内の特徴的な建物等により、パターンマッチングを行うことができる。また、より詳細には、類似度は、正規化相互相関（ＮＣＣ（Normalized Cross Correlation））である。正規化相互相関は、－１．０から１．０の値で示され、１．０が最も類似していることを示す。類似度が高い第１復号化画像フレームと第２復号化画像フレームに対して、動きベクトルによる設備診断をすることでより判定精度を高めることができる。
　第２実施形態による設備診断システム１００のその他の構成は、第１実施形態による設備診断システム１００の対応する構成と同様であるため、その詳細な説明を省略する。
　図９に示すフロー図において、ステップＳ２１０～Ｓ２３０は、図７と同様である。
　ステップＳ２３０の後、ステップＳ２４１において、復号画像判定部６０４は、監視動画符号化データの撮影開始位置に最も近い、基準動画の復号化位置を決定する。次に、監視動画復号化部６０５は、監視動画の復号化を行い、第１復号化画像フレームを生成する。同じタイミングで、基準動画復号化部６０６は、基準動画の復号化を行い、第２復号化画像フレームを生成する。第１復号化画像フレーム、第２復号化画像フレームは画像比較部６０７に送信される。ステップＳ２５１において、画像比較部６０７は或る第１復号化画像フレームに対して複数の第２復号化画像フレームを選択し、選択した画像との類似度を判定し、最も類似する画像を選択する。
　第１実施形態において説明したように、画像比較部６０７は、再生速度を調整しながら動きベクトルを算出する。しかし、再生速度調整が行われても、画像フレームが合わない場合がある。これは、例えば、第１実施形態において説明した基準動画と監視動画との間の計測される車両位置の違いや、カメラ１０と位置計測装置３０との間のサンプリングレートの違いのためである。サンプリングレートの違いに関して、例えば、カメラ１０は１秒間に３０枚の画像フレームを取得し、位置計測装置３０は１秒間に１５データを取得する。この場合、２枚の画像フレームに同じ位置情報が関連付けられてしまう。従って、実際とは異なる位置情報が画像フレームに関連付けられてしまう。監視動画および基準動画の両方の鉄道車両ＲＶの走行速度が高いほど、計測される車両位置の間隔が大きくなるため、上記のサンプリングレートの違いや計測される車両位置の違いの影響がさらに大きくなってしまう。
　第２実施形態では、複数の画像から類似度が最大の画像を選択することにより、監視動画と基準動画とのマッチングの精度を向上させることができる。この結果、鉄道設備の異常診断の精度を向上させることができる。また、画像比較部６０７は、正規化相互相関を算出する際に、動画をベクトルとして計算する。これにより、類似判定において環境の輝度による誤差（影響）を受けづらくすることができる。
　第２実施形態による設備診断システム１００は、第１実施形態と同様の効果を得ることができる。
（第３実施形態）
　図１０は、第３実施形態による符号化装置２０の構成を示すブロック図である。第３実施形態は、鉄道設備の位置を把握するためにキロ程情報が用いられる点で、第１実施形態と異なる。
　符号化装置２０は、キロ程情報記憶部２０６をさらに備える。
　キロ程情報記憶部２０６は、予め各鉄道設備のキロ程情報を記憶する。キロ程情報は、鉄道管理者が所有する情報であり、走行経路（線路Ｒ）上の或る位置を基準として鉄道設備の位置を示す。或る位置は、例えば、駅等である。この場合、キロ程情報は、或る駅からの或る鉄道設備の距離を示す。
　符号化部２０１は、動画と、車両位置およびキロ程情報と、を関連付ける。
　復号画像判定部６０４は、第１車両位置および監視動画に関連付けられる第１キロ程情報に基づいて、車両位置およびキロ程情報と関連付けてデータ記憶部６０１に予め記憶される符号化された動画から、選択画像を選択する。
　第３実施形態による設備診断システム１００のその他の構成は、第１実施形態による設備診断システム１００の対応する構成と同様であるため、その詳細な説明を省略する。
　位置情報に加えてキロ程情報を用いることにより、鉄道設備の位置把握の精度を向上させることができる。これにより、基準動画から選択画像をより適切に選択することができる。また、画像比較部６０７による動画再生における再生位置の頭出しをより容易にすることができる。
　また、結果記憶制御部６０８は、異常であると判定された鉄道設備に対応するキロ程情報を記憶するように診断結果記憶部６０８ａを制御してもよい。これにより、異常のある鉄道設備の確認をより容易に行うことができる。
　また、空転によって車両位置とキロ程とがずれることを用いて、空転検知を行うこともできる。
　第３実施形態による設備診断システム１００は、第１実施形態と同様の効果を得ることができる。また、第３実施形態による設備診断システム１００に第２実施形態を組み合わせてもよい。
　本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

Claims (10)

  1. 　鉄道車両に設けられ、前記鉄道車両の走行経路に沿って設けられる鉄道設備を撮像する撮像部と、
    　走行中の前記鉄道車両の車両位置を計測する位置計測部と、
    　前記撮像部が撮像した動画と前記車両位置とを関連付けるとともに、前記動画を符号化する符号化部と、
    　符号化された前記動画のうち、診断対象の前記鉄道設備の第１動画を復号化する第１動画復号化部と、
    　前記第１動画に関連付けられる第１車両位置に基づいて、前記車両位置と関連付けて動画記憶部に予め記憶される符号化された前記動画から、診断対象の前記鉄道設備の選択画像を選択する画像選択部と、
    　前記選択画像に対応する、診断対象の前記鉄道設備の第２動画を復号化する第２動画復号化部と、
    　復号化された前記第１動画に含まれる第１画像と、復号化された前記第２動画に含まれる第２画像と、の間の動きベクトルを算出し、前記動きベクトルに基づいて、前記鉄道設備の異常を診断する画像比較部と、を備える設備診断システム。
  2. 　前記画像比較部は、前記第１画像に関連付けられる前記車両位置と、前記第２画像に関連付けられる前記車両位置と、を対応させるように前記動きベクトルを算出する、請求項１に記載の設備診断システム。
  3. 　前記画像比較部は、前記動きベクトルの絶対値が所定期間継続して所定値以上である場合、診断対象の前記鉄道設備が異常であると判定する、請求項１または請求項２に記載の設備診断システム。
  4. 　前記画像比較部は、
    　前記第１画像および前記第２画像内の所定領域を分割する複数のブロック毎に前記動きベクトルを算出し、
    　複数の前記ブロック毎の前記絶対値の和が前記所定期間継続して前記所定値以上である場合、診断対象の前記鉄道設備が異常であると判定する、請求項３に記載の設備診断システム。
  5. 　前記画像比較部は、前記鉄道車両が前記鉄道設備に近づくにつれて大きくなる前記絶対値が前記所定期間継続して前記所定値以上である場合、診断対象の前記鉄道設備が異常であると判定する、請求項３または請求項４に記載の設備診断システム。
  6. 　異常であると判定された前記鉄道設備に対応する前記車両位置を記憶するように診断結果記憶部を制御する結果記憶制御部をさらに備える、請求項３から請求項５のいずれか一項に記載の設備診断システム。
  7. 　前記画像選択部は、前記第１車両位置に最も近い位置に関連付けられる前記選択画像を選択する、請求項１から請求項６のいずれか一項に記載の設備診断システム。
  8. 　前記画像比較部は、
    　前記第１車両位置から所定範囲内の位置に関連付けられる複数の抽出画像を前記第２画像から抽出し、
    　前記第１画像と、複数の前記抽出画像と、の類似度を算出し、
    　前記第１画像と、前記類似度が最も高い前記抽出画像と、の間の前記動きベクトルを算出する、請求項１から請求項７のいずれか一項に記載の設備診断システム。
  9. 　前記類似度は、正規化相互相関である、請求項８に記載の設備診断システム。
  10. 　前記符号化部は、前記動画と、前記車両位置、および、前記走行経路上の或る位置を基準として前記鉄道設備の位置を示すキロ程情報と、を関連付け、
    　前記画像選択部は、前記第１車両位置および前記第１動画に関連付けられる第１キロ程情報に基づいて、前記車両位置および前記キロ程情報と関連付けて前記動画記憶部に予め記憶される符号化された前記動画から、前記選択画像を選択する、請求項１から請求項９のいずれか一項に記載の設備診断システム。
PCT/JP2020/047002 2020-01-31 2020-12-16 設備診断システム WO2021153068A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20916387.2A EP4098475A4 (en) 2020-01-31 2020-12-16 INSTALLATION DIAGNOSIS SYSTEM
CN202080095039.XA CN115023384B (zh) 2020-01-31 2020-12-16 设施诊断系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-015402 2020-01-31
JP2020015402A JP7399729B2 (ja) 2020-01-31 2020-01-31 設備診断システム

Publications (1)

Publication Number Publication Date
WO2021153068A1 true WO2021153068A1 (ja) 2021-08-05

Family

ID=77078979

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047002 WO2021153068A1 (ja) 2020-01-31 2020-12-16 設備診断システム

Country Status (4)

Country Link
EP (1) EP4098475A4 (ja)
JP (1) JP7399729B2 (ja)
CN (1) CN115023384B (ja)
WO (1) WO2021153068A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03250103A (ja) 1990-02-28 1991-11-07 Koa:Kk 鉄道線路の異常検出装置
JP2005217937A (ja) 2004-01-30 2005-08-11 Nippon Hoso Kyokai <Nhk> 映像異常検出装置、その方法及びそのプログラム、並びに、映像再現装置、その方法及びそのプログラム
JP2007124088A (ja) * 2005-10-26 2007-05-17 Olympus Corp 画像撮影装置
JP2010063260A (ja) * 2008-09-03 2010-03-18 Hitachi Ltd 列車走行制御装置及び方法
JP2014092875A (ja) * 2012-11-01 2014-05-19 Toshiba Corp 画像同期装置及びシステム
JP2019191961A (ja) * 2018-04-25 2019-10-31 株式会社東芝 走行状況提示装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002300573A (ja) * 2001-03-30 2002-10-11 Toshiba Corp 車載型映像監視装置の映像診断システム
CN101266132B (zh) * 2008-04-30 2011-08-10 西安工业大学 基于mpfg运动矢量的行车障碍检测方法
JP6374238B2 (ja) * 2014-07-01 2018-08-15 クラリオン株式会社 車載装置
JP6805996B2 (ja) * 2017-07-28 2020-12-23 トヨタ自動車株式会社 情報処理装置、情報処理方法及び情報処理システム
US20190039633A1 (en) * 2017-08-02 2019-02-07 Panton, Inc. Railroad track anomaly detection
WO2019163556A1 (ja) * 2018-02-22 2019-08-29 パナソニックＩｐマネジメント株式会社 検査装置及び検査方法
JP7077148B2 (ja) * 2018-06-04 2022-05-30 本田技研工業株式会社 制御装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03250103A (ja) 1990-02-28 1991-11-07 Koa:Kk 鉄道線路の異常検出装置
JP2005217937A (ja) 2004-01-30 2005-08-11 Nippon Hoso Kyokai <Nhk> 映像異常検出装置、その方法及びそのプログラム、並びに、映像再現装置、その方法及びそのプログラム
JP2007124088A (ja) * 2005-10-26 2007-05-17 Olympus Corp 画像撮影装置
JP2010063260A (ja) * 2008-09-03 2010-03-18 Hitachi Ltd 列車走行制御装置及び方法
JP2014092875A (ja) * 2012-11-01 2014-05-19 Toshiba Corp 画像同期装置及びシステム
JP2019191961A (ja) * 2018-04-25 2019-10-31 株式会社東芝 走行状況提示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4098475A4

Also Published As

Publication number Publication date
JP2021124751A (ja) 2021-08-30
EP4098475A4 (en) 2024-03-06
CN115023384B (zh) 2024-08-02
JP7399729B2 (ja) 2023-12-18
EP4098475A1 (en) 2022-12-07
CN115023384A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
JP5225218B2 (ja) 車両搭載型画像記録装置および画像記録方法
BR102013021945A2 (pt) Estimativa de velocidade de veículo baseada em vídeo de vetores de movimento em fluxos de vídeo
WO2019138716A1 (ja) 画像合成システムおよび画像合成方法
KR20130108715A (ko) 영상을 이용한 철도차량의 위치검지 시스템 및 위치검지방법
JP2001216519A (ja) 交通監視装置
JP2007026300A (ja) 交通流異常検出装置及び交通流異常検出方法
CN113011252B (zh) 轨道异物侵限检测系统及方法
JP2002357557A (ja) 道路や周辺施設等の管理システム
JP3544703B2 (ja) 巡回検査装置及び巡回検査のための表示方法
CN108235017A (zh) 用于检测事件的方法和装置
CN113792697B (zh) 目标检测方法、装置、电子设备及可读存储介质
WO2021153068A1 (ja) 設備診断システム
KR100887942B1 (ko) 실시간 이상현상 감지 시스템 및 그 제어방법
JP2007158496A (ja) 地図連携映像監視方法及びその装置
JP2019047401A (ja) 画像処理装置
CN113891048B (zh) 一种轨道机车超视距影像图传系统
WO2020031898A1 (ja) 監視装置
WO2022074701A1 (ja) 情報処理装置、情報処理システム、および情報処理方法
JP4238016B2 (ja) 画像情報記録装置
JP7542342B2 (ja) 撮影装置
JP3502468B2 (ja) 分散型監視装置
JP7117645B2 (ja) 監視装置、監視システム、監視方法、及び、コンピュータプログラム
KR101369498B1 (ko) 영상을 이용한 철도 시설물 유지보수 검측 시스템
US20230331269A1 (en) Train jolt determination system
KR20120014094A (ko) 선로 영상을 이용한 열차 운행 자동 제어 시스템 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20916387

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020916387

Country of ref document: EP

Effective date: 20220831