WO2021241270A1 - 監視装置、及び監視方法 - Google Patents

監視装置、及び監視方法 Download PDF

Info

Publication number
WO2021241270A1
WO2021241270A1 PCT/JP2021/018378 JP2021018378W WO2021241270A1 WO 2021241270 A1 WO2021241270 A1 WO 2021241270A1 JP 2021018378 W JP2021018378 W JP 2021018378W WO 2021241270 A1 WO2021241270 A1 WO 2021241270A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
moving image
monitoring device
unit
Prior art date
Application number
PCT/JP2021/018378
Other languages
English (en)
French (fr)
Inventor
渉 浅野
広幸 小林
直人 瀬戸
Original Assignee
株式会社 東芝
東芝インフラシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝, 東芝インフラシステムズ株式会社 filed Critical 株式会社 東芝
Priority to CN202180039072.5A priority Critical patent/CN115699727A/zh
Priority to EP21813219.9A priority patent/EP4159580A4/en
Publication of WO2021241270A1 publication Critical patent/WO2021241270A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041—Obstacle detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/042—Track changes detection
    • B61L23/044—Broken rails
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/042—Track changes detection
    • B61L23/045—Rail wear
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/042—Track changes detection
    • B61L23/047—Track or rail movements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/042—Track changes detection
    • B61L23/048—Road bed changes, e.g. road bed erosion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/02—Indicating or recording positions or identities of vehicles or trains
    • B61L25/025—Absolute localisation, e.g. providing geodetic coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the embodiment of the present invention relates to a monitoring device and a monitoring method.
  • the monitoring device includes a moving image selection unit, an image selection unit, a generation unit, and an output unit.
  • the moving image selection unit selects a second moving image corresponding to the shooting conditions from a plurality of moving images based on the shooting conditions of the first moving image to be monitored.
  • the image selection unit selects the second image corresponding to each first image constituting the first moving image from the second moving image by using the information indicating the position of the first image.
  • the generation unit generates comparison information between each first image and the corresponding second image.
  • the output unit outputs information about the first image having a predetermined change in the first moving image based on the comparison information.
  • a block diagram showing a configuration example of a monitoring system A block diagram showing the configuration of the monitoring device.
  • a block diagram showing a detailed configuration example of the difference calculation unit A block diagram showing a detailed configuration example of the difference display unit.
  • the figure which shows typically the detection processing example of the change point detection part The figure which shows typically the example of the generated image in the image generation part.
  • a flowchart showing a processing example of the monitoring device The block diagram which shows the structure of the difference image generation part which concerns on the modification of 1st Embodiment.
  • the block diagram which shows the structure of the image selection part which concerns on 2nd Embodiment The flowchart which shows the processing of the image selection part which concerns on 2nd Embodiment.
  • FIG. 1 is a block diagram showing a configuration example of the monitoring system 1 according to the present embodiment.
  • the monitoring system 1 according to the present embodiment includes a train position detection device 10a, an image pickup device 10b, a storage device 10c, a communication device 10d, and a monitoring room 15 mounted on a railway vehicle 10. It includes a monitoring device 20 and a display device 30 to be arranged.
  • the railroad vehicle 10 travels on the track R10, which is a fixed track.
  • the train position detecting device 10a detects the traveling position of the railway vehicle 10 in time series (see Patent Document 2).
  • the image pickup device 10b is, for example, a camera and can continuously capture R, G, and B images as a running moving image.
  • the image pickup device 10b is fixed to the front of the railway vehicle 10, for example, and takes an image at the same image pickup magnification. Therefore, each image constituting the traveling moving image captured while the railway vehicle 10 is traveling on the track R10 becomes an image having the same angle and the same imaging magnification when, for example, the images are captured at the same point. Further, the image pickup device 10b stores each image in the storage device 10c in association with the position on the line R10 detected by the train position detection device 10a and the time.
  • the shooting conditions are associated with the running moving image captured by the image pickup device 10b.
  • the shooting conditions include the weather and the shooting date and time.
  • the weather is sunny, cloudy, and rainy.
  • the date and time include information on the time zone such as morning, daytime, and evening, and the seasons of spring, summer, autumn, and winter, as well as the imaging date and imaging time.
  • the storage device 10c is composed of, for example, an HDD (hard disk drive), an SSD (solid state drive), or the like. As described above, the storage device 10c stores each image constituting the traveling moving image captured by the image pickup device 10b in association with the position on the track R10, the image pickup date, and the image pickup time.
  • the communication device 10d can communicate wirelessly, and communicates with, for example, the monitoring device 20 in the monitoring room 15.
  • the communication device 10d acquires weather information for each district and time transmitted by, for example, the Japan Meteorological Agency, and stores it in association with an image stored in the storage device 10c at the same time.
  • the communication device 10d may acquire weather information or the like via the monitoring device 20 or the like in the monitoring room 15. Further, the communication device 10d transmits the moving image stored in the storage device 10c to the monitoring device 20 of the monitoring room 15.
  • the monitoring device 20 compares the first moving image to be monitored transmitted from the railway vehicle 10 with the second moving image stored in advance, and outputs information about the first image changed in the first moving image. do.
  • the running moving image to be monitored is referred to as a first moving image
  • the reference moving image to be compared is referred to as a second moving image.
  • the image of each frame constituting the first moving image is referred to as a first image
  • the image of each frame constituting the second moving image is referred to as a second image.
  • the display device 30 is, for example, a monitor, and displays images and information output by the monitoring device 20.
  • FIG. 2 is a block diagram showing the configuration of the monitoring device 20.
  • the monitoring device 20 includes a communication unit 202, a storage unit 204, a reference video selection unit (video selection unit) 206, an image selection unit 208, a difference calculation unit (generation unit) 210, and a difference display unit 212 (output unit). ) And.
  • the monitoring device 20 includes, for example, a CPU (Central Processing Unit).
  • the storage unit 204 stores various programs for executing the monitoring operation.
  • the monitoring device 20 constitutes each unit by, for example, executing a program stored in the storage unit 204.
  • the communication unit 202 can communicate wirelessly, communicates with the railway vehicle 10, and acquires the first moving image to be monitored. Further, the communication unit 202 may acquire the weather information for each district and time transmitted by, for example, the Japan Meteorological Agency, and transmit it to the railway vehicle 10. The first moving image may be acquired by removing the storage device 10C of the railway vehicle 10 and attaching it to the monitoring device 20 without using communication.
  • the storage unit 204 has a traveling video storage unit 204a, a traveling video recording group (reference) storage unit 204b, and a railway-related information storage unit 204c.
  • the storage unit 204 is composed of, for example, an HDD (hard disk drive), an SSD (solid state drive), or the like. Further, as described above, the storage unit 204 stores various programs for executing the monitoring operation.
  • the traveling moving image storage unit 204a stores the first moving image to be monitored.
  • the traveling moving image recording group (reference) storage unit 204b stores a plurality of second moving images which are reference moving images.
  • the second moving image is, for example, a moving image captured by the above-mentioned imaging device 10b and captured in a range including a section in which the first moving image is captured.
  • These second moving images are shot under various shooting conditions. That is, images are taken in various seasons, dates and times, and weather. Similar to the first moving image, each of these second moving images is associated with a position, a time, a shooting condition, and the like on the track R10 detected by the train position detecting device 10a.
  • the standard video may have all combinations of weather x time x season, but it may be in a state where some combinations are omitted due to the large video capacity.
  • the railway-related information storage unit 204c stores, for example, the position information of the maintenance personnel waiting area along the track R10, the position information of the station, the running information of the railway vehicle 10 between the stations, and the like.
  • the travel information of the railway vehicle 10 between stations is associated with the scheduled travel time for each position between stations.
  • the image selection unit 208 which will be described later, can associate the traveling time of the railway vehicle 10 with the traveling position of the railway vehicle 10 on the track R10.
  • the position information is information such as latitude and longitude by GNSS, information about the kilometer of the railroad track, and the like.
  • the reference moving image selection unit 206 is the second moving image whose shooting conditions are close to those of the plurality of reference moving image groups (second moving images) shot in advance. 2 Select the video as the reference video. More specifically, the reference moving image selection unit 206 acquires the shooting conditions of the first moving image from the information associated with the first moving image, and sets the second moving image close to the shooting conditions from the plurality of second moving images as the reference moving image. select.
  • the shooting conditions include, for example, the weather and the shooting date and time.
  • the weather is sunny, cloudy, rainy, etc.
  • the shooting date and time includes information on the seasons of spring, summer, autumn, and winter, as well as time zones such as morning, daytime, and evening.
  • the reference moving image selection unit 206 uses the information related to the shaded state or the growing state of the plant as the shooting condition, and the second moving image or the growing state of the plant whose shaded state is similar to that of the first moving image. Select a second video similar to. More specifically, the reference moving image selection unit 206 selects a second moving image having similar illuminance and sunshine angle by using at least one of weather or date and time as a shooting condition.
  • the reference moving image selection unit 206 selects the second moving image having the same start date and time as the shooting start date and time of the first moving image.
  • the first image corresponding to each first image is obtained. 2
  • the illuminance and sunshine angle at the time when the image was taken are similar. Therefore, the shaded state of each first image and the corresponding second image are similar.
  • the shaded state means the length of the shadow, the illuminance difference between the illuminance inside the shadow and the illuminance outside the shadow, and the like.
  • the reference moving image selection unit 206 when the first moving image is shot in fine weather, the reference moving image selection unit 206 also selects the image taken in fine weather for the second moving image. Similarly, when the first moving image is shot in cloudy weather, the reference moving image selection unit 206 also selects an image taken in cloudy weather for the second moving image.
  • the reference moving image selection unit 206 selects a reference moving image by prioritizing information on existing shooting conditions such as time being the first priority, weather being the second priority, and season being the third priority. For example, when the reference moving image selection unit 206 gives priority to information related to the shaded state and lacks information on time, for example, the weather is given first priority and the season is given second priority. This is because the difference in shade conditions tends to be larger due to the difference in illuminance due to the weather than the difference in the sunshine angle depending on the season.
  • the reference moving image selection unit 206 gives priority to information related to the growth state of the plant
  • the season is given the first priority
  • the time is given the second priority
  • the weather is given the third priority. This is because the difference in plant growth is the largest due to the difference in seasons.
  • the image selection unit 208 selects the second image corresponding to each first image constituting the first moving image from the second moving image by using the information indicating the position of the first image. More specifically, the image selection unit 208 searches for a frame image at the same point as the image pickup point of the first image, which is the target frame, from the second moving image, and selects the second image closest to the image pickup point. The image selection unit 208 can search the second image by associating the traveling time of the railway vehicle 10 with the traveling position of the railway vehicle 10 on the track R10.
  • FIG. 3 is a block diagram showing a detailed configuration example of the difference calculation unit 210 of the monitoring device 20.
  • the difference calculation unit 210 calculates a value indicating the amount of difference between the selected images. That is, the difference calculation unit 210 generates comparison information between each first image constituting the first moving image and the corresponding second image.
  • the difference calculation unit 210 includes a difference image generation unit 210a and a difference value calculation unit 210b.
  • the difference image generation unit 210a generates a difference image between each first image constituting the first moving image and the corresponding second image.
  • the difference image generation unit 210a standardizes the statistical values of the pixel values so that each image has an average value of 0 and a variance value of 1, and generates the difference between the pixel values between the two images as a difference image. This makes it possible to reduce the difference in brightness between images and the influence of noise. Further, the difference image generation unit 210a may generate a difference image after performing noise removal processing by filter processing. This makes it possible to reduce the detection error due to noise.
  • difference image generation unit 210a may divide the image into small areas, perform motion compensation for each area, and then generate the difference image. This makes it possible to reduce the influence of subtle pixel shifts between images.
  • the difference value calculation unit 210b calculates the difference value from the difference image.
  • the difference value is the sum of absolute values and the sum of squares of each pixel of the difference image.
  • the difference selection unit 130 of the monitoring device 20 it is possible to reduce the difference between images that occurs even in the same position image by performing at least one of image standardization, noise removal, and motion compensation. It becomes. Therefore, it is possible to suppress the influence of the difference in brightness, noise, and pixel misalignment, and to detect the change in the location due to the deterioration of the inspection object as the difference with higher accuracy.
  • FIG. 4 is a block diagram showing a detailed configuration example of the difference display unit 212 of the monitoring device 20.
  • the difference display unit 212 has a change point detection unit 212a, an image generation unit 212b, and a display control unit 212c.
  • FIG. 5 is a diagram schematically showing an example of detection processing of the change point detection unit 212a.
  • the vertical axis shows the average value of the difference value per pixel
  • the horizontal axis shows the frame number of the first moving image. That is, the frame number is a number indicating the first image.
  • the time-series difference value L10 is different for each image. That is, the difference value increases as the difference between each first image and the corresponding second image increases.
  • the change point detection unit 212a outputs information about the first image in which a predetermined change has occurred in the first moving image based on the comparison information (difference value). More specifically, the change point detection unit 212a sets the first image group P10 in which the time-series difference value L10 exceeds a predetermined threshold value L12, for example, 0.5, as an image having a predetermined change. To detect. That is, the predetermined change means that the difference value between the first image and the second image corresponding to the first image exceeds the predetermined value. In this case, an object that was not in the second image is shown in the first image, an object that was in the second image is deteriorated or changed and is shown in the first image, or is shown in the second image.
  • the threshold value L12 may be constant in the entire section or may be changed depending on the frame number (shooting position). This is because there are positions where the difference tends to be large depending on the surrounding environment of the shooting position.
  • the change point detection unit 212a outputs information regarding the position on the line R10 in which the first image in which the change has been made is captured based on the comparison information. In this case, the change point detection unit 212a outputs, for example, information on the imaging position associated with the first image having a predetermined change.
  • FIG. 6 is a diagram schematically showing an example of a generated image 300 generated by the image generation unit 212b.
  • the image generation unit 212b has a reference corresponding to the first image 302, which is a traveling image frame with a change, the region 302a with a change in the first image 302, and the first image 302.
  • the second image 304 which is an image, the position information 306 corresponding to the first image 302, the change reason 308 of the area 302a, the line diagram 310, the change point 312 where there was a change in the line diagram 310, and the nearest.
  • the image generation unit 212b acquires the changed first image 302 and the corresponding second image 304 from the storage unit 204 based on the output information of the change point detection unit 212a, and generates the generated image 300. indicate. At this time, the image generation unit 212b extracts a region in which the absolute value of the difference value in the difference image generated by the difference image generation unit 210a is larger than a predetermined value by, for example, thresholding processing and labeling processing, and the region 302a. Display as.
  • the image generation unit 212b has a recognizer for identifying a shooting target in a general image, and displays the category of the area 302a as the reason for change 308.
  • the recognizer of the image generation unit 212b learns a car, a person, an animal, a building, a fire, a tree, a plant name, and the like, and displays a category as a change reason 308.
  • the recognizer of the image generation unit 212b is the second.
  • the category in the image area corresponding to the area 302a in the image 304 is displayed as the reason for change 308.
  • the difference value in the region where the absolute value is larger than the predetermined value is positive, a new object is reflected in the first image, and if it is negative, the object in the second image is in the first image. Indicates that it has disappeared.
  • the plus and minus may be reversed.
  • the image generation unit 212b uses the railway-related information in the storage unit 204 to generate a route map image 310 including information on the change point 312 and the nearest maintenance personnel waiting area 314 and 316.
  • the display control unit 212c causes the display device 30 to display the information of the generated image 300. As a result, the observer in the monitoring room 15 can immediately determine the necessity of maintenance, the maintenance method, the contact information for the maintenance personnel, and the like.
  • the display control unit 212c transmits the information of the generated image 300 to another display device arranged at the nearest maintenance personnel waiting area 314 and 316 via the communication unit 202.
  • a generated image 300 can be confirmed by the maintenance personnel at the maintenance personnel waiting areas 314 and 316.
  • the maintenance personnel of the guard waiting areas 314 and 316 can immediately determine the necessity of maintenance, the maintenance method, and the like based on the image information.
  • FIG. 7 is a flowchart showing a processing example of the monitoring device 20. As shown in FIG. 7, first, the reference moving image selection unit 206 acquires the shooting conditions of the first moving image (first running image) to be differentially detected (step S100).
  • the reference moving image selection unit 206 selects a second moving image close to the shooting conditions of the first moving image acquired from the plurality of second images (reference moving images) as the reference moving image (step S102).
  • the image selection unit 208 acquires the first image of the frame to be the difference detection from the first moving image (step S104). Then, the frame image at the same position as the first image which is the target frame is searched from the second moving image, and the second image closest to the position is selected (step S106).
  • the difference calculation unit 210 calculates a value indicating the difference amount between the first image and the corresponding second image (step S108). The difference calculation unit 210 determines whether or not it is the end of the first moving image (step S110). If it is not the end (no in step S110), the difference calculation unit 210 repeats the process from step S104 for the next first image.
  • the difference display unit 212 determines the point corresponding to the changed first image in the first moving image based on the value indicating the difference amount for each frame. (S107), the image and information of the change point are displayed on the display device 30 (step S114), and the process is terminated.
  • the monitoring device 20 selects the second moving image from the plurality of second moving image (reference moving image) groups based on the shooting conditions, compares each first image of the first moving image with the corresponding second image, and compares the first image with the corresponding second image. Detect the point of change.
  • the reference moving image selection unit 206 selects the second moving image corresponding to the shooting conditions from the plurality of moving images based on the shooting conditions of the first moving image to be monitored.
  • the image selection unit 208 has decided to select the second image corresponding to each first image from the second moving image by using the information indicating the shooting position of the first image. This makes it possible to compare each first image constituting the first moving image with the second image corresponding to the shooting position and shooting conditions. Therefore, the difference in image information between each first image and the corresponding second image caused by the difference in shooting conditions is reduced, and erroneous detection of a changed portion is suppressed.
  • the monitoring device 20 according to the modified example of the first embodiment is different from the monitoring device 20 according to the first embodiment in that the difference image generation unit 210a of the difference calculation unit 210 is configured by a neural network.
  • the differences from the monitoring device 20 according to the first embodiment will be described.
  • FIG. 8 is a block diagram showing the configuration of the difference image generation unit 210a according to the modified example of the first embodiment.
  • the difference image generation unit 210a has a first neural network 2102a and a second neural network 2104a.
  • the first neural network 2102a has a plurality of convolutional neural networks (CNN, convolutional neural network, hereinafter may be simply referred to as CNN).
  • CNN convolutional neural networks
  • a multi-layered neural network architecture in a convolutional neural network has, for example, a plurality of convolutional layers, a plurality of sampling layers, and a plurality of fully connected layers.
  • this CNN is, for example, a trained CNN (for example, ImageNet pre-trained network) trained by an existing labeled image. That is, each of the upper CNNs extracts the feature amount from each of the three types of digital images of the red image (R image), the green image (G image), and the blue image (B image) of the second image. Similarly, each of the lower CNNs extracts a feature amount from each of the three types of digital images of the red image (R image), the green image (G image), and the blue image (B image) of the first image.
  • each of the lower CNNs has the same configuration as each of the upper CNNs.
  • each of the lower CNNs has the same weight (connection coefficient) as each of the upper CNNs.
  • each of the three primary colors R, G, and B is standardized and input.
  • an image obtained by reducing each of three types of digital images of 1920 x 1080 pixels, a red image (R image), a green image (G image), and a blue image (B image) to 384 x 216 pixels is used. ..
  • the pixel data of 384x216x3 of the second image is input to the upper CNN.
  • the pixel data of 384 ⁇ 216 ⁇ 3 of the first image is input to the lower CNN.
  • the first neural network 2102a provides 3D feature volume data corresponding to the 384x216 ⁇ 3 pixel data of the second image and 3D feature volume data corresponding to the 384x216 ⁇ 3 pixel data of the first image. Synthesize.
  • the second neural network 2104a outputs a difference image between the first image and the second image when the 3D feature amount volume data output by the first neural network 212a is input.
  • the second neural network 2104a is a neural network trained by a set of feature quantity volume data for learning synthesized by the first neural network 2102a and a difference image of 384x216 for teachers. For example, in this second neural network 2104a, the connection coefficient between each node is initialized, and 3D feature volume data with a 384x216 difference image for teachers is sequentially input. Then, the second neural network 2104a corrects the connection coefficient so that the error between the output difference image and the 384x216 difference image for the teacher set in the input 3D feature volume data is reduced.
  • connection coefficient is performed by processing such as backpropagation (error back propagation method).
  • backpropagation error back propagation method
  • the second neural network 2104a capable of generating a difference image in which the influence on the difference in the shade state due to the noise and the change in illuminance is reduced. That is, the second neural network 2104a can generate a difference image in which the influence of noise and shade is reduced between the first image and the second image even if they are different.
  • the difference image generation unit 210a using the first neural network 2102a and the second neural network 2104a can generate a difference image in which the noise of the image and the influence on the illuminance change are reduced. As a result, erroneous detection of the monitoring device 20 is further suppressed.
  • the image selection unit 208 selects the second image by using the information on the similarity between the first image and the second image in addition to the position information of the first image. It is different from the monitoring device 20 according to the first embodiment. Hereinafter, the differences from the monitoring device 20 according to the first embodiment will be described.
  • FIG. 9 is a block diagram showing the configuration of the image selection unit 208 according to the second embodiment. As shown in FIG. 9, the image selection unit 208 has a candidate selection unit 208a, a similarity calculation unit 208b, and a selection unit 208c.
  • the candidate selection unit 208a selects a second image having the position information closest to the position information corresponding to the first image of the first moving image, and a plurality of second images before and after the second image as candidate images.
  • the similarity calculation unit 208b calculates the similarity between the first image and each of the plurality of second images selected by the candidate selection unit 208a.
  • the degree of similarity is the number of corresponding points of image feature points such as ZNCC (Zero-mens Normalized Cross-Correlation) and AKAZE. That is, the similarity calculation unit 208b calculates the similarity between the first image and the plurality of second images by the normalized cross-correlation.
  • the similarity calculation unit 208b obtains the feature points of the first image and the plurality of second images, and sets the corresponding points of the feature points as the degree of similarity.
  • the selection unit 208c selects a second image corresponding to the first image based on the degree of similarity.
  • FIG. 10 is a flowchart showing the processing of the image selection unit 208 according to the second embodiment.
  • the candidate selection unit 208a acquires the position information of the first image that is the target frame of the first moving image (detection target moving image) (step S200).
  • the candidate selection unit 208a searches for the frame of the position information closest to the position information of the target frame by using the position information of each second image of the second line moving image (reference moving image) (step S202). Subsequently, the candidate selection unit 208a selects the second image having the closest position information and the second images for several frames before and after the second image as candidate frames (step S204).
  • the similarity calculation unit 208b selects one second image from a plurality of second images that are candidate frames (step S206), and calculates the similarity with the first image that is the target frame (step S206).
  • the similarity calculation unit 208b determines whether or not the similarity has been calculated for all of the plurality of second images that are candidate frames (step S210). If it is not completed (no in step S210), the similarity calculation unit 208b repeats the process from step S206 for the uncalculated second image.
  • the selection unit 208c has the similarity among the plurality of second images that are candidate frames.
  • the second image with the highest value is selected as the image for the first image (step S212), and the whole process is completed.
  • the image selection unit 208 by using the similarity between the images, even if there is a deviation between the imaging positions of the first image and the second image, the first image Allows a more similar second image to be selected. As a result, the influence of the deviation of the photographing position is reduced, and the erroneous detection of the monitoring device 20 is further suppressed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

［解決手段］本実施形態に従った監視装置は、動画選択部と、画像選択部と、生成部と、出力部と、を備える。動画選択部は、監視対象となる第１動画の撮影条件に基づき、複数の動画の中から撮影条件に対応する第２動画を選択する。画像選択部は、第１動画を構成する各第１画像に対応する第２画像を、第１画像の位置を示す情報を用いて、第２動画の中から選択する。生成部は、各第１画像と、対応する第２画像との比較情報を生成する。出力部は、比較情報に基づき、第１動画中で所定の変化のあった第１画像に関する情報を出力する。

Description

監視装置、及び監視方法
　本発明の実施形態は、監視装置、及び監視方法に関する。
　鉄道の線路周辺の地上設備の点検負荷を低減するために、車両に設置したカメラで撮影した対走行動画を用いて変化箇所を検出する技術が知られている。この際、過去に撮影した基準動画と撮影した対象動画とを比較し、変化のあった箇所を検出している。ところが、陰影などの点検対象外の箇所も変化箇所として誤検出してしまう恐れがある。
特開２００８－２２７８４４号公報 特開２０１８－０２８５１６号公報
　誤検出を抑制可能な監視装置、及び監視方法を提供する。
　本実施形態に従った監視装置は、動画選択部と、画像選択部と、生成部と、出力部と、を備える。動画選択部は、監視対象となる第１動画の撮影条件に基づき、複数の動画の中から撮影条件に対応する第２動画を選択する。画像選択部は、第１動画を構成する各第１画像に対応する第２画像を、第１画像の位置を示す情報を用いて、第２動画の中から選択する。生成部は、各第１画像と、対応する第２画像との比較情報を生成する。出力部は、比較情報に基づき、第１動画中で所定の変化のあった第１画像に関する情報を出力する。
監視システムの構成例を示すブロック図。 監視装置の構成を示すブロック図。 差分計算部の詳細な構成例を示すブロック図。 差分表示部の詳細な構成例を示すブロック図。 変化地点検出部の検出処理例を模式的に示す図。 画像生成部における生成画像の例を模式的に示す図。 監視装置の処理例を示すフローチャート。 第１実施形態の変形例に係る差分画像生成部の構成を示すブロック図。 第２実施形態に係る画像選択部の構成を示すブロック図。 第２実施形態に係る画像選択部の処理を示すフローチャート。
　以下、図面を参照して、本発明の実施形態について説明する。なお、本件明細書に添付する図面においては、図示と理解のしやすさの便宜上、適宜縮尺及び縦横の寸法比等を、実物のそれらから変更し誇張してある。
（第１実施形態）　
　図１は、本実施形態に係る監視システム１の構成例を示すブロック図である。図１に示すように、本実施形態に係る監視システム１は、鉄道車両１０に搭載される列車位置検出装置１０ａと、撮像装置１０ｂと、記憶装置１０ｃと、通信装置１０ｄと、監視室１５に配置される監視装置２０と、表示装置３０とを備える。
　鉄道車両１０は、固定された軌道である線路Ｒ１０上を走行する。列車位置検出装置１０ａは、鉄道車両１０の走行位置を時系列に検出している（特許文献２参照）。
　撮像装置１０ｂは、例えばカメラでありＲ、Ｇ、Ｂ画像を走行動画として連続的に撮像可能である。この撮像装置１０ｂは、例えば鉄道車両１０の前方に固定され、同一の撮像倍率で撮像する。このため、鉄道車両１０が線路Ｒ１０上を走行中に撮像した走行動画を構成する各画像は、例えば同じ地点で撮像された場合には、同じアングル且つ同じ撮像倍率の画像となる。また、撮像装置１０ｂは、各画像を、列車位置検出装置１０ａが検出した線路Ｒ１０上の位置、及び時刻と関連づけて記憶装置１０ｃに記憶する。
　また、撮像装置１０ｂが撮像した走行動画には、撮影条件が関連付けられている。撮影条件には、天候や撮影日時などが含まれる。天候は、晴れ、曇り、雨などである。日時は、撮像日付、及び撮像時刻とともに、朝方・日中・夕方などの時間帯、春夏秋冬の季節の情報を含む。
　記憶装置１０ｃは、例えばＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）等で構成される。記記憶装置１０ｃは、上述のように、撮像装置１０ｂが撮像した走行動画を構成する各画像を線路Ｒ１０上の位置、撮像日付、及び撮像時刻と関連づけて記憶する。
　通信装置１０ｄは、無線によって通信可能であり、例えば監視室１５の監視装置２０と通信する。この通信装置１０ｄは、例えば気象庁などが発信する地区及び時刻ごとの気象情報を取得し、同時刻に記憶装置１０ｃに記憶された画像と関連づけて記憶する。通信装置１０ｄは、気象情報などを、監視室１５の監視装置２０などを介して取得してもよい。また、通信装置１０ｄは、記憶装置１０ｃに記憶された動画を監視室１５の監視装置２０に送信する。
　監視装置２０は、鉄道車両１０から送信された監視対象となる第１動画と、予め記憶されている第２動画とを比較し、第１動画中で変化のあった第１画像に関する情報を出力する。なお、本実施形態では、監視対象となる走行動画を第１動画と称し、比較対象となる基準動画を第２動画と称する。また、第１動画を構成する各フレームの画像を第１画像と称し、第２動画を構成する各フレームの画像を第２画像と称する。
　表示装置３０は、例えばモニタであり、監視装置２０が出力する画像、及び情報を表示する。
≪監視装置２０の構成≫
　図２は、監視装置２０の構成を示すブロック図である。監視装置２０は、通信部２０２と、記憶部２０４と、基準動画選択部（動画選択部）２０６と、画像選択部２０８と、差分計算部（生成部）２１０と、差分表示部２１２（出力部）とを有する。監視装置２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を含んで構成される。記憶部２０４は、後述するように、監視動作を実行するための各種のプログラムを記憶している。これにより、監視装置２０は、例えば記憶部２０４に記憶されるプログラムを実行することにより、各部を構成する。
　通信部２０２は、無線によって通信可能であり、鉄道車両１０と通信し、監視対象となる第１動画を取得する。また、通信部２０２は、例えば気象庁などが発信する地区及び時刻ごとの気象情報を取得し、鉄道車両１０に送信してもよい。なお、第１動画は通信を用いずに、鉄道車両１０の記憶装置１０Ｃを取り外し、監視装置２０に取り付けて取得しても良い。
　記憶部２０４は、走行動画記憶部２０４ａと、走行動画記群（基準）記憶部２０４ｂと、鉄道関連情報記憶部２０４ｃと、を有する。記憶部２０４は、例えばＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）等で構成される。また、記憶部２０４は、上述したように、監視動作を実行するための各種のプログラムを記憶している。
　走行動画記憶部２０４ａは、監視対象となる第１動画を記憶する。
　走行動画記群（基準）記憶部２０４ｂは、基準動画である複数の第２動画を記憶する。第２動画は、例えば上述の撮像装置１０ｂにより撮像され、第１動画を撮像した区間を含む範囲で撮像された動画である。これらの第２動画は、様々な撮影条件で撮影されている。すなわち、多様な季節、日時、天候で撮像されている。これらの第２動画のそれぞれには、第１動画と同様に、列車位置検出装置１０ａが検出した線路Ｒ１０上の位置、時刻、及び撮影条件などが関連づけられている。
　ここで、様々な撮影条件の基準動画が必要なのは、天候や時間が異なると日の当たり方が異なり、影が変わるためである。また、季節が異なると植物の生育状況に違いが生じるためである。基準動画は、天候×時間×季節の全組み合わせを所持しても良いが、動画容量が大きくなるため一部の組み合わせが抜けた状態でも良い。
　鉄道関連情報記憶部２０４ｃは、例えば線路Ｒ１０に沿った保守要員待機所の位置情報、駅の位置情報、駅間の鉄道車両１０の走行情報などを記憶する。駅間の鉄道車両１０の走行情報には、駅間の位置ごとの走行予定時刻が関連づけられている。これにより、後述する画像選択部２０８は、鉄道車両１０の走行時刻と、鉄道車両１０の線路Ｒ１０上の走行位置とを対応づけることも可能である。ここで、位置情報とは、ＧＮＳＳによる緯度や経度等の情報や、線路のキロ程情報などである。
　基準動画選択部２０６は、差分検出対象の第１動画（第１の走行動画）の撮影条件に基づいて、予め撮影された複数の基準動画群（第２動画）の中から撮影条件の近い第２動画を基準動画として選択する。より具体的には、基準動画選択部２０６は、第１動画の撮影条件を、第１動画に関連づけられた情報から取得し、複数の第２動画から撮影条件に近い第２動画を基準動画として選択する。上述のように、撮影条件とは、例えば天候や撮影日時などである。天候は、晴れ・曇り・雨などであり、撮影日時は、朝方・日中・夕方などの時間帯とともに、春夏秋冬の季節の情報も含む。
　このように、基準動画選択部２０６は、撮影条件として日陰の状態、又は植物の生育状況に関連する情報を用いて、第１動画と日陰の状態が類似する第２動画、又は植物の生育状況が類する第２動画を選択する。より具体的には、基準動画選択部２０６は、撮影条件として天候または日時の少なくとも一方を用いて、照度、及び日照角度が類似する第２動画を選択する。
　例えば、基準動画選択部２０６は、第１動画の撮像を開始した日時と同じ開始日時の第２動画を選択する。この場合、各第１画像を撮像したときの鉄道車両１０と対応する第２画像を撮像したときの鉄道車両１０は、同じ地点をほぼ同じ時刻に通過するので、各第１画像と対応する第２画像を撮影した時点の照度及び日照角度が類似する。このため、各第１画像と対応する第２画像の日陰の状態は類似する。ここで、日陰の状態とは、陰影の長さや、陰影内の照度と陰影外の照度との照度差などを意味する。
　さらに、この場合、天候により、照度の条件を調整することがより好ましい。このため、基準動画選択部２０６は、第１動画が晴天時に撮影された場合には、第２動画も晴天時に撮影された画像を選択する。同様に、基準動画選択部２０６は、第１動画が曇天時に撮影された場合には、第２動画も曇天時に撮影された画像を選択する。
　また、時間×天候×季節の全ての条件を満たす基準動画が存在しない場合もある。この場合、基準動画選択部２０６は、時間を第１優先、天候を第２優先、季節を第３優先にする等、存在する撮影条件の情報に優先順位をつけて基準動画を選択する。例えば、基準動画選択部２０６は、日陰の状態に関連する情報を優先する場合に、時間に関する情報が欠落している場合には、例えば天候を第１優先、季節を第２優先とする。日陰の状態差は、季節による日照角度差よりも、天候による照度差により、より大きくなる傾向にあるためである。また、例えば、基準動画選択部２０６は、植物の生育状況に関連する情報を優先する場合には、季節を第１優先、時間を第２優先、天候を第３優先とする。植物の生育差は、季節の相違により、最も大きくなるためである。
　画像選択部２０８は、第１動画を構成する各第１画像に対応する第２画像を、第１画像の位置を示す情報を用いて、第２動画の中から選択する。より具体的には、画像選択部２０８は、対象フレームである第１画像の撮像地点と同地点のフレーム画像を第２動画から探索し、最も撮像地点の近い第２画像を選択する。画像選択部２０８は、鉄道車両１０の走行時刻と、鉄道車両１０の線路Ｒ１０上の走行位置とを対応づけ、第２画像を探索することも可能である。
≪差分計算部２１０の構成≫
　図３は、監視装置２０の差分計算部２１０の詳細な構成例を示すブロック図である。図３に示すように、差分計算部２１０は、選択された画像間の差分量を示す値を計算する。すなわち、この差分計算部２１０は、第１動画を構成する各第１画像と、対応する第２画像との比較情報を生成する。差分計算部２１０は、差分画像生成部２１０ａと、差分値計算部２１０ｂと、を有する。
　より詳細には、差分画像生成部２１０ａは、第１動画を構成する各第１画像と、対応する第２画像との差分画像を生成する。この差分画像生成部２１０ａは、例えばそれぞれの画像を平均値０、分散値１となる様に画素値の統計値を標準化し、両画像間の各画素値の差を差分画像として生成する。これにより、画像間の明るさの違いやノイズの影響を軽減することが可能となる。さらに、差分画像生成部２１０ａは、フィルタ処理により、ノイズ除去処理を行った後に差分画像を生成してもよい。これにより、ノイズによる検出誤差を低減可能となる。
　また、差分画像生成部２１０ａは、画像を小領域に分割し、各領域に対して動き補償を行ってから差分画像を生成しても良い。これにより、画像間の微妙な画素ずれの影響を軽減することが可能となる。
　差分値計算部２１０ｂは、差分画像から差分値を計算する。ここで、差分値は差分画像の各画素の絶対値和、二乗和である。このように、監視装置２０の差分選択部１３０によれば、画像の標準化、ノイズ除去、及び動き補償のすくなくともいずれかを行う事で、同位置画像でも生じる画像間の違いを低減する事が可能となる。このため、明るさの違いやノイズや画素ズレの影響を抑制し、点検対象物の劣化などによる変箇所化を差分としてより高精度に検出可能となる。
≪差分表示部２１２の構成≫
　図４は、監視装置２０の差分表示部２１２の詳細な構成例を示すブロック図である。差分表示部２１２は、変化地点検出部２１２ａと、画像生成部２１２ｂと、表示制御部２１２ｃとを有する。
　図５は、変化地点検出部２１２ａの検出処理例を模式的に示す図である。縦軸は、差分値の１画素辺りの平均値を示し、横軸は第１動画のフレーム番号を示す。すなわち、フレーム番号は、第１画像を示す番号である。図５に示すように、時系列な差分値Ｌ１０は、画像毎に異なる。つまり、各第１画像と、対応する第２画像との差が大きくなるに従い差分値は大きくなる。
　変化地点検出部２１２ａは、比較情報（差分値）に基づき、第１動画中で所定の変化のあった第１画像に関する情報を出力する。より詳細には、変化地点検出部２１２ａは、時系列な差分値Ｌ１０が予め定められたしきい値Ｌ１２、例えば、０．５を超えた第１画像群Ｐ１０を所定の変化があった画像として検出する。すなわち、所定の変化とは、第１画像と対応する第２画像の差分値が所定値を超えることを意味する。この場合、第２画像には無かった物体が第１画像中に写っているか、第２画像中にあった物体が劣化、変化して第１画像中に写っているか、或いは、第２画像中にあった物体が消失して第１画像中に写っていないか、のいずれかの蓋然性が高くなる。しきい値Ｌ１２は全区間で一定であっても良いし、フレーム番号（撮影位置）によって変えても良い。これは、撮影位置の周辺環境によって差分が大きくなりやすい位置があるためである。
　また、変化地点検出部２１２ａは、比較情報に基づき変化のあった第１画像を撮像した線路Ｒ１０上の位置に関する情報を出力する。この場合、変化地点検出部２１２ａは、例えば所定の変化のあった第１画像に関連づけられている撮像位置の情報を出力する。
　図６は、画像生成部２１２ｂが生成する生成画像３００の例を模式的に示す図である。図６に示すように、画像生成部２１２ｂは、変化のあった走行画像フレームである第１画像３０２と、第１画像３０２中の変化があった領域３０２ａと、第１画像３０２に対応する基準画像である第２画像３０４と、第１画像３０２に対応する位置情報３０６と、領域３０２ａの変化理由３０８と、線路図３１０と、線路図３１０内の変化があった変化地点３１２と、最寄りの保守要員待機所３１４、３１６の情報を含む画像を生成する。
　より具体的には、画像生成部２１２ｂは、変化地点検出部２１２ａの出力情報により、変化のあった第１画像３０２と、対応する第２画像３０４を記憶部２０４から取得し、生成画像３００に表示する。この際に、画像生成部２１２ｂは、差分画像生成部２１０ａが生成した差分画像中の差分値の絶対値が所定値より大きな領域を、例えばしきい値処理、及びラベリング処理により抽出し、領域３０２ａとして表示する。
　また、画像生成部２１２ｂは、一般画像中の撮影対象を識別する認識器を有しており、領域３０２ａのカテゴリを変化理由３０８として表示する。例えば、画像生成部２１２ｂの認識器は、車、人、動物、建物、火災、木、植物名などを学習しており、カテゴリを変化理由３０８として表示する。一方で、領域３０２ａの差分値により、第２画像３０４にあった物体が第１画像３０２では変化、又は、無くなっていると判断される場合には、画像生成部２１２ｂの認識器は、第２画像３０４内の領域３０２ａに対応する画像領域内のカテゴリを変化理由３０８として表示する。例えば、絶対値が所定値より大きな領域の差分値がプラスであれば、第１画像内に新たな物体が映っており、マイナスであれば、第２画像中にあった物体が第１画像内では消失していることを示す。なお、プラス、マイナスは、逆でもよい。
　また、画像生成部２１２ｂは、記憶部２０４内の鉄道関連情報を用いて、変化地点３１２と、最寄りの保守要員待機所３１４、３１６の情報を含む路線図画像３１０を生成する。
　表示制御部２１２ｃは、この生成画像３００の情報を、表示装置３０に表示させる。これにより、監視室１５の監視員は、保守の必要性や、保守方法、保守要員への連絡先などを即時に判断することが可能となる。
　また、表示制御部２１２ｃは、通信部２０２を介して、最寄りの保守要員待機所３１４、３１６に配置される別の表示装置に生成画像３００の情報を送信する。これにより、このような生成画像３００を、保守要員待機所３１４、３１６の保守要員は確認可能となる。このように、守要員待機所３１４、３１６の保守要員も、保守の必要性や、保守方法などを画像情報に基づき、即時に判断することが可能となる。
　図７は、監視装置２０の処理例を示すフローチャートである。図７に示すように、まず、基準動画選択部２０６は、差分検出対象の第１動画（第１の走行画像）の撮影条件を取得する（ステップＳ１００）。
　次に、基準動画選択部２０６は、複数の第２画像（基準動画）の中から取得した第１動画の撮影条件に近い第２動画を基準動画として選択する（ステップＳ１０２）。
　次に、画像選択部２０８は、第１動画から差分検出の対象であるフレームの第１画像を取得する（ステップＳ１０４）。そして、第２動画から対象フレームである第１画像と同地点のフレーム画像を探索し、最も位置の近い第２画像を選択する（ステップＳ１０６）。
　次に、差分計算部２１０は、第１画像と対応する第２画像との差分量を示す値を計算する（ステップＳ１０８）。差分計算部２１０は、第１動画の終端か否かを判定する（ステップＳ１１０）。終端でない場合（ステップＳ１１０のｎｏ）、差分計算部２１０は、次の第１画像に対して、ステップＳ１０４からの処理を繰り返す。
　一方で、終端である場合（ステップＳ１１０のｙｅｓ）、差分表示部２１２は、フレーム毎の差分量を示す値に基づいて、第１動画の中で変化のあった第１画像に対応する地点を求め（Ｓ１０７）、変化地点の画像や情報を表示装置３０に表示し（ステップＳ１１４）、処理を終了する。このように、監視装置２０は、複数の第２動画（基準動画）群から、撮影条件に基づき第２動画を選択し、第１動画の各第１画像と対応する第２画像を比較し、変化あった地点を検出する。
　以上のように、本実施形態によれば、基準動画選択部２０６が、監視対象となる第１動画の撮影条件に基づき、複数の動画の中から前記撮影条件に対応する第２動画を選択し、画像選択部２０８が、各第１画像に対応する第２画像を、第１画像の撮影位置を示す情報を用いて、第２動画の中から選択することとした。これにより、第１動画を構成する各第１画像と、撮影位置及び撮影条件が対応する第２画像を比較可能となる。このため、撮影条件の相違により生じる各第１画像と対応する第２画像との画像情報の相違が低減され、変化の有った箇所の誤検出が抑制される。
（第１実施形態の変形例）
　第１実施形態の変形例に係る監視装置２０は、差分計算部２１０の差分画像生成部２１０ａをニューラルネットワークで構成した点で、第１実施形態に係る監視装置２０と相違する。以下では、第１実施形態に係る監視装置２０と相違する点を説明する。
　図８は、第１実施形態の変形例に係る差分画像生成部２１０ａの構成を示すブロック図である。図８に示すように、差分画像生成部２１０ａは、第１ニューラルネットワーク２１０２ａと、第２ニューラルネットワーク２１０４ａとを有する。第１ニューラルネットワーク２１０２ａは、複数の畳み込みニューラルネットワーク（ＣＮＮ、ｃｏｎｖｏｌｕｔｉｏｎａｌ　ｎｅｕｒｌ　ｎｅｔｗｏｒｋ、以下では単にＣＮＮと記す場合がある。）を有する。
　このＣＮＮは、各レイヤのニューロンがフィルタにグループ化され、各フィルタが入力データの中の異なる重複する特徴を検出する。畳み込みニューラルネットワークにおける複数レイヤのニューラルネットワークアーキテクチャは、例えば複数の畳み込みレイヤ、複数のサンプリングレイヤ、及び複数の完全に接続されたレイヤを有する。また、このＣＮＮは、例えば既存のラベル付き画像によって学習させた学習済みのＣＮＮ（例えばＩｍａｇｅＮｅｔ　ｐｒｅ－ｔｒａｉｎｅｄ　ｎｅｔｗｏｒｋ）である。すなわち、上段のＣＮＮのそれぞれは、第２画像の赤色画像（Ｒ画像）、緑色画像（Ｇ画像）、青色画像（Ｂ画像）の３種のデジタル画像それぞれから特徴量を抽出する。同様に下段のＣＮＮのそれぞれは、第１画像の赤色画像（Ｒ画像）、緑色画像（Ｇ画像）、青色画像（Ｂ画像）の３種のデジタル画像それぞれから特徴量を抽出する。
　また、下段のＣＮＮのそれぞれは、上段のＣＮＮのそれぞれと同様の構成ある。例えば、下段のＣＮＮのそれぞれは、上段のＣＮＮのそれぞれと重み（接続係数）が同一である。本実施形態では、Ｒ、Ｇ、Ｂの三原色それぞれを標準化して入力する。
　例えば１枚の第２画像は、１９２０ｘ１０８０画素の３種のデジタル画像である赤色画像（Ｒ画像）、緑色画像（Ｇ画像）、青色画像（Ｂ画像）のそれぞれを３８４ｘ２１６画素に縮小した画像を用いる。これにより、第２画像の３８４ｘ２１６×３の画素データが上段のＣＮＮに入力される。同様に、第１画像の３８４ｘ２１６×３の画素データが下段のＣＮＮに入力される。
　第１ニューラルネットワーク２１０２ａは、第２画像の３８４ｘ２１６×３の画素データに対応する３Ｄの特徴量ボリュームデータと、第１画像の３８４ｘ２１６×３の画素データに対応する３Ｄの特徴量ボリュームデータと、を合成する。
　第２ニューラルネットワーク２１０４ａは、第１ニューラルネットワーク２１２ａが出力する３Ｄの特徴量ボリュームデータが入力されると、第１画像と第２画像との差分画像を出力する。
　この第２ニューラルネットワーク２１０４ａは、第１ニューラルネットワーク２１０２ａが合成する学習用の特徴量ボリュームデータと、教師用の３８４ｘ２１６の差分画像をセットとした学習データにより学習されたニューラルネットワークである。例えば、この第２ニューラルネットワーク２１０４ａは、各ノードの間の接続係数が初期化され、教師用の３８４ｘ２１６の差分画像付きの３Ｄの特徴量ボリュームデータが順に入力される。そして、第２ニューラルネットワーク２１０４ａは、出力する差分画像と、入力した３Ｄの特徴量ボリュームデータにセットされた教師用の３８４ｘ２１６の差分画像との誤差が少なくなるように接続係数を補正する。
　この接続係数の補正は、バックプロパゲーション（誤差逆伝播法）等の処理により行われる。学習データとして、教師用の２２４×２２４の差分画像に対して、入力画像にノイズや、日陰状態の異なる情報を人工的に多様に付加することが可能である。これにより、ノイズや、照度変化による日陰状態の相違に対す影響が低減された差分画像を生成可能である第２ニューラルネットワーク２１０４ａを学習できる。つまり、第２ニューラルネットワーク２１０４ａは、第１画像と、第２画像とで、ノイズや日陰状態が相違していても、それらの影響を低減した差分画像を生成できる。
　このように、第１ニューラルネットワーク２１０２ａ及び第２ニューラルネットワーク２１０４ａを用いた差分画像生成部２１０ａは、画像のノイズや、照度変化に対す影響が低減された差分画像を生成可能である。これにより、監視装置２０の誤検出がより抑制される。
（第２実施形態）
　第２実施形態に係る監視装置２０は、画像選択部２０８が第１画像の位置情報に加え、第１画像と第２画像の類似性の情報を用いて、第２画像を選択する点で、第１実施形態に係る監視装置２０と相違する。以下では、第１実施形態に係る監視装置２０と相違する点を説明する。
　図９は、第２実施形態に係る画像選択部２０８の構成を示すブロック図である。図９に示すように、画像選択部２０８は、候補選出部２０８ａと、類似度計算部２０８ｂと、選択部２０８ｃと、を有する。
　候補選出部２０８ａは、第１動画の第１画像に対応する位置情報と最も近い位置情報を有する第２画像と、その前後における複数の第２画像を候補画像として選出する。
　類似度計算部２０８ｂは、第１画像と、候補選出部２０８ａが選出した複数の第２画像それぞれとの類似度を計算する。ここで、類似度はＺＮＣＣ（Ｚｅｒｏ－ｍｅａｎｓ　Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ：正規化相互相関）やＡＫＡＺＥ等の画像特徴点の対応点数などである。すなわち、類似度計算部２０８ｂは、第１画像と複数の第２画像との間の類似度を正規化相互相関により演算する。或いは、類似度計算部２０８ｂは、第１画像と複数の第２画像とのそれぞれの特徴点を求め、特徴点の対応点数を類似度とする。
　選択部２０８ｃは、類似度に基づいて第１画像に対応する第２画像を選択する。
　図１０は、第２実施形態に係る画像選択部２０８の処理を示すフローチャートである。図１０に示すように、まず、候補選出部２０８ａは、第１動画（検出対象動画）の対象フレームとなる第１画像の位置情報を取得する（ステップＳ２００）。
　次に、候補選出部２０８ａは、第２行動画（基準動画）の各第２画像の位置情報を用いて、対象フレームの位置情報と最も近い位置情報のフレームを探索する（ステップＳ２０２）。続けて、候補選出部２０８ａは、その最も近い位置情報の第２画像とその前後の数フレーム分の第２画像を候補フレームとして選択する（ステップＳ２０４）。
　類似度計算部２０８ｂは、候補フレームである複数の第２画像から一つの第２画像を選択し（ステップＳ２０６）、対象フレームである第１画像との類似度を計算する（ステップＳ２０６）。
　類似度計算部２０８ｂは、候補フレームである複数の第２画像の全てに対して類似度を演算したか否かを判定する（ステップＳ２１０）。終了していない場合（ステップＳ２１０のｎｏ）、類似度計算部２０８ｂは、未計算の第２画像に対してステップＳ２０６からの処理を繰り返す。
　一方で、候補フレームである複数の第２画像の全てに対して類似度を演算した場合（ステップＳ２１０のｙｅｓ）、選択部２０８ｃは、候補フレームである複数の第２画像の中から、類似度の最も高い第２画像を第１画像に対する画像として選択し（ステップＳ２１２）、全体処理を終了する。
　以上説明したように、第２実施形態に係る画像選択部２０８によれば、画像間の類似度を用いる事で、第１画像と第２画像の撮像位置にずれがある場合でも、第１画像により類似する第２画像を選択可能となる。これにより、撮影位置のずれによる影響が低減され、監視装置２０の誤検出がより抑制される。
　これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (12)

  1. 　監視対象となる第１動画の撮影条件に基づき、複数の動画の中から前記撮影条件に対応する第２動画を選択する動画選択部と、
    　前記第１動画を構成する各第１画像に対応する第２画像を、前記第１画像の位置を示す情報を用いて、前記第２動画の中から選択する画像選択部と、
    　前記各第１画像と、前記対応する第２画像との比較情報を生成する生成部と、
    　前記比較情報に基づき、前記第１動画の中で所定の変化のあった第１画像に関する情報を出力する出力部と、
    　を、備える監視装置。
  2. 　前記動画選択部は、前記撮影条件として日陰の状態に関連する情報、又は植物の生育状況に関連する情報を用いて、前記第１動画と類似する前記第２動画を選択する、請求項１に記載の監視装置。
  3. 　前記動画選択部は、前記撮影条件として天候または日時の少なくとも一方を用いて、前記第１動画と照度、及び日照角度が類似する前記第２動画を選択する、請求項１に記載の監視装置。
  4. 　前記第１動画は、軌道上を走行する鉄道車両が搭載した撮像装置が撮影した動画であり、
    　前記出力部は、前記第１画像に関する情報として、前記対応する第２画像に対して所定の変化のあった前記第１画像を撮像した前記軌道上の位置に関する情報を出力する、請求項３に記載の監視装置。
  5. 　前記情報に関する画像を表示部に表示させる表示制御部を、更に備え、
    　前記表示制御部は、前記軌道上の位置を示す画像、前記所定の変化のあった第１画像、前記軌道上の位置に対応する第２画像、及び最寄りの保守要員待機所の情報の少なくともいずれかを前記表示部に表示させる、請求項４に記載の監視装置。
  6. 　前記表示制御部は、前記軌道上の位置に対応する前記第１画像と、前記変化のあった第１画像内の変化領域と、前記変化の理由に関する情報を前記表示部に表示させる、請求項５に記載の監視装置。
  7. 　前記画像選択部は、前記位置を示す情報を用いて選択した複数の前記第２画像の中から、前記第１画像との類似度に基づき、前記第１画像に対応する第２画像を選択する、請求項１乃至６のいずれか一項に記載の監視装置。
  8. 　前記画像選択部は、前記第１動画と前記第２動画とに付随する位置情報に基づき、前記第２動画の中から前記複数の第２画像を選択する、請求項７に記載の監視装置。
  9. 　前記画像選択部は、前記第１画像と前記複数の記第２画像とのそれぞれの特徴点を求め、前記特徴点の対応点数を類似度とする、請求項７に記載の監視装置。
  10. 　前記生成部は、画像を小領域に分割し各領域に対して動き補償を行ってから差分画像を生成し、前記差分画像に基づく差分値を前記比較情報として生成する、請求項１に記載の監視装置。
  11. 　前記生成部は、ニューラルネットワークを用いて差分画像を生成し、前記差分画像に基づく差分値を前記比較情報として生成する、請求項１に記載の監視装置。
  12. 　監視対象となる第１動画の撮影条件に基づき、複数の動画の中から前記撮影条件に対応する第２動画を選択する動画選択工程と、
    　前記第１動画を構成する各第１画像に対応する第２画像を、前記第１画像の位置を示す情報を用いて、第２動画の中から選択する画像選択工程と、
    　前記各第１画像と、前記対応する第２画像との比較情報を生成する生成工程と、
    　前記比較情報に基づき、前記第１動画の中で所定の変化のあった第１画像に関する情報を出力する出力工程と、
    　を、備える監視方法。
PCT/JP2021/018378 2020-05-29 2021-05-14 監視装置、及び監視方法 WO2021241270A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180039072.5A CN115699727A (zh) 2020-05-29 2021-05-14 监视装置以及监视方法
EP21813219.9A EP4159580A4 (en) 2020-05-29 2021-05-14 MONITORING DEVICE AND MONITORING METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020094617A JP2021190850A (ja) 2020-05-29 2020-05-29 監視装置、及び監視方法
JP2020-094617 2020-05-29

Publications (1)

Publication Number Publication Date
WO2021241270A1 true WO2021241270A1 (ja) 2021-12-02

Family

ID=78744550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018378 WO2021241270A1 (ja) 2020-05-29 2021-05-14 監視装置、及び監視方法

Country Status (4)

Country Link
EP (1) EP4159580A4 (ja)
JP (1) JP2021190850A (ja)
CN (1) CN115699727A (ja)
WO (1) WO2021241270A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283226A (ja) * 2000-03-31 2001-10-12 Toshiba Corp 動画像の物体追跡／抽出装置および動画像の物体追跡／抽出方法
JP2008227844A (ja) 2007-03-12 2008-09-25 Mitsubishi Electric Corp 画像監視装置
JP2017117349A (ja) * 2015-12-25 2017-06-29 パナソニックＩｐマネジメント株式会社 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法
JP2018028516A (ja) 2016-08-19 2018-02-22 株式会社東芝 列車位置検出装置及び方法
JP2018067809A (ja) * 2016-10-19 2018-04-26 日本電信電話株式会社 映像検出装置、方法、及びプログラム
WO2020031393A1 (ja) * 2018-08-10 2020-02-13 栗田工業株式会社 燃料ガス吸着カートリッジ、これを用いた燃料ガス吸着装置、及び燃料ガス吸着カートリッジの交換時期判断方法
JP2020053019A (ja) * 2018-07-16 2020-04-02 アクセル ロボティクス コーポレーションＡｃｃｅｌ Ｒｏｂｏｔｉｃｓ Ｃｏｒｐ． 自律店舗追跡システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2542115B (en) * 2015-09-03 2017-11-15 Rail Vision Europe Ltd Rail track asset survey system
SE540595C2 (en) * 2015-12-02 2018-10-02 Icomera Ab Method and system for identifying alterations to railway tracks or other objects in the vicinity of a train
US10179597B2 (en) * 2016-06-27 2019-01-15 Jack Wade Automated wayside asset monitoring with optical imaging and visualization
IT201700039405A1 (it) * 2017-04-19 2018-10-19 Geosintesi S P A Metodo per il rilevamento automatico e successiva elaborazione ed archiviazione di uno o piu’ parametri ambientali georeferenziati relativi ad una tratta ferroviaria di riferimento

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283226A (ja) * 2000-03-31 2001-10-12 Toshiba Corp 動画像の物体追跡／抽出装置および動画像の物体追跡／抽出方法
JP2008227844A (ja) 2007-03-12 2008-09-25 Mitsubishi Electric Corp 画像監視装置
JP2017117349A (ja) * 2015-12-25 2017-06-29 パナソニックＩｐマネジメント株式会社 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法
JP2018028516A (ja) 2016-08-19 2018-02-22 株式会社東芝 列車位置検出装置及び方法
JP2018067809A (ja) * 2016-10-19 2018-04-26 日本電信電話株式会社 映像検出装置、方法、及びプログラム
JP2020053019A (ja) * 2018-07-16 2020-04-02 アクセル ロボティクス コーポレーションＡｃｃｅｌ Ｒｏｂｏｔｉｃｓ Ｃｏｒｐ． 自律店舗追跡システム
WO2020031393A1 (ja) * 2018-08-10 2020-02-13 栗田工業株式会社 燃料ガス吸着カートリッジ、これを用いた燃料ガス吸着装置、及び燃料ガス吸着カートリッジの交換時期判断方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4159580A4

Also Published As

Publication number Publication date
EP4159580A1 (en) 2023-04-05
CN115699727A (zh) 2023-02-03
JP2021190850A (ja) 2021-12-13
EP4159580A4 (en) 2024-06-05

Similar Documents

Publication Publication Date Title
CN111353413B (zh) 一种输电设备低漏报率缺陷识别方法
CN110085029B (zh) 基于轨道式巡检机器人的高速公路巡检系统与方法
CN110197308B (zh) 一种用于农业物联网的作物监测系统及方法
JP6959029B2 (ja) マルチラインイメージセンサ装置及び撮影装置
CN111127520B (zh) 一种基于视频分析的车辆跟踪方法和系统
CN112163639B (zh) 一种基于高度分布特征向量的作物倒伏分级方法
US20020181739A1 (en) Video system for monitoring and reporting weather conditions
CN115205559A (zh) 一种跨域车辆重识别及连续轨迹构建方法
CN111476785B (zh) 基于位置记录的夜间红外反光水尺检测方法
CN113762183A (zh) 一种既有建筑安全的智能检查分析系统及操作方法
CN113763484A (zh) 基于视频图像分析技术的船舶目标定位及速度估算方法
WO2021241270A1 (ja) 監視装置、及び監視方法
CN114511788A (zh) 一种坡体裂缝识别方法、系统、设备以及存储介质
CN111521279B (zh) 一种管线渗漏巡查方法
CN116978139A (zh) 一种基于北斗技术的无人机智能巡检系统及方法
CN111950524A (zh) 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统
JP2022066062A (ja) 状態判定システムおよび状態判定方法。
CN116297472A (zh) 一种基于深度学习的无人机桥梁裂缝检测方法及系统
CN115457313A (zh) 一种基于热红外图像分析光伏设备故障的方法及系统
CN112508328B (zh) 一种自然保护地生态质量监控系统及方法
CN112034456A (zh) 烟雾巡检系统、方法、控制装置及存储介质
CN110161970A (zh) 一种农业物联网综合服务管理系统
CN114842426B (zh) 一种基于精确对准摄像的变电站设备状态监测方法和系统
CN112904778B (zh) 一种基于多维信息融合的野生动物智能监测方法
CN110138879B (zh) 一种用于农业物联网的处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21813219

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021813219

Country of ref document: EP

Effective date: 20230102