WO2021241270A1 - 監視装置、及び監視方法 - Google Patents
監視装置、及び監視方法 Download PDFInfo
- Publication number
- WO2021241270A1 WO2021241270A1 PCT/JP2021/018378 JP2021018378W WO2021241270A1 WO 2021241270 A1 WO2021241270 A1 WO 2021241270A1 JP 2021018378 W JP2021018378 W JP 2021018378W WO 2021241270 A1 WO2021241270 A1 WO 2021241270A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- information
- moving image
- monitoring device
- unit
- Prior art date
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 43
- 238000012544 monitoring process Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 title claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000012423 maintenance Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 description 20
- 238000001514 detection method Methods 0.000 description 20
- 238000013527 convolutional neural network Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008635 plant growth Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
- B61L23/041—Obstacle detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
- B61L23/042—Track changes detection
- B61L23/044—Broken rails
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
- B61L23/042—Track changes detection
- B61L23/045—Rail wear
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
- B61L23/042—Track changes detection
- B61L23/047—Track or rail movements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
- B61L23/04—Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
- B61L23/042—Track changes detection
- B61L23/048—Road bed changes, e.g. road bed erosion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B61—RAILWAYS
- B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
- B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
- B61L25/02—Indicating or recording positions or identities of vehicles or trains
- B61L25/025—Absolute localisation, e.g. providing geodetic coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Definitions
- the embodiment of the present invention relates to a monitoring device and a monitoring method.
- the monitoring device includes a moving image selection unit, an image selection unit, a generation unit, and an output unit.
- the moving image selection unit selects a second moving image corresponding to the shooting conditions from a plurality of moving images based on the shooting conditions of the first moving image to be monitored.
- the image selection unit selects the second image corresponding to each first image constituting the first moving image from the second moving image by using the information indicating the position of the first image.
- the generation unit generates comparison information between each first image and the corresponding second image.
- the output unit outputs information about the first image having a predetermined change in the first moving image based on the comparison information.
- a block diagram showing a configuration example of a monitoring system A block diagram showing the configuration of the monitoring device.
- a block diagram showing a detailed configuration example of the difference calculation unit A block diagram showing a detailed configuration example of the difference display unit.
- the figure which shows typically the detection processing example of the change point detection part The figure which shows typically the example of the generated image in the image generation part.
- a flowchart showing a processing example of the monitoring device The block diagram which shows the structure of the difference image generation part which concerns on the modification of 1st Embodiment.
- the block diagram which shows the structure of the image selection part which concerns on 2nd Embodiment The flowchart which shows the processing of the image selection part which concerns on 2nd Embodiment.
- FIG. 1 is a block diagram showing a configuration example of the monitoring system 1 according to the present embodiment.
- the monitoring system 1 according to the present embodiment includes a train position detection device 10a, an image pickup device 10b, a storage device 10c, a communication device 10d, and a monitoring room 15 mounted on a railway vehicle 10. It includes a monitoring device 20 and a display device 30 to be arranged.
- the railroad vehicle 10 travels on the track R10, which is a fixed track.
- the train position detecting device 10a detects the traveling position of the railway vehicle 10 in time series (see Patent Document 2).
- the image pickup device 10b is, for example, a camera and can continuously capture R, G, and B images as a running moving image.
- the image pickup device 10b is fixed to the front of the railway vehicle 10, for example, and takes an image at the same image pickup magnification. Therefore, each image constituting the traveling moving image captured while the railway vehicle 10 is traveling on the track R10 becomes an image having the same angle and the same imaging magnification when, for example, the images are captured at the same point. Further, the image pickup device 10b stores each image in the storage device 10c in association with the position on the line R10 detected by the train position detection device 10a and the time.
- the shooting conditions are associated with the running moving image captured by the image pickup device 10b.
- the shooting conditions include the weather and the shooting date and time.
- the weather is sunny, cloudy, and rainy.
- the date and time include information on the time zone such as morning, daytime, and evening, and the seasons of spring, summer, autumn, and winter, as well as the imaging date and imaging time.
- the storage device 10c is composed of, for example, an HDD (hard disk drive), an SSD (solid state drive), or the like. As described above, the storage device 10c stores each image constituting the traveling moving image captured by the image pickup device 10b in association with the position on the track R10, the image pickup date, and the image pickup time.
- the communication device 10d can communicate wirelessly, and communicates with, for example, the monitoring device 20 in the monitoring room 15.
- the communication device 10d acquires weather information for each district and time transmitted by, for example, the Japan Meteorological Agency, and stores it in association with an image stored in the storage device 10c at the same time.
- the communication device 10d may acquire weather information or the like via the monitoring device 20 or the like in the monitoring room 15. Further, the communication device 10d transmits the moving image stored in the storage device 10c to the monitoring device 20 of the monitoring room 15.
- the monitoring device 20 compares the first moving image to be monitored transmitted from the railway vehicle 10 with the second moving image stored in advance, and outputs information about the first image changed in the first moving image. do.
- the running moving image to be monitored is referred to as a first moving image
- the reference moving image to be compared is referred to as a second moving image.
- the image of each frame constituting the first moving image is referred to as a first image
- the image of each frame constituting the second moving image is referred to as a second image.
- the display device 30 is, for example, a monitor, and displays images and information output by the monitoring device 20.
- FIG. 2 is a block diagram showing the configuration of the monitoring device 20.
- the monitoring device 20 includes a communication unit 202, a storage unit 204, a reference video selection unit (video selection unit) 206, an image selection unit 208, a difference calculation unit (generation unit) 210, and a difference display unit 212 (output unit). ) And.
- the monitoring device 20 includes, for example, a CPU (Central Processing Unit).
- the storage unit 204 stores various programs for executing the monitoring operation.
- the monitoring device 20 constitutes each unit by, for example, executing a program stored in the storage unit 204.
- the communication unit 202 can communicate wirelessly, communicates with the railway vehicle 10, and acquires the first moving image to be monitored. Further, the communication unit 202 may acquire the weather information for each district and time transmitted by, for example, the Japan Meteorological Agency, and transmit it to the railway vehicle 10. The first moving image may be acquired by removing the storage device 10C of the railway vehicle 10 and attaching it to the monitoring device 20 without using communication.
- the storage unit 204 has a traveling video storage unit 204a, a traveling video recording group (reference) storage unit 204b, and a railway-related information storage unit 204c.
- the storage unit 204 is composed of, for example, an HDD (hard disk drive), an SSD (solid state drive), or the like. Further, as described above, the storage unit 204 stores various programs for executing the monitoring operation.
- the traveling moving image storage unit 204a stores the first moving image to be monitored.
- the traveling moving image recording group (reference) storage unit 204b stores a plurality of second moving images which are reference moving images.
- the second moving image is, for example, a moving image captured by the above-mentioned imaging device 10b and captured in a range including a section in which the first moving image is captured.
- These second moving images are shot under various shooting conditions. That is, images are taken in various seasons, dates and times, and weather. Similar to the first moving image, each of these second moving images is associated with a position, a time, a shooting condition, and the like on the track R10 detected by the train position detecting device 10a.
- the standard video may have all combinations of weather x time x season, but it may be in a state where some combinations are omitted due to the large video capacity.
- the railway-related information storage unit 204c stores, for example, the position information of the maintenance personnel waiting area along the track R10, the position information of the station, the running information of the railway vehicle 10 between the stations, and the like.
- the travel information of the railway vehicle 10 between stations is associated with the scheduled travel time for each position between stations.
- the image selection unit 208 which will be described later, can associate the traveling time of the railway vehicle 10 with the traveling position of the railway vehicle 10 on the track R10.
- the position information is information such as latitude and longitude by GNSS, information about the kilometer of the railroad track, and the like.
- the reference moving image selection unit 206 is the second moving image whose shooting conditions are close to those of the plurality of reference moving image groups (second moving images) shot in advance. 2 Select the video as the reference video. More specifically, the reference moving image selection unit 206 acquires the shooting conditions of the first moving image from the information associated with the first moving image, and sets the second moving image close to the shooting conditions from the plurality of second moving images as the reference moving image. select.
- the shooting conditions include, for example, the weather and the shooting date and time.
- the weather is sunny, cloudy, rainy, etc.
- the shooting date and time includes information on the seasons of spring, summer, autumn, and winter, as well as time zones such as morning, daytime, and evening.
- the reference moving image selection unit 206 uses the information related to the shaded state or the growing state of the plant as the shooting condition, and the second moving image or the growing state of the plant whose shaded state is similar to that of the first moving image. Select a second video similar to. More specifically, the reference moving image selection unit 206 selects a second moving image having similar illuminance and sunshine angle by using at least one of weather or date and time as a shooting condition.
- the reference moving image selection unit 206 selects the second moving image having the same start date and time as the shooting start date and time of the first moving image.
- the first image corresponding to each first image is obtained. 2
- the illuminance and sunshine angle at the time when the image was taken are similar. Therefore, the shaded state of each first image and the corresponding second image are similar.
- the shaded state means the length of the shadow, the illuminance difference between the illuminance inside the shadow and the illuminance outside the shadow, and the like.
- the reference moving image selection unit 206 when the first moving image is shot in fine weather, the reference moving image selection unit 206 also selects the image taken in fine weather for the second moving image. Similarly, when the first moving image is shot in cloudy weather, the reference moving image selection unit 206 also selects an image taken in cloudy weather for the second moving image.
- the reference moving image selection unit 206 selects a reference moving image by prioritizing information on existing shooting conditions such as time being the first priority, weather being the second priority, and season being the third priority. For example, when the reference moving image selection unit 206 gives priority to information related to the shaded state and lacks information on time, for example, the weather is given first priority and the season is given second priority. This is because the difference in shade conditions tends to be larger due to the difference in illuminance due to the weather than the difference in the sunshine angle depending on the season.
- the reference moving image selection unit 206 gives priority to information related to the growth state of the plant
- the season is given the first priority
- the time is given the second priority
- the weather is given the third priority. This is because the difference in plant growth is the largest due to the difference in seasons.
- the image selection unit 208 selects the second image corresponding to each first image constituting the first moving image from the second moving image by using the information indicating the position of the first image. More specifically, the image selection unit 208 searches for a frame image at the same point as the image pickup point of the first image, which is the target frame, from the second moving image, and selects the second image closest to the image pickup point. The image selection unit 208 can search the second image by associating the traveling time of the railway vehicle 10 with the traveling position of the railway vehicle 10 on the track R10.
- FIG. 3 is a block diagram showing a detailed configuration example of the difference calculation unit 210 of the monitoring device 20.
- the difference calculation unit 210 calculates a value indicating the amount of difference between the selected images. That is, the difference calculation unit 210 generates comparison information between each first image constituting the first moving image and the corresponding second image.
- the difference calculation unit 210 includes a difference image generation unit 210a and a difference value calculation unit 210b.
- the difference image generation unit 210a generates a difference image between each first image constituting the first moving image and the corresponding second image.
- the difference image generation unit 210a standardizes the statistical values of the pixel values so that each image has an average value of 0 and a variance value of 1, and generates the difference between the pixel values between the two images as a difference image. This makes it possible to reduce the difference in brightness between images and the influence of noise. Further, the difference image generation unit 210a may generate a difference image after performing noise removal processing by filter processing. This makes it possible to reduce the detection error due to noise.
- difference image generation unit 210a may divide the image into small areas, perform motion compensation for each area, and then generate the difference image. This makes it possible to reduce the influence of subtle pixel shifts between images.
- the difference value calculation unit 210b calculates the difference value from the difference image.
- the difference value is the sum of absolute values and the sum of squares of each pixel of the difference image.
- the difference selection unit 130 of the monitoring device 20 it is possible to reduce the difference between images that occurs even in the same position image by performing at least one of image standardization, noise removal, and motion compensation. It becomes. Therefore, it is possible to suppress the influence of the difference in brightness, noise, and pixel misalignment, and to detect the change in the location due to the deterioration of the inspection object as the difference with higher accuracy.
- FIG. 4 is a block diagram showing a detailed configuration example of the difference display unit 212 of the monitoring device 20.
- the difference display unit 212 has a change point detection unit 212a, an image generation unit 212b, and a display control unit 212c.
- FIG. 5 is a diagram schematically showing an example of detection processing of the change point detection unit 212a.
- the vertical axis shows the average value of the difference value per pixel
- the horizontal axis shows the frame number of the first moving image. That is, the frame number is a number indicating the first image.
- the time-series difference value L10 is different for each image. That is, the difference value increases as the difference between each first image and the corresponding second image increases.
- the change point detection unit 212a outputs information about the first image in which a predetermined change has occurred in the first moving image based on the comparison information (difference value). More specifically, the change point detection unit 212a sets the first image group P10 in which the time-series difference value L10 exceeds a predetermined threshold value L12, for example, 0.5, as an image having a predetermined change. To detect. That is, the predetermined change means that the difference value between the first image and the second image corresponding to the first image exceeds the predetermined value. In this case, an object that was not in the second image is shown in the first image, an object that was in the second image is deteriorated or changed and is shown in the first image, or is shown in the second image.
- the threshold value L12 may be constant in the entire section or may be changed depending on the frame number (shooting position). This is because there are positions where the difference tends to be large depending on the surrounding environment of the shooting position.
- the change point detection unit 212a outputs information regarding the position on the line R10 in which the first image in which the change has been made is captured based on the comparison information. In this case, the change point detection unit 212a outputs, for example, information on the imaging position associated with the first image having a predetermined change.
- FIG. 6 is a diagram schematically showing an example of a generated image 300 generated by the image generation unit 212b.
- the image generation unit 212b has a reference corresponding to the first image 302, which is a traveling image frame with a change, the region 302a with a change in the first image 302, and the first image 302.
- the second image 304 which is an image, the position information 306 corresponding to the first image 302, the change reason 308 of the area 302a, the line diagram 310, the change point 312 where there was a change in the line diagram 310, and the nearest.
- the image generation unit 212b acquires the changed first image 302 and the corresponding second image 304 from the storage unit 204 based on the output information of the change point detection unit 212a, and generates the generated image 300. indicate. At this time, the image generation unit 212b extracts a region in which the absolute value of the difference value in the difference image generated by the difference image generation unit 210a is larger than a predetermined value by, for example, thresholding processing and labeling processing, and the region 302a. Display as.
- the image generation unit 212b has a recognizer for identifying a shooting target in a general image, and displays the category of the area 302a as the reason for change 308.
- the recognizer of the image generation unit 212b learns a car, a person, an animal, a building, a fire, a tree, a plant name, and the like, and displays a category as a change reason 308.
- the recognizer of the image generation unit 212b is the second.
- the category in the image area corresponding to the area 302a in the image 304 is displayed as the reason for change 308.
- the difference value in the region where the absolute value is larger than the predetermined value is positive, a new object is reflected in the first image, and if it is negative, the object in the second image is in the first image. Indicates that it has disappeared.
- the plus and minus may be reversed.
- the image generation unit 212b uses the railway-related information in the storage unit 204 to generate a route map image 310 including information on the change point 312 and the nearest maintenance personnel waiting area 314 and 316.
- the display control unit 212c causes the display device 30 to display the information of the generated image 300. As a result, the observer in the monitoring room 15 can immediately determine the necessity of maintenance, the maintenance method, the contact information for the maintenance personnel, and the like.
- the display control unit 212c transmits the information of the generated image 300 to another display device arranged at the nearest maintenance personnel waiting area 314 and 316 via the communication unit 202.
- a generated image 300 can be confirmed by the maintenance personnel at the maintenance personnel waiting areas 314 and 316.
- the maintenance personnel of the guard waiting areas 314 and 316 can immediately determine the necessity of maintenance, the maintenance method, and the like based on the image information.
- FIG. 7 is a flowchart showing a processing example of the monitoring device 20. As shown in FIG. 7, first, the reference moving image selection unit 206 acquires the shooting conditions of the first moving image (first running image) to be differentially detected (step S100).
- the reference moving image selection unit 206 selects a second moving image close to the shooting conditions of the first moving image acquired from the plurality of second images (reference moving images) as the reference moving image (step S102).
- the image selection unit 208 acquires the first image of the frame to be the difference detection from the first moving image (step S104). Then, the frame image at the same position as the first image which is the target frame is searched from the second moving image, and the second image closest to the position is selected (step S106).
- the difference calculation unit 210 calculates a value indicating the difference amount between the first image and the corresponding second image (step S108). The difference calculation unit 210 determines whether or not it is the end of the first moving image (step S110). If it is not the end (no in step S110), the difference calculation unit 210 repeats the process from step S104 for the next first image.
- the difference display unit 212 determines the point corresponding to the changed first image in the first moving image based on the value indicating the difference amount for each frame. (S107), the image and information of the change point are displayed on the display device 30 (step S114), and the process is terminated.
- the monitoring device 20 selects the second moving image from the plurality of second moving image (reference moving image) groups based on the shooting conditions, compares each first image of the first moving image with the corresponding second image, and compares the first image with the corresponding second image. Detect the point of change.
- the reference moving image selection unit 206 selects the second moving image corresponding to the shooting conditions from the plurality of moving images based on the shooting conditions of the first moving image to be monitored.
- the image selection unit 208 has decided to select the second image corresponding to each first image from the second moving image by using the information indicating the shooting position of the first image. This makes it possible to compare each first image constituting the first moving image with the second image corresponding to the shooting position and shooting conditions. Therefore, the difference in image information between each first image and the corresponding second image caused by the difference in shooting conditions is reduced, and erroneous detection of a changed portion is suppressed.
- the monitoring device 20 according to the modified example of the first embodiment is different from the monitoring device 20 according to the first embodiment in that the difference image generation unit 210a of the difference calculation unit 210 is configured by a neural network.
- the differences from the monitoring device 20 according to the first embodiment will be described.
- FIG. 8 is a block diagram showing the configuration of the difference image generation unit 210a according to the modified example of the first embodiment.
- the difference image generation unit 210a has a first neural network 2102a and a second neural network 2104a.
- the first neural network 2102a has a plurality of convolutional neural networks (CNN, convolutional neural network, hereinafter may be simply referred to as CNN).
- CNN convolutional neural networks
- a multi-layered neural network architecture in a convolutional neural network has, for example, a plurality of convolutional layers, a plurality of sampling layers, and a plurality of fully connected layers.
- this CNN is, for example, a trained CNN (for example, ImageNet pre-trained network) trained by an existing labeled image. That is, each of the upper CNNs extracts the feature amount from each of the three types of digital images of the red image (R image), the green image (G image), and the blue image (B image) of the second image. Similarly, each of the lower CNNs extracts a feature amount from each of the three types of digital images of the red image (R image), the green image (G image), and the blue image (B image) of the first image.
- each of the lower CNNs has the same configuration as each of the upper CNNs.
- each of the lower CNNs has the same weight (connection coefficient) as each of the upper CNNs.
- each of the three primary colors R, G, and B is standardized and input.
- an image obtained by reducing each of three types of digital images of 1920 x 1080 pixels, a red image (R image), a green image (G image), and a blue image (B image) to 384 x 216 pixels is used. ..
- the pixel data of 384x216x3 of the second image is input to the upper CNN.
- the pixel data of 384 ⁇ 216 ⁇ 3 of the first image is input to the lower CNN.
- the first neural network 2102a provides 3D feature volume data corresponding to the 384x216 ⁇ 3 pixel data of the second image and 3D feature volume data corresponding to the 384x216 ⁇ 3 pixel data of the first image. Synthesize.
- the second neural network 2104a outputs a difference image between the first image and the second image when the 3D feature amount volume data output by the first neural network 212a is input.
- the second neural network 2104a is a neural network trained by a set of feature quantity volume data for learning synthesized by the first neural network 2102a and a difference image of 384x216 for teachers. For example, in this second neural network 2104a, the connection coefficient between each node is initialized, and 3D feature volume data with a 384x216 difference image for teachers is sequentially input. Then, the second neural network 2104a corrects the connection coefficient so that the error between the output difference image and the 384x216 difference image for the teacher set in the input 3D feature volume data is reduced.
- connection coefficient is performed by processing such as backpropagation (error back propagation method).
- backpropagation error back propagation method
- the second neural network 2104a capable of generating a difference image in which the influence on the difference in the shade state due to the noise and the change in illuminance is reduced. That is, the second neural network 2104a can generate a difference image in which the influence of noise and shade is reduced between the first image and the second image even if they are different.
- the difference image generation unit 210a using the first neural network 2102a and the second neural network 2104a can generate a difference image in which the noise of the image and the influence on the illuminance change are reduced. As a result, erroneous detection of the monitoring device 20 is further suppressed.
- the image selection unit 208 selects the second image by using the information on the similarity between the first image and the second image in addition to the position information of the first image. It is different from the monitoring device 20 according to the first embodiment. Hereinafter, the differences from the monitoring device 20 according to the first embodiment will be described.
- FIG. 9 is a block diagram showing the configuration of the image selection unit 208 according to the second embodiment. As shown in FIG. 9, the image selection unit 208 has a candidate selection unit 208a, a similarity calculation unit 208b, and a selection unit 208c.
- the candidate selection unit 208a selects a second image having the position information closest to the position information corresponding to the first image of the first moving image, and a plurality of second images before and after the second image as candidate images.
- the similarity calculation unit 208b calculates the similarity between the first image and each of the plurality of second images selected by the candidate selection unit 208a.
- the degree of similarity is the number of corresponding points of image feature points such as ZNCC (Zero-mens Normalized Cross-Correlation) and AKAZE. That is, the similarity calculation unit 208b calculates the similarity between the first image and the plurality of second images by the normalized cross-correlation.
- the similarity calculation unit 208b obtains the feature points of the first image and the plurality of second images, and sets the corresponding points of the feature points as the degree of similarity.
- the selection unit 208c selects a second image corresponding to the first image based on the degree of similarity.
- FIG. 10 is a flowchart showing the processing of the image selection unit 208 according to the second embodiment.
- the candidate selection unit 208a acquires the position information of the first image that is the target frame of the first moving image (detection target moving image) (step S200).
- the candidate selection unit 208a searches for the frame of the position information closest to the position information of the target frame by using the position information of each second image of the second line moving image (reference moving image) (step S202). Subsequently, the candidate selection unit 208a selects the second image having the closest position information and the second images for several frames before and after the second image as candidate frames (step S204).
- the similarity calculation unit 208b selects one second image from a plurality of second images that are candidate frames (step S206), and calculates the similarity with the first image that is the target frame (step S206).
- the similarity calculation unit 208b determines whether or not the similarity has been calculated for all of the plurality of second images that are candidate frames (step S210). If it is not completed (no in step S210), the similarity calculation unit 208b repeats the process from step S206 for the uncalculated second image.
- the selection unit 208c has the similarity among the plurality of second images that are candidate frames.
- the second image with the highest value is selected as the image for the first image (step S212), and the whole process is completed.
- the image selection unit 208 by using the similarity between the images, even if there is a deviation between the imaging positions of the first image and the second image, the first image Allows a more similar second image to be selected. As a result, the influence of the deviation of the photographing position is reduced, and the erroneous detection of the monitoring device 20 is further suppressed.
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Train Traffic Observation, Control, And Security (AREA)
- Image Analysis (AREA)
Abstract
[解決手段]本実施形態に従った監視装置は、動画選択部と、画像選択部と、生成部と、出力部と、を備える。動画選択部は、監視対象となる第1動画の撮影条件に基づき、複数の動画の中から撮影条件に対応する第2動画を選択する。画像選択部は、第1動画を構成する各第1画像に対応する第2画像を、第1画像の位置を示す情報を用いて、第2動画の中から選択する。生成部は、各第1画像と、対応する第2画像との比較情報を生成する。出力部は、比較情報に基づき、第1動画中で所定の変化のあった第1画像に関する情報を出力する。
Description
本発明の実施形態は、監視装置、及び監視方法に関する。
鉄道の線路周辺の地上設備の点検負荷を低減するために、車両に設置したカメラで撮影した対走行動画を用いて変化箇所を検出する技術が知られている。この際、過去に撮影した基準動画と撮影した対象動画とを比較し、変化のあった箇所を検出している。ところが、陰影などの点検対象外の箇所も変化箇所として誤検出してしまう恐れがある。
誤検出を抑制可能な監視装置、及び監視方法を提供する。
本実施形態に従った監視装置は、動画選択部と、画像選択部と、生成部と、出力部と、を備える。動画選択部は、監視対象となる第1動画の撮影条件に基づき、複数の動画の中から撮影条件に対応する第2動画を選択する。画像選択部は、第1動画を構成する各第1画像に対応する第2画像を、第1画像の位置を示す情報を用いて、第2動画の中から選択する。生成部は、各第1画像と、対応する第2画像との比較情報を生成する。出力部は、比較情報に基づき、第1動画中で所定の変化のあった第1画像に関する情報を出力する。
以下、図面を参照して、本発明の実施形態について説明する。なお、本件明細書に添付する図面においては、図示と理解のしやすさの便宜上、適宜縮尺及び縦横の寸法比等を、実物のそれらから変更し誇張してある。
(第1実施形態)
図1は、本実施形態に係る監視システム1の構成例を示すブロック図である。図1に示すように、本実施形態に係る監視システム1は、鉄道車両10に搭載される列車位置検出装置10aと、撮像装置10bと、記憶装置10cと、通信装置10dと、監視室15に配置される監視装置20と、表示装置30とを備える。
図1は、本実施形態に係る監視システム1の構成例を示すブロック図である。図1に示すように、本実施形態に係る監視システム1は、鉄道車両10に搭載される列車位置検出装置10aと、撮像装置10bと、記憶装置10cと、通信装置10dと、監視室15に配置される監視装置20と、表示装置30とを備える。
鉄道車両10は、固定された軌道である線路R10上を走行する。列車位置検出装置10aは、鉄道車両10の走行位置を時系列に検出している(特許文献2参照)。
撮像装置10bは、例えばカメラでありR、G、B画像を走行動画として連続的に撮像可能である。この撮像装置10bは、例えば鉄道車両10の前方に固定され、同一の撮像倍率で撮像する。このため、鉄道車両10が線路R10上を走行中に撮像した走行動画を構成する各画像は、例えば同じ地点で撮像された場合には、同じアングル且つ同じ撮像倍率の画像となる。また、撮像装置10bは、各画像を、列車位置検出装置10aが検出した線路R10上の位置、及び時刻と関連づけて記憶装置10cに記憶する。
また、撮像装置10bが撮像した走行動画には、撮影条件が関連付けられている。撮影条件には、天候や撮影日時などが含まれる。天候は、晴れ、曇り、雨などである。日時は、撮像日付、及び撮像時刻とともに、朝方・日中・夕方などの時間帯、春夏秋冬の季節の情報を含む。
記憶装置10cは、例えばHDD(ハードディスクドライブ)やSSD(ソリッドステートドライブ)等で構成される。記記憶装置10cは、上述のように、撮像装置10bが撮像した走行動画を構成する各画像を線路R10上の位置、撮像日付、及び撮像時刻と関連づけて記憶する。
通信装置10dは、無線によって通信可能であり、例えば監視室15の監視装置20と通信する。この通信装置10dは、例えば気象庁などが発信する地区及び時刻ごとの気象情報を取得し、同時刻に記憶装置10cに記憶された画像と関連づけて記憶する。通信装置10dは、気象情報などを、監視室15の監視装置20などを介して取得してもよい。また、通信装置10dは、記憶装置10cに記憶された動画を監視室15の監視装置20に送信する。
監視装置20は、鉄道車両10から送信された監視対象となる第1動画と、予め記憶されている第2動画とを比較し、第1動画中で変化のあった第1画像に関する情報を出力する。なお、本実施形態では、監視対象となる走行動画を第1動画と称し、比較対象となる基準動画を第2動画と称する。また、第1動画を構成する各フレームの画像を第1画像と称し、第2動画を構成する各フレームの画像を第2画像と称する。
表示装置30は、例えばモニタであり、監視装置20が出力する画像、及び情報を表示する。
表示装置30は、例えばモニタであり、監視装置20が出力する画像、及び情報を表示する。
≪監視装置20の構成≫
図2は、監視装置20の構成を示すブロック図である。監視装置20は、通信部202と、記憶部204と、基準動画選択部(動画選択部)206と、画像選択部208と、差分計算部(生成部)210と、差分表示部212(出力部)とを有する。監視装置20は、例えば、CPU(Central Processing Unit)を含んで構成される。記憶部204は、後述するように、監視動作を実行するための各種のプログラムを記憶している。これにより、監視装置20は、例えば記憶部204に記憶されるプログラムを実行することにより、各部を構成する。
図2は、監視装置20の構成を示すブロック図である。監視装置20は、通信部202と、記憶部204と、基準動画選択部(動画選択部)206と、画像選択部208と、差分計算部(生成部)210と、差分表示部212(出力部)とを有する。監視装置20は、例えば、CPU(Central Processing Unit)を含んで構成される。記憶部204は、後述するように、監視動作を実行するための各種のプログラムを記憶している。これにより、監視装置20は、例えば記憶部204に記憶されるプログラムを実行することにより、各部を構成する。
通信部202は、無線によって通信可能であり、鉄道車両10と通信し、監視対象となる第1動画を取得する。また、通信部202は、例えば気象庁などが発信する地区及び時刻ごとの気象情報を取得し、鉄道車両10に送信してもよい。なお、第1動画は通信を用いずに、鉄道車両10の記憶装置10Cを取り外し、監視装置20に取り付けて取得しても良い。
記憶部204は、走行動画記憶部204aと、走行動画記群(基準)記憶部204bと、鉄道関連情報記憶部204cと、を有する。記憶部204は、例えばHDD(ハードディスクドライブ)やSSD(ソリッドステートドライブ)等で構成される。また、記憶部204は、上述したように、監視動作を実行するための各種のプログラムを記憶している。
走行動画記憶部204aは、監視対象となる第1動画を記憶する。
走行動画記群(基準)記憶部204bは、基準動画である複数の第2動画を記憶する。第2動画は、例えば上述の撮像装置10bにより撮像され、第1動画を撮像した区間を含む範囲で撮像された動画である。これらの第2動画は、様々な撮影条件で撮影されている。すなわち、多様な季節、日時、天候で撮像されている。これらの第2動画のそれぞれには、第1動画と同様に、列車位置検出装置10aが検出した線路R10上の位置、時刻、及び撮影条件などが関連づけられている。
走行動画記群(基準)記憶部204bは、基準動画である複数の第2動画を記憶する。第2動画は、例えば上述の撮像装置10bにより撮像され、第1動画を撮像した区間を含む範囲で撮像された動画である。これらの第2動画は、様々な撮影条件で撮影されている。すなわち、多様な季節、日時、天候で撮像されている。これらの第2動画のそれぞれには、第1動画と同様に、列車位置検出装置10aが検出した線路R10上の位置、時刻、及び撮影条件などが関連づけられている。
ここで、様々な撮影条件の基準動画が必要なのは、天候や時間が異なると日の当たり方が異なり、影が変わるためである。また、季節が異なると植物の生育状況に違いが生じるためである。基準動画は、天候×時間×季節の全組み合わせを所持しても良いが、動画容量が大きくなるため一部の組み合わせが抜けた状態でも良い。
鉄道関連情報記憶部204cは、例えば線路R10に沿った保守要員待機所の位置情報、駅の位置情報、駅間の鉄道車両10の走行情報などを記憶する。駅間の鉄道車両10の走行情報には、駅間の位置ごとの走行予定時刻が関連づけられている。これにより、後述する画像選択部208は、鉄道車両10の走行時刻と、鉄道車両10の線路R10上の走行位置とを対応づけることも可能である。ここで、位置情報とは、GNSSによる緯度や経度等の情報や、線路のキロ程情報などである。
基準動画選択部206は、差分検出対象の第1動画(第1の走行動画)の撮影条件に基づいて、予め撮影された複数の基準動画群(第2動画)の中から撮影条件の近い第2動画を基準動画として選択する。より具体的には、基準動画選択部206は、第1動画の撮影条件を、第1動画に関連づけられた情報から取得し、複数の第2動画から撮影条件に近い第2動画を基準動画として選択する。上述のように、撮影条件とは、例えば天候や撮影日時などである。天候は、晴れ・曇り・雨などであり、撮影日時は、朝方・日中・夕方などの時間帯とともに、春夏秋冬の季節の情報も含む。
このように、基準動画選択部206は、撮影条件として日陰の状態、又は植物の生育状況に関連する情報を用いて、第1動画と日陰の状態が類似する第2動画、又は植物の生育状況が類する第2動画を選択する。より具体的には、基準動画選択部206は、撮影条件として天候または日時の少なくとも一方を用いて、照度、及び日照角度が類似する第2動画を選択する。
例えば、基準動画選択部206は、第1動画の撮像を開始した日時と同じ開始日時の第2動画を選択する。この場合、各第1画像を撮像したときの鉄道車両10と対応する第2画像を撮像したときの鉄道車両10は、同じ地点をほぼ同じ時刻に通過するので、各第1画像と対応する第2画像を撮影した時点の照度及び日照角度が類似する。このため、各第1画像と対応する第2画像の日陰の状態は類似する。ここで、日陰の状態とは、陰影の長さや、陰影内の照度と陰影外の照度との照度差などを意味する。
さらに、この場合、天候により、照度の条件を調整することがより好ましい。このため、基準動画選択部206は、第1動画が晴天時に撮影された場合には、第2動画も晴天時に撮影された画像を選択する。同様に、基準動画選択部206は、第1動画が曇天時に撮影された場合には、第2動画も曇天時に撮影された画像を選択する。
また、時間×天候×季節の全ての条件を満たす基準動画が存在しない場合もある。この場合、基準動画選択部206は、時間を第1優先、天候を第2優先、季節を第3優先にする等、存在する撮影条件の情報に優先順位をつけて基準動画を選択する。例えば、基準動画選択部206は、日陰の状態に関連する情報を優先する場合に、時間に関する情報が欠落している場合には、例えば天候を第1優先、季節を第2優先とする。日陰の状態差は、季節による日照角度差よりも、天候による照度差により、より大きくなる傾向にあるためである。また、例えば、基準動画選択部206は、植物の生育状況に関連する情報を優先する場合には、季節を第1優先、時間を第2優先、天候を第3優先とする。植物の生育差は、季節の相違により、最も大きくなるためである。
画像選択部208は、第1動画を構成する各第1画像に対応する第2画像を、第1画像の位置を示す情報を用いて、第2動画の中から選択する。より具体的には、画像選択部208は、対象フレームである第1画像の撮像地点と同地点のフレーム画像を第2動画から探索し、最も撮像地点の近い第2画像を選択する。画像選択部208は、鉄道車両10の走行時刻と、鉄道車両10の線路R10上の走行位置とを対応づけ、第2画像を探索することも可能である。
≪差分計算部210の構成≫
図3は、監視装置20の差分計算部210の詳細な構成例を示すブロック図である。図3に示すように、差分計算部210は、選択された画像間の差分量を示す値を計算する。すなわち、この差分計算部210は、第1動画を構成する各第1画像と、対応する第2画像との比較情報を生成する。差分計算部210は、差分画像生成部210aと、差分値計算部210bと、を有する。
図3は、監視装置20の差分計算部210の詳細な構成例を示すブロック図である。図3に示すように、差分計算部210は、選択された画像間の差分量を示す値を計算する。すなわち、この差分計算部210は、第1動画を構成する各第1画像と、対応する第2画像との比較情報を生成する。差分計算部210は、差分画像生成部210aと、差分値計算部210bと、を有する。
より詳細には、差分画像生成部210aは、第1動画を構成する各第1画像と、対応する第2画像との差分画像を生成する。この差分画像生成部210aは、例えばそれぞれの画像を平均値0、分散値1となる様に画素値の統計値を標準化し、両画像間の各画素値の差を差分画像として生成する。これにより、画像間の明るさの違いやノイズの影響を軽減することが可能となる。さらに、差分画像生成部210aは、フィルタ処理により、ノイズ除去処理を行った後に差分画像を生成してもよい。これにより、ノイズによる検出誤差を低減可能となる。
また、差分画像生成部210aは、画像を小領域に分割し、各領域に対して動き補償を行ってから差分画像を生成しても良い。これにより、画像間の微妙な画素ずれの影響を軽減することが可能となる。
差分値計算部210bは、差分画像から差分値を計算する。ここで、差分値は差分画像の各画素の絶対値和、二乗和である。このように、監視装置20の差分選択部130によれば、画像の標準化、ノイズ除去、及び動き補償のすくなくともいずれかを行う事で、同位置画像でも生じる画像間の違いを低減する事が可能となる。このため、明るさの違いやノイズや画素ズレの影響を抑制し、点検対象物の劣化などによる変箇所化を差分としてより高精度に検出可能となる。
≪差分表示部212の構成≫
図4は、監視装置20の差分表示部212の詳細な構成例を示すブロック図である。差分表示部212は、変化地点検出部212aと、画像生成部212bと、表示制御部212cとを有する。
図4は、監視装置20の差分表示部212の詳細な構成例を示すブロック図である。差分表示部212は、変化地点検出部212aと、画像生成部212bと、表示制御部212cとを有する。
図5は、変化地点検出部212aの検出処理例を模式的に示す図である。縦軸は、差分値の1画素辺りの平均値を示し、横軸は第1動画のフレーム番号を示す。すなわち、フレーム番号は、第1画像を示す番号である。図5に示すように、時系列な差分値L10は、画像毎に異なる。つまり、各第1画像と、対応する第2画像との差が大きくなるに従い差分値は大きくなる。
変化地点検出部212aは、比較情報(差分値)に基づき、第1動画中で所定の変化のあった第1画像に関する情報を出力する。より詳細には、変化地点検出部212aは、時系列な差分値L10が予め定められたしきい値L12、例えば、0.5を超えた第1画像群P10を所定の変化があった画像として検出する。すなわち、所定の変化とは、第1画像と対応する第2画像の差分値が所定値を超えることを意味する。この場合、第2画像には無かった物体が第1画像中に写っているか、第2画像中にあった物体が劣化、変化して第1画像中に写っているか、或いは、第2画像中にあった物体が消失して第1画像中に写っていないか、のいずれかの蓋然性が高くなる。しきい値L12は全区間で一定であっても良いし、フレーム番号(撮影位置)によって変えても良い。これは、撮影位置の周辺環境によって差分が大きくなりやすい位置があるためである。
また、変化地点検出部212aは、比較情報に基づき変化のあった第1画像を撮像した線路R10上の位置に関する情報を出力する。この場合、変化地点検出部212aは、例えば所定の変化のあった第1画像に関連づけられている撮像位置の情報を出力する。
図6は、画像生成部212bが生成する生成画像300の例を模式的に示す図である。図6に示すように、画像生成部212bは、変化のあった走行画像フレームである第1画像302と、第1画像302中の変化があった領域302aと、第1画像302に対応する基準画像である第2画像304と、第1画像302に対応する位置情報306と、領域302aの変化理由308と、線路図310と、線路図310内の変化があった変化地点312と、最寄りの保守要員待機所314、316の情報を含む画像を生成する。
より具体的には、画像生成部212bは、変化地点検出部212aの出力情報により、変化のあった第1画像302と、対応する第2画像304を記憶部204から取得し、生成画像300に表示する。この際に、画像生成部212bは、差分画像生成部210aが生成した差分画像中の差分値の絶対値が所定値より大きな領域を、例えばしきい値処理、及びラベリング処理により抽出し、領域302aとして表示する。
また、画像生成部212bは、一般画像中の撮影対象を識別する認識器を有しており、領域302aのカテゴリを変化理由308として表示する。例えば、画像生成部212bの認識器は、車、人、動物、建物、火災、木、植物名などを学習しており、カテゴリを変化理由308として表示する。一方で、領域302aの差分値により、第2画像304にあった物体が第1画像302では変化、又は、無くなっていると判断される場合には、画像生成部212bの認識器は、第2画像304内の領域302aに対応する画像領域内のカテゴリを変化理由308として表示する。例えば、絶対値が所定値より大きな領域の差分値がプラスであれば、第1画像内に新たな物体が映っており、マイナスであれば、第2画像中にあった物体が第1画像内では消失していることを示す。なお、プラス、マイナスは、逆でもよい。
また、画像生成部212bは、記憶部204内の鉄道関連情報を用いて、変化地点312と、最寄りの保守要員待機所314、316の情報を含む路線図画像310を生成する。
表示制御部212cは、この生成画像300の情報を、表示装置30に表示させる。これにより、監視室15の監視員は、保守の必要性や、保守方法、保守要員への連絡先などを即時に判断することが可能となる。
表示制御部212cは、この生成画像300の情報を、表示装置30に表示させる。これにより、監視室15の監視員は、保守の必要性や、保守方法、保守要員への連絡先などを即時に判断することが可能となる。
また、表示制御部212cは、通信部202を介して、最寄りの保守要員待機所314、316に配置される別の表示装置に生成画像300の情報を送信する。これにより、このような生成画像300を、保守要員待機所314、316の保守要員は確認可能となる。このように、守要員待機所314、316の保守要員も、保守の必要性や、保守方法などを画像情報に基づき、即時に判断することが可能となる。
図7は、監視装置20の処理例を示すフローチャートである。図7に示すように、まず、基準動画選択部206は、差分検出対象の第1動画(第1の走行画像)の撮影条件を取得する(ステップS100)。
次に、基準動画選択部206は、複数の第2画像(基準動画)の中から取得した第1動画の撮影条件に近い第2動画を基準動画として選択する(ステップS102)。
次に、画像選択部208は、第1動画から差分検出の対象であるフレームの第1画像を取得する(ステップS104)。そして、第2動画から対象フレームである第1画像と同地点のフレーム画像を探索し、最も位置の近い第2画像を選択する(ステップS106)。
次に、画像選択部208は、第1動画から差分検出の対象であるフレームの第1画像を取得する(ステップS104)。そして、第2動画から対象フレームである第1画像と同地点のフレーム画像を探索し、最も位置の近い第2画像を選択する(ステップS106)。
次に、差分計算部210は、第1画像と対応する第2画像との差分量を示す値を計算する(ステップS108)。差分計算部210は、第1動画の終端か否かを判定する(ステップS110)。終端でない場合(ステップS110のno)、差分計算部210は、次の第1画像に対して、ステップS104からの処理を繰り返す。
一方で、終端である場合(ステップS110のyes)、差分表示部212は、フレーム毎の差分量を示す値に基づいて、第1動画の中で変化のあった第1画像に対応する地点を求め(S107)、変化地点の画像や情報を表示装置30に表示し(ステップS114)、処理を終了する。このように、監視装置20は、複数の第2動画(基準動画)群から、撮影条件に基づき第2動画を選択し、第1動画の各第1画像と対応する第2画像を比較し、変化あった地点を検出する。
以上のように、本実施形態によれば、基準動画選択部206が、監視対象となる第1動画の撮影条件に基づき、複数の動画の中から前記撮影条件に対応する第2動画を選択し、画像選択部208が、各第1画像に対応する第2画像を、第1画像の撮影位置を示す情報を用いて、第2動画の中から選択することとした。これにより、第1動画を構成する各第1画像と、撮影位置及び撮影条件が対応する第2画像を比較可能となる。このため、撮影条件の相違により生じる各第1画像と対応する第2画像との画像情報の相違が低減され、変化の有った箇所の誤検出が抑制される。
(第1実施形態の変形例)
第1実施形態の変形例に係る監視装置20は、差分計算部210の差分画像生成部210aをニューラルネットワークで構成した点で、第1実施形態に係る監視装置20と相違する。以下では、第1実施形態に係る監視装置20と相違する点を説明する。
第1実施形態の変形例に係る監視装置20は、差分計算部210の差分画像生成部210aをニューラルネットワークで構成した点で、第1実施形態に係る監視装置20と相違する。以下では、第1実施形態に係る監視装置20と相違する点を説明する。
図8は、第1実施形態の変形例に係る差分画像生成部210aの構成を示すブロック図である。図8に示すように、差分画像生成部210aは、第1ニューラルネットワーク2102aと、第2ニューラルネットワーク2104aとを有する。第1ニューラルネットワーク2102aは、複数の畳み込みニューラルネットワーク(CNN、convolutional neurl network、以下では単にCNNと記す場合がある。)を有する。
このCNNは、各レイヤのニューロンがフィルタにグループ化され、各フィルタが入力データの中の異なる重複する特徴を検出する。畳み込みニューラルネットワークにおける複数レイヤのニューラルネットワークアーキテクチャは、例えば複数の畳み込みレイヤ、複数のサンプリングレイヤ、及び複数の完全に接続されたレイヤを有する。また、このCNNは、例えば既存のラベル付き画像によって学習させた学習済みのCNN(例えばImageNet pre-trained network)である。すなわち、上段のCNNのそれぞれは、第2画像の赤色画像(R画像)、緑色画像(G画像)、青色画像(B画像)の3種のデジタル画像それぞれから特徴量を抽出する。同様に下段のCNNのそれぞれは、第1画像の赤色画像(R画像)、緑色画像(G画像)、青色画像(B画像)の3種のデジタル画像それぞれから特徴量を抽出する。
また、下段のCNNのそれぞれは、上段のCNNのそれぞれと同様の構成ある。例えば、下段のCNNのそれぞれは、上段のCNNのそれぞれと重み(接続係数)が同一である。本実施形態では、R、G、Bの三原色それぞれを標準化して入力する。
例えば1枚の第2画像は、1920x1080画素の3種のデジタル画像である赤色画像(R画像)、緑色画像(G画像)、青色画像(B画像)のそれぞれを384x216画素に縮小した画像を用いる。これにより、第2画像の384x216×3の画素データが上段のCNNに入力される。同様に、第1画像の384x216×3の画素データが下段のCNNに入力される。
第1ニューラルネットワーク2102aは、第2画像の384x216×3の画素データに対応する3Dの特徴量ボリュームデータと、第1画像の384x216×3の画素データに対応する3Dの特徴量ボリュームデータと、を合成する。
第2ニューラルネットワーク2104aは、第1ニューラルネットワーク212aが出力する3Dの特徴量ボリュームデータが入力されると、第1画像と第2画像との差分画像を出力する。
この第2ニューラルネットワーク2104aは、第1ニューラルネットワーク2102aが合成する学習用の特徴量ボリュームデータと、教師用の384x216の差分画像をセットとした学習データにより学習されたニューラルネットワークである。例えば、この第2ニューラルネットワーク2104aは、各ノードの間の接続係数が初期化され、教師用の384x216の差分画像付きの3Dの特徴量ボリュームデータが順に入力される。そして、第2ニューラルネットワーク2104aは、出力する差分画像と、入力した3Dの特徴量ボリュームデータにセットされた教師用の384x216の差分画像との誤差が少なくなるように接続係数を補正する。
この接続係数の補正は、バックプロパゲーション(誤差逆伝播法)等の処理により行われる。学習データとして、教師用の224×224の差分画像に対して、入力画像にノイズや、日陰状態の異なる情報を人工的に多様に付加することが可能である。これにより、ノイズや、照度変化による日陰状態の相違に対す影響が低減された差分画像を生成可能である第2ニューラルネットワーク2104aを学習できる。つまり、第2ニューラルネットワーク2104aは、第1画像と、第2画像とで、ノイズや日陰状態が相違していても、それらの影響を低減した差分画像を生成できる。
このように、第1ニューラルネットワーク2102a及び第2ニューラルネットワーク2104aを用いた差分画像生成部210aは、画像のノイズや、照度変化に対す影響が低減された差分画像を生成可能である。これにより、監視装置20の誤検出がより抑制される。
(第2実施形態)
第2実施形態に係る監視装置20は、画像選択部208が第1画像の位置情報に加え、第1画像と第2画像の類似性の情報を用いて、第2画像を選択する点で、第1実施形態に係る監視装置20と相違する。以下では、第1実施形態に係る監視装置20と相違する点を説明する。
第2実施形態に係る監視装置20は、画像選択部208が第1画像の位置情報に加え、第1画像と第2画像の類似性の情報を用いて、第2画像を選択する点で、第1実施形態に係る監視装置20と相違する。以下では、第1実施形態に係る監視装置20と相違する点を説明する。
図9は、第2実施形態に係る画像選択部208の構成を示すブロック図である。図9に示すように、画像選択部208は、候補選出部208aと、類似度計算部208bと、選択部208cと、を有する。
候補選出部208aは、第1動画の第1画像に対応する位置情報と最も近い位置情報を有する第2画像と、その前後における複数の第2画像を候補画像として選出する。
類似度計算部208bは、第1画像と、候補選出部208aが選出した複数の第2画像それぞれとの類似度を計算する。ここで、類似度はZNCC(Zero-means Normalized Cross-Correlation:正規化相互相関)やAKAZE等の画像特徴点の対応点数などである。すなわち、類似度計算部208bは、第1画像と複数の第2画像との間の類似度を正規化相互相関により演算する。或いは、類似度計算部208bは、第1画像と複数の第2画像とのそれぞれの特徴点を求め、特徴点の対応点数を類似度とする。
選択部208cは、類似度に基づいて第1画像に対応する第2画像を選択する。
類似度計算部208bは、第1画像と、候補選出部208aが選出した複数の第2画像それぞれとの類似度を計算する。ここで、類似度はZNCC(Zero-means Normalized Cross-Correlation:正規化相互相関)やAKAZE等の画像特徴点の対応点数などである。すなわち、類似度計算部208bは、第1画像と複数の第2画像との間の類似度を正規化相互相関により演算する。或いは、類似度計算部208bは、第1画像と複数の第2画像とのそれぞれの特徴点を求め、特徴点の対応点数を類似度とする。
選択部208cは、類似度に基づいて第1画像に対応する第2画像を選択する。
図10は、第2実施形態に係る画像選択部208の処理を示すフローチャートである。図10に示すように、まず、候補選出部208aは、第1動画(検出対象動画)の対象フレームとなる第1画像の位置情報を取得する(ステップS200)。
次に、候補選出部208aは、第2行動画(基準動画)の各第2画像の位置情報を用いて、対象フレームの位置情報と最も近い位置情報のフレームを探索する(ステップS202)。続けて、候補選出部208aは、その最も近い位置情報の第2画像とその前後の数フレーム分の第2画像を候補フレームとして選択する(ステップS204)。
類似度計算部208bは、候補フレームである複数の第2画像から一つの第2画像を選択し(ステップS206)、対象フレームである第1画像との類似度を計算する(ステップS206)。
類似度計算部208bは、候補フレームである複数の第2画像の全てに対して類似度を演算したか否かを判定する(ステップS210)。終了していない場合(ステップS210のno)、類似度計算部208bは、未計算の第2画像に対してステップS206からの処理を繰り返す。
一方で、候補フレームである複数の第2画像の全てに対して類似度を演算した場合(ステップS210のyes)、選択部208cは、候補フレームである複数の第2画像の中から、類似度の最も高い第2画像を第1画像に対する画像として選択し(ステップS212)、全体処理を終了する。
以上説明したように、第2実施形態に係る画像選択部208によれば、画像間の類似度を用いる事で、第1画像と第2画像の撮像位置にずれがある場合でも、第1画像により類似する第2画像を選択可能となる。これにより、撮影位置のずれによる影響が低減され、監視装置20の誤検出がより抑制される。
これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
Claims (12)
- 監視対象となる第1動画の撮影条件に基づき、複数の動画の中から前記撮影条件に対応する第2動画を選択する動画選択部と、
前記第1動画を構成する各第1画像に対応する第2画像を、前記第1画像の位置を示す情報を用いて、前記第2動画の中から選択する画像選択部と、
前記各第1画像と、前記対応する第2画像との比較情報を生成する生成部と、
前記比較情報に基づき、前記第1動画の中で所定の変化のあった第1画像に関する情報を出力する出力部と、
を、備える監視装置。 - 前記動画選択部は、前記撮影条件として日陰の状態に関連する情報、又は植物の生育状況に関連する情報を用いて、前記第1動画と類似する前記第2動画を選択する、請求項1に記載の監視装置。
- 前記動画選択部は、前記撮影条件として天候または日時の少なくとも一方を用いて、前記第1動画と照度、及び日照角度が類似する前記第2動画を選択する、請求項1に記載の監視装置。
- 前記第1動画は、軌道上を走行する鉄道車両が搭載した撮像装置が撮影した動画であり、
前記出力部は、前記第1画像に関する情報として、前記対応する第2画像に対して所定の変化のあった前記第1画像を撮像した前記軌道上の位置に関する情報を出力する、請求項3に記載の監視装置。 - 前記情報に関する画像を表示部に表示させる表示制御部を、更に備え、
前記表示制御部は、前記軌道上の位置を示す画像、前記所定の変化のあった第1画像、前記軌道上の位置に対応する第2画像、及び最寄りの保守要員待機所の情報の少なくともいずれかを前記表示部に表示させる、請求項4に記載の監視装置。 - 前記表示制御部は、前記軌道上の位置に対応する前記第1画像と、前記変化のあった第1画像内の変化領域と、前記変化の理由に関する情報を前記表示部に表示させる、請求項5に記載の監視装置。
- 前記画像選択部は、前記位置を示す情報を用いて選択した複数の前記第2画像の中から、前記第1画像との類似度に基づき、前記第1画像に対応する第2画像を選択する、請求項1乃至6のいずれか一項に記載の監視装置。
- 前記画像選択部は、前記第1動画と前記第2動画とに付随する位置情報に基づき、前記第2動画の中から前記複数の第2画像を選択する、請求項7に記載の監視装置。
- 前記画像選択部は、前記第1画像と前記複数の記第2画像とのそれぞれの特徴点を求め、前記特徴点の対応点数を類似度とする、請求項7に記載の監視装置。
- 前記生成部は、画像を小領域に分割し各領域に対して動き補償を行ってから差分画像を生成し、前記差分画像に基づく差分値を前記比較情報として生成する、請求項1に記載の監視装置。
- 前記生成部は、ニューラルネットワークを用いて差分画像を生成し、前記差分画像に基づく差分値を前記比較情報として生成する、請求項1に記載の監視装置。
- 監視対象となる第1動画の撮影条件に基づき、複数の動画の中から前記撮影条件に対応する第2動画を選択する動画選択工程と、
前記第1動画を構成する各第1画像に対応する第2画像を、前記第1画像の位置を示す情報を用いて、第2動画の中から選択する画像選択工程と、
前記各第1画像と、前記対応する第2画像との比較情報を生成する生成工程と、
前記比較情報に基づき、前記第1動画の中で所定の変化のあった第1画像に関する情報を出力する出力工程と、
を、備える監視方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202180039072.5A CN115699727A (zh) | 2020-05-29 | 2021-05-14 | 监视装置以及监视方法 |
EP21813219.9A EP4159580A4 (en) | 2020-05-29 | 2021-05-14 | MONITORING DEVICE AND MONITORING METHOD |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020094617A JP2021190850A (ja) | 2020-05-29 | 2020-05-29 | 監視装置、及び監視方法 |
JP2020-094617 | 2020-05-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021241270A1 true WO2021241270A1 (ja) | 2021-12-02 |
Family
ID=78744550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/018378 WO2021241270A1 (ja) | 2020-05-29 | 2021-05-14 | 監視装置、及び監視方法 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4159580A4 (ja) |
JP (1) | JP2021190850A (ja) |
CN (1) | CN115699727A (ja) |
WO (1) | WO2021241270A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001283226A (ja) * | 2000-03-31 | 2001-10-12 | Toshiba Corp | 動画像の物体追跡/抽出装置および動画像の物体追跡/抽出方法 |
JP2008227844A (ja) | 2007-03-12 | 2008-09-25 | Mitsubishi Electric Corp | 画像監視装置 |
JP2017117349A (ja) * | 2015-12-25 | 2017-06-29 | パナソニックIpマネジメント株式会社 | 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法 |
JP2018028516A (ja) | 2016-08-19 | 2018-02-22 | 株式会社東芝 | 列車位置検出装置及び方法 |
JP2018067809A (ja) * | 2016-10-19 | 2018-04-26 | 日本電信電話株式会社 | 映像検出装置、方法、及びプログラム |
WO2020031393A1 (ja) * | 2018-08-10 | 2020-02-13 | 栗田工業株式会社 | 燃料ガス吸着カートリッジ、これを用いた燃料ガス吸着装置、及び燃料ガス吸着カートリッジの交換時期判断方法 |
JP2020053019A (ja) * | 2018-07-16 | 2020-04-02 | アクセル ロボティクス コーポレーションAccel Robotics Corp. | 自律店舗追跡システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2542115B (en) * | 2015-09-03 | 2017-11-15 | Rail Vision Europe Ltd | Rail track asset survey system |
SE540595C2 (en) * | 2015-12-02 | 2018-10-02 | Icomera Ab | Method and system for identifying alterations to railway tracks or other objects in the vicinity of a train |
US10179597B2 (en) * | 2016-06-27 | 2019-01-15 | Jack Wade | Automated wayside asset monitoring with optical imaging and visualization |
IT201700039405A1 (it) * | 2017-04-19 | 2018-10-19 | Geosintesi S P A | Metodo per il rilevamento automatico e successiva elaborazione ed archiviazione di uno o piu’ parametri ambientali georeferenziati relativi ad una tratta ferroviaria di riferimento |
-
2020
- 2020-05-29 JP JP2020094617A patent/JP2021190850A/ja active Pending
-
2021
- 2021-05-14 CN CN202180039072.5A patent/CN115699727A/zh active Pending
- 2021-05-14 EP EP21813219.9A patent/EP4159580A4/en active Pending
- 2021-05-14 WO PCT/JP2021/018378 patent/WO2021241270A1/ja unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001283226A (ja) * | 2000-03-31 | 2001-10-12 | Toshiba Corp | 動画像の物体追跡/抽出装置および動画像の物体追跡/抽出方法 |
JP2008227844A (ja) | 2007-03-12 | 2008-09-25 | Mitsubishi Electric Corp | 画像監視装置 |
JP2017117349A (ja) * | 2015-12-25 | 2017-06-29 | パナソニックIpマネジメント株式会社 | 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法 |
JP2018028516A (ja) | 2016-08-19 | 2018-02-22 | 株式会社東芝 | 列車位置検出装置及び方法 |
JP2018067809A (ja) * | 2016-10-19 | 2018-04-26 | 日本電信電話株式会社 | 映像検出装置、方法、及びプログラム |
JP2020053019A (ja) * | 2018-07-16 | 2020-04-02 | アクセル ロボティクス コーポレーションAccel Robotics Corp. | 自律店舗追跡システム |
WO2020031393A1 (ja) * | 2018-08-10 | 2020-02-13 | 栗田工業株式会社 | 燃料ガス吸着カートリッジ、これを用いた燃料ガス吸着装置、及び燃料ガス吸着カートリッジの交換時期判断方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP4159580A4 |
Also Published As
Publication number | Publication date |
---|---|
EP4159580A1 (en) | 2023-04-05 |
CN115699727A (zh) | 2023-02-03 |
JP2021190850A (ja) | 2021-12-13 |
EP4159580A4 (en) | 2024-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111353413B (zh) | 一种输电设备低漏报率缺陷识别方法 | |
CN110085029B (zh) | 基于轨道式巡检机器人的高速公路巡检系统与方法 | |
CN110197308B (zh) | 一种用于农业物联网的作物监测系统及方法 | |
JP6959029B2 (ja) | マルチラインイメージセンサ装置及び撮影装置 | |
CN111127520B (zh) | 一种基于视频分析的车辆跟踪方法和系统 | |
CN112163639B (zh) | 一种基于高度分布特征向量的作物倒伏分级方法 | |
US20020181739A1 (en) | Video system for monitoring and reporting weather conditions | |
CN115205559A (zh) | 一种跨域车辆重识别及连续轨迹构建方法 | |
CN111476785B (zh) | 基于位置记录的夜间红外反光水尺检测方法 | |
CN113762183A (zh) | 一种既有建筑安全的智能检查分析系统及操作方法 | |
CN113763484A (zh) | 基于视频图像分析技术的船舶目标定位及速度估算方法 | |
WO2021241270A1 (ja) | 監視装置、及び監視方法 | |
CN114511788A (zh) | 一种坡体裂缝识别方法、系统、设备以及存储介质 | |
CN111521279B (zh) | 一种管线渗漏巡查方法 | |
CN116978139A (zh) | 一种基于北斗技术的无人机智能巡检系统及方法 | |
CN111950524A (zh) | 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统 | |
JP2022066062A (ja) | 状態判定システムおよび状態判定方法。 | |
CN116297472A (zh) | 一种基于深度学习的无人机桥梁裂缝检测方法及系统 | |
CN115457313A (zh) | 一种基于热红外图像分析光伏设备故障的方法及系统 | |
CN112508328B (zh) | 一种自然保护地生态质量监控系统及方法 | |
CN112034456A (zh) | 烟雾巡检系统、方法、控制装置及存储介质 | |
CN110161970A (zh) | 一种农业物联网综合服务管理系统 | |
CN114842426B (zh) | 一种基于精确对准摄像的变电站设备状态监测方法和系统 | |
CN112904778B (zh) | 一种基于多维信息融合的野生动物智能监测方法 | |
CN110138879B (zh) | 一种用于农业物联网的处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21813219 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2021813219 Country of ref document: EP Effective date: 20230102 |