WO2020095644A1 - 変状検出装置、変状検出方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

変状検出装置、変状検出方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2020095644A1
WO2020095644A1 PCT/JP2019/040758 JP2019040758W WO2020095644A1 WO 2020095644 A1 WO2020095644 A1 WO 2020095644A1 JP 2019040758 W JP2019040758 W JP 2019040758W WO 2020095644 A1 WO2020095644 A1 WO 2020095644A1
Authority
WO
WIPO (PCT)
Prior art keywords
score
deformation
terrain
image
input image
Prior art date
Application number
PCT/JP2019/040758
Other languages
English (en)
French (fr)
Inventor
克哉 行旨
泰之 平川
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
アジア航測株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社, アジア航測株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to JP2020556725A priority Critical patent/JP7078295B2/ja
Publication of WO2020095644A1 publication Critical patent/WO2020095644A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images

Definitions

  • the present invention relates to a deformation detection device and a deformation detection method for detecting a deformation, and further to a computer-readable recording medium recording a program for realizing these.
  • topographical changes which are precursors of natural disasters, using images of topography taken by surveillance cameras.
  • a technique for detecting a topographical change such as a debris flow by using image analysis processing.
  • Non-Patent Document 1 discloses a debris flow detection system using an inter-frame luminance difference method, an optical flow method, and a moving image pattern detection method as image analysis processing.
  • Non-Patent Document 2 discloses a debris flow detection system using a moving image pattern detection method.
  • the inter-frame luminance difference method uses the current image (the image of the nth frame) and the image before the present (image of the (n-1) th frame) to calculate the difference in the luminance of pixels at the same position. Is calculated, and a region in which the difference is equal to or greater than a threshold is detected.
  • the optical flow method is a method in which the motion of an object is represented by a vector using a plurality of continuous images (moving images).
  • the moving image pattern method is a method in which changes in each pixel of an image are grouped and recognized as one object, and whether or not the object has moved is determined from the movement amount and direction.
  • Non-Patent Document 1 when a debris flow detection system that employs the inter-frame luminance difference method, the optical flow method, or the moving picture pattern detection method described above is used to detect a topographical change due to a debris flow, erroneous detection is performed. It is disclosed that there are many cases.
  • Non-Patent Document 2 uses a debris flow detection system that employs a moving image pattern method that causes less false detection than the inter-frame luminance difference method and the optical flow method.
  • a debris flow detection system that employs a moving image pattern method that causes less false detection than the inter-frame luminance difference method and the optical flow method.
  • Non-Patent Documents 1 and 2 disclose image analysis processing specialized for debris flows. However, regarding detection of topographical deformation caused by collapse, rockfall, landslide, depression, etc. It has not been disclosed.
  • An example of an object of the present invention is to provide a deformation detection device, a deformation detection method, and a computer-readable recording medium that accurately detect a deformation of the topography imaged in an image.
  • the deformation detecting device In each of the plurality of background images obtained by capturing the terrain in advance, based on the histogram calculated using the pixel values of the background image and the histogram calculated using the pixel values of the input image capturing the terrain, the input image Selecting a background image similar to, calculating a difference score based on the difference between the pixel value of the selected background image and the pixel value of the input image, a difference score calculation unit, The magnitude relationship between the pixel values of the pixels set in the background image and the magnitude relationship between the pixel values of the pixels set in the input image are compared, and the magnitude relationship of the input image is reversed from the magnitude relationship of the background image.
  • An inversion score calculation unit that detects a moving pixel and calculates an inversion score based on the detected pixel;
  • a transformation score calculation unit that integrates the difference score and the reversal score to calculate a transformation score indicating whether or not the terrain has been transformed, It is characterized by having.
  • the deformation detection method (A) Based on a histogram calculated using the pixel values of the background image and a histogram calculated using the pixel values of the input image of the terrain, in each of a plurality of background images obtained by imaging the terrain in advance, Selecting the background image similar to the input image, calculating a difference score based on the difference between the pixel value of the selected background image and the pixel value of the input image, a step, (B) Comparing the magnitude relationship between the pixel values of the pixels set in the background image and the magnitude relationship between the pixel values of the pixels set in the input image, the magnitude relationship of the input image is the magnitude of the background image.
  • a recording medium in which the program according to one aspect of the present invention can be read by a computer is On the computer, (A) Based on a histogram calculated using the pixel values of the background image and a histogram calculated using the pixel values of the input image of the terrain, in each of a plurality of background images obtained by imaging the terrain in advance, Selecting the background image similar to the input image, calculating a difference score based on the difference between the pixel value of the selected background image and the pixel value of the input image, a step, (B) Comparing the magnitude relationship between the pixel values of the pixels set in the background image and the magnitude relationship between the pixel values of the pixels set in the input image, the magnitude relationship of the input image is the magnitude of the background image.
  • FIG. 1 is a diagram showing an example of the deformation detecting device.
  • FIG. 2 is a diagram showing an example of a system having a deformation detecting device.
  • FIG. 3 is a diagram for explaining the preparation phase of the difference score calculation unit.
  • FIG. 4 is a diagram for explaining the analysis phase of the difference score calculation unit.
  • FIG. 5 is a diagram showing directions and distances set when the reach is calculated.
  • FIG. 6 is a diagram for explaining the setting of the starting point.
  • FIG. 7 is a diagram showing an example of the data structure of the inversion score model.
  • FIG. 8 is a diagram for explaining the analysis phase of the inversion score calculation unit.
  • FIG. 9 is a diagram for explaining the prediction score output unit and the learning unit.
  • FIG. 1 is a diagram showing an example of the deformation detecting device.
  • FIG. 2 is a diagram showing an example of a system having a deformation detecting device.
  • FIG. 3 is a diagram for explaining the preparation phase of the difference score calculation
  • FIG. 10 is a flowchart showing an example of the operation of the deformation detecting device.
  • FIG. 11 is a flowchart showing an example of the operation of the difference score calculation unit.
  • FIG. 12 is a flowchart showing an example of the operation of the inversion score calculation unit.
  • FIG. 13 is a diagram illustrating an example of a computer that realizes the deformation detection device.
  • FIG. 1 is a diagram showing an example of the deformation detecting device.
  • the deformation detection device 1 shown in FIG. 1 is a device that improves the accuracy of detecting the deformation of the terrain captured in an image by using image analysis processing. Further, as illustrated in FIG. 1, the deformation detection device 1 includes a difference score calculation unit 2, an inversion score calculation unit 3, and a deformation score calculation unit 4.
  • the difference score calculation unit 2 calculates a histogram using the pixel value of the background image and a histogram calculated using the pixel value of the input image of the terrain in each of the plurality of background images in which the terrain is imaged in advance.
  • a background image similar to the input image is selected based on the above, and a difference score is calculated based on the difference between the pixel value of the selected background image and the pixel value of the input image.
  • the inversion score calculation unit 3 compares the magnitude relationship between the pixel values of the pixels set in the background image and the magnitude relationship between the pixel values of the pixels set in the input image, and compares the magnitude relationship of the input image with the magnitude relationship of the background image. Then, the inverted pixel is detected, and the inversion score is calculated based on the detected pixel.
  • the deformation score calculation unit 4 integrates the difference score and the reversal score to calculate a deformation score indicating whether or not the terrain is deformed.
  • the debris flow not only the debris flow but also the topographical changes caused by natural disasters such as collapse, rockfall, landslide, and depression can be detected from the topographical changes captured in the image.
  • FIG. 2 is a diagram showing an example of a system having a deformation detecting device.
  • a system 20 having the deformation detection device 1 according to the present embodiment has an imaging device 21 and an output device 22 in addition to the deformation detection device 1. Further, the deformation detection device 1 is connected to a network or the like. Furthermore, in addition to the difference score calculation unit 2, the reversal score calculation unit 3, and the change score calculation unit 4 illustrated in FIG. 1, the change detection device 1 includes a preprocessing unit 23, a predicted score output unit 24, and an information acquisition unit. 25, an output information generation unit 26, and the like.
  • the image pickup device 21 is connected to the deformation detection device 1 via a network, picks up an image including the topography of an image pickup target, and sends information corresponding to the picked-up image to the deformation detection device 1. Specifically, the imaging device 21 transmits a still image or a moving image including an image of the topography of the imaging target to the deformation detection device 1 using wired or wireless communication in a predetermined cycle. It is also possible to prepare a plurality of imaging devices 21 at different locations and perform patrol monitoring on a plurality of different topographic images of the imaging target. Further, the imaging device 21 may be, for example, a video recorder or the like. In that case, a recorded image (still image or moving image) captured by a video recorder or the like may be transmitted to the deformation detection device 1.
  • the output device 22 acquires the output information output from the output information generation unit 26 via the network, and outputs the image (still image or moving image) and sound generated based on the output information.
  • the output device 22 has, for example, an image display device using a liquid crystal, an organic EL (Electro Luminescence), a CRT (Cathode Ray Tube), and an audio output device such as a speaker.
  • the output device 22 may be a printing device such as a printer.
  • the pre-processing unit 23 for the input image, (1) a process of detecting the vibration of the imaging device 21, (2) a process of detecting a shield imaged in the image, and (3) an imaging range of the imaged image. A process for correcting the deviation is executed.
  • the processes (1), (2), and (3) will be specifically described.
  • the preprocessing unit 23 detects whether the imaging device 21 itself is vibrating due to, for example, control of pan, tilt, zoom, etc., or an influence of earthquake, wind, or the like. Specifically, for the vibration detection of the imaging device 21, a flow vector group calculated by the optical flow method is used to create a histogram according to the moving direction on the image, and a ratio of a certain direction is set to a preset threshold value. When it exceeds, it is determined that the imaging device 21 is vibrating.
  • the pre-processing unit 23 excludes an image (a background image or an input image) captured during the time when the imaging device 21 that captures the terrain is vibrating. .. In this way, false detection can be reduced by excluding the images that cause false detection.
  • the pre-processing unit 23 first detects an image of a terrain deformation and another shielding object from the image of the terrain (background image or input image).
  • the shield is, for example, fog or smoke.
  • the pre-processing unit 23 detects an image in which the shielding object is captured in addition to the deformation of the landform in the image capturing the terrain, the pre-processing unit 23 captures the image at the time when the shielding object is captured. Exclude images that you have made. In this way, false detection can be reduced by excluding the images that cause false detection.
  • Detecting obstacles uses local features to determine whether the obstacles are being imaged. For example, when fog or smoke is applied, (a) the contrast is reduced, (b) blurring occurs (such as disappearance of high-frequency components), and (c) in the shielding area corresponding to the fog or smoke captured in the image. Degradation of saturation occurs.
  • the preprocessing unit 23 first decomposes the captured image into a plurality of local regions, and corresponds to (a), (b), and (c) for each local region.
  • An index value representing the characteristic is calculated.
  • the contrast level (unit: brightness value) is calculated as the index value of (a)
  • the number of high frequency components (unit: pixel number) is calculated as the index value of (b)
  • the index value of (c) is calculated.
  • Saturation unit: luminance value
  • the index value representing the contrast level is the difference between the maximum brightness value (the brightest place) and the minimum brightness value (the darkest place) in the local area.
  • B For the index value indicating the occurrence of blurring, edge extraction processing is performed on a local area, a pixel having a large difference in brightness compared with neighboring pixels is detected, and the number of detected pixels is set as a high-frequency component. Use the corresponding index value.
  • C The index value representing the saturation is the difference between the component having the largest value and the component having the smallest value among the RGB values of the color components. The smaller the difference, the lower the saturation.
  • the pre-processing unit 23 compares the calculated index value with a preset determination condition, and when a region that matches the determination condition is detected, it is detected.
  • the determined area is determined to be the occluded area.
  • the determination condition has a threshold value for the contrast level, a threshold value for the number of pixels corresponding to high frequency components in the local area, and a threshold value for the saturation. These thresholds are determined by, for example, experiments, simulations and the like.
  • the preprocessing unit 23 estimates the amount of deviation (distance and direction) from the reference position image (preset image) in the input image captured by the imaging device 21.
  • the shift between the input image and the preset image occurs due to, for example, control of pan, tilt, zoom, and the like, influence of refraction of the lens, and the like.
  • the shift amount between the input image and the preset image is estimated by using the template matching process using the incremental code.
  • the preprocessing unit 23 first calculates the incremental code of the reference preset image. Then, the pre-processing unit 23 sets a plurality of regions having different sizes at random positions in the preset image, and sets each of the set regions as a template region for estimating the positional deviation amount. Further, the pre-processing unit 23, after acquiring the input image, calculates the increment code of the input image.
  • the preprocessing unit 23 detects the area having the smallest difference in increment code and the same size as the template area in the input image, using the increment code of the template area and the increment code of the input image. After that, the preprocessing unit 23 calculates the difference between the coordinate positions of the template region and the detected region as the shift amount.
  • the pre-processing unit 23 calculates the shift amount as described above for all the template regions, then selects the shift amount that is the median value from all the shift amounts, and selects the preset image and the input image. And the amount of deviation. Then, the preprocessing unit 23 corrects the shift of the input image using the estimated shift amount.
  • FIG. 3 is a diagram for explaining the preparation phase of the difference score calculation unit.
  • the difference score calculation unit 2 first acquires a plurality of background images 31, 32, 33, 34 as shown in FIG. Subsequently, the difference score calculation unit 2 calculates the background image histogram set 35 by associating each of the acquired background images 31 to 34 with the pixel and the pixel value of each pixel.
  • the pixel value is, for example, a value indicating the brightness or the brightness of each pixel.
  • the background image histogram set 35 includes background images 31 to 34, a “background image ID” that identifies the background images 31 to 34, and “pixels” that represent the number of pixels having the same pixel value in the image for each of the background images 31 to 34.
  • the number of pixels for each value is associated with each other and stored as a difference score model in a storage unit (not shown).
  • the “background image ID” stores, for example, identifiers “1”, “2”, “3”, and “4” for identifying the background images 31 to 34.
  • the “number of pixels for each pixel value” indicates “br1-1”, “br1-2”, and “br1” indicating the number of pixels having the same pixel value in the background image 31. -3 "," br1-4 "" Br1-N "are stored.
  • the pixel value is expressed in 256 steps, for example, from 0 to 255.
  • FIG. 4 is a diagram for explaining the analysis phase of the difference score calculation unit.
  • the difference score calculation unit 2 first acquires an input image 41 as shown in FIG. Subsequently, the difference score calculation unit 2 calculates a pixel value histogram 42 as shown in FIG. 4 based on the pixel value of each pixel for every pixel of the input image 41. The difference score calculation unit 2 calculates, for example, “bri-1”, “bri-2”, “bri-3”, “bri-4”, ..., “bri-N” indicating the number of pixels having the same pixel value in the input image 41. calculate. Subsequently, the difference score calculation unit 2 acquires the background image histogram set 35.
  • the difference score calculation unit 2 uses the background image histogram set 35 and the pixel value histogram 42 to select a background image histogram 43 similar to the pixel value histogram 42 from the background image histogram set 35. After that, the difference score calculation unit 2 selects the background image 32 corresponding to the background image histogram 43.
  • the difference score calculation unit 2 calculates the difference in pixel value using the pixel of the selected background image 32 and the pixel at the same position of the input image 41. Then, the difference score calculation unit 2 compares the calculated difference with the threshold Th1, and when the difference is equal to or larger than the threshold Th1, associates the pixel with the information indicating the foreground. When the difference is less than the threshold Th1, the difference score calculation unit 2 associates information indicating the background (information other than information indicating the foreground) with the pixel. For example, when binarizing an image like the image 44 shown in FIG. 4, the information indicating the background (black) is set to “0” and the information indicating the foreground (white) is set to “255”.
  • the difference score calculation unit 2 calculates the difference score Sc for each pixel, and the difference score Sc (“Sc-1” “Sc-2” “Sc-3” “Sc” is calculated for each pixel. -4 "! Sc-N "), and the difference score information 45 (difference score model) is generated and stored in a storage unit (not shown).
  • the calculation of the difference score Sc is not limited to the method described above.
  • the storage unit may be provided inside the deformation detection device 1 or outside the deformation detection device 1.
  • the calculation is performed for each pixel, but a plurality of regions having a predetermined size (regions having a plurality of pixels) are set at the same position in each background image, and the histogram is calculated for each region. You may. In that case, the difference score is calculated for each region.
  • the reversal score calculation unit 3 first acquires a plurality of background images 31 to 34. Subsequently, the reversal score calculation unit 3 calculates the reach using the background images 31 to 34.
  • the reach is represented by a pixel serving as a starting point p and a pixel having an ending point q determined for each of one or more directions preset with respect to the starting point p. That is, the reach is a point pair in which the probability that the difference between the pixel values is larger or smaller than the pixel value threshold (threshold Th2) is equal to or larger than the probability threshold (threshold Th3) in the entire background image. And a pixel at an end point q determined for each of one or more directions preset with respect to the starting point p.
  • FIG. 5 is a diagram showing directions and distances set when the reach is calculated.
  • k1, k2, k3, k4, k5, k6, k7, and k8 are set in eight directions (arrows).
  • the symbols d1, d2, d3, d4, d5, d6, d7 set for the pixels in the directions k1 to k8 shown in FIG. 5 indicate the distance (the number of pixels) from the starting point p.
  • the reversal score calculation unit 3 sets the starting point p at the same position in each of the background images 31 to 34 in a predetermined order.
  • FIG. 6 is a diagram for explaining the setting of the starting point. For example, when each of the background images 31 to 34 has N pixels corresponding to coordinates (0,0) to (m, n) as shown in FIG. 6, N pixels are arranged in a predetermined order. The starting point p is set for each. In other words, the starting point p is set to the pixels at the same position in each of the background images 31 to 34 in a predetermined order.
  • the reversal score calculating unit 3 determines an end point q for the currently set starting point p for each of the directions k1 to k8.
  • the reversal score calculation unit 3 first selects a pixel close to the starting point p as a candidate for the end point q. For selection of pixels, for example, the directions k1 to k8 are selected in a predetermined order, and in the pixels in the selected direction (arrows shown in FIG. 5), the pixels closer to the starting point p are selected in order. In the example of FIG. 5, when the direction k1 is selected, candidates for the end point q are selected in order from the pixel corresponding to the distance d1 in the direction k1.
  • the inversion score calculation unit 3 acquires the pixel value corresponding to the selected candidate of the end point q of each of the background images 31 to 34.
  • the pixel value is, for example, a value indicating the brightness or the brightness of each pixel.
  • the reversal score calculation unit 3 calculates, for each of the background images 31 to 34, the magnitude relationship between the pixel value of the starting point p currently set and the candidate pixel value of the end point q corresponding to the starting point p.
  • the reversal score calculation unit 3 calculates the pixel value of the starting point p as shown in Formula 1, Size relation information indicating a magnitude relation with the candidate pixel value of the end point q corresponding to the starting point p is generated.
  • the reversal score calculation unit 3 calculates the probability Pr using the equation 2 in order to determine the end point q.
  • the probabilities Pr calculated from the currently set pixel values of the starting point p and the candidate pixel values of the ending point q are 3/4 and 1/4.
  • the probability Pr is 3/4 because the larger value of the probabilities of p> q + Th2 and p + Th2 ⁇ q is adopted.
  • the reversal score calculation unit 3 compares the calculated probability Pr with the threshold Th3. When the calculated probability Pr is greater than or equal to the threshold Th3, the reversal score calculation unit 3 determines the candidate of the end point q as the end point q.
  • the threshold Th3 is determined by experiments, simulations and the like.
  • FIG. 7 is a diagram showing an example of the data structure of the inversion score model.
  • information indicating the coordinates of the currently set starting point p (“starting point p (coordinates)”), the currently selected direction (“direction”), and the currently selected distance ( “End point q (distance)” and information indicating the magnitude relationship between the pixel value of the starting point p and the pixel value of the end point q that are currently set (“magnitude relationship information”: p> q or p ⁇ q).
  • the association is stored in the inversion score model 71 in the storage unit (not shown).
  • the reversal score calculation unit 3 executes the above-described processing for each direction with respect to the starting point p, determines the end point q for each direction with respect to the starting point p, and determines the magnitude relationship information between the starting point p and the ending point q as the direction. It is calculated for each and stored in the inversion score model 71 of the storage unit.
  • IEICE Transactions. The IEICE transactions on information and systems (Japanese edition) 92 (8), 1251-1259, 2009-08-01 ”etc.
  • FIG. 8 is a diagram for explaining the analysis phase of the inversion score calculation unit.
  • the reversal score calculation unit 3 first acquires an input image 41 as shown in FIG. Further, the reversal score calculation unit 3 acquires the reversal score model 71. Subsequently, the inversion score calculation unit 3 compares the input image 41 with the acquired inversion score model 71 to detect pixels having different magnitude relationships.
  • the reversal score calculation unit 3 uses the coordinates of the starting point p of the reversal score model 71 and the coordinates of the ending point q in each direction corresponding to the coordinates of the starting point p, and the starting point p and the ending point q in the input image 41. The pixel at the same position as each is detected. Subsequently, the inversion score calculation unit 3 acquires the pixel values of the pixels corresponding to the starting point p and the ending point q in the input image 41, and when the difference between the acquired pixel values is the threshold Th4 or more, the acquired pixel value. Based on, the magnitude relationship between the starting point p and the ending point q in the input image 41 is calculated.
  • the reversal score calculation unit 3 compares the calculated size relationship of the input image 41 with the size relationship of the reversal score model 71 for each direction, and a threshold value Th5 or more set in advance and a size relationship for each direction is determined. If so, information indicating the background is set in the pixel. In addition, the reversal score calculation unit 3 sets the information indicating the foreground to the pixel when the magnitude relationship is less than the threshold Th5 and the magnitude relationship is the same.
  • the magnitude relationship between the starting point p and the end points q corresponding to the directions k1 to k8 is the magnitude relationship between the starting point p and the end points q of the directions k1, k2, k3, k4, k6, and k7.
  • the number of matching magnitude relationships is six.
  • the target pixel is set as the background. For example, when the image is binarized as shown in the image 81 of FIG. 8, the information indicating the background (black) is set to “0” and the information indicating the foreground (white) is set to “255”.
  • the inversion score calculation unit 3 calculates the inversion score Sr for each pixel, and the pixel and the inversion score Sr (“Sr ⁇ 1” “Sr-2” “Sr-3” “Sr -4 "! Sr-N ”) is associated with each other to generate inversion score information 82 (inversion score model), and the inversion score information 82 is stored in the storage unit.
  • the calculation of the reversal score is not limited to the method described above.
  • a smoothing filter such as a Gaussian filter may be applied.
  • the storage unit may be provided inside the deformation detection device 1 or outside the deformation detection device 1.
  • FIG. 9 is a diagram for explaining the prediction score output unit and the learning unit.
  • the learning unit 91 inputs and learns the background image in which the topographical deformation is captured, the background image in which the topographical surface is not changed, or both of them, and the topographical information is compared with the input image.
  • a prediction model for predicting whether or not the deformation is generated is generated.
  • the learning unit 91 first inputs to the learning unit 91, as correct learning data, a plurality of background images obtained by capturing images of debris flows, collapses, rockfalls, landslides, depressions, and the like. Machine learning is performed to generate a prediction model.
  • the learning unit 91 inputs a plurality of background images in which no event has occurred as incorrect solution learning data to the learning unit 91 and causes machine learning to generate a prediction model.
  • the learning unit 91 inputs the correct learning data and the incorrect learning data described above to the learning unit 91 and causes machine learning to generate a prediction model.
  • the learning unit 91 performs machine learning using methods such as classification, regression, and clustering to generate a prediction model.
  • Prediction score output unit 24 outputs a prediction score indicating whether or not the topography has changed in the analysis phase, using the input image and the prediction model. Specifically, the prediction score output unit 24 acquires an input image and outputs a prediction score indicating the presence or absence of event occurrence using the prediction model of the learning unit 91 for each pixel or region of the acquired input image. ..
  • the prediction score is, for example, an integer value in the range of 0 to 255 for each pixel.
  • the prediction score output unit 24 may calculate the prediction score using a rule-based prediction model.
  • the deformation score calculation unit 4 integrates the difference score Sc and the reversal score Sr to calculate a deformation score St indicating whether or not the terrain is deformed.
  • the modification score calculation unit 4 integrates the difference score Sc, the inversion score Sr, and the prediction score Sp to calculate the modification score St.
  • the transformation score calculating unit 4 multiplies the difference score Sc, the reversal score Sr, and the prediction score Sp by weighting factors w1, w2, and w3 for each pixel, as shown in Equation 3. The value is added to calculate the deformation score St.
  • the weighting factors w1, w2, and w3 are factors that correct each of the above-mentioned scores according to the weather information and the observation information. It should be noted that the weighting factors w1, w2, w3 are represented by, for example, real numbers between 0.0 and 1.0, and the sum of the weighting factors w1, w2, w3 is set to 1.0 (normalization). ..
  • the information acquisition unit 25 acquires information such as weather information and observation information directly or via a network. Specifically, the information acquisition unit 25 acquires information such as weather, temperature, humidity, rainfall, snowfall, river water level, sediment, typhoon, eruption, ash fall, waves, tide level, tsunami, and the like, and the deformation score calculation unit 4 Send to.
  • the output information generation unit 26 outputs to the output device 22 a difference score, a reversal score, a prediction score, a deformation score, a deformation image representing a deformation of the terrain, or two or more thereof. Output information is generated, and the generated output information is transmitted to the output device 22.
  • FIG. 10 is a flowchart showing an example of the operation of the deformation detecting device.
  • FIGS. 2 to 9 will be referred to as appropriate.
  • the deformation detection method is implemented by operating the deformation detection device 1. Therefore, the description of the deformation detection method in the present embodiment will be replaced with the following description of the operation of the deformation detection device 1.
  • the deformation detection device 1 acquires an input image from the imaging device 21 (step A1). Specifically, the deformation detecting device 1 uses an input image (still image, moving image, or the like) including an image of the captured topography from the imaging device 21 via a network by using wired or wireless communication. To get.
  • the preprocessing unit 23 performs (1) a process of detecting the vibration of the imaging device 21, (2) a process of detecting the shield imaged in the image, and (3) an image of the acquired input image.
  • Pre-processing such as processing for correcting the deviation of the image capturing range is executed (step A2).
  • the preprocessing unit 23 detects whether or not the imaging device 21 itself is vibrating. Then, when the imaging device 21 is vibrating, the pre-processing unit 23 excludes the image (background image or input image) captured during the vibration.
  • the preprocessing unit 23 detects an image in which a shield that blocks the image of the terrain is captured from the image of the terrain (background image or input image). Then, when an image in which a shield is captured is detected in the image of the terrain in addition to the deformation of the terrain, the image captured at a certain time of the shield is excluded.
  • the preprocessing unit 23 determines how much the input image captured by the image capturing device 21 is from the reference position image (preset image) and the shift amount (distance and direction). presume. Subsequently, the preprocessing unit 23 detects the area having the smallest difference in increment code and the same size as the template area in the input image by using the increment code of the template area and the increment code of the input image. After that, the preprocessing unit 23 calculates the difference between the coordinate positions of the template region and the detected region as the shift amount.
  • the pre-processing unit 23 calculates the shift amount as described above for all the template regions, then selects the shift amount that is the median value from all the shift amounts, and selects the preset image and the input image. And the amount of deviation. Then, the preprocessing unit 23 corrects the shift of the input image using the estimated shift amount.
  • step A2 the order of executing the processes (1), (2), and (3) in step A2 is not limited. Further, as pretreatment, two or more of (1), (2), or (3), or (1), (2), and (3) may be combined and treated.
  • the difference score calculation unit 2 calculates a histogram using the pixel values of the background image and a histogram calculated using the pixel values of the input image of the terrain in each of the plurality of background images obtained by capturing the terrain in advance.
  • a background image similar to the input image is selected based on the above, and a difference score is calculated based on the difference between the pixel value of the selected background image and the pixel value of the input image (step A3).
  • FIG. 11 is a flowchart showing an example of the operation of the difference score calculation unit.
  • step B1 the difference score calculation unit 2 acquires the input image 41 as shown in FIG.
  • step B2 the difference score calculation unit 2 calculates the pixel value histogram 42 of the input image 41.
  • step B3 the difference score calculation unit 2 acquires the background image histogram set 35.
  • step B4 the difference score calculation unit 2 uses the background image histogram set 35 and the pixel value histogram 42 to select a background image histogram 43 similar to the pixel value histogram 42 from the background image histogram set 35.
  • step B5 the difference score calculation unit 2 calculates the difference in pixel value using the pixel of the selected background image 32 and the pixel of the input image 41 at the same position, and the calculated difference in step B6.
  • the threshold value Th1 is compared.
  • step B7 the difference score calculation unit 2 associates the target pixel with the information indicating the foreground.
  • step B8 when the difference is less than the threshold Th1 (step B6: No), the difference score calculation unit 2 associates the target pixel with information indicating the background (information other than information indicating the foreground). For example, when binarizing an image like the image 44 shown in FIG. 4, the information indicating the background (black) is set to “0” and the information indicating the foreground (white) is set to “255”.
  • step B9 when the difference score calculation unit 2 associates all the pixels with the information indicating the foreground or the background (step B9: Yes), the process proceeds to step B11. If information indicating the foreground or the background is not associated with all the pixels (step B9: No), the process proceeds to step B10, and the next pixel is set in step B10.
  • step B11 the difference score calculation unit 2 calculates the difference score Sc for each pixel, and the difference score Sc (“Sc-1” “Sc-2” “Sc-3” “ “Sc-4" ... “Sc-N”) are associated with each other to generate difference score information 45, which is stored in a storage unit (not shown).
  • the inversion score calculation unit 3 compares the magnitude relationship between the pixel values of the pixels set in the background image and the magnitude relationship between the pixel values of the pixels set in the input image, and compares the magnitude relationship of the input image with the background image.
  • the inversion score is calculated based on the detected pixel by detecting the inversion pixel with the magnitude relationship of (1) (step A4).
  • FIG. 12 is a flowchart showing an example of the operation of the inversion score calculation unit.
  • step C1 the reversal score calculation unit 3 acquires an input image 41 as shown in FIG.
  • step C2 the reversal score calculation unit 3 acquires the above-described reversal score model 71.
  • step C3 the reversal score calculation unit 3 uses the coordinates of the starting point p of the reversing score model 71 and the coordinates of the ending point q in each direction corresponding to the coordinates of the starting point p to determine the starting point p and the ending point q in the input image 41. Pixels at the same position are detected.
  • Step C4 the reversal score calculation unit 3 acquires the pixel values of the pixels corresponding to the starting point p and the ending point q in the input image 41, and based on the acquired pixel values, the starting point p and the ending point in the input image 41. The magnitude relationship with each q is calculated.
  • step C5 the reversal score calculation unit 3 compares the calculated size relationship of the input image 41 with the size relationship of the reversal score model 71 for each direction.
  • step C6 when the threshold value Th5 is not less than the preset threshold value and the magnitude relationship for each direction is the same (step C5: Yes), the inversion score calculation unit 3 sets the information indicating the background in the target pixel.
  • step C7 when the magnitude relationship is less than the threshold Th5 and the magnitude relations match (step C5: No), the inversion score calculation unit 3 sets information indicating the foreground in the target pixel.
  • step C8 when the inversion score calculation unit 3 sets the information indicating the foreground or the background for all pixels (step C8: Yes), the process proceeds to step C10. If information indicating the foreground or the background is not associated with all the pixels (step C8: No), the process proceeds to step C9, the next pixel is set, and the process proceeds to step C5. To do.
  • step C10 the inversion score calculation unit 3 calculates the inversion score Sr for each pixel, and the pixel and the inversion score Sr (“Sr ⁇ 1” “Sr-2” “Sr-3” “ Sr-4 ”...“ Sr-N ”) are associated with each other, inversion score information 82 is generated and stored in the storage unit.
  • the prediction score output unit 24 outputs a prediction score indicating whether or not the terrain has changed using the input image and the prediction model. (Step A5). Specifically, the prediction score output unit 24 acquires the input image, and outputs the prediction score indicating whether or not an event has occurred, using the prediction model of the learning unit 91 for each pixel of the acquired input image.
  • steps A3, A4, and A5 described above is not limited to the order described above.
  • the processes of steps A3, A4, and A5 do not need to use all processes, and may be a combination of two processes.
  • the change score calculation unit 4 acquires information such as weather information and observation information directly or via a network. (Step A6).
  • the modification score calculation unit 4 combines and integrates two or more of the difference score Sc, the reversal score Sr, and the prediction score Sp to calculate the modification score St (step A7). Specifically, when integrating all, the transformation score calculation unit 4 weights the difference score Sc, the reversal score Sr, and the prediction score Sp for each pixel, as shown in Formula 3, respectively. And the modified value St is calculated by adding the multiplied values.
  • the weighting factors w1, w2, and w3 correct each of the above-mentioned scores according to the weather information and the observation information.
  • the output information generation unit 26 outputs to the output device 22 a difference score, a reversal score, a prediction score, a deformation score, a deformation image representing a deformation of the terrain, or two or more thereof. To generate output information (step A8). The output information generation unit 26 transmits the generated output information to the output device 22 (step A9).
  • the debris flow not only the debris flow but also the topographical changes caused by natural disasters such as collapse, rockfall, landslide, and depression can be detected from the topographical changes captured in the image.
  • topographical deformations small landslides, rockfalls, etc.
  • evacuation measures such as construction stoppage
  • the stream sediment supply monitoring can detect that unstable sediment has been supplied to the stream, so by taking measures such as evacuation of downstream residents and road closures, damage due to debris flows can be prevented.
  • the deformation of the landslide head (expansion of the sliding area, etc.) can be detected, so by taking measures such as evacuation of downstream residents and road closures, damage due to the landslide can be prevented.
  • the program in the embodiment of the present invention may be any program that causes a computer to execute steps A1 to A9 shown in FIG. 10, steps B1 to B11 shown in FIG. 11, and steps C1 to C10 shown in FIG.
  • the processor of the computer functions as the preprocessing unit 23, the difference score calculation unit 2, the inversion score calculation unit 3, the prediction score output unit 24, the transformation score calculation unit 4, the information acquisition unit 25, and the output information generation unit 26. And perform processing.
  • each computer has a preprocessing unit 23, a difference score calculation unit 2, an inversion score calculation unit 3, a prediction score output unit 24, a transformation score calculation unit 4, an information acquisition unit 25, and output information generation, respectively. It may function as any of the units 26.
  • FIG. 13 is a block diagram showing an example of a computer that realizes the deformation detection device.
  • the computer 110 includes a CPU 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. These units are connected to each other via a bus 121 so as to be able to perform data communication with each other.
  • the computer 110 may include a GPU (Graphics Processing Unit) or an FPGA (Field-Programmable Gate Array) in addition to the CPU 111 or in place of the CPU 111.
  • the CPU 111 expands the program (code) according to the present embodiment stored in the storage device 113 into the main memory 112, and executes these in a predetermined order to perform various calculations.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program in the present embodiment is provided in a state of being stored in computer-readable recording medium 120.
  • the program in the present embodiment may be distributed on the Internet connected via communication interface 117.
  • the storage device 113 include a semiconductor storage device such as a flash memory in addition to a hard disk drive.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and a mouse.
  • the display controller 115 is connected to the display device 119 and controls the display on the display device 119.
  • the data reader / writer 116 mediates data transmission between the CPU 111 and the recording medium 120, reads a program from the recording medium 120, and writes the processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include general-purpose semiconductor storage devices such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), magnetic recording media such as a flexible disk, or CD- An optical recording medium such as a ROM (Compact Disk Read Only Memory) can be given.
  • CF Compact Flash
  • SD Secure Digital
  • magnetic recording media such as a flexible disk
  • CD- An optical recording medium such as a ROM (Compact Disk Read Only Memory) can be given.
  • the modification detection device 1 can also be realized by using hardware corresponding to each unit instead of using a computer in which a program is installed. Further, the deformation detection device 1 may be partially realized by a program and the remaining part may be realized by hardware.
  • An inversion score calculation unit that detects a pixel that is doing, and calculates an inversion score based on the detected pixel; Integrating the difference score and the reversal score to calculate a deformation score indicating whether the terrain has been deformed, a deformation score calculation unit,
  • a deformation detecting device comprising:
  • appendix 2 The deformation detecting device according to appendix 1, Inputting the input image, using a prediction model, to output a prediction score indicating whether the terrain has been deformed, having a prediction score output unit, The said deformation
  • transformation detection apparatus characterized by the above-mentioned.
  • the deformation detection device (Appendix 3) The deformation detection device according to attachment 2, The background image in which the deformation of the terrain is imaged, the background image in which the terrain is not deformed, or both are input and learning is performed, and the terrain is deformed with respect to the input image.
  • the deformation detection apparatus further comprising a learning unit that generates the prediction model that predicts whether or not there is.
  • the deformation detection device according to attachment 2 or 3
  • the deformation score calculating unit calculates the deformation score by multiplying each of the difference score, the inversion score, and the prediction score by a weighting coefficient and adding the multiplied values.
  • the deformation detecting device according to any one of appendices 2 to 4, Output for outputting the difference score, the reversal score, the prediction score, the transformation score, or the transformation image representing the transformation of the terrain, or two or more thereof to an output device.
  • a deformation detecting apparatus having an output information generating unit for generating information.
  • a deformation detection method comprising:
  • the deformation detection method according to attachment 9, (G) Learning is performed by inputting the background image in which the deformation of the terrain is captured, the background image in which the terrain has no deformation, or both, and the terrain changes with respect to the input image.
  • a deformation detecting method comprising the step of generating the prediction model for predicting whether or not there is a situation.
  • the deformation score is calculated by multiplying each of the difference score, the inversion score, and the prediction score by a weighting coefficient and adding the multiplied values.
  • a computer-readable recording medium having a program recorded thereon, the program including instructions for executing the program.
  • (Appendix 17) The computer-readable recording medium according to attachment 16, On the computer, (G) Learning is performed by inputting the background image in which the deformation of the terrain is captured, the background image in which the terrain has no deformation, or both, and the terrain changes with respect to the input image.
  • a computer-readable recording medium characterized by causing the step of generating the predictive model for predicting whether or not there is a situation.
  • Appendix 19 The computer-readable recording medium according to any one of appendices 15 to 18, (E) A program including an instruction to execute a step of performing a process of excluding the background image or the input image captured during the vibration when the imaging device for capturing the topography is vibrating A computer-readable recording medium for recording.
  • Appendix 21 The program according to any one of appendices 16 to 18, (F) Output the difference score, the reversal score, the prediction score, the deformation score, or the deformation image representing the deformation of the terrain, or two or more thereof to an output device.
  • a computer-readable recording medium having a program recorded thereon, which includes instructions for performing the steps for generating output information for.
  • the present invention it is possible to accurately detect the deformation of the terrain captured in the image.
  • the present invention is useful in the field of monitoring topographical changes.

Abstract

地形の変状を撮像した背景画像の画素値を用いて算出したヒストグラムと、地形の変状を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、入力画像と類似する背景画像を選択し、選択した背景画像の画素値と入力画像の画素値との差分に基づいて差分スコアを算出する、差分スコア算出部２と、背景画像に設定した画素同士の画素値の大小関係と、入力画像に設定した画素同士の画素値の大小関係とを比べ、入力画像の大小関係が背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、反転スコア算出部３と、差分スコアと反転スコアとを統合して、地形が変状したか否かを表す変状スコアを算出する、変状スコア算出部４と、を有する変状検出装置１である。

Description

変状検出装置、変状検出方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、変状を検出する変状検出装置、変状検出方法に関し、更には、これらを実現するためのプログラムを記録したしているコンピュータ読み取り可能な記録媒体に関する。
　近年、自然災害に対する警戒システムの一環として、監視カメラが撮像した地形の画像を用いて、自然災害の前兆となる、地形の変状を検出する技術が提案されている。例えば、画像解析処理を用いて、土石流などの地形の変状を検出する技術が提案されている。
　関連する技術として、非特許文献１には、画像解析処理としてフレーム間輝度差分方式、オプティカルフロー方式、動画パターン検出方式を用いた土石流検出システムが開示されている。また、関連する技術して、非特許文献２には、動画パターン検出方式を用いた土石流検出システムが開示されている。
　ここで、フレーム間輝度差分方式とは、現在の画像（ｎフレーム目の画像）と、現在より以前の画像（ｎ－１フレーム目の画像）とを用いて、同じ位置の画素の輝度の差分を算出し、差分が閾値以上となる領域を検出する方式である。また、オプティカルフロー方式とは、複数の連続した画像（動画像）を用いて、物体の動きをベクトルで表す方式である。更に、動画パターン方式とは、画像の各ピクセルの変化をグループ化し一つの物体として認識し、その移動量と方向から、物体が移動したか否かを判断する方式である。
本田健、外３名、「映像解析手法を用いた土石流検知システムの現地実証試験」砂防学会研究発表会概要集、２００６年５月２２日、ｐ．３８８-３８９ 木下篤彦、外５名、「監視カメラの画像判読技術を用いた土石流の監視に関する検討」砂防学会研究発表会概要集、２０１１年５月１８日、ｐ．５３４-５３５
　しかしながら、非特許文献１には、上述したフレーム間輝度差分方式、又はオプティカルフロー方式、又は動画パターン検出方式を採用した土石流検出システムを用いて、土石流による地形の変状を検出する場合、誤検出が多いことが開示されている。
　また、非特許文献２には、フレーム間輝度差分方式、オプティカルフロー方式より誤検出が少ない動画パターン方式を採用した土石流検出システムを用いているが、実際の運用において土石流を検出するためには、更に精度を向上させる必要があることが開示されている。
　更に、非特許文献１、２には、土石流に特化した画像解析処理について開示がされているが、崩落、落石、地滑り、陥没などにより発生する地形の変状を検出することについては、なんら開示がされていない。
　本発明の目的の一例は、画像に撮像された地形の変状を精度よく検出する変状検出装置、変状検出方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における変状検出装置は、
　あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、差分スコア算出部と、
　前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、反転スコア算出部と、 
　前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、変状スコア算出部と、
　を有することを特徴とする。
　また、上記目的を達成するため、本発明の一側面における変状検出方法は、
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
　を有することを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるプログラムをコンピュータ読み取り可能な記録媒体は、
　コンピュータに、
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
　を実行させる命令を含む、プログラムを記録していることを特徴とする。
　以上のように本発明によれば、画像に撮像された地形の変状を精度よく検出することができる。
図１は、変状検出装置の一例を示す図である。 図２は、変状検出装置を有するシステムの一例を示す図である。 図３は、差分スコア算出部の準備フェーズを説明するための図である。 図４は、差分スコア算出部の解析フェーズの説明をするための図である。 図５は、リーチを算出する場合に設定する方向と距離とを示す図である。 図６は、起点の設定について説明をするための図である。 図７は、反転スコアモデルのデータ構造の一例を示す図である。 図８は、反転スコア算出部の解析フェーズの説明をするための図である。 図９は、予測スコア出力部と学習部との説明をするための図である。 図１０は、変状検出装置の動作の一例を示すフロー図である。 図１１は、差分スコア算出部の動作の一例を示すフロー図である。 図１２は、反転スコア算出部の動作の一例を示すフロー図である。 図１３は、変状検出装置を実現するコンピュータの一例を示す図である。
（実施の形態）
　以下、本発明の実施の形態について、図１から図１３を参照しながら説明する。
［装置構成］
　最初に、図１を用いて、本実施の形態における変状検出装置１の構成について説明する。図１は、変状検出装置の一例を示す図である。
　図１に示す変状検出装置１は、画像解析処理を用いて、画像に撮像された地形の変状を検出する精度を向上させる装置である。また、図１に示すように、変状検出装置１は、差分スコア算出部２と、反転スコア算出部３と、変状スコア算出部４とを有する。
　このうち、差分スコア算出部２は、あらかじめ地形を撮像した複数の背景画像それぞれにおいて、背景画像の画素値を用いて算出したヒストグラムと、地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、入力画像と類似する背景画像を選択し、選択した背景画像の画素値と入力画像の画素値との差分に基づいて差分スコアを算出する。
　反転スコア算出部３は、背景画像に設定した画素同士の画素値の大小関係と、入力画像に設定した画素同士の画素値の大小関係とを比べ、入力画像の大小関係が背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する。
　変状スコア算出部４は、差分スコアと反転スコアとを統合して、地形が変状したか否かを表す変状スコアを算出する。
　このように、本実施の形態においては、異なる画像解析処理を組み合わせて、画像解析処理ごとにスコアを算出し、算出したスコアに基づいて地形の変状を検出する。そのため、画像解析処理を用いて、自然災害の前兆となる、画像に撮像された地形の変状を精度よく検出することができる。その結果、誤検出を低減することができる。
　また、本実施の形態においては、土石流だけでなく、崩落、落石、地滑り、陥没などの自然災害による地形の変状も、画像に撮像された地形の変状から検出できる。
　なお、画像解析処理の組み合わせは、利用シーンに合わせて選択することが望ましい。その理由は、苦手分野を補完し合うような画像解析処理を組み合わせることで、地形の変状を更に精度よく検出できるからである。
［システム構成］
　続いて、図２を用いて、本実施の形態における変状検出装置１の構成をより具体的に説明する。図２は、変状検出装置を有するシステムの一例を示す図である。
　図２に示すように、本実施の形態における変状検出装置１を有するシステム２０は、変状検出装置１に加えて、撮像装置２１と、出力装置２２とを有する。また、変状検出装置１は、ネットワークなどに接続されている。更に、変状検出装置１は、図１に示した差分スコア算出部２、反転スコア算出部３、変状スコア算出部４に加えて、前処理部２３、予測スコア出力部２４、情報取得部２５、出力情報生成部２６などを有する。
　撮像装置２１は、ネットワークを介して変状検出装置１と接続され、撮像対象の地形を含む画像を撮像し、撮像した画像に対応する情報を変状検出装置１に送信する。具体的には、撮像装置２１は、所定周期において、撮像対象の地形の画像を含む静止画像又は動画像などを、有線又は無線などの通信を用いて、変状検出装置１へ送信する。なお、異なる場所に複数の撮像装置２１を用意し、複数の異なる撮像対象の地形の画像に対して巡回監視をしてもよい。また、撮像装置２１は、例えば、ビデオレコーダなどでもよい。その場合、ビデオレコーダなどが撮像した、録画映像（静止画像又は動画像）を、変状検出装置１に送信してもよい。
　出力装置２２は、出力情報生成部２６から出力される出力情報を、ネットワークを介して取得し、その出力情報に基づいて生成した画像（静止画像又は動画像）及び音声などを出力する。出力装置２２は、例えば、液晶、有機ＥＬ（Electro Luminescence）、ＣＲＴ（Cathode Ray Tube）を用いた画像表示装置、更にはスピーカなどの音声出力装置などを有している。なお、出力装置２２は、プリンタなどの印刷装置でもよい。
　前処理部２３は、入力画像に対して、（１）撮像装置２１の振動を検出する処理、（２）画像に撮像された遮蔽物を検出する処理、（３）撮像した画像の撮像範囲のずれを補正する処理などを実行する。（１）（２）（３）の処理について具体的に説明する。
　（１）の処理において、前処理部２３は、例えば、パン、チルト、ズームなどの制御、地震、風などの影響により、撮像装置２１自身が振動しているか否かを検出する。具体的には、撮像装置２１の振動検出には、オプティカルフロー方式により算出したフローベクトル群を用いて、画像上での移動方向によるヒストグラムを作成し、ある方向の割合があらかじめ設定された閾値を超えた場合、撮像装置２１が振動していると判定する。
　オプティカルフロー方式については、例えば、文献「Bruce D. Lucas, and Takeo Kanade, “An iterative image registration technique with an application to stereo vision” IJCAI'81 Proceedings of the 7th international joint conference on Artificial intelligence - Volume 2 Pages 674-679, Vancouver, BC, Canada - August 24 - 28, 1981.」などに記載されている。
　続いて、（１）の処理において、前処理部２３は、地形を撮像する撮像装置２１が振動している場合、振動をしている時間に撮像した画像（背景画像又は入力画像）を除外する。このように、誤検出の原因となる画像を除外することにより、誤検出を低減できる。
　（２）の処理において、前処理部２３は、まず、地形を撮像した画像（背景画像又は入力画像）から、地形の変状と別の遮蔽物が撮像された画像を検出する。遮蔽物とは、例えば、霧、煙などである。続いて、（２）の処理において、前処理部２３は、地形を撮像した画像に、地形の変状と別に遮蔽物が撮像された画像を検出した場合、遮蔽物が撮像された時間に撮像した画像を除外する。このように、誤検出の原因となる画像を除外することにより、誤検出を低減できる。
　遮蔽物の検出は、局所的な特徴を用いて、遮蔽物が撮像されているか否かを判定する。例えば、霧、煙がかかった場合、画像に撮像された霧、煙に相当する遮蔽領域には、（ａ）コントラストの低下、（ｂ）ぼけの発生（高周波成分の消滅など）、（ｃ）彩度の低下などが発生する。
　そこで、（２）の処理において、前処理部２３は、まず、撮像した画像を、複数の局所領域に分解し、それぞれの局所領域に対して、（ａ）（ｂ）（ｃ）に対応する特徴を表す指標値を算出する。例えば、（ａ）の指標値としてはコントラストレベル（単位：輝度値）を算出し、（ｂ）の指標値としては高周波成分数（単位：画素数）を算出し、（ｃ）の指標としては彩度（単位：輝度値）を算出する。
　（ａ）コントラストレベルを表す指標値は、局所領域内の最大輝度値（最も明るい場所）と最小輝度値（最も暗い場所）との差とする。（ｂ）ぼけの発生を表す指標値は、局所領域に対してエッジ抽出処理を実行し、近傍の画素と比べて輝度の差が大きい画素を検出し、その検出した画素の数を高周波成分に対応する指標値とする。（ｃ）彩度を表す指標値は、色成分ＲＧＢ値のうち、最も値の大きい成分と、最も値の小さい成分との差とする。なお、差が小さいほど彩度は低くなる。
　続いて、局所領域ごとに指標値を算出した後、前処理部２３は、算出した指標値と、あらかじめ設定した判定条件とを比較し、判定条件に合致する領域が検出された場合、検出された領域を遮蔽領域であると判定する。判定条件は、（ａ）（ｂ）（ｃ）の指標値を用いる場合、コントラストレベルに対する閾値、局所領域内の高周波成分に対応する画素数に対する閾値、彩度に対する閾値を有する。これらの閾値は、例えば、実験、シミュレーションなどにより決定する。
　（３）の処理において、前処理部２３は、撮像装置２１を用いて撮像した入力画像が、基準位置画像（プリセット画像）からどれくらいずれているのか、ずれ量（距離と方向）を推定する。入力画像とプリセット画像とのずれは、例えば、パン、チルト、ズームなどの制御、レンズの屈折などの影響により発生する。また、ずれ量の推定は、例えば、増分符号によるテンプレートマッチング処理を用いて、入力画像とプリセット画像とのずれ量を推定する。
　具体的には、前処理部２３は、まず、基準となるプリセット画像の増分符号を算出する。続いて、前処理部２３は、プリセット画像のランダムな位置に、大きさの異なる複数の領域を設定し、設定した領域それぞれを、位置ずれ量を推定するためのテンプレート領域とする。また、前処理部２３は、入力画像を取得した後、入力画像の増分符号を算出する。
　続いて、前処理部２３は、テンプレート領域の増分符号と入力画像の増分符号とを用いて、増分符号の相違度が最も小さい、入力画像におけるテンプレート領域と同じ大きさの領域を検出する。その後、前処理部２３は、テンプレート領域と検出した領域との座標位置の差を算出してずれ量とする。
　続いて、前処理部２３は、全てのテンプレート領域に対して、上述したようにずれ量を算出した後、全てのずれ量のなかから中央値となるずれ量を選択し、プリセット画像と入力画像とのずれ量とする。そして、前処理部２３は、推定したずれ量を用いて、入力画像のずれを補正する。
　なお、増分符号については、例えば、文献「村瀬一郎，金子俊一，五十嵐悟，“増分符号相関法による画像照合*―光沢物体および不良照明条件に対するロバスト画像処理―” 精密工学会誌Vo1.66,No.2,2000, Pages 261-265, 1999-05-21」などに記載されている。
　なお、（１）（２）（３）に示す処理を実行する順番は限定されない。また、前処理として、（１）、又は（２）、又は（３）、又は（１）（２）（３）のうち二つ以上を組み合わせて処理をしてもよい。
　差分スコア算出部２の準備フェーズ（学習フェーズ）について、図３を用いて具体的に説明する。図３は、差分スコア算出部の準備フェーズを説明するための図である。
　差分スコア算出部２は、準備フェーズにおいて、まず、図３に示すような複数の背景画像３１、３２、３３、３４を取得する。続いて、差分スコア算出部２は、取得した背景画像３１から３４それぞれについて、画素と当該画素ごとの画素値とを関連付けて、背景画像ヒストグラム集合３５を算出する。画素値は、例えば、画素ごとの輝度又は明度などを表す値である。
　背景画像ヒストグラム集合３５は、背景画像３１から３４と、背景画像３１から３４を識別する「背景画像ＩＤ」と、背景画像３１から３４それぞれについて、画像内の同じ画素値の画素数を表す「画素値ごとの画素数」とが関連付けられ、差分スコアモデルとして、不図示の記憶部に記憶されている。「背景画像ＩＤ」には、例えば、背景画像３１から３４を識別するための識別子「１」「２」「３」「４」が記憶されている。「画素値ごとの画素数」には、例えば、「背景画像ＩＤ」が「１」の場合、背景画像３１内の同じ画素値の画素数を表す「ｂｒ１－１」「ｂｒ１－２」「ｂｒ１－３」「ｂｒ１－４」……「ｂｒ１－Ｎ」が記憶されている。画素値は、例えば、２５６段階で表し、０から２５５などとする。
　次に、差分スコア算出部２の解析フェーズについて、図４を用いて具体的に説明する。図４は、差分スコア算出部の解析フェーズの説明をするための図である。
　差分スコア算出部２は、解析フェーズにおいて、まず、図４に示すような入力画像４１を取得する。続いて、差分スコア算出部２は、入力画像４１の全ての画素ごとに、画素ごとの画素値に基づいて、図４に示すような画素値ヒストグラム４２を算出する。差分スコア算出部２は、例えば、入力画像４１内の同じ画素値の画素数を表す「ｂｒｉ－１」「ｂｒｉ－２」「ｂｒｉ－３」「ｂｒｉ－４」……「ｂｒｉ－Ｎ」を算出する。続いて、差分スコア算出部２は、背景画像ヒストグラム集合３５を取得する。
　差分スコア算出部２は、背景画像ヒストグラム集合３５と画素値ヒストグラム４２とを用いて、背景画像ヒストグラム集合３５のなかから、画素値ヒストグラム４２に類似する背景画像ヒストグラム４３を選択する。その後、差分スコア算出部２は、背景画像ヒストグラム４３に対応する背景画像３２を選択する。
　続いて、差分スコア算出部２は、選択した背景画像３２の画素と、入力画像４１の同じ位置にある画素とを用いて、画素値の差分を算出する。そして、差分スコア算出部２は、算出した差分と閾値Ｔｈ１とを比較し、差分が閾値Ｔｈ１以上である場合、その画素に前景を表す情報を関連付ける。また、差分スコア算出部２は、差分が閾値Ｔｈ１未満である場合、その画素には背景を表す情報（前景を表す情報以外の情報）を関連付ける。例えば、図４に示す画像４４のように画像を二値化する場合、背景（黒色）を表す情報を「０」とし、前景（白色）を示す情報を「２５５」とする。
　続いて、差分スコア算出部２は、図４に示すように、画素ごとに差分スコアＳｃを算出し、画素と差分スコアＳｃ（「Ｓｃ－１」「Ｓｃ－２」「Ｓｃ－３」「Ｓｃ－４」……「Ｓｃ－Ｎ」）とを関連付け、差分スコア情報４５（差分スコアモデル）を生成し、不図示の記憶部に記憶する。ただし、差分スコアＳｃの算出は、上述した方法に限定されるものではない。なお、記憶部は、変状検出装置１内に設けてもよいし、変状検出装置１の外部に設けてもよい。
　なお、上述したヒストグラムの算出においては、画素ごとに算出したが、あらかじめ設定した大きさの領域（複数の画素を有する領域）を背景画像それぞれの同じ位置に複数設定し、領域ごとにヒストグラムを算出してもよい。その場合、差分スコアは、領域ごとに算出される。
　反転スコア算出部３の準備フェーズ（学習フェーズ）について具体的に説明する。反転スコア算出部３は、まず、複数の背景画像３１から３４を取得する。続いて、反転スコア算出部３は、背景画像３１から３４を用いてリーチを算出する。リーチは、起点ｐとなる画素と、起点ｐに対してあらかじめ設定された一つ以上の方向ごとに決定される終点ｑの画素とにより表される。すなわち、リーチは、画素値の差が画素値閾値（閾値Ｔｈ２）より大きい、又は小さい確率が、背景画像全体において確率閾値（閾値Ｔｈ３）以上となる点対を算出したものであり、起点ｐとなる画素と、起点ｐに対してあらかじめ設定された一つ以上の方向ごとに決定される終点ｑの画素とにより表される。
　リーチの算出について説明する。図５は、リーチを算出する場合に設定する方向と距離とを示す図である。図５の例では、起点ｐを起点として、８方向（矢印）にｋ１、ｋ２、ｋ３、ｋ４、ｋ５、ｋ６、ｋ７、ｋ８が設定されている。また、図５に示した方向ｋ１からｋ８上の画素に対して設定した符号ｄ１、ｄ２、ｄ３、ｄ４、ｄ５、ｄ６、ｄ７は、起点ｐからの距離（画素の数）を示している。
　リーチを算出する場合、反転スコア算出部３は、背景画像３１から３４それぞれの同じ位置に、所定順に、起点ｐを設定する。図６は、起点の設定について説明をするための図である。例えば、背景画像３１から３４それぞれが、図６に示すように、座標（０，０）から（ｍ，ｎ）に対応するＮ個の画素を有している場合、所定順に、Ｎ個の画素それぞれに起点ｐを設定する。言い換えれば、背景画像３１から３４それぞれの同じ位置の画素に、所定順に起点ｐを設定していく。
　また、反転スコア算出部３は、起点ｐを設定するたびに、現在設定されている起点ｐに対する終点ｑを、方向ｋ１からｋ８それぞれについて決定する。
　終点ｑを算出する場合、反転スコア算出部３は、まず、終点ｑの候補として、起点ｐに近い画素を選択する。画素の選択は、例えば、方向ｋ１からｋ８を所定順に選択し、選択した方向（図５に示す矢印）上の画素において、起点ｐに距離が近い画素から順に選択する。図５の例であれば、方向ｋ１が選択された場合、方向ｋ１上の距離ｄ１に対応する画素から順に、終点ｑの候補を選択する。
　続いて、反転スコア算出部３は、背景画像３１から３４それぞれの選択された終点ｑの候補に対応する画素値を取得する。画素値は、例えば、画素ごとの輝度又は明度などを表す値である。そして、反転スコア算出部３は、背景画像３１から３４それぞれについて、現在設定されている起点ｐの画素値と、当該起点ｐに対応する終点ｑの候補の画素値との大小関係を算出する。
　例えば、起点ｐを起点とする方向ｋ１上の距離ｄ１に対応する画素が終点ｑの候補として選択された場合、反転スコア算出部３は、数１に示すような、起点ｐの画素値と、起点ｐに対応する終点ｑの候補の画素値との大小関係を表す大小関係情報を生成する。
（数１）
　ｐｖ１＞ｑｖ１＋Ｔｈ２
　ｐｖ２＞ｑｖ２＋Ｔｈ２
　ｐｖ３＋Ｔｈ２＜ｑｖ３
　ｐｖ４＞ｑｖ４＋Ｔｈ２
　　ｐｖ１：背景画像３１の現在設定されている起点ｐの画素値
　　ｐｖ２：背景画像３２の現在設定されている起点ｐの画素値
　　ｐｖ３：背景画像３３の現在設定されている起点ｐの画素値
　　ｐｖ４：背景画像３４の現在設定されている起点ｐの画素値
　　ｑｖ１：背景画像３１の方向ｋ１、距離ｄ１に対応する終点ｑの候補となる画素値
　　ｑｖ２：背景画像３２の方向ｋ１、距離ｄ１に対応する終点ｑの候補となる画素値
　　ｑｖ３：背景画像３３の方向ｋ１、距離ｄ１に対応する終点ｑの候補となる画素値
　　ｑｖ４：背景画像３４の方向ｋ１、距離ｄ１に対応する終点ｑの候補となる画素値
　　Ｔｈ２：閾値
　続いて、反転スコア算出部３は、終点ｑを決定するために、数２を用いて、確率Ｐｒを算出する。
（数２）
　Ｐｒ＝ＭＲｎ／ＢＩｎ
　　Ｐｒ　：現在設定されている起点ｐと終点ｑの候補の確率
　　ＭＲｎ：起点ｐの画素値が終点ｑの候補の画素値より大きい又は小さい背景画像の数
　　ＢＩｎ：背景画像の全数
　数１の例では、背景画像３１から３４における、現在設定されている起点ｐの画素値と終点ｑ候補の画素値との大小関係は、ｐｖ１＞ｑｖ１＋Ｔｈ２、ｐｖ２＞ｑｖ２＋Ｔｈ２、ｐｖ３＋Ｔｈ２＜ｑｖ３、ｐｖ４＞ｑｖ４＋Ｔｈ２になっているので、起点ｐの画素値が終点ｑの候補の画素値＋閾値Ｔｈ２より大きい背景画像の数ＭＲｎ＝３となる。また、終点ｑの画素値が起点ｐの候補の画素値より＋閾値Ｔｈ２大きい背景画像の数ＭＲｎ＝１となる。また、背景画像３１から３４の全数は４個なので、ＢＩｎ＝４となる。従って、背景画像３１から３４における、現在設定されている起点ｐの画素値と終点ｑの候補の画素値とから算出される確率Ｐｒは３／４と１／４となる。しかし、確率Ｐｒは、ｐ＞ｑ＋Ｔｈ２、ｐ＋Ｔｈ２＜ｑそれぞれの確率のうち、大きい値の方を採用するため、３／４となる。
　続いて、反転スコア算出部３は、算出した確率Ｐｒと閾値Ｔｈ３とを比較する。算出した確率Ｐｒが閾値Ｔｈ３以上である場合、反転スコア算出部３は、その終点ｑの候補を終点ｑに決定する。なお、閾値Ｔｈ３は、実験、シミュレーションなどにより決定する。
　図７は、反転スコアモデルのデータ構造の一例を示す図である。図７に示すように、現在設定されている起点ｐの座標を表す情報（「起点ｐ（座標）」）と、現在選択されている方向（「方向」）と、現在選択されている距離（「終点ｑ（距離）」）と、現在設定されている起点ｐの画素値と終点ｑの画素値との大小関係を表す情報（「大小関係情報」：ｐ＞ｑ又はｐ＜ｑ）とを関連付けて、不図示の記憶部の反転スコアモデル７１に記憶する。
　このように、反転スコア算出部３は、起点ｐに対する方向ごとに、上述した処理を実行して、起点ｐに対する方向ごとの終点ｑを決定し、起点ｐと終点ｑとの大小関係情報を方向ごとに算出して、記憶部の反転スコアモデル７１に記憶する。
　統計的リーチ特徴法については、例えば、文献「岩田 健司，佐藤 雄隆，尾崎 竜史，坂上 勝彦，“統計的リーチ特徴法に基づくロバスト背景差分” 電子情報通信学会論文誌. D, 情報・システム = The IEICE transactions on information and systems (Japanese edition) 92(8), 1251-1259, 2009-08-01」などに記載されている。
　次に、反転スコア算出部３の解析フェーズについて、図８を用いて具体的に説明する。図８は、反転スコア算出部の解析フェーズの説明をするための図である。
　反転スコア算出部３は、解析フェーズにおいて、まず、図８に示すような入力画像４１を取得する。また、反転スコア算出部３は、反転スコアモデル７１を取得する。続いて、反転スコア算出部３は、入力画像４１と取得した反転スコアモデル７１とを比較して、大小関係が異なる画素を検出する。
　具体的には、反転スコア算出部３は、反転スコアモデル７１の起点ｐの座標と、起点ｐの座標に対応する方向ごとの終点ｑの座標を用いて、入力画像４１における起点ｐと終点ｑそれぞれと同じ位置の画素を検出する。続いて、反転スコア算出部３は、入力画像４１における起点ｐと終点ｑそれぞれとに対応する画素の画素値を取得し、取得した画素値の差が閾値Ｔｈ４以上である場合、取得した画素値に基づいて、入力画像４１における、起点ｐと終点ｑそれぞれとの大小関係を算出する。
　続いて、反転スコア算出部３は、方向ごとに、算出した入力画像４１の大小関係と、反転スコアモデル７１の大小関係とを比較し、あらかじめ設定した閾値Ｔｈ５以上、方向ごとの大小関係が一致している場合、その画素に背景を表す情報を設定する。また、反転スコア算出部３は、閾値Ｔｈ５未満しか、大小関係が一致していない場合、その画素に前景を表す情報を設定する。
　例えば、入力画像４１の対象画素において、起点ｐと方向ｋ１からｋ８それぞれに対応する終点ｑの大小関係が、起点ｐと方向ｋ１、ｋ２、ｋ３、ｋ４、ｋ６、ｋ７の終点ｑにおいて、大小関係が反転スコアモデル７１と同じである場合、大小関係が一致する数は６個となる。そして、一致する数が閾値Ｔｈ５以上である場合、対象の画素を背景に設定する。例えば、図８の画像８１に示すように画像を二値化した場合、背景（黒色）を表す情報を「０」とし、前景（白色）を示す情報を「２５５」とする。
　続いて、反転スコア算出部３は、図８に示すように、画素ごとに反転スコアＳｒを算出し、画素と反転スコアＳｒ（「Ｓｒ－１」「Ｓｒ－２」「Ｓｒ－３」「Ｓｒ－４」……「Ｓｒ－Ｎ」）とを関連付け、反転スコア情報８２（反転スコアモデル）を生成し、記憶部に記憶する。ただし、反転スコアの算出は、上述した方法に限定されるものではない。例えば、ガウシアンフィルタなどの平滑化フィルタを適用してもよい。なお、記憶部は、変状検出装置１内に設けてもよいし、変状検出装置１の外部に設けてもよい。
　予測スコアを出力するための準備フェーズ（学習フェーズ）と解析フェーズとについて、図９を用いて具体的に説明する。図９は、予測スコア出力部と学習部との説明をするための図である。
　学習部９１は、準備フェーズにおいて、地形の変状が撮像されている背景画像、又は地形に変状がない背景画像、又はそれら両方を入力して学習をし、入力画像に対して、地形が変状しているか否かを予測する予測モデルを生成させる。
　具体的には、学習部９１は、準備フェーズにおいて、まず、撮像した土石流、崩落、落石、地滑り、陥没などの事象を撮像した複数の背景画像を正解学習データとして、学習部９１へ入力し、機械学習をさせて、予測モデルを生成する。又は、学習部９１は、準備フェーズにおいて、事象が発生していない複数の背景画像を不正解学習データとして、学習部９１へ入力し、機械学習をさせて、予測モデルを生成する。又は、学習部９１は、上述した正解学習データと不正解学習データとを学習部９１へ入力し、機械学習をさせて、予測モデルを生成する。なお、学習部９１は、例えば、分類、回帰、クラスタリングなどの手法を用いて機械学習をして、予測モデルを生成する。
　予測スコア出力部２４は、解析フェーズにおいて、入力画像と、予測モデルとを用いて、地形が変状したか否かを表す予測スコアを出力する。具体的には、予測スコア出力部２４は、入力画像を取得し、取得した入力画像の画素又は領域ごとに、学習部９１の予測モデルを用いて、事象発生の有無を表す予測スコアを出力する。また、予測スコアは、例えば、画素ごとに０から２５５の範囲の整数値などとする。
　なお、予測スコア出力部２４は、ルールベースの予測モデルを用いて、予測スコアを算出してもよい。
　変状スコア算出部４は、差分スコアＳｃと反転スコアＳｒとを統合して、地形が変状したか否かを表す変状スコアＳｔを算出する。又は、変状スコア算出部４は、差分スコアＳｃと反転スコアＳｒと予測スコアＳｐとを統合して、変状スコアＳｔを算出する。
　具体的には、変状スコア算出部４は、数３に示すように、画素ごとに、差分スコアＳｃ、反転スコアＳｒ、予測スコアＳｐそれぞれに重み係数ｗ１、ｗ２、ｗ３を乗算し、乗算した値を加算して変状スコアＳｔを算出する。
（数３）
　Ｓｔ＝（Ｓｃ×ｗ１）＋（Ｓｒ×ｗ２）＋（Ｓｐ×ｗ３）
　　Ｓｔ：画素ごとの変状スコア
　　Ｓｃ：画素ごとの差分スコア
　　ｗ１：差分スコアに対する重み係数
　　Ｓｒ：画素ごとの反転スコア
　　ｗ２：反転スコアに対する重み係数
　　Ｓｐ：画素ごとの予測スコア
　　ｗ３：予測スコアに対する重み係数
　重み係数ｗ１、ｗ２、ｗ３は、気象情報、観測情報に応じて、上述したスコアそれぞれを補正する係数である。なお、重み係数ｗ１、ｗ２、ｗ３は、例えば、０．０から１．０の間の実数で示され、重み係数ｗ１、ｗ２、ｗ３の合計は１．０になるようにする（正規化）。
　情報取得部２５は、気象情報、観測情報などの情報を、直接又はネットワークを介して取得する。具体的には、情報取得部２５は、天候、温度、湿度、雨量、積雪、河川水位、土砂、台風、噴火、降灰、波浪、潮位、津波などの情報を取得し、変状スコア算出部４へ送信する。
　出力情報生成部２６は、差分スコア、又は反転スコア、又は予測スコア、又は変状スコア、又は地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置２２へ出力するための出力情報を生成し、生成した出力情報を出力装置２２へ送信する。
［装置動作］
　次に、本発明の実施の形態における変状検出装置１の動作について、図１０を用いて説明する。図１０は、変状検出装置の動作の一例を示すフロー図である。以下の説明においては、適宜図２から図９を参照する。また、本実施の形態では、変状検出装置１を動作させることによって、変状検出方法が実施される。よって、本実施の形態における変状検出方法の説明は、以下の変状検出装置１の動作説明に代える。
　図１０に示すように、最初に、変状検出装置１は、撮像装置２１から入力画像を取得する（ステップＡ１）。具体的には、変状検出装置１は、ネットワークを介して撮像装置２１から、撮像した対象の地形の画像を含む入力画像（静止画像又は動画像など）を、有線又は無線などの通信を用いて取得する。
　続いて、前処理部２３は、取得した入力画像に対して、（１）撮像装置２１の振動を検出する処理、（２）画像に撮像された遮蔽物を検出する処理、（３）撮像した画像の撮像範囲のずれを補正する処理などの前処理を実行する（ステップＡ２）。
　ステップＡ２の（１）の処理において、前処理部２３は、撮像装置２１自身が振動しているか否かを検出する。続いて、前処理部２３は、撮像装置２１が振動している場合、振動をしている時間に撮像した画像（背景画像又は入力画像）を除外する。
　ステップＡ２の（２）の処理において、前処理部２３は、地形を撮像した画像（背景画像又は入力画像）から、地形の画像を遮蔽する遮蔽物が撮像された画像を検出する。続いて、地形を撮像した画像に、地形の変状と別に遮蔽物が撮像された画像を検出した場合、遮蔽物がある時間に撮像した画像を除外する。
　ステップＡ２の（３）の処理において、前処理部２３は、撮像装置２１を用いて撮像した入力画像が、基準位置画像（プリセット画像）からどれくらいずれているのか、ずれ量（距離と方向）を推定する。続いて、前処理部２３は、テンプレート領域の増分符号と入力画像の増分符号とを用いて、増分符号の相違度が最も小さい、入力画像におけるテンプレート領域と同じ大きさの領域を検出する。その後、前処理部２３は、テンプレート領域と検出した領域との座標位置の差を算出してずれ量とする。続いて、前処理部２３は、全てのテンプレート領域に対して、上述したようにずれ量を算出した後、全てのずれ量のなかから中央値となるずれ量を選択し、プリセット画像と入力画像とのずれ量とする。そして、前処理部２３は、推定したずれ量を用いて、入力画像のずれを補正する。
　なお、ステップＡ２において、（１）（２）（３）の処理を実行する順番は限定されない。また、前処理として、（１）、又は（２）、又は（３）、又は（１）（２）（３）のうち二つ以上を組み合わせて処理をしてもよい。
　続いて、差分スコア算出部２は、あらかじめ地形を撮像した複数の背景画像それぞれにおいて、背景画像の画素値を用いて算出したヒストグラムと、地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、入力画像と類似する背景画像を選択し、選択した背景画像の画素値と入力画像の画素値との差分に基づいて差分スコアを算出する（ステップＡ３）。
　ステップＡ３について具体的に説明する。図１１は、差分スコア算出部の動作の一例を示すフロー図である。
　ステップＢ１において、差分スコア算出部２は、図４に示すような入力画像４１を取得する。ステップＢ２において、差分スコア算出部２は、入力画像４１の画素値ヒストグラム４２を算出する。
　ステップＢ３において、差分スコア算出部２は、背景画像ヒストグラム集合３５を取得する。ステップＢ４において、差分スコア算出部２は、背景画像ヒストグラム集合３５と画素値ヒストグラム４２とを用いて、画素値ヒストグラム４２に類似する背景画像ヒストグラム４３を背景画像ヒストグラム集合３５から選択する。
　ステップＢ５において、差分スコア算出部２は、選択した背景画像３２の画素と、同じ位置にある入力画像４１の画素とを用いて、画素値の差分を算出し、ステップＢ６において、算出した差分と閾値Ｔｈ１とを比較する。ステップＢ７において、差分が閾値Ｔｈ１以上である場合（ステップＢ６：Ｙｅｓ）、差分スコア算出部２は、対象画素に前景を表す情報を関連付ける。また、ステップＢ８において、差分が閾値Ｔｈ１未満である場合（ステップＢ６：Ｎｏ）、差分スコア算出部２は、対象画素には背景を表す情報（前景を表す情報以外の情報）を関連付ける。例えば、図４に示す画像４４のように画像を二値化する場合、背景（黒色）を表す情報を「０」とし、前景（白色）を示す情報を「２５５」とする。
　ステップＢ９において、差分スコア算出部２は、全ての画素に対して、前景又は背景を表す情報を関連付けた場合（ステップＢ９：Ｙｅｓ）、ステップＢ１１の処理に移行する。また、全ての画素に対して、前景又は背景を表す情報を関連付けられていない場合（ステップＢ９：Ｎｏ）、ステップＢ１０の処理に移行し、ステップＢ１０において次の画素を設定する。
　ステップＢ１１において、差分スコア算出部２は、図４に示すように、画素ごとに差分スコアＳｃを算出し、画素と差分スコアＳｃ（「Ｓｃ－１」「Ｓｃ－２」「Ｓｃ－３」「Ｓｃ－４」……「Ｓｃ－Ｎ」）とを関連付け、差分スコア情報４５を生成し、不図示の記憶部に記憶する。
　続いて、反転スコア算出部３は、背景画像に設定した画素同士の画素値の大小関係と、入力画像に設定した画素同士の画素値の大小関係とを比べ、入力画像の大小関係が背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する（ステップＡ４）。
　ステップＡ４について具体的に説明する。図１２は、反転スコア算出部の動作の一例を示すフロー図である。
　ステップＣ１において、反転スコア算出部３は、図８に示すような入力画像４１を取得する。ステップＣ２において、反転スコア算出部３は、上述した反転スコアモデル７１を取得する。
　ステップＣ３において、反転スコア算出部３は、反転スコアモデル７１の起点ｐの座標と、起点ｐの座標に対応する方向ごとの終点ｑの座標を用いて、入力画像４１における起点ｐと終点ｑと同じ位置の画素を検出する。
　ステップＣ４において、反転スコア算出部３は、入力画像４１における起点ｐと終点ｑそれぞれとに対応する画素の画素値を取得し、取得した画素値に基づいて、入力画像４１における、起点ｐと終点ｑそれぞれとの大小関係を算出する。
　ステップＣ５において、反転スコア算出部３は、方向ごとに、算出した入力画像４１の大小関係と、反転スコアモデル７１の大小関係とを比較する。ステップＣ６において、あらかじめ設定した閾値Ｔｈ５以上、方向ごとの大小関係が一致している場合（ステップＣ５：Ｙｅｓ）、反転スコア算出部３は、対象画素に背景を表す情報を設定する。ステップＣ７において、閾値Ｔｈ５未満しか、大小関係が一致していない場合（ステップＣ５：Ｎｏ）、反転スコア算出部３は、対象画素に前景を表す情報を設定する。
　ステップＣ８において、反転スコア算出部３は、全ての画素に対して、前景又は背景を表す情報を設定した場合（ステップＣ８：Ｙｅｓ）、ステップＣ１０の処理に移行する。また、全ての画素に対して、前景又は背景を表す情報を関連付けられていない場合（ステップＣ８：Ｎｏ）、ステップＣ９の処理に移行して、次の画素を設定し、ステップＣ５の処理に移行する。
　ステップＣ１０において、反転スコア算出部３は、図８に示すように、画素ごとに反転スコアＳｒを算出し、画素と反転スコアＳｒ（「Ｓｒ－１」「Ｓｒ－２」「Ｓｒ－３」「Ｓｒ－４」……「Ｓｒ－Ｎ」）とを関連付け、反転スコア情報８２を生成し、記憶部に記憶する。
　続いて、予測スコア出力部２４は、入力画像と、予測モデルとを用いて、地形が変状したか否かを表す予測スコアを出力する。（ステップＡ５）。具体的には、予測スコア出力部２４は、入力画像を取得し、取得した入力画像の画素ごとに、学習部９１の予測モデルを用いて、事象発生の有無を表す予測スコアを出力する。
　なお、上述したステップＡ３、Ａ４、Ａ５の処理をする順序は、上述した順序に限定されるものではない。また、ステップＡ３、Ａ４、Ａ５の処理は、全ての処理を用いる必要はなく、二つの処理を組み合わせただけでもよい。
　変状スコア算出部４は、気象情報、観測情報などの情報を、直接又はネットワークを介して取得する。（ステップＡ６）。
　変状スコア算出部４は、差分スコアＳｃ、反転スコアＳｒ、予測スコアＳｐのうち二つ以上を組み合わせて統合し、変状スコアＳｔを算出する（ステップＡ７）。具体的には、すべてを統合する場合、変状スコア算出部４は、数３に示すように、画素ごとに、差分スコアＳｃ、反転スコアＳｒ、予測スコアＳｐそれぞれに重み係数ｗ１、ｗ２、ｗ３を乗算し、乗算した値を加算して変状スコアＳｔを算出する。重み係数ｗ１、ｗ２、ｗ３は、気象情報、観測情報に応じて、上述したスコアそれぞれを補正する。
　出力情報生成部２６は、差分スコア、又は反転スコア、又は予測スコア、又は変状スコア、又は地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置２２へ出力するための出力情報を生成する（ステップＡ８）。出力情報生成部２６は、生成した出力情報を出力装置２２へ送信する（ステップＡ９）。
［本実施の形態の効果］
　以上のように本実施の形態によれば、異なる画像解析処理を組み合わせて、画像解析処理ごとにスコアを算出し、算出したスコアに基づいて地形の変状を検出する。そのため、画像解析処理を用いて、自然災害の前兆となる、画像に撮像された地形の変状を精度よく検出することができる。その結果、誤検出を低減することができる。
　また、本実施の形態においては、土石流だけでなく、崩落、落石、地滑り、陥没などの自然災害による地形の変状も、画像に撮像された地形の変状から検出できる。
　なお、画像解析処理の組み合わせは、利用シーンに合わせて選択することが望ましい。その理由は、苦手分野を補完し合うような画像解析処理を組み合わせることで、地形の変状を更に精度よく検出できるからである。
　更に、工事安全管理においては、工事箇所の地形変状（小崩落、落石など）を検出できるので、工事管理者に通報し、工事停止などの退避処置を行うことで、斜面変状に続いて起こる崩壊による二次災害を未然に防止できる。
　渓流土砂供給監視においては、渓流へ不安定土砂が供給されたことを検出できるので、下流住民の避難や道路通行止めなどの処置を行うことで、土石流による被害を未然に防止できる。
　地滑り頭部監視においては、地滑り頭部の変状（滑落領域の拡大など）を検出できるので、下流住民の避難や道路通行止めなどの処置を行うことで、地滑りによる被害を未然に防止できる。
　線路上監視において、線路上への落石や崩壊を自動的に検出できるので、鉄道管理者に通報し、運航停止などの処置を行うことで、脱線などの事故を未然に防止できる。
　道路上監視において、道路上への落石や崩壊、陥没などを自動的に検出できるので、道路管理者に通報し、通行止めなどの処置を行うことで、衝突、転落などの事故を未然に防止できる。
［プログラム］
　本発明の実施の形態におけるプログラムは、コンピュータに、図１０に示すステップＡ１からＡ９、図１１に示すステップＢ１からＢ１１、図１２に示すステップＣ１からＣ１０を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における変状検出装置と変状検出方法とを実現することができる。この場合、コンピュータのプロセッサは、前処理部２３、差分スコア算出部２、反転スコア算出部３、予測スコア出力部２４、変状スコア算出部４、情報取得部２５、出力情報生成部２６として機能し、処理を行なう。
　また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、前処理部２３、差分スコア算出部２、反転スコア算出部３、予測スコア出力部２４、変状スコア算出部４、情報取得部２５、出力情報生成部２６のいずれかとして機能してもよい。
［物理構成］
　ここで、実施の形態におけるプログラムを実行することによって、変状検出装置１を実現するコンピュータについて図１３を用いて説明する。図１３は、変状検出装置を実現するコンピュータの一例を示すブロック図である。
　図１３に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。
　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置があげられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体があげられる。
　なお、本実施の形態における変状検出装置１は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、変状検出装置１は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
［付記］
　以上の実施の形態に関し、更に以下の付記を開示する。上述した実施の形態の一部又は全部は、以下に記載する（付記１）から（付記２１）により表現することができるが、以下の記載に限定されるものではない。
（付記１）
　あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、差分スコア算出部と、
　前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、反転スコア算出部と、 
　前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、変状スコア算出部と、
　を有することを特徴とする変状検出装置。
（付記２）
　付記１に記載の変状検出装置であって、
　前記入力画像を入力し、予測モデルを用いて、前記地形が変状したか否かを表す予測スコアを出力する、予測スコア出力部を有し、
　前記変状スコア算出部は、前記差分スコアと前記反転スコアと前記予測スコアとを用いて、前記変状スコアを算出する
　ことを特徴とする変状検出装置。
（付記３）
　付記２に記載の変状検出装置であって、
　前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する、学習部を更に有する
　ことを特徴とする変状検出装置。
（付記４）
　付記２又は３に記載の変状検出装置であって、
　前記変状スコア算出部は、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
　ことを特徴とする変状検出装置。
（付記５）
　付記１から４のいずれか一つに記載の変状検出装置であって、
　前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする、前処理部
　を有することを特徴とする変状検出装置。
（付記６）
　付記５に記載の変状検出装置であって、
　前記前処理部は、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する処理をする手段を更に有する、
　ことを特徴とする変状検出装置。
（付記７）
　付記２から４のいずれか一つに記載の変状検出装置であって、
　前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する、出力情報生成部
　を有することを特徴とする変状検出装置。
（付記８）
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
　を有することを特徴とする変状検出方法。
（付記９）
　付記８に記載の変状検出方法であって、
（ｄ）前記地形が変状しているか否かを予測する予測モデルに、前記入力画像を入力し、前記地形が変状したか否かを表す予測スコアを出力する、ステップを有し、
　前記（ｃ）のステップにおいて、前記差分スコアと前記反転スコアと前記予測スコアとを統合して、前記変状スコアを算出する
　ことを特徴とする変状検出方法。
（付記１０）
　付記９に記載の変状検出方法であって、
（ｇ）前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する、ステップを有する
　ことを特徴とする変状検出方法。
（付記１１）
　付記９又は１０に記載の変状検出方法であって、
　前記（ｃ）のステップにおいて、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
　ことを特徴とする変状検出方法。
（付記１２）
　付記８から１１のいずれか一つに記載の変状検出方法であって、
（ｅ）前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする、ステップ
　を有することを特徴とする変状検出方法。
（付記１３）
　付記１２のいずれか一つに記載の変状検出方法であって、
　前記（ｅ）のステップにおいて、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する処理を更に有する、
　ことを特徴とする変状検出方法。
（付記１４）
　付記９から１１のいずれか一つに記載の変状検出方法であって、
（ｆ）前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する、ステップ
　を有することを特徴とする変状検出方法。
（付記１５）
　コンピュータに、
（ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
（ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
（ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
　を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記１６）
　付記１５に記載のコンピュータ読み取り可能な記録媒体であって、
　前記コンピュータに、
（ｄ）前記地形が変状しているか否かを予測する予測モデルに、前記入力画像を入力し、前記地形が変状したか否かを表す予測スコアを出力する、ステップを実行させ、
　前記（ｃ）のステップにおいて、前記差分スコアと前記反転スコアと前記予測スコアとを統合して、前記変状スコアを算出する
　ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１７）
　付記１６に記載のコンピュータ読み取り可能な記録媒体であって、
　前記コンピュータに、
（ｇ）前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する、ステップを実行させる
　ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１８）
　付記１６又は１７に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｃ）のステップにおいて、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
　ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１９）
　付記１５から１８のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
（ｅ）前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする、ステップ
　を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記２０）
　付記１９に記載のプログラムであって、
　前記（ｅ）のステップにおいて、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する処理を更に有する、
　ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記２１）
　付記１６から１８のいずれか一つに記載のプログラムであって、
（ｆ）前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する、ステップ
　を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１８年１１月９日に出願された日本出願特願２０１８－２１１７７４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上のように本発明によれば、画像に撮像された地形の変状を精度よく検出することができる。本発明は、地形の変状を監視する分野において有用である。
　　１　変状検出装置
　　２　差分スコア算出部
　　３　反転スコア算出部
　　４　変状スコア算出部
　２０　システム
　２１　撮像装置
　２２　出力装置
　２３　前処理部
　２４　予測スコア出力部
　２５　情報取得部
　２６　出力情報生成部
　３１、３２、３３、３４　背景画像
　３５　背景画像ヒストグラム集合
　４１　入力画像
　４２　画素値ヒストグラム
　４３　背景画像ヒストグラム
　４４　図４の画像
　４５　差分スコア情報
　７１　反転スコアモデル
　８１　図８の画像
　８２　反転スコア情報
　９１　学習部
１１０　コンピュータ
１１１　ＣＰＵ
１１２　メインメモリ
１１３　記憶装置
１１４　入力インターフェイス
１１５　表示コントローラ
１１６　データリーダ／ライタ
１１７　通信インターフェイス
１１８　入力機器
１１９　ディスプレイ装置
１２０　記録媒体
１２１　バス

Claims (21)

  1. 　あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、差分スコア算出手段と、
    　前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、反転スコア算出手段と、
    　前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、変状スコア算出手段と、
    　を有することを特徴とする変状検出装置。
  2. 　請求項１に記載の変状検出装置であって、
    　前記入力画像を入力し、予測モデルを用いて、前記地形が変状したか否かを表す予測スコアを出力する、予測スコア出力手段と、を有し、
    　前記変状スコア算出手段は、前記差分スコアと前記反転スコアと前記予測スコアとを用いて、前記変状スコアを算出する
    　ことを特徴とする変状検出装置。
  3. 　請求項２に記載の変状検出装置であって、
    　前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する、学習部を更に有する
    　ことを特徴とする変状検出装置。
  4. 　請求項２又は３に記載の変状検出装置であって、
    　前記変状スコア算出手段は、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
    　ことを特徴とする変状検出装置。
  5. 　請求項１から４のいずれか一つに記載の変状検出装置であって、
    　前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする、前処理手段
    　を有することを特徴とする変状検出装置。
  6. 　請求項５に記載の変状検出装置であって、
    　前記前処理手段は、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する処理をする手段を更に有する、
    　ことを特徴とする変状検出装置。
  7. 　請求項２から４のいずれか一つに記載の変状検出装置であって、
    　前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する、出力情報生成手段
    　を有することを特徴とする変状検出装置。
  8. （ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出し、
    （ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出し、
    （ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する
    　ことを特徴とする変状検出方法。
  9. 　請求項８に記載の変状検出方法であって、
    （ｄ）前記地形が変状しているか否かを予測する予測モデルに、前記入力画像を入力し、前記地形が変状したか否かを表す予測スコアを出力し、
    　前記（ｃ）のステップにおいて、前記差分スコアと前記反転スコアと前記予測スコアとを統合して、前記変状スコアを算出する
    　ことを特徴とする変状検出方法。
  10. 　請求項９に記載の変状検出方法であって、
    （ｇ）前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する
    　ことを特徴とする変状検出方法。
  11. 　請求項９又は１０に記載の変状検出方法であって、
    　前記（ｃ）において、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
    　ことを特徴とする変状検出方法。
  12. 　請求項８から１１のいずれか一つに記載の変状検出方法であって、
    （ｅ）前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする
    　ことを特徴とする変状検出方法。
  13. 　請求項１２のいずれか一つに記載の変状検出方法であって、
    　前記（ｅ）において、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する
    　ことを特徴とする変状検出方法。
  14. 　請求項９から１１のいずれか一つに記載の変状検出方法であって、
    （ｆ）前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する
    　ことを特徴とする変状検出方法。
  15. 　コンピュータに、
    （ａ）あらかじめ地形を撮像した複数の背景画像それぞれにおいて、前記背景画像の画素値を用いて算出したヒストグラムと、前記地形を撮像した入力画像の画素値を用いて算出したヒストグラムとに基づいて、前記入力画像と類似する前記背景画像を選択し、選択した前記背景画像の画素値と前記入力画像の画素値との差分に基づいて差分スコアを算出する、ステップと、
    （ｂ）前記背景画像に設定した画素同士の画素値の大小関係と、前記入力画像に設定した前記画素同士の画素値の大小関係とを比べ、前記入力画像の大小関係が前記背景画像の大小関係と反転している画素を検出し、検出した画素に基づいて反転スコアを算出する、ステップと、
    （ｃ）前記差分スコアと前記反転スコアとを統合して、前記地形が変状したか否かを表す変状スコアを算出する、ステップと、
    　を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  16. 　請求項１５に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記コンピュータに、
    （ｄ）前記地形が変状しているか否かを予測する予測モデルに、前記入力画像を入力し、前記地形が変状したか否かを表す予測スコアを出力する、ステップを実行させ、
    　前記（ｃ）のステップにおいて、前記差分スコアと前記反転スコアと前記予測スコアとを統合して、前記変状スコアを算出する
    　ことを特徴とするコンピュータ読み取り可能な記録媒体。
  17. 　請求項１６に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記コンピュータに、
    （ｇ）前記地形の変状が撮像されている前記背景画像、又は前記地形に変状がない前記背景画像、又はそれら両方を入力とし学習をし、前記入力画像に対して、前記地形が変状しているか否かを予測する前記予測モデルを生成する、ステップを実行させる
    　ことを特徴とするコンピュータ読み取り可能な記録媒体。
  18. 　請求項１６又は１７に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記（ｃ）のステップにおいて、前記差分スコア、前記反転スコア、前記予測スコアそれぞれに重み係数を乗算し、乗算した値を加算して変状スコアを算出する
    　ことを特徴とするコンピュータ読み取り可能な記録媒体。
  19. 　付記１５から１８のいずれか一つに記載のコンピュータ読み取り可能な記録媒体であって、
    （ｅ）前記地形を撮像する撮像装置が振動している場合、前記振動をしている時間に撮像した前記背景画像又は前記入力画像を除外する処理をする、ステップ
    　を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
  20. 　請求項１９に記載のプログラムであって、
    　前記（ｅ）のステップにおいて、前記地形を撮像した前記背景画像又は前記入力画像に、前記地形の変状と別に遮蔽物を検出した場合、前記遮蔽物がある時間に撮像した前記背景画像又は前記入力画像を除外する処理を更に有する、
    　ことを特徴とするコンピュータ読み取り可能な記録媒体。
  21. 　請求項１６から１８のいずれか一つに記載のプログラムであって、
    （ｆ）前記差分スコア、又は前記反転スコア、又は前記予測スコア、又は前記変状スコア、又は前記地形の変状を表した変状画像、又はそれらのうち二つ以上を、出力装置に出力するための出力情報を生成する、ステップ
    　を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
PCT/JP2019/040758 2018-11-09 2019-10-16 変状検出装置、変状検出方法、及びコンピュータ読み取り可能な記録媒体 WO2020095644A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020556725A JP7078295B2 (ja) 2018-11-09 2019-10-16 変状検出装置、変状検出方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018211774 2018-11-09
JP2018-211774 2018-11-09

Publications (1)

Publication Number Publication Date
WO2020095644A1 true WO2020095644A1 (ja) 2020-05-14

Family

ID=70612397

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/040758 WO2020095644A1 (ja) 2018-11-09 2019-10-16 変状検出装置、変状検出方法、及びコンピュータ読み取り可能な記録媒体

Country Status (2)

Country Link
JP (1) JP7078295B2 (ja)
WO (1) WO2020095644A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112629817A (zh) * 2021-01-04 2021-04-09 华侨大学 一种水槽试验中漂石二维运动轨迹的量测设备及量测方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419560B (zh) * 2022-04-01 2022-07-12 苏州万店掌网络科技有限公司 一种检测目标物体的方法、装置以及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219398A (ja) * 2002-01-18 2003-07-31 Fujitsu Ltd 災害監視装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219398A (ja) * 2002-01-18 2003-07-31 Fujitsu Ltd 災害監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIMIZU, YOSHIKAZU ET AL.: "Survey by Satellite and Aircraft of SedimentRelated Disaster Occurred by Earthquake and Localized Torrential Rain, etc.", JOURNAL OF THE SOCIETY OF INSTRUMENT AND CONTROL ENGINEERS, vol. 47, 10 December 2008 (2008-12-10) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112629817A (zh) * 2021-01-04 2021-04-09 华侨大学 一种水槽试验中漂石二维运动轨迹的量测设备及量测方法
CN112629817B (zh) * 2021-01-04 2022-11-01 华侨大学 一种水槽试验中漂石二维运动轨迹的量测设备及量测方法

Also Published As

Publication number Publication date
JPWO2020095644A1 (ja) 2021-09-24
JP7078295B2 (ja) 2022-05-31

Similar Documents

Publication Publication Date Title
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
JP4668921B2 (ja) 画像中のオブジェクト検出
US8548198B2 (en) Identifying anomalous object types during classification
US8374393B2 (en) Foreground object tracking
US8718324B2 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
CN102348128B (zh) 具有摄像机异常检测装置的监视用摄像机系统
CN104966304B (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
EP2956891B1 (en) Segmenting objects in multimedia data
JP5478047B2 (ja) 映像データ圧縮前処理方法およびこれを用いた映像データ圧縮方法と映像データ圧縮システム
KR20170018042A (ko) 규칙 기반 비디오 중요도 분석
JP6565600B2 (ja) アテンション検出装置及びアテンション検出方法
Santoro et al. Crowd analysis by using optical flow and density based clustering
Tang et al. Multiple-kernel adaptive segmentation and tracking (MAST) for robust object tracking
WO2020095644A1 (ja) 変状検出装置、変状検出方法、及びコンピュータ読み取り可能な記録媒体
JP2008259161A (ja) 目標追尾装置
JP2011076316A (ja) 群衆監視装置および方法ならびにプログラム
KR101396838B1 (ko) 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템
JP2014110020A (ja) 画像処理装置、画像処理方法および画像処理プログラム
Yang et al. Video anomaly detection for surveillance based on effective frame area
JP5241687B2 (ja) 物体検出装置及び物体検出プログラム
CN114882003A (zh) 一种检测相机的拍摄位姿变化的方法、介质及计算设备
JP4758272B2 (ja) 移動物体追跡装置及びプログラム
JP3763279B2 (ja) 物体抽出システム、物体抽出方法および物体抽出プログラム
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
Sugandi et al. A block matching technique for object tracking based on peripheral increment sign correlation image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19881692

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020556725

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19881692

Country of ref document: EP

Kind code of ref document: A1