WO2020255231A1 - 変位測定装置、変位測定方法、コンピュータ読み取り可能な記録媒体 - Google Patents

変位測定装置、変位測定方法、コンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2020255231A1
WO2020255231A1 PCT/JP2019/023982 JP2019023982W WO2020255231A1 WO 2020255231 A1 WO2020255231 A1 WO 2020255231A1 JP 2019023982 W JP2019023982 W JP 2019023982W WO 2020255231 A1 WO2020255231 A1 WO 2020255231A1
Authority
WO
WIPO (PCT)
Prior art keywords
displacement
plane
reference signal
specific surface
time
Prior art date
Application number
PCT/JP2019/023982
Other languages
English (en)
French (fr)
Inventor
巡 高田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2019/023982 priority Critical patent/WO2020255231A1/ja
Priority to JP2021528081A priority patent/JP7156529B2/ja
Publication of WO2020255231A1 publication Critical patent/WO2020255231A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination

Definitions

  • the present invention relates to a displacement measuring device and a displacement measuring method for measuring in-plane displacement from an image of an object, and further relates to a computer-readable recording medium on which a program for realizing these is recorded.
  • Patent Document 1 derives an in-plane displacement component of a portion to be determined from an image of a structure such as a bridge as a subject, and determines the state of the structure based on the derived in-plane displacement component.
  • the device is disclosed.
  • the device disclosed in Patent Document 1 first acquires a plurality of images from a visible camera in chronological order. Then, the apparatus disclosed in Patent Document 1 subtracts a component due to the displacement of the entire surface to be determined from the optical flow of the acquired image or the displacement vector field obtained by the image correlation method to obtain the surface. Derivation of the internal displacement component. Next, the apparatus disclosed in Patent Document 1 obtains an in-plane displacement distribution from the derived in-plane displacement component, and compares the obtained in-plane displacement distribution with a reference in-plane displacement distribution. At this time, if damage such as an opening due to cracks occurs, there will be a difference between the two in-plane distributions. Therefore, the apparatus disclosed in Patent Document 1 detects defects such as cracks from the comparison result.
  • Patent Document 2 measures the thermoelastic temperature fluctuation generated in a structure, and obtains the stress fluctuation distribution of the structure by an autocorrelation lock-in method using this thermoelastic temperature fluctuation as a reference signal, and obtains the stress fluctuation.
  • a device for determining the state of a structure based on the distribution is disclosed.
  • the apparatus disclosed in Patent Document 2 first acquires a thermal image obtained by photographing a structure with an infrared camera, and then obtains a thermal elastic temperature fluctuation of an arbitrary portion in the acquired thermal image.
  • the waveform (temperature change waveform) is specified, and the specified waveform is used as a reference signal.
  • the apparatus disclosed in Patent Document 2 extracts only the signal synchronized with the stress fluctuation from the thermoelastic temperature fluctuation signal obtained from the thermal image by using the reference signal, and obtains the thermoelastic temperature fluctuation signal. Improve the S / N ratio.
  • the apparatus disclosed in Patent Document 2 obtains the stress fluctuation distribution using only the extracted signal, and determines the state of the structure.
  • the apparatus disclosed in Patent Document 2 has a structure utilizing a thermoelastic effect, that is, a temperature drop occurs when a tensile stress acts on a solid, and a temperature rise occurs when a compressive stress acts. The state of an object is judged. Since the thermoelastic effect is also affected by the outside air temperature around the structure, the apparatus disclosed in Patent Document 2 has a problem that it is difficult to maintain high determination accuracy.
  • In-plane displacement caused by damage to the structure is usually very small, and it may be difficult to distinguish between in-plane displacement and noise in the actual environment. For this reason, in the device disclosed in Patent Document 1, damage may be buried in noise, and there may be a problem that the in-plane displacement component cannot be measured accurately. In this case, the state of the structure cannot be accurately determined, and it becomes difficult to detect damage.
  • Patent Document 1 is to use the autocorrelation lock-in method disclosed in Patent Document 2, it is necessary to use the displacement of an arbitrary part in the image as a reference signal.
  • the image is easily affected by disturbance fluctuations due to vibration or the like, even if this method is adopted as it is, the reliability of the reference signal is low, and it is difficult to exert a sufficient effect.
  • An example of an object of the present invention provides a displacement measuring device, a displacement measuring method, and a computer-readable recording medium that can solve the above problems and suppress the influence of noise in measuring in-plane displacement from an image. There is.
  • the displacement measuring device in one aspect of the present invention is An overall surface displacement measuring unit that measures the displacement of the entire surface on a specific surface of the object from a time-series image of the object.
  • An in-plane displacement measuring unit that measures the in-plane displacement on a specific surface of the object from the entire surface displacement and the time-series image.
  • a reference signal generation unit that generates a reference signal whose level changes according to the stress generated on a specific surface of the object from the total surface displacement and the in-plane displacement. Using the reference signal and the in-plane displacement, an in-plane displacement component that changes in response to a change in stress generated on a specific surface of the object is extracted from the in-plane displacement. , Is equipped with It is characterized in that.
  • the displacement measurement method in one aspect of the present invention is: (A) A step of measuring the displacement of the entire surface of the object on a specific surface from a time-series image of the object. (B) A step of measuring the in-plane displacement of the object on a specific surface from the entire surface displacement and the time-series image. (C) From the total surface displacement and the in-plane displacement, a step of generating a reference signal whose level changes according to the stress generated on a specific surface of the object, and a step. (D) Using the reference signal and the in-plane displacement, an in-plane displacement component that changes in response to a change in stress generated on a specific surface of the object is extracted from the in-plane displacement. , Have, It is characterized by that.
  • the computer-readable recording medium in one aspect of the present invention is used.
  • On the computer (A) A step of measuring the displacement of the entire surface of the object on a specific surface from a time-series image of the object. (B) A step of measuring the in-plane displacement of the object on a specific surface from the entire surface displacement and the time-series image. (C) From the total surface displacement and the in-plane displacement, a step of generating a reference signal whose level changes according to the stress generated on a specific surface of the object, and a step.
  • FIG. 1 is a block diagram showing a configuration of a displacement measuring device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing more specifically the configuration of the displacement measuring device according to the embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a component included in the displacement observed on the image pickup surface of the image pickup apparatus at a certain point when the measurement target area of the object is photographed.
  • FIG. 4 is a diagram simulating the state of the two-dimensional spatial distribution (hereinafter referred to as the displacement distribution) of the displacements ( ⁇ x ij , ⁇ y ij ) observed in a specific area on the image of the measurement target area. is there.
  • FIG. 5 (a) to 5 (d) are diagrams for explaining the processing performed by the corresponding component extraction unit in the embodiment of the present invention, respectively.
  • FIG. 6 is a flow chart showing the operation of the displacement measuring device according to the embodiment of the present invention.
  • FIG. 7 is a block diagram showing an example of a computer that realizes the displacement measuring device according to the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of a displacement measuring device according to an embodiment of the present invention.
  • the displacement measuring device 10 in the present embodiment is a device that measures in-plane displacement from an image of an object.
  • the displacement measuring device 10 includes an entire surface displacement measuring unit 11, an in-plane displacement measuring unit 12, a reference signal generation unit 13, and a corresponding component extraction unit 14.
  • the entire surface displacement measuring unit 11 measures the displacement of the entire surface on the specific surface of the object from the time-series image of the object.
  • the in-plane displacement measuring unit 12 measures the in-plane displacement on a specific surface of an object from the entire surface displacement and the time-series image.
  • the reference signal generation unit 13 generates a reference signal whose level changes according to the stress generated on the specific surface of the object from the displacement of the entire surface and the displacement in the surface.
  • the corresponding component extraction unit 14 uses the reference signal and the in-plane displacement to extract the in-plane displacement component that changes in response to the fluctuation of the stress generated on the specific surface of the object from the measured in-plane displacement. ..
  • the reference signal that changes according to the stress fluctuation is generated, and the in-plane displacement component that changes according to the stress fluctuation is extracted based on the reference signal. According to the present embodiment, it is possible to suppress the influence of noise in the measurement of the in-plane displacement from the image.
  • FIG. 2 is a block diagram showing more specifically the configuration of the displacement measuring device according to the embodiment of the present invention.
  • the object of displacement measurement is the bridge 30.
  • the displacement measuring device 10 measures the in-plane displacement in the measurement target region set on the bridge 30 when the bridge 30 is bent due to the load of the vehicle 31 passing through the bridge 30 in particular.
  • Examples of the measurement target area include bridge girders and plate slabs.
  • an imaging device 20 is connected to the displacement measuring device 10.
  • the image pickup device 20 is a camera capable of shooting a moving image, and outputs a time-series image for each frame. Specifically, the image pickup apparatus 20 takes pictures at set intervals and continuously outputs image data of the taken images.
  • the imaging device 20 is arranged so that the floor slab (bottom surface), which is the measurement target area of the bridge 30, can be photographed.
  • the displacement measuring device 10 is an image in addition to the entire surface displacement measuring unit 11, the in-plane displacement measuring unit 12, the reference signal generation unit 13, and the corresponding component extraction unit 14. It includes a data acquisition unit 15, an in-plane displacement output unit 16, and a storage unit 17.
  • the image data acquisition unit 15 acquires the output image data, and transfers the acquired image data to the entire surface displacement measurement unit 11 and the in-plane displacement measurement unit 12. Output.
  • the entire surface displacement measuring unit 11 acquires a time-series image output by the imaging device 20, uses an image captured at an arbitrary time as a reference image, and uses the other images as processed images. Then, the entire surface displacement measuring unit 11 determines the corresponding positions in the processed image for each processed image for each point in the region corresponding to the measurement target region in the reference image (hereinafter referred to as “specific region”). Each is searched and the displacement is calculated. The displacement with respect to the specific region for each processed image calculated in this way is the displacement distribution.
  • the entire surface displacement measuring unit 11 searches for a location (coordinate) in the processed image that is most similar to a location (coordinate) in the specific region, and calculates the displacement of the specified location (coordinate). To do.
  • SAD Sum of Squared Difference
  • SSD Serial of Absolute Difference
  • NCC Normalized
  • a method of searching for the position (coordinates) having the highest correlation by using a similarity correlation function such as Cross-Correlation) or ZNCC (Zero-means Normalized Cross-Correlation) can be mentioned.
  • the distribution of displacement with respect to the specific area in the processed image can be obtained. Further, by performing the same processing for each processed image, it is possible to obtain a displacement distribution with respect to a specific region for each processed image.
  • the specific coordinates of the measurement target area are defined as (i, j)), and the calculated displacement is expressed as ( ⁇ x ij , ⁇ y ij ).
  • the entire surface displacement measuring unit 11 uses the calculated displacements ( ⁇ x ij , ⁇ y ij ) and the imaging information to determine the amount of movement ( ⁇ x, ⁇ y) in the surface direction and the amount of movement in the normal direction ( ⁇ x, ⁇ y) of the measurement target area. ⁇ z) and is calculated. Further, in the entire surface displacement measuring unit 11, the calculated displacement ( ⁇ x ij , ⁇ y ij ) and the amount of movement ( ⁇ x, ⁇ y, ⁇ z) are the total surface displacement.
  • the entire surface displacement measuring unit 11 stores the calculated displacement ( ⁇ x ij , ⁇ y ij ) and the movement amount ( ⁇ x, ⁇ y, ⁇ z) in the storage unit 17 as the entire surface displacement information.
  • the shooting information include the size of one pixel of the solid-state image sensor in the image pickup device 20, the focal length of the lens, the image pickup distance from the image pickup device 20 to the measurement target area, the shooting frame rate, and the like.
  • the in-plane displacement measuring unit 12 measures the in-plane displacement of the bridge 30 on a specific surface from the movement amount ( ⁇ x, ⁇ y, ⁇ z) calculated by the overall surface displacement measuring unit 11 and the time series image.
  • the in-plane displacement is expressed as ( ⁇ x ij , ⁇ y ij ).
  • FIG. 3 is a diagram illustrating a component included in the displacement observed on the image pickup surface of the image pickup apparatus at a certain point when the measurement target area of the object is photographed. Further, in FIG. 3, the bridge 30 which is an object is loaded by the passing vehicle 31, and as a result, the measurement target area is moved by the amount of movement ( ⁇ x, ⁇ y, ⁇ z) in the three-dimensional direction. Shown.
  • the measurement target area of the bridge 30 has the amount of movement ( ⁇ x, ⁇ y, ⁇ z) in the horizontal and vertical directions (X, Y directions) and the normal direction (Z direction) on the screen. It has occurred.
  • the measurement target area moves parallel to the image pickup surface of the image pickup apparatus 20 by the amount ( ⁇ x, ⁇ y) moved in the horizontal direction and the vertical direction (X, Y direction) in the screen. Further, the image pickup device 20 is approached by the amount ( ⁇ z) of the movement in the normal direction (Z direction). Therefore, the imaging distance is shortened by the movement amount ⁇ z.
  • a displacement ⁇ zx ij due to the movement amount ⁇ z is generated in addition to the displacement ⁇ x caused by the movement amount ⁇ x of the measurement target region in the horizontal direction (X direction) with respect to the imaging surface of the imaging device 20. ..
  • a displacement ⁇ zy ij due to the moving amount ⁇ z is also generated in addition to the displacement ⁇ y caused by the moving amount ⁇ y of the imaging device 20 in the direction perpendicular to the screen (Y direction).
  • the in-plane displacement ( ⁇ x ij , ⁇ y ij ) due to the surface deformation of the measurement target region is such that the surface displacement changes continuously in a healthy region without defects such as cracks. In the region that straddles the cracks, the surface displacement does not change continuously but changes discontinuously. As described above, the surface displacement distribution is different between the healthy region without defects and the region with some defects.
  • the displacements ( ⁇ x ij , ⁇ y ij ) observed at the point A (i, j) can be represented by the following equations 1 and 2 as shown in FIG. 4 described later.
  • the imaging distance from the principal point of the lens to the measurement target region is L
  • the lens focal length of the imaging device 20 is f
  • the coordinates from the imaging center are (i, j)
  • the displacement ( ⁇ x, ⁇ y) associated with ( ⁇ x, ⁇ y) and the displacement ( ⁇ zx ij , ⁇ zy ij ) associated with the movement in the normal direction ( ⁇ z) are represented by the following equations 3 and 4, respectively.
  • the displacement ( ⁇ x, ⁇ y) accompanying the movement ( ⁇ x, ⁇ y) in the plane direction indicated by the above equations 3 and 4 is the displacement ( ⁇ x, ⁇ y) at the point A. It can be seen that it is constant regardless of the coordinates. It can also be seen that the displacement ( ⁇ z x ij , ⁇ zy ij ) accompanying the movement in the normal direction ( ⁇ z) increases as the coordinates of the point A move away from the origin.
  • the in-plane displacement ( ⁇ x ij , ⁇ y ij ) of the measurement target area shows the distribution of continuous and discontinuous displacement according to the position of defects such as cracks on the surface, regardless of the coordinates of the coordinates of point A. ..
  • FIG. 4 is a diagram simulating the state of the two-dimensional spatial distribution (hereinafter referred to as the displacement distribution) of the displacements ( ⁇ x ij , ⁇ y ij ) observed in a specific area on the image of the measurement target area. is there.
  • the displacements ( ⁇ x ij , ⁇ y ij ) of each coordinate of the specific region calculated by the entire surface displacement measuring unit 11 are expressed as a displacement vector.
  • the displacement vector is the displacement ( ⁇ x, ⁇ y) accompanying the movement ( ⁇ x, ⁇ y) in the plane direction observed in a uniform direction and magnitude over the entire screen, and the vector group radial from the imaging center of the screen.
  • the displacement ( ⁇ x, ⁇ y) accompanying the movement in the plane direction ( ⁇ x, ⁇ y) is basically observed in a uniform direction and size over the entire screen. Therefore, the displacement ( ⁇ x ij , ⁇ y ij ) calculated by the entire surface displacement measuring unit 11 at each coordinate of the specific region centered on the imaging center is added with plus or minus depending on the direction of the displacement, and this is used as the displacement vector. To do. Then, by adding all the displacement vectors at the target coordinates and calculating the average, the displacement ( ⁇ x, ⁇ y) accompanying the movement in the plane direction ( ⁇ x, ⁇ y) is calculated.
  • the displacements ( ⁇ x ij , ⁇ y ij ) first calculated by the entire surface displacement measuring unit 11 are actually composed of composite vectors (FIG. 4: ultra-thick solid line arrows) as shown in FIG. There is. Then, this combined vector ( ⁇ x ij, ⁇ y ij), as can be seen from Figure 4, the displacement vector associated with movement in the normal direction ( ⁇ z) ( ⁇ zx ij, ⁇ zy ij) ( 3, 4: Medium solid line (Arrow), displacement vector ( ⁇ x, ⁇ y) due to in-plane movement ( ⁇ x, ⁇ y) (Fig. 3, Fig. 4: thick solid line arrow), and in-plane due to surface deformation and displacement of the measurement target area.
  • the displacement ( ⁇ x ij , ⁇ y ij ) (Fig. 3, Fig. 4: Fine solid line arrow) is included.
  • the vector obtained by subtracting the displacement vector ( ⁇ x, ⁇ y) accompanying the in-plane movement ( ⁇ x, ⁇ y) from this composite vector ( ⁇ x ij , ⁇ y ij ) is the movement in the normal direction ( ⁇ z).
  • the composite vector of the displacement vector ( ⁇ z x ij , ⁇ zy ijj ) and the in-plane displacement ( ⁇ x ij , ⁇ y ij ) accompanying the movement ( ⁇ z) in the normal direction at a certain coordinate (i, j) is R mes (i, i, Then, if j), these can be represented by the following equation 8.
  • the above number 8 can be expressed as the following number 9.
  • R mes (i, j) at the coordinates (i, j) can be treated as being substantially equal to the displacement vector component ( ⁇ z x ij , ⁇ zy ij ) accompanying the movement in the normal direction ( ⁇ z).
  • the displacement vector when the movement amount ⁇ z in the normal direction is given is represented by R (i, j) shown in Equations 6 to 8.
  • the entire surface displacement measuring unit 11 uses the displacement vector magnitude R mes (i, j) obtained by Eq. 9, and the displacement vector ( ⁇ z x ij , ⁇ zy ij ) accompanying the movement in the normal direction ( ⁇ z). ) Estimates the rate of enlargement / reduction of the magnitude R (i, j) of the displacement vector. Specifically, the entire surface displacement measuring unit 11 estimates the magnification of R (i, j) by obtaining the proportionality constant k that minimizes the evaluation function E (k) shown in Equation 10 below.
  • the entire surface displacement measuring unit 11 applies the least squares method to the above equation 10 to calculate the proportionality constant k.
  • the evaluation function E (k) in addition to the sum of squares of the difference between R mes (i, j) and R (i, j) shown in the above equation 10, the sum of absolute values and the sum of other powers Etc. may be used.
  • the entire surface displacement measuring unit 11 applies the calculated proportionality constant k to the above equation 7 as a constant indicating the ratio of enlargement / reduction to calculate the movement amount ⁇ z. Then, the entire surface displacement measuring unit applies the calculated ⁇ z, the displacement ( ⁇ x, ⁇ y) accompanying the movement in the surface direction ( ⁇ x, ⁇ y), and the imaging information to the above equation 3, thereby increasing the amount of movement ⁇ x. And ⁇ y are also calculated.
  • the entire surface displacement measuring unit 11 determines the amount of movement of the measurement target area in the surface direction and the amount of movement of the measurement target area in the normal direction for each image taken by the imaging device 20, that is, for each frame of the time-series image. Is calculated. Then, the entire surface displacement measuring unit 11 stores the movement amount calculated for each frame of the time-series image in the storage unit 17 as the entire surface displacement information. Further, in this case, the displacement information of the entire surface can be treated as a time-series signal with the time interval of photographing as the sampling interval.
  • the in-plane displacement measuring unit 12 uses the amount of movement ( ⁇ x, ⁇ y) in the plane direction of the measurement target area calculated by the entire surface displacement measurement unit 11 and the amount of movement ( ⁇ z) in the normal direction of the measurement target area. , The in-plane displacement ( ⁇ x ij , ⁇ y ij ) of the measurement target area is calculated from the first calculated displacement (displacement vector ( ⁇ x ij , ⁇ y ij ). The in-plane displacement is calculated in the time series image. It is done frame by frame.
  • the in-plane displacement ( ⁇ x ij, ⁇ y ij) in order to calculate the the displacement vector calculated by the in-plane displacement measuring unit 12 ( ⁇ x ij, ⁇ y ij) from the amount of movement of the measurement target area ( It can be seen that the displacement component generated by ( ⁇ x, ⁇ y, ⁇ z) should be subtracted. That is, the in-plane displacement measuring unit 12 calculates the in-plane displacement ( ⁇ x ij , ⁇ y ij ) by using the following equations 11 and 12.
  • the in-plane displacement measuring unit 12 calculates the in-plane displacement ( ⁇ x ij , ⁇ y ij ) each time the image pickup apparatus 20 takes an image, that is, in chronological order. Then, the in-plane displacement measuring unit 12 stores the in-plane displacement calculated for each frame of the time-series image in the storage unit 17 as in-plane displacement information. Further, in this case, the in-plane displacement information can be treated as a time-series signal with the shooting time interval as the sampling interval. In addition, in this specification, in-plane displacement information is also referred to as "in-plane displacement signal".
  • the reference signal generation unit 13 calculates the time-series change ⁇ (t) of the strain in the specific direction of the point of interest from the in-plane displacement of the point of interest on the specific surface of the object in the specific direction.
  • a signal indicating the time-series change ⁇ (t) of the calculated distortion is generated as a reference signal.
  • the point of interest is designated in advance by the operator or the like of the displacement measuring device 10. As shown in FIG. 2, when the object is a bridge 30 and the measurement target area is a floor slab, a point on the floor slab is designated as a point of interest.
  • the reference signal generation unit 13 determines a plurality of points (for example, 4 points) surrounding the point of interest.
  • the area surrounded by each point is referred to as a "local area”.
  • the reference signal generation unit 13 acquires in-plane displacement information at each of the determined points from the storage unit 17.
  • the reference signal generation unit 13 uses the acquired in-plane displacement information of each point to determine the length of the local region in the specific direction, as in the case of the point of interest.
  • the rate of change is obtained, and the obtained rate of change is defined as the time-series change ⁇ (t) of the strain.
  • the reference signal generation unit 13 uses the acquired in-plane displacement information of each point to perform singular value decomposition to perform the direction in which the local region changes most. To identify. Then, the reference signal generation unit 13 obtains the rate of change of the length of the local region in the specified direction, and sets the obtained rate of change as the time-series change ⁇ (t) of the strain.
  • the reference signal generation unit 13 stores the reference signal obtained from the calculated time-series change in distortion in the storage unit 17 as reference signal information.
  • the corresponding component extraction unit 14 corrects the in-plane displacement information by the so-called autocorrelation lock-in method to obtain the in-plane displacement component that changes in response to the fluctuation of the stress generated in the bridge 30. Extract.
  • FIG. 5 (a) to 5 (d) are diagrams for explaining the processing performed by the corresponding component extraction unit in the embodiment of the present invention, respectively.
  • the corresponding component extraction unit 14 acquires the in-plane displacement signal (in-plane displacement information) and the reference signal shown in FIG. 5A.
  • the corresponding component extraction unit 14 compares the value of the reference signal and the value of the in-plane signal along the time series, that is, for each frame of the time series image. Then, the corresponding component extraction unit 14 calculates a regression line showing the relationship between the reference signal and the in-plane displacement signal, as shown in FIG. 5C.
  • the corresponding component extraction unit 14 corrects the in-plane displacement signal using the calculated regression line as shown in FIG. 5 (d). Specifically, the corresponding component extraction unit 14 obtains and outputs the in-plane displacement signal at the time corresponding to the reference signal at each time from the regression line. At this time, the corresponding component extraction unit 14 can also remove the offset component constantly included in the in-plane displacement by outputting a value in which the intercept of the regression line is regarded as 0. The above corrections are made independently for all points in the specific surface of the object.
  • the in-plane displacement output unit 16 outputs the in-plane displacement information corrected by the corresponding component extraction unit 14 to an external terminal device or the like.
  • the in-plane displacement included in the corrected in-plane displacement information is displayed on the screen of the terminal device or the like in chronological order.
  • the inspector of the bridge 30 can observe the in-plane displacement in which the influence of noise is suppressed, and can accurately determine the state of the bridge 30.
  • FIG. 6 is a flow chart showing the operation of the displacement measuring device according to the embodiment of the present invention.
  • FIGS. 1 to 5 will be referred to as appropriate.
  • the displacement measuring method is implemented by operating the displacement measuring device. Therefore, the description of the displacement measuring method in the present embodiment will be replaced with the following description of the operation of the displacement measuring device 10.
  • the image data acquisition unit 15 acquires the output image data, and obtains the acquired image data for each frame.
  • the data is output to the entire surface displacement measuring unit 11 and the in-plane displacement measuring unit 12 (step A1).
  • the entire surface displacement measuring unit 11 measures the displacement of the entire surface of the measurement target area of the bridge 30 which is the object for each frame (step). A2). Further, the entire surface displacement measuring unit 11 stores the measurement result as the entire surface displacement information in the storage unit 17.
  • the in-plane displacement measuring unit 12 uses the image data of the time-series image output in step A1 and the entire surface displacement measured in step A2 to use the bridge 30 which is an object for each frame.
  • the in-plane displacement in the measurement target area of is measured (step A3). Further, the in-plane displacement measuring unit 12 stores the measurement result in the storage unit 17 as in-plane displacement information.
  • the reference signal generation unit 13 changes the level according to the stress generated on the specific surface of the object from the total surface displacement measured in step A2 and the in-plane displacement measured in step A3. A reference signal is generated (step A4). Further, the reference signal generation unit 13 stores the generated reference signal as reference signal information in the storage unit 17.
  • the corresponding component extraction unit 14 uses the reference signal generated in step A4 to change the in-plane displacement measured in step A3 in response to the fluctuation of the stress generated in the bridge 30.
  • the components are extracted (step A5).
  • the corresponding component extraction unit 14 corrects the in-plane displacement information by the autocorrelation lock-in method, thereby extracting the in-plane displacement component that changes in response to the fluctuation of the stress generated in the bridge 30. To do.
  • the in-plane displacement output unit 16 outputs the in-plane displacement component extracted in step A5, specifically, the in-plane displacement information corrected by the corresponding component extraction unit 14 to an external terminal device or the like ( Step A6).
  • step A6 the in-plane displacement included in the corrected in-plane displacement information is displayed in chronological order on the screen of the terminal device or the like. Further, steps A1 to A6 are repeatedly executed frame by frame of the time-series image until the displacement observation is completed.
  • the reference signal that changes according to the stress fluctuation is generated, and the value of the in-plane displacement measured first is corrected by the reference signal.
  • noise due to disturbance or the like is removed from the in-plane displacement, so that the correction results in only the in-plane displacement component that changes in response to the fluctuation of the stress generated in the bridge 30. That is, according to the present embodiment, it is possible to suppress the influence of noise in the measurement of the in-plane displacement from the image.
  • Modification 1 Next, Modifications 1 to 4 of the embodiment of the present invention will be described.
  • the present modification 1 it is a condition that the entire surface displacement measuring unit 11 measures the displacement of the entire surface in the in-plane direction of the specific surface of the object and the direction of applying the external force applied to the object. ..
  • the object is the bridge 30, and the external force is applied in the normal direction, so that the above conditions are satisfied.
  • the reference signal generation unit 13 calculates the time-series change D (t) of the total surface displacement in the external force application direction, and refers to the signal indicating the calculated time-series change of the total surface displacement. Generate as a signal. Specifically, the reference signal generation unit 13 identifies the time-series change of the movement amount ( ⁇ z) in the normal direction measured by the whole surface displacement measurement unit 11 from the whole surface displacement information, and this specified movement. Let the time-series change D (t) of the quantity ( ⁇ z) be the reference signal.
  • the imaging device 20 is sufficiently fixed in a place that is not easily affected by an external force, and the stress fluctuation due to the external force and the displacement of the entire surface in the direction in which the external force is applied are linked. Useful in some cases.
  • the reference signal generation unit 13 first calculates the local strain on the specific surface of the object by using the in-plane displacement, and further integrates the local strain on the entire specific surface to integrate the local strain on the entire specific surface of the object. Calculate the time-series change of strain over a specific surface. Then, the reference signal generation unit 13 generates a signal indicating the time-series change of the calculated distortion as a reference signal.
  • the reference signal generation unit 13 obtains the local strain ⁇ (t, i, j) from the local deformation state at the coordinates (i, j) of the measurement target region for each frame of the image data. First, a plurality of points (for example, 4 points) surrounding the coordinates (i, j) are determined. The area surrounded by each point here is also referred to as a "local area”.
  • the reference signal generation unit 13 acquires in-plane displacement information at each of the determined points from the storage unit 17, and performs local singular value decomposition using the in-plane displacement information of each acquired point. Identify the direction of greatest change in the region. Then, the reference signal generation unit 13 obtains the rate of change of the length of the local region in the specified direction, and sets the obtained rate of change as the local strain s (t, i, j).
  • the reference signal generation unit 13 integrates the local strain s (t, i, j) over the entire measurement target region, calculates the distortion amount S (t) over the entire measurement target region, and calculates it.
  • the distorted amount S (t) be the reference signal.
  • the reference signal is obtained from the local strain. Therefore, in the present modification 2, when the imaging device 20 is not sufficiently fixed, the stress fluctuation due to the external force and the displacement of the entire surface in the application direction of the external force are linked. It is also useful when the sex is low.
  • the reference signal generation unit 13 determines a plurality of points (for example, four points) surrounding the coordinates (i, j), and the storage unit 17 determines each of the determined points. Acquire in-plane displacement information. However, in the present modification 3, unlike the modification 2, the reference signal generation unit 13 uses the acquired in-plane displacement information of each point to indicate the singular values ⁇ 1 and ⁇ 2 ( ⁇ ) indicating the local deformation in the local region. 1 ⁇ ⁇ 2 ) and the singular vector v 1 are obtained.
  • the singular vector v 1 here is a left singular vector corresponding to the singular value ⁇ 1 , but in the present modification 3, it may be determined that other singular vectors are selected.
  • the reference signal generation unit 13 calculates the local aperture vector v op (t, i, j) representing the local aperture direction and magnitude in the local region using the equation 13.
  • the reference signal generation unit 13 performs principal component analysis of the calculated local aperture vector to specify the first principal component. Specifically, the reference signal generation unit 13 takes the distribution of the point cloud by v op (t, i, j) at time t as an input, and derives the maximum spread direction of the point cloud by principal component analysis. Further, the reference signal generation unit 13 uses S (t) as the standard deviation of the first principal component axis obtained by the principal component analysis, and uses this as the reference signal. In the present modification 3, by using the principal component analysis, a more robust reference signal can be obtained for the noise included in the in-plane displacement.
  • the reference signal generation unit 13 first calculates the local strain s (t, i, j) for each coordinate (i, j). Further, the reference signal generation unit 13 also calculates the time-series change D (t) of the displacement of the entire surface in the external force application direction, as in the modification 1. Subsequently, the reference signal generation unit 13 calculates the regression coefficient w (i, j) of the local strain s (t, i, j) and the time series change D (t) for each coordinate (i, j). ..
  • the reference signal generation unit 13 uses the above equation 1 to represent the local aperture direction and size in the local region, as in the modification 3, the local aperture vector v op (t, i, j). Is calculated.
  • the reference signal generation unit 13 multiplies each of the local aperture vectors v op (t, i, j) by the regression coefficient w (i, j) as a weight.
  • the reference signal generation unit 13 multiplies each of the local aperture vectors v op (t, i, j) by the regression coefficient w (i, j) as a weight.
  • the reference signal generation unit 13 performs the same principal component analysis as the modification 3 for the local aperture vector v op (t, i, j) after the weight multiplication at the time t.
  • S (t) be the standard deviation of the first principal component axis obtained by principal component analysis, and use this as the reference signal.
  • S (t) be the standard deviation of the first principal component axis obtained by principal component analysis, and use this as the reference signal.
  • S (t) be the standard deviation of the first principal component axis obtained by principal component analysis, and use this as the reference signal.
  • S (t) be the standard deviation of the first
  • the program in the present embodiment may be any program that causes a computer to execute steps A1 to A6 shown in FIG.
  • the computer processor functions as an overall surface displacement measurement unit 11, an in-plane displacement measurement unit 12, a reference signal generation unit 13, a corresponding component extraction unit 14, an image data acquisition unit 15, and an in-plane displacement output unit 16. , Perform processing.
  • each computer has an overall surface displacement measurement unit 11, an in-plane displacement measurement unit 12, a reference signal generation unit 13, a corresponding component extraction unit 14, an image data acquisition unit 15, and an in-plane displacement output unit. It may function as any of 16.
  • FIG. 7 is a block diagram showing an example of a computer that realizes the displacement measuring device according to the embodiment of the present invention.
  • the computer 110 includes a CPU (Central Processing Unit) 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. And. Each of these parts is connected to each other via a bus 121 so as to be capable of data communication. Further, the computer 110 may include a GPU (Graphics Processing Unit) or an FPGA (Field-Programmable Gate Array) in addition to the CPU 111 or in place of the CPU 111.
  • a GPU Graphics Processing Unit
  • FPGA Field-Programmable Gate Array
  • the CPU 111 expands the programs (codes) of the present embodiment stored in the storage device 113 into the main memory 112 and executes them in a predetermined order to perform various operations.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program according to the present embodiment is provided in a state of being stored in a computer-readable recording medium 120.
  • the program in the present embodiment may be distributed on the Internet connected via the communication interface 117.
  • the storage device 113 include a semiconductor storage device such as a flash memory in addition to a hard disk drive.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and mouse.
  • the display controller 115 is connected to the display device 119 and controls the display on the display device 119.
  • the data reader / writer 116 mediates the data transmission between the CPU 111 and the recording medium 120, reads the program from the recording medium 120, and writes the processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include a general-purpose semiconductor storage device such as CF (CompactFlash (registered trademark)) and SD (SecureDigital), a magnetic recording medium such as a flexible disk, or a CD-.
  • CF CompactFlash (registered trademark)
  • SD Secure Digital
  • magnetic recording medium such as a flexible disk
  • CD- CompactDiskReadOnlyMemory
  • optical recording media such as ROM (CompactDiskReadOnlyMemory).
  • the displacement measuring device 10 in the present embodiment can also be realized by using hardware corresponding to each part instead of the computer in which the program is installed. Further, the displacement measuring device 10 may be partially realized by a program and the rest may be realized by hardware.
  • An overall surface displacement measuring unit that measures the displacement of the entire surface on a specific surface of the object from a time-series image of the object.
  • An in-plane displacement measuring unit that measures the in-plane displacement on a specific surface of the object from the entire surface displacement and the time-series image.
  • a reference signal generation unit that generates a reference signal whose level changes according to the stress generated on a specific surface of the object from the total surface displacement and the in-plane displacement. Using the reference signal and the in-plane displacement, an in-plane displacement component that changes in response to a change in stress generated on a specific surface of the object is extracted from the in-plane displacement.
  • the displacement measuring device (Appendix 2) The displacement measuring device according to Appendix 1.
  • the reference signal generation unit calculates the time-series change of the strain of the attention point in the specific direction from the in-plane displacement of the point of interest on the specific surface in the specific direction, and calculates the time-series change of the strain.
  • the indicated signal is generated as the reference signal. Displacement measuring device characterized by this.
  • the displacement measuring device (Appendix 3) The displacement measuring device according to Appendix 1.
  • the entire surface displacement measuring unit measures the displacement of the entire surface in the in-plane direction of the specific surface of the object and in the direction of applying an external force applied to the object.
  • the reference signal generation unit calculates the time-series change of the displacement of the entire surface in the application direction, and generates a signal indicating the calculated time-series change of the displacement of the entire surface as the reference signal. Displacement measuring device characterized by this.
  • the displacement measuring device (Appendix 4) The displacement measuring device according to Appendix 1.
  • the reference signal generation unit calculates the local strain on the specific surface of the object by using the in-plane displacement, and further integrates the local strain on the entire specific surface to integrate the local strain on the entire specific surface of the object.
  • the time-series change of the strain in the above is calculated, and a signal indicating the calculated time-series change of the distortion is generated as the reference signal.
  • Displacement measuring device characterized by this.
  • (Appendix 5) A step of measuring the displacement of the entire surface of the object on a specific surface from a time-series image of the object. (B) A step of measuring the in-plane displacement of the object on a specific surface from the entire surface displacement and the time-series image. (C) From the total surface displacement and the in-plane displacement, a step of generating a reference signal whose level changes according to the stress generated on a specific surface of the object, and a step. (D) Using the reference signal and the in-plane displacement, an in-plane displacement component that changes in response to a change in stress generated on a specific surface of the object is extracted from the in-plane displacement. , Have, Displacement measurement method characterized by this.
  • step (Appendix 7) The displacement measurement method described in Appendix 5,
  • step (a) the displacement of the entire surface is measured in the in-plane direction of the specific surface of the object and in the direction of applying an external force applied to the object.
  • step (c) the time-series change of the total surface displacement in the application direction is calculated, and a signal indicating the calculated time-series change of the total surface displacement is generated as the reference signal. Displacement measurement method characterized by this.
  • step (Appendix 11) The computer-readable recording medium according to Appendix 9.
  • step (a) the displacement of the entire surface is measured in the in-plane direction of the specific surface of the object and in the direction of applying an external force applied to the object.
  • step (c) the time-series change of the total surface displacement in the application direction is calculated, and a signal indicating the calculated time-series change of the total surface displacement is generated as the reference signal.
  • step (Appendix 12) The computer-readable recording medium according to Appendix 9.
  • the local strain on the specific surface of the object is calculated by using the in-plane displacement, and the local strain is integrated over the entire specific surface to calculate the local strain on the specific surface of the object.
  • the time-series change of the distortion in the whole is calculated, and the signal indicating the calculated time-series change of the distortion is generated as the reference signal.
  • the present invention it is possible to suppress the influence of noise in the measurement of in-plane displacement from an image.
  • the present invention is useful for a system for determining the state of a structure such as a bridge from an image.
  • Displacement measuring device 11
  • Overall plane displacement measuring unit 12
  • In-plane displacement measuring unit 13
  • Reference signal generation unit 14
  • Corresponding component extraction unit 15
  • Image data acquisition unit 16
  • In-plane displacement output unit 17
  • Storage unit 20
  • Imaging device 30
  • Bridge 110
  • CPU 112
  • Main memory 113
  • Storage device 114
  • Input interface 115
  • Display controller 116
  • Data reader / writer 117
  • Communication interface 118
  • Input device 120 Recording medium 121 Bus

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

変位計測装置10は、対象物の時系列画像から、その特定表面における面全体変位を計測する、面全体変位計測部11と、面全体変位と時系列画像とから、対象物の特定表面における面内変位を計測する、面内変位計測部12と、面全体変位と面内変位とから、対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、参照信号生成部13と、参照信号と面内変位とを用いて、面内変位から、対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、対応成分抽出部14と、を備えている。

Description

変位測定装置、変位測定方法、コンピュータ読み取り可能な記録媒体
 本発明は、対象物の画像から面内変位を測定するための、変位測定装置及び変位測定方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
 従来から、橋梁などの構造物の状態を非接触によって判定する技術が提案されている(例えば、特許文献1及び2参照)。このような判定技術によれば、点検員は、構造物に接触することなく、構造物の点検を行うことができる。このような判定技術は、点検員が容易に近づけない場所に接地されている構造物に対して特に有用である。
 特許文献1は、橋梁等の構造物を被写体とした画像から、判定対象となっている部分の面内変位成分を導出し、導出した面内変位成分に基づいて、構造物の状態を判定する装置を開示している。
 具体的には、特許文献1に開示された装置は、まず、可視カメラから、複数の画像を時系列に沿って取得する。そして、特許文献1に開示された装置は、取得した画像のオプティカルフローから、又は画像相関法によって得た変位ベクトル場から、判定対象となる面全体の変位に起因する成分を差し引くことで、面内変位成分を導出する。次いで、特許文献1に開示された装置は、導出した面内変位成分から、面内変位分布を求め、求めた面内変位分布と、基準となる面内変位分布とを比較する。このとき、ひび割れによる開口などの損傷が発生していると、2つの面内分布に相違点が生じるため、特許文献1に開示された装置は、比較結果から、ひび割れ等の欠陥を検出する。
 特許文献2は、構造物に生じる熱弾性温度変動を測定し、そして、この熱弾性温度変動を参照信号して用いる自己相関ロックイン方式によって、構造物の応力変動分布を求め、求めた応力変動分布に基づいて、構造物の状態を判定する装置を開示している。
 具体的には、特許文献2に開示された装置は、まず、赤外線カメラによって構造物を撮影して得られた熱画像を取得し、取得した熱画像内の任意の部分の熱弾性温度変動の波形(温度変化波形)を特定し、特定した波形を参照信号とする。次いで、特許文献2に開示された装置は、参照信号を用いて、熱画像から得られた熱弾性温度変動信号の中から、応力変動に同期する信号のみを抽出し、熱弾性温度変動信号のS/N比を向上させる。そして、特許文献2に開示された装置は、抽出した信号のみを用いて応力変動分布を求めて、構造物の状態を判定する。
国際公開第2016/152075 特開2008-232998号公報
 ところで、特許文献2に開示された装置は、熱弾性効果、即ち、固体に引張応力が作用すれば温度降下が発生し、圧縮応力が作用すれば温度上昇が発生することを利用して、構造物の状態を判定している。熱弾性効果は、構造物の周辺の外気温の影響も受けることから、特許文献2に開示された装置には、判定精度を高く維持することが難しいという問題がある。
 また、構造物に発生した損傷に起因する面内変位は、通常、非常に小さく、実環境では面内変位とノイズとの区別が難しい場合がある。このため、特許文献1に開示された装置では、損傷がノイズに埋もれてしまい、面内変位成分を正確に測定できなくなるという問題が発生する場合がある。この場合、構造物の状態を正確に判定できず、損傷の検出が困難になる。
 これに対して、特許文献2に開示されている自己相関ロックイン方式では、信号のS/N比の向上が図られる。このため、特許文献2に開示されている自己相関ロックイン方式を、特許文献1に開示された装置に適用すれば、面内変位成分を正確に測定できなくなるという問題を解消できるとも考えられる。
 但し、特許文献1に開示された装置で、特許文献2に開示されている自己相関ロックイン方式を利用しようとすると、画像内の任意の部分の変位を参照信号として用いる必要がある。しかし、画像は振動等による外乱変動の影響を受けやすいことから、この方式をそのまま採用しても、参照信号の信頼性が低いため、十分な効果を発揮することが困難である。
 本発明の目的の一例は、上記問題を解消し、画像からの面内変位の測定において、ノイズによる影響を抑制し得る、変位測定装置、変位測定方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
 上記目的を達成するため、本発明の一側面における変位計測装置は、
 対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測する、面全体変位計測部と、
 前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測する、面内変位計測部と、
 前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、参照信号生成部と、
 前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、対応成分抽出部と、
を備えている、
ことを特徴とすることを特徴とする。
 また、上記目的を達成するため、本発明の一側面における変位計測方法は、
(a)対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測する、ステップと、
(b)前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測する、ステップと、
(c)前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
(d)前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、ステップと、
を有する、
ことを特徴とする。
 更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
(a)対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測する、ステップと、
(b)前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測する、ステップと、
(c)前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
(d)前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、ステップと、
を実行させる命令を含むプログラムを記録している、
ことを特徴とする。
 以上のように、本発明によれば、画像からの面内変位の測定において、ノイズによる影響を抑制することができる。
図1は、本発明の実施の形態における変位計測装置の構成を示すブロック図である。 図2は、本発明の実施の形態における変位計測装置の構成をより具体的に示すブロック図である。 図3は、対象物の計測対象領域を撮影した際に、ある点における撮像装置の撮像面上で観測される変位に含まれる成分を説明した図である。 図4は、計測対象領域を撮影した画像上の特定領域で観察される変位(δxij,δyij)の2次元空間分布(以下、変位分布とする)の様子を模擬的に示した図である。 図5(a)~図5(d)は、それぞれ、本発明の実施の形態において対応成分抽出部によって行われる処理を説明するための図である。 図6は、本発明の実施の形態における変位計測装置の動作を示すフロー図である。 図7は、本発明の実施の形態における変位計測装置を実現するコンピュータの一例を示すブロック図である。
(実施の形態)
 以下、本発明の実施の形態における、変位計測装置、変位計測方法、及びプログラムについて、図1~図7を参照しながら説明する。
[装置構成]
 最初に、図1を用いて、本実施の形態における変位計測装置の構成について説明する。図1は、本発明の実施の形態における変位計測装置の構成を示すブロック図である。
 図1に示すように、本実施の形態における変位計測装置10は、対象物の画像から面内変位を測定する装置である。図1に示すように、変位計測装置10は、面全体変位計測部11と、面内変位計測部12と、参照信号生成部13と、対応成分抽出部14とを備えている。
 面全体変位計測部11は、対象物の時系列画像から、対象物の特定表面における面全体変位を計測する。面内変位計測部12は、面全体変位と時系列画像とから、対象物の特定表面における面内変位を計測する。
 参照信号生成部13は、面全体変位と面内変位とから、対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する。対応成分抽出部14は、参照信号と面内変位とを用いて、計測された面内変位から、対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する。
 このように、本実施の形態では、応力変動に合わせて変化する参照信号が生成され、参照信号に基づいて、応力変動に対応して変化する面内変位成分が抽出される。本実施の形態によれば、画像からの面内変位の測定において、ノイズによる影響を抑制することが可能となる。
 続いて、図2~図5を用いて、本実施の形態における変位計測装置10の構成及び機能についてより具体的に示す。図2は、本発明の実施の形態における変位計測装置の構成をより具体的に示すブロック図である。
 図2に示すように、本実施の形態では、変位計測の対象物は、橋梁30である。変位計測装置10は、特に、橋梁30を通過する車両31による加重によって、橋梁30が撓んだときに、橋梁30に設定された計測対象領域における面内変位を計測する。計測対象領域としては、橋梁の桁、床版等が挙げられる。
 また、図2に示すように、変位計測装置10には、撮像装置20が接続されている。撮像装置20は、動画を撮影可能なカメラであり、時系列画像をフレーム毎に出力する。具体的には、撮像装置20は、設定間隔をおいて、撮影を行い、撮影した画像の画像データを連続的に出力する。本実施の形態では、図2に示すように、撮像装置20は、橋梁30の計測対象領域である床版(底面)を撮影できるように、配置されている。
 図2に示すように、本実施の形態では、変位計測装置10は、面全体変位計測部11、面内変位計測部12、参照信号生成部13、及び対応成分抽出部14に加えて、画像データ取得部15と、面内変位出力部16と、記憶部17とを備えている。
 画像データ取得部15は、撮像装置20から画像データが出力されると、出力された画像データを取得し、取得した画像データを、面全体変位計測部11と、面内変位計測部12とに出力する。
 面全体変位計測部11は、本実施の形態では、撮像装置20が出力する時系列画像を取得し、任意の時刻に撮像された画像を基準画像とし、それ以外を処理画像とする。そして、面全体変位計測部11は、基準画像内での計測対象領域に対応する領域(以下「特定領域」と表記する)の各点について、処理画像毎に、処理画像内で対応する位置をそれぞれ探索して、変位を算出する。このようにして算出された処理画像毎の特定領域に対する変位が、変位分布となる。
 具体的には、面全体変位計測部11は、特定領域内のある箇所(座標)に最も類似している処理画像における箇所(座標)を探索して、特定した箇所(座標)の変位を算出する。類似している箇所の特定手法としては、例えば、ある箇所(座標)、およびその周辺の座標の輝度値を用いて、SAD(Sum of Squared Difference)、SSD(Sum of Absolute Difference)、NCC(Normalized Cross-Correlation)、ZNCC(Zero-means Normalized Cross-Correlation)等の類似度相関関数を用いて、最も相関が高い位置(座標)を探索する手法が挙げられる。
 このような算出処理を、特定領域内の各座標に対して繰り返し実施することで、その処理画像における特定領域に対する変位の分布を得ることができる。また同様の処理を、処理画像毎に行うことで、処理画像毎に特定領域に対する変位分布を得ることができる。ここで、計測対象領域の特定の座標を(i,j))とし、算出される変位を(δxij, δyij)と表記することとする。
 続いて、面全体変位計測部11は、算出した変位(δxij,δyij)と、撮影情報とから、計測対象領域の面方向における移動量(Δx、Δy)と法線方向における移動量(Δz)とを算出する。また、面全体変位計測部11は、算出した変位(δxij,δyij)と、移動量(Δx、Δy、Δz)が、面全体変位となる。また、面全体変位計測部11は、算出した変位(δxij,δyij)と、移動量(Δx、Δy、Δz)とを、面全体変位情報として、記憶部17に格納する。撮影情報としては、撮像装置20における固体撮像素子の1画素のサイズ、レンズの焦点距離、撮像装置20から計測対象領域までの撮像距離、撮影フレームレート、等が挙げられる。
 面内変位計測部12は、面全体変位計測部11によって計算された移動量(Δx、Δy、Δz)と時系列画像とから、橋梁30の特定表面における面内変位を計測する。ここで、面内変位については、(δδxij ,δδyij)と表記する。
 続いて、図3及び図4を用いて、面全体変位計測部11及び面内変位計測部12における処理について具体的に説明する。図3は、対象物の計測対象領域を撮影した際に、ある点における撮像装置の撮像面上で観測される変位に含まれる成分を説明した図である。また、図3では、対象物である橋梁30が、通過する車両31によって、負荷を受け、その結果、計測対象領域が3次元方向に移動量(Δx、Δy、Δz)分だけ移動した状態を示している。
 ここで、撮像装置20の撮像面の中心、つまりレンズの光軸と撮像面との交点となる撮像中心にあたる点を原点とした座標系を考える。この座標系において、撮像装置20の撮像面上の座標(i, j)の点Aにおいて観測される変位(δxij,δyij)について考える。なお、撮像装置20の撮像面上の座標(i, j)は、撮影された画像上の座標に置き換えることもできる。
 図3の状態では、橋梁30の計測対象領域には、画面上の水平方向及び垂直方向(X,Y方向)と、法線方向(Z方向)において、移動量(Δx、Δy、Δz)が発生している。計測対象領域は、画面内の水平方向及び垂直方向(X,Y方向)に移動した分(Δx、Δy)だけ、撮像装置20の撮像面に対して平行に移動する。また、法線方向(Z方向)に移動した分(Δz)だけ撮像装置20に近づく。そのため、撮像距離は移動量Δzだけ短くなる。
 これにより、図3に示すように、撮像装置20の撮像面に対して水平方向(X方向)における計測対象領域の移動量Δxによって生じる変位δxとは別に、移動量Δzによる変位δzxijが生じる。同様に、撮像装置20の撮像面には、画面に対して垂直方向(Y方向)における撮像装置20の移動量Δyによって生じる変位δyとは別に、移動量Δzによる変位δzyijも生じる。
 また、橋梁30が負荷を受けたことによって計測対象領域の表面が変形した場合(ΔΔXij,ΔΔYij)、それに伴って撮像装置20の撮像面には、面内変位(δδxij,δδyij)も重ね合わされる。
 ここで、計測対象領域の表面の変形に伴う面内変位(δδxij ,δδyij)は、例えば、ひび割れのような欠陥がない健全な領域では、表面の変位は連続的に変化するのに対し、ひび割れをまたぐ領域では表面の変位は連続的に変化せずに不連続に変化する。このように、欠陥がない健全な領域と何らかの欠陥がある領域とでは、表面の変位の分布が異なるという特徴を示す。
 そして、計測対象領域では、発生する全ての変位が足し合わされて、合成ベクトルとなって観察される。すなわち、点A(i, j)で観測される変位(δxij,δyij)は、後述の図4に示すように、以下の数1及び数2によって表すことができる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 ここで、レンズの主点から計測対象領域までの撮像距離をL、撮像装置20のレンズ焦点距離をf、撮像中心からの座標を(i,j)とすると、対象物30の面方向の移動(Δx, Δy)に伴う変位(δx, δy)、法線方向の移動(Δz)に伴う変位(δzxij,δzyij)は、それぞれ、下記の数3、数4で表される。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
 計測対象領域がすべて同じ3次元の動きをしていると仮定すると、上記の数3及び数4で示される面方向の移動(Δx, Δy)に伴う変位(δx, δy)は、点Aの座標によらず一定であることがわかる。また、法線方向の移動(Δz)に伴う変位(δzxij ,δzyij)は、点Aの座標が原点から離れるほど大きくなることがわかる。一方、計測対象領域の面内変位(δδxij ,δδyij)は、点Aの座標の座標によらず、表面のひび割れなどの欠陥の位置などに応じて連続・不連続な変位の分布を示す。
 図4は、計測対象領域を撮影した画像上の特定領域で観察される変位(δxij,δyij)の2次元空間分布(以下、変位分布とする)の様子を模擬的に示した図である。図4に示すように面全体変位計測部11が算出する特定領域の各座標の変位(δxij,δyij)を変位ベクトルとして表記する。この場合、変位ベクトルは、画面全体で一様な方向及び大きさで観察される面方向の移動(Δx, Δy)に伴う変位(δx, δy)と、画面の撮像中心から放射状のベクトル群として観察される法線方向の移動(Δz)に伴う変位(δzxij ,δzyij)と、計測対象領域の表面の変形に伴う面内変位(δδxij ,δδyij)との合成成分として表される。
 続いて、面方向の移動(Δx,Δy)に伴う変位 (δx, δy)を算出する方法について説明する。図4に示すように、面方向の移動(Δx, Δy)に伴う変位(δx, δy)は、基本的には画面全体で一様な方向及び大きさで観察される。そこで、面全体変位計測部11によって、撮像中心を中心とした特定領域の各座標において算出された変位(δxij,δyij)に、変位の方向によってプラスマイナスを付加し、これを変位ベクトルとする。そして、対象となる各座標における変位ベクトルを全て足し合わせ、平均を算出することにより、面方向の移動(Δx, Δy)に伴う変位(δx,δy)が算出される。
 次に、法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)を算出する方法について述べる。まず、法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)のみが発生する状態を考える。そのベクトルの大きさR(i,j)は、特定領域の移動量Δzが特定領域内で一定であれば、下記の数5に示すように、撮像中心からの距離に比例した値となる。また、下記の数6に示すように比例定数をkと置けば、数5は、数7のようにも表される。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
 一方、実際に、面全体変位計測部11によって最初に算出される変位(δxij,δyij)は、図4に示すように、合成ベクトル(図4:超太実線の矢印)で構成されている。そして、この合成ベクトル(δxij,δyij)は、図4からもわかるとおり、法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)(図3、図4:中実線の矢印)と、面内方向の移動(Δx, Δy)に伴う変位ベクトル(δx, δy)(図3、図4:太実線の矢印)と、計測対象領域の表面の変形及び変位に伴う面内変位(δδxij ,δδyij)(図3、図4:細実線の矢印)とを含んでいる。
 従って、この合成ベクトル(δxij,δyij)から、面内方向の移動(Δx, Δy)に伴う変位ベクトル(δx, δy)を減算して得られたベクトルは、法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)と、面内変位(δδxij ,δδyij)との合成ベクトルに相当する。
 よって、ある座標(i,j)における法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyijj)と面内変位(δδxij ,δδyij)との合成ベクトルをRmes(i ,j)とすると、これらは下記の数8で表すことができる。
Figure JPOXMLDOC01-appb-M000008
 ところで、面内変位(δδxij ,δδyij)は、面内方向の移動(Δx, Δy)に伴う変位ベクトル(δx, δy)及び法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)に比べると、十分に小さいとみなせる。そのため、支配的な成分である面内方向の移動(Δx, Δy)に伴う変位ベクトル(δx, δy)及び法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)に着目すると、上記の数8は、下記の数9のように表すことができる。
Figure JPOXMLDOC01-appb-M000009
 この場合、座標(i, j)におけるRmes(i ,j)は、法線方向の移動(Δz)に伴う変位ベクトル成分(δzxij ,δzyij)とほぼ等しいとして扱うことができる。このとき、法線方向の移動量Δzを与えた時の変位ベクトルは、数6~数8に示すR(i, j)で表される。
 このため、面全体変位計測部11は、数9によって求めた変位ベクトルの大きさRmes(i ,j)を用いて、法線方向の移動(Δz)に伴う変位ベクトル(δzxij ,δzyij)による変位ベクトルの大きさR(i ,j)の拡大・縮小の割合を推定する。具体的には、面全体変位計測部11は、下記の数10に示す評価関数E(k)を最少にする比例定数kを求めることによって、R(i ,j)の倍率を推定する。
Figure JPOXMLDOC01-appb-M000010
 従って、面全体変位計測部11は、上記の数10に最小2乗法を適用して、比例定数kを算出する。また、評価関数E(k)としては、上記の数10に示したRmes(i ,j)とR(i ,j)との差の2乗和以外に、絶対値和、他の累乗和等が用いられていても良い。
 そして、面全体変位計測部11は、算出した比例定数kを、拡大・縮小の割合を示す定数として、上記数7に適用して、移動量Δzを算出する。そして、面全体変位計測部は、算出したΔzと、面方向の移動(Δx, Δy)に伴う変位(δx,δy)と、撮影情報とを、上記数3に適用することによって、移動量Δx及びΔyも算出する。
 また、面全体変位計測部11は、撮像装置20による撮影の毎、即ち、時系列画像のフレーム毎に、計測対象領域の面方向における移動量と、計測対象領域の法線方向における移動量とを算出する。そして、面全体変位計測部11は、時系列画像のフレーム毎に算出した移動量を、面全体変位情報として、記憶部17に格納する。また、この場合、面全体変位情報は、撮影の時間間隔をサンプリング間隔とした時系列信号として扱うことができる。
 面内変位計測部12は、面全体変位計測部11によって算出された計測対象領域の面方向における移動量(Δx, Δy)、及び計測対象領域の法線方向における移動量(Δz)を用いて、最初に算出された変位(変位ベクトル(δxij,δyij)から、計測対象領域の面内変位(δδxij ,δδyij)を算出する。また、面内変位の算出は、時系列画像のフレーム毎に行われている。
 図4によると、面内変位(δδxij ,δδyij)を算出するためには、面内変位計測部12によって算出された変位ベクトル(δxij,δyij)から、計測対象領域の移動量(Δx ,Δy ,Δz)によって発生する変位成分を減算すれば良いことが分かる。つまり、面内変位計測部12は、下記の数11及び数12を用いることによって、面内変位(δδxij ,δδyij)を算出する。
 また、面内変位計測部12は、撮像装置20によって撮影が行われる度に、即ち、時系列に沿って、面内変位(δδxij ,δδyij)を算出する。そして、面内変位計測部12は、時系列画像のフレーム毎に算出した面内変位を、面内変位情報として、記憶部17に格納する。また、この場合、面内変位情報は、撮影の時間間隔をサンプリング間隔とした時系列信号として扱うことができる。なお、本明細書においては、面内変位情報は、「面内変位信号」とも表記する。
Figure JPOXMLDOC01-appb-M000011
Figure JPOXMLDOC01-appb-M000012
 参照信号生成部13は、本実施の形態では、対象物の特定表面上の注目点の特定方向における面内変位から、注目点の特定方向における歪みの時系列変化ε(t)を算出し、算出した歪みの時系列変化ε(t)を示す信号を、参照信号として生成する。
 具体的には、予め、変位計測装置10の操作者等によって、注目点が指定される。図2に示すように、対象物が橋梁30であり、計測対象領域が床版である場合は、床版上の点が注目点として指定される。
 参照信号生成部13は、注目点が指定されると、注目点を取り囲む複数の点(例えば4点)を決定する。ここで、各点で囲まれた領域を「局所領域」とする。次に、参照信号生成部13は、記憶部17から、決定した点それぞれにおける面内変位情報を取得する。
 そして、特定方向についても、注目点と同様に、予め指定されている場合は、参照信号生成部13は、取得した各点の面内変位情報を用いて、局所領域の特定方向における長さの変化率を求め、求めた変化率を歪みの時系列変化ε(t)とする。
 一方、特定方向が予め指定されていない場合は、参照信号生成部13は、取得した各点の面内変位情報を用いて、特異値分解を実施することによって、局所領域の最も変化の大きい方向を特定する。そして、参照信号生成部13は、特定した方向における局所領域の長さの変化率を求め、求めた変化率を歪みの時系列変化ε(t)とする。
 その後、参照信号生成部13は、算出した歪みの時系列変化から得られた参照信号を、参照信号情報として、記憶部17に格納する。
 対応成分抽出部14は、本実施の形態では、いわゆる自己相関ロックイン方式によって、面内変位情報を補正することによって、橋梁30に生じた応力の変動に対応して変化する面内変位成分を抽出する。ここで、図5を用いて、対応成分抽出部14による処理について説明する。図5(a)~図5(d)は、それぞれ、本発明の実施の形態において対応成分抽出部によって行われる処理を説明するための図である。
 具体的には、最初に対応成分抽出部14は、図5(a)に示す面内変位信号(面内変位情報)と参照信号とを取得する。次いで、対応成分抽出部14は、図5(b)に示すように、時系列に沿って、即ち、時系列画像のフレーム毎に、参照信号の値と面内信号の値とを比較する。そして、対応成分抽出部14は、図5(c)に示すように、参照信号と面内変位信号との関係を示す回帰直線を算出する。
 次に、対応成分抽出部14は、図5(d)に示すように、算出した回帰直線を用いて、面内変位信号を補正する。具体的には、対応成分抽出部14は、各時刻の参照信号に対応する当該時刻の面内変位信号を回帰直線から求めて出力する。なお、この時、対応成分抽出部14は、回帰直線の切片を0と見なした値を出力することにより、面内変位に定常的に含まれるオフセット成分を除去することもできる。以上の補正は、対象物の特定表面内の全点について、独立に行われる。
 そして、このような補正により、面内変位情報を構成する各面内変位から、外乱等によるノイズ成分が除去されるので、補正後の面内変位情報は、橋梁30に生じた応力の変動に対応して変化する面内変位成分のみとなる。
 面内変位出力部16は、対応成分抽出部14によって補正された面内変位情報を、外部の端末装置等に出力する。これにより、端末装置等の画面には、補正後の面内変位情報に含まれる面内変位が、時系列にそって表示される。この結果、橋梁30の点検員は、ノイズの影響が抑制された面内変位を観察することができ、正確に、橋梁30の状態を判定することができる。
[装置動作]
 次に、本発明の実施の形態における変位計測装置10の動作について図6を用いて説明する。図6は、本発明の実施の形態における変位計測装置の動作を示すフロー図である。以下の説明においては、適宜図1~図5を参酌する。また、本実施の形態では、変位計測装置を動作させることによって、変位計測方法が実施される。よって、本実施の形態における変位計測方法の説明は、以下の変位計測装置10の動作説明に代える。
 図6に示すように、最初に、画像データ取得部15は、撮像装置20から時系列画像の画像データが出力されると、出力された画像データを取得し、取得した画像データを、フレーム毎に、面全体変位計測部11及び面内変位計測部12に出力する(ステップA1)。
 次に、面全体変位計測部11は、ステップA1によって時系列画像の画像データが出力されてくると、フレーム毎に、対象物である橋梁30の計測対象領域の面全体変位を計測する(ステップA2)。また、面全体変位計測部11は、計測結果を、面全体変位情報として、記憶部17に格納する。
 次に、面内変位計測部12は、ステップA1で出力されてきた時系列画像の画像データと、ステップA2で計測された面全体変位とを用いて、フレーム毎に、対象物である橋梁30の計測対象領域における面内変位を計測する(ステップA3)。また、面内変位計測部12は、計測結果を、面内変位情報として、記憶部17に格納する。
 次に、参照信号生成部13は、ステップA2で計測された面全体変位と、ステップA3で計測された面内変位とから、対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する(ステップA4)。また、参照信号生成部13は、生成した参照信号を、参照信号情報として、記憶部17に格納する。
 次に、対応成分抽出部14は、ステップA4で生成された参照信号を用いて、ステップA3で計測された面内変位から、橋梁30に発生した応力の変動に対応して変化する面内変位成分を抽出する(ステップA5)。具体的には、対応成分抽出部14は、自己相関ロックイン方式によって、面内変位情報を補正し、それによって、橋梁30に発生した応力の変動に対応して変化する面内変位成分を抽出する。
 その後、面内変位出力部16は、ステップA5で抽出された面内変位成分、具体的には、対応成分抽出部14によって補正された面内変位情報を、外部の端末装置等に出力する(ステップA6)。
 ステップA6の実行により、端末装置等の画面には、補正後の面内変位情報に含まれる面内変位が、時系列にそって表示される。また、ステップA1~A6は、変位観測が終了するまで、時系列画像のフレーム毎に繰り返し実行される。
[実施の形態による効果]
 以上のように本実施の形態では、応力変動に合わせて変化する参照信号が生成され、参照信号によって、最初に計測された面内変位の値が補正される。この結果、面内変位から、外乱等によるノイズが除去されるので、補正により、橋梁30に生じた応力の変動に対応して変化する面内変位成分のみとなる。つまり、本実施の形態によれば、画像からの面内変位の測定において、ノイズによる影響を抑制することが可能となる。
[変形例1]
 次に、本発明の実施の形態の変形例1~変形例4について説明する。まず、本変形例1では、面全体変位計測部11が、対象物の特定表面の面内方向、及び対象物に印加される外力の印加方向において、面全体変位を計測することが条件となる。なお、上述した実施の形態では、対象物が橋梁30であり、外力の印加方向が法線方向であるので、上記条件は満たされている。
 そして、本変形例1においては、参照信号生成部13は、外力印加方向における面全体変位の時系列変化D(t)を算出し、算出した面全体変位の時系列変化を示す信号を、参照信号として生成する。具体的には、参照信号生成部13は、面全体変位情報から、面全体変位計測部11によって計測された、法線方向における移動量(Δz)の時系列変化を特定し、この特定した移動量(Δz)の時系列変化D(t)を参照信号とする。
 本変形例1によれば、上述した実施の形態と異なり、注目点の指定、更には、特定方向の指定が必要ないため、橋梁30の点検員における負担が軽減される。なお、本変形例1は、撮像装置20が、外力の影響を受けにくいところに十分に固定されており、且つ、外力による応力変動と外力の印加方向における面全体変位とが連動している、場合に有用である。
[変形例2]
 本変形例2では、参照信号生成部13は、まず、面内変位を用いて、対象物の特定表面における局所歪みを算出し、更に、局所歪みを特定表面全体について積算して、対象物の特定表面全体における歪みの時系列変化を算出する。そして、参照信号生成部13は、算出した歪みの時系列変化を示す信号を、参照信号として生成する。
 具体的には、参照信号生成部13は、画像データのフレーム毎に、計測対象領域の座標(i,j)での局所的な変形状態から局所歪みε(t,i,j)を求めるため、まず、座標(i,j)を取り囲む複数の点(例えば4点)を決定する。ここでの各点で囲まれた領域も「局所領域」とする。
 次いで、参照信号生成部13は、記憶部17から、決定した点それぞれにおける面内変位情報を取得し、取得した各点の面内変位情報を用いて、特異値分解を実施することによって、局所領域の最も変化の大きい方向を特定する。そして、参照信号生成部13は、特定した方向における局所領域の長さの変化率を求め、求めた変化率を局所歪みs(t,i,j)とする。
 続いて、参照信号生成部13は、局所歪みs(t,i,j)を、計測対象領域全体に亘って積算して、計測対象領域の全体にわたる歪み量S(t)を算出し、算出した歪み量S(t)を参照信号とする。本変形例2では、参照信号は、局所歪みから求められるため、本変形例2は、撮像装置20の固定が不十分な場合、外力による応力変動と外力の印加方向における面全体変位との連動性が低い場合にも有用である。
[変形例3]
 本変形例3でも、変形例2と同様に、参照信号生成部13は、座標(i,j)を取り囲む複数の点(例えば4点)を決定し、記憶部17から、決定した点それぞれにおける面内変位情報を取得する。但し、本変形例3では、変形例2と異なり、参照信号生成部13は、取得した各点の面内変位情報を用いて、局所領域における局所変形を示す特異値σ1、σ2(σ1≧σ2)、及び特異ベクトルv1を求める。なお、ここでの特異ベクトルv1は、特異値σ1に対応する左特異ベクトルとするが、本変形例3では、それ以外の特異ベクトルが選ばれるように決められていても良い。
 次いで、参照信号生成部13は、数13を用いて、局所領域での局所的な開口方向及び大きさを表す局所開口ベクトルvop(t,i,j)を算出する。
Figure JPOXMLDOC01-appb-M000013
 次に、参照信号生成部13は、算出した局所開口ベクトルの主成分分析を行って、第1主成分を特定する。具体的には、参照信号生成部13は、時刻tにおけるvop(t,i,j)による点群の分布を入力として、点群の最大の広がり方向を、主成分分析により導出する。更に、参照信号生成部13は、主成分分析により得られた第1主成分軸の標準偏差をS(t)とし、これを参照信号とする。本変形例3では、主成分分析を用いることにより、面内変位に含まれるノイズに対して、より頑健な参照信号を得ることができる。
[変形例4]
 本変形例4では、変形例2と同様に、参照信号生成部13は、まず、座標(i,j)毎に局所歪みs(t,i,j)を算出する。また、参照信号生成部13は、変形例1と同様に、外力印加方向における面全体変位の時系列変化D(t)も算出する。続いて、参照信号生成部13は、座標(i,j)毎に、局所歪みs(t,i,j)と時系列変化D(t)との回帰係数w(i,j)を算出する。
 続いて、参照信号生成部13は、変形例3と同様に、上記数1を用いて、局所領域での局所的な開口方向及び大きさを表す局所開口ベクトルvop(t,i,j)を算出する。
 次に、参照信号生成部13は、局所開口ベクトルvop(t,i,j)それぞれに、重みとして、回帰係数w(i,j)を乗算する。次に、参照信号生成部13は、局所開口ベクトルvop(t,i,j)それぞれに、重みとして回帰係数w(i,j)を乗算する。更に、参照信号生成部13は、時刻tにおける重み乗算後の局所開口ベクトルvop(t,i,j)に対して、変形例3と同様の主成分分析を行う。主成分分析により得られた第1主成分軸の標準偏差をS(t)とし、これを参照信号とする。本変形例4では、外力と連動度の低い点において、局所開口ベクトルの主成分分析への寄与度を下げることにより、面内変位に含まれるノイズに対してより頑健な参照信号を得ることができる。
[プログラム]
 本実施の形態におけるプログラムは、コンピュータに、図6に示すステップA1~A6を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における変位計測装置10と変位計測方法とを実現することができる。この場合、コンピュータのプロセッサは、面全体変位計測部11、面内変位計測部12、参照信号生成部13、対応成分抽出部14、画像データ取得部15、及び面内変位出力部16として機能し、処理を行なう。
 また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、面全体変位計測部11、面内変位計測部12、参照信号生成部13、対応成分抽出部14、画像データ取得部15、及び面内変位出力部16のいずれかとして機能しても良い。
(物理構成)
 ここで、本実施の形態におけるプログラムを実行することによって、変位計測装置10を実現するコンピュータについて図7を用いて説明する。図7は、本発明の実施の形態における変位計測装置を実現するコンピュータの一例を示すブロック図である。
 図7に示すように、コンピュータ110は、CPU(Central Processing Unit)111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。また、コンピュータ110は、CPU111に加えて、又はCPU111に代えて、GPU(Graphics Processing Unit)、又はFPGA(Field-Programmable Gate Array)を備えていても良い。
 CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
 また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
 データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
 また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記録媒体、又はCD-ROM(Compact Disk Read Only Memory)などの光学記録媒体が挙げられる。
 なお、本実施の形態における変位計測装置10は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、変位計測装置10は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
 上述した実施の形態の一部又は全部は、以下に記載する(付記1)~(付記12)によって表現することができるが、以下の記載に限定されるものではない。
(付記1)
 対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測する、面全体変位計測部と、
 前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測する、面内変位計測部と、
 前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、参照信号生成部と、
 前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、対応成分抽出部と、
を備えている、
ことを特徴とする変位計測装置。
(付記2)
付記1に記載の変位計測装置であって、
 前記参照信号生成部が、前記特定表面上の注目点の特定方向における前記面内変位から、前記注目点の前記特定方向における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とする変位計測装置。
(付記3)
付記1に記載の変位計測装置であって、
 前記面全体変位計測部が、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、前記面全体変位を計測しており、
 前記参照信号生成部が、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とする変位計測装置。
(付記4)
付記1に記載の変位計測装置であって、
 前記参照信号生成部が、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とする変位計測装置。
(付記5)
(a)対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測する、ステップと、
(b)前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測する、ステップと、
(c)前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
(d)前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、ステップと、
を有する、
ことを特徴とする変位計測方法。
(付記6)
付記5に記載の変位計測方法であって、
 前記(c)のステップにおいて、前記特定表面上の注目点の特定方向における前記面内変位から、前記注目点の前記特定方向における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とする変位計測方法。
(付記7)
付記5に記載の変位計測方法であって、
 前記(a)のステップにおいてが、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、前記面全体変位を計測しており、
 前記(c)のステップにおいて、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とする変位計測方法。
(付記8)
付記5に記載の変位計測方法であって、
 前記(c)のステップにおいて、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とする変位計測方法。
(付記9)
コンピュータに、
(a)対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測する、ステップと、
(b)前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測する、ステップと、
(c)前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
(d)前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、ステップと、
を実行させる命令を含むプログラムを記録している、コンピュータ読み取り可能な記録媒体。
(付記10)
付記9に記載のコンピュータ読み取り可能な記録媒体であって、
 前記(c)のステップにおいて、前記特定表面上の注目点の特定方向における前記面内変位から、前記注目点の前記特定方向における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
(付記11)
付記9に記載のコンピュータ読み取り可能な記録媒体であって、
 前記(a)のステップにおいてが、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、前記面全体変位を計測しており、
 前記(c)のステップにおいて、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
(付記12)
付記9に記載のコンピュータ読み取り可能な記録媒体であって、
 前記(c)のステップにおいて、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
 以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 以上のように、本発明によれば、画像からの面内変位の測定において、ノイズによる影響を抑制することができる。本発明は、橋梁などの構造物の状態を画像から判定するシステムに有用である。
 10 変位計測装置
 11 面全体変位計測部
 12 面内変位計測部
 13 参照信号生成部
 14 対応成分抽出部
 15 画像データ取得部
 16 面内変位出力部
 17 記憶部
 20 撮像装置
 30 橋梁
 110 コンピュータ
 111 CPU
 112 メインメモリ
 113 記憶装置
 114 入力インターフェイス
 115 表示コントローラ
 116 データリーダ/ライタ
 117 通信インターフェイス
 118 入力機器
 119 ディスプレイ装置
 120 記録媒体
 121 バス

Claims (12)

  1.  対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測する、面全体変位計測手段と、
     前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測する、面内変位計測手段と、
     前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、参照信号生成手段と、
     前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、対応成分抽出手段と、
    を備えている、
    ことを特徴とする変位計測装置。
  2. 請求項1に記載の変位計測装置であって、
     前記参照信号生成手段が、前記特定表面上の注目点の特定方向における前記面内変位から、前記注目点の前記特定方向における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
    ことを特徴とする変位計測装置。
  3. 請求項1に記載の変位計測装置であって、
     前記面全体変位計測手段が、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、前記面全体変位を計測しており、
     前記参照信号生成手段が、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、前記参照信号として生成する、
    ことを特徴とする変位計測装置。
  4. 請求項1に記載の変位計測装置であって、
     前記参照信号生成手段が、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
    ことを特徴とする変位計測装置。
  5. (a)対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測し、
    (b)前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測し、
    (c)前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成し、
    (d)前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、
    ことを特徴とする変位計測方法。
  6. 請求項5に記載の変位計測方法であって、
     前記(c)において、前記特定表面上の注目点の特定方向における前記面内変位から、前記注目点の前記特定方向における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
    ことを特徴とする変位計測方法。
  7. 請求項5に記載の変位計測方法であって、
     前記(a)においてが、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、前記面全体変位を計測しており、
     前記(c)において、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、前記参照信号として生成する、
    ことを特徴とする変位計測方法。
  8. 請求項5に記載の変位計測方法であって、
     前記(c)において、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
    ことを特徴とする変位計測方法。
  9. コンピュータに、
    (a)対象物の時系列画像から、前記対象物の特定表面における面全体変位を計測する、ステップと、
    (b)前記面全体変位と前記時系列画像とから、前記対象物の特定表面における面内変位を計測する、ステップと、
    (c)前記面全体変位と前記面内変位とから、前記対象物の特定表面に発生する応力に合わせてレベルが変化する、参照信号を生成する、ステップと、
    (d)前記参照信号と前記面内変位とを用いて、前記面内変位から、前記対象物の特定表面に発生する応力の変動に対応して変化する面内変位成分を抽出する、ステップと、
    を実行させる命令を含むプログラムを記録している、コンピュータ読み取り可能な記録媒体。
  10. 請求項9に記載のコンピュータ読み取り可能な記録媒体であって、
     前記(c)のステップにおいて、前記特定表面上の注目点の特定方向における前記面内変位から、前記注目点の前記特定方向における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  11. 請求項9に記載のコンピュータ読み取り可能な記録媒体であって、
     前記(a)のステップにおいてが、前記対象物の特定表面の面内方向、及び前記対象物に印加される外力の印加方向において、前記面全体変位を計測しており、
     前記(c)のステップにおいて、前記印加方向における前記面全体変位の時系列変化を算出し、算出した前記面全体変位の時系列変化を示す信号を、前記参照信号として生成する、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  12. 請求項9に記載のコンピュータ読み取り可能な記録媒体であって、
     前記(c)のステップにおいて、前記面内変位を用いて、前記対象物の特定表面における局所歪みを算出し、更に、前記局所歪みを前記特定表面全体について積算して、前記対象物の特定表面全体における歪みの時系列変化を算出し、算出した前記歪みの時系列変化を示す信号を、前記参照信号として生成する、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
PCT/JP2019/023982 2019-06-17 2019-06-17 変位測定装置、変位測定方法、コンピュータ読み取り可能な記録媒体 WO2020255231A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2019/023982 WO2020255231A1 (ja) 2019-06-17 2019-06-17 変位測定装置、変位測定方法、コンピュータ読み取り可能な記録媒体
JP2021528081A JP7156529B2 (ja) 2019-06-17 2019-06-17 変位測定装置、変位測定方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/023982 WO2020255231A1 (ja) 2019-06-17 2019-06-17 変位測定装置、変位測定方法、コンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
WO2020255231A1 true WO2020255231A1 (ja) 2020-12-24

Family

ID=74036993

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/023982 WO2020255231A1 (ja) 2019-06-17 2019-06-17 変位測定装置、変位測定方法、コンピュータ読み取り可能な記録媒体

Country Status (2)

Country Link
JP (1) JP7156529B2 (ja)
WO (1) WO2020255231A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024030827A3 (en) * 2022-08-02 2024-04-04 The Regents Of The University Of California Systems and methods of non-contact force sensing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008232998A (ja) * 2007-03-23 2008-10-02 Osaka Univ 構造物の応力変動分布の測定方法およびその測定装置、ならびに構造物の欠陥検出方法および構造物の危険性把握方法
WO2019054419A1 (ja) * 2017-09-12 2019-03-21 日本電気株式会社 状態判定装置、状態判定方法、及びコンピュータ読み取り可能な記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4591996A (en) 1981-05-18 1986-05-27 Vachon Reginald I Apparatus and method for determining stress and strain in pipes, pressure vessels, structural members and other deformable bodies

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008232998A (ja) * 2007-03-23 2008-10-02 Osaka Univ 構造物の応力変動分布の測定方法およびその測定装置、ならびに構造物の欠陥検出方法および構造物の危険性把握方法
WO2019054419A1 (ja) * 2017-09-12 2019-03-21 日本電気株式会社 状態判定装置、状態判定方法、及びコンピュータ読み取り可能な記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAKAGAMI, TAKAHIDE ET AL.: "Development of a Self-reference Lock-in Thermography for Remote Nondestructive Testing of Fatigue Crack (1st Report, Fundamental Study Using Welded Steel Samples", TRANSACTIONS OF THE JAPAN SOCIETY OF MECHANICAL ENAINEERS SERIES A., vol. 72, no. no. 724, December 2006 (2006-12-01), pages 50 - 57, XP055773678 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024030827A3 (en) * 2022-08-02 2024-04-04 The Regents Of The University Of California Systems and methods of non-contact force sensing

Also Published As

Publication number Publication date
JP7156529B2 (ja) 2022-10-19
JPWO2020255231A1 (ja) 2020-12-24

Similar Documents

Publication Publication Date Title
Feng et al. Computer vision for SHM of civil infrastructure: From dynamic response measurement to damage detection–A review
JP6954368B2 (ja) 変位成分検出装置、変位成分検出方法、及びプログラム
WO2016152076A1 (ja) 構造物の状態判定装置と状態判定システムおよび状態判定方法
WO2016152075A1 (ja) 構造物の状態判定装置と状態判定システムおよび状態判定方法
JP6813025B2 (ja) 状態判定装置、状態判定方法、及びプログラム
Curt et al. An algorithm for structural health monitoring by digital image correlation: Proof of concept and case study
Havaran et al. Markers tracking and extracting structural vibration utilizing Randomized Hough transform
JP7238984B2 (ja) 振動計測装置、振動計測方法、及びプログラム
WO2020255231A1 (ja) 変位測定装置、変位測定方法、コンピュータ読み取り可能な記録媒体
US11768102B2 (en) Vibration measurement system, vibration measurement apparatus, vibration measurement method, and computer-readable recording medium
US11846498B2 (en) Displacement amount measuring device, displacement amount measuring method, and recording medium
JP6996569B2 (ja) 計測システム、補正処理装置、補正処理方法、及びプログラム
CN110532725B (zh) 基于数字图像的工程结构力学参数识别方法及系统
JP6838660B2 (ja) 状態判定装置、状態判定方法、及びプログラム
JP7287463B2 (ja) データ符号化装置、データ通信システム、データ通信方法、及びプログラム
JP6954452B2 (ja) 振動計測システム、振動計測装置、振動計測方法、及びプログラム
JP6954382B2 (ja) 振動信頼度算出装置、振動信頼度算出方法、及びプログラム
Cantatore et al. Hyperbolic tangent algorithm for periodic effect cancellation in sub-pixel resolution edge displacement measurement
JPWO2016142965A1 (ja) 映像処理装置、映像処理方法及び映像処理プログラムを記憶する記録媒体
Liu et al. A deep learning-based method for structural modal analysis using computer vision
WO2020255230A1 (ja) 負荷検知装置、負荷検知方法、及びコンピュータ読み取り可能な記録媒体
Dowling Three Dimensional Digital Image Correlation for Dynamic Measurements
Li et al. Super-sensitivity full-field measurement of structural vibration with an adaptive incoherent optical method
Rodriguez et al. Analysis of Deformation Processes using Block-matching Techniques.
JP2023031999A (ja) 画像処理装置、画像処理システム、画像処理方法、および、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19933264

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021528081

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19933264

Country of ref document: EP

Kind code of ref document: A1