WO2019186984A1 - 振動計測システム、振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

振動計測システム、振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2019186984A1
WO2019186984A1 PCT/JP2018/013506 JP2018013506W WO2019186984A1 WO 2019186984 A1 WO2019186984 A1 WO 2019186984A1 JP 2018013506 W JP2018013506 W JP 2018013506W WO 2019186984 A1 WO2019186984 A1 WO 2019186984A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
measurement target
target surface
image
imaging device
Prior art date
Application number
PCT/JP2018/013506
Other languages
English (en)
French (fr)
Inventor
中野　学
太田　雅彦
遊哉 石井
一仁 村田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2018/013506 priority Critical patent/WO2019186984A1/ja
Priority to US17/042,556 priority patent/US11768102B2/en
Priority to JP2020508780A priority patent/JP6954451B2/ja
Publication of WO2019186984A1 publication Critical patent/WO2019186984A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present invention relates to a vibration measurement system, a vibration measurement device, and a vibration measurement method for measuring vibrations of a structure such as an infrastructure structure using image processing, and further records a program for realizing these.
  • the present invention relates to a computer-readable recording medium.
  • Patent Document 1 discloses a vibration measuring device using an imaging device.
  • the vibration measuring device disclosed in Patent Document 1 acquires a time-series image of an object from an imaging device, performs image processing on the acquired time-series image, and measures the vibration of the object.
  • Patent Document 2 discloses a vibration measuring device provided with a distance measuring device such as a laser distance meter or an ultrasonic distance meter in addition to the imaging device. According to the vibration measuring device disclosed in Patent Document 2, not only the vibration component in the two-dimensional direction in the image but also the vibration component in the optical axis direction of the imaging device can be measured by the distance measuring device. The vibration of the object can be measured.
  • the imaging device and the imaging target surface are opposed to each other, and the imaging surface and the imaging target surface of the imaging device are parallel to each other.
  • the operator can accurately determine the imaging device. It is extremely difficult to make the imaging surface and the imaging target surface face each other.
  • Patent Document 3 proposes a method for accurately measuring the vibration of the object without causing the imaging device and the measurement target surface to face each other.
  • a plurality of markers provided with a repeating pattern that changes in the vertical direction are attached in advance to a surface measurement or the like of an infrastructure structure to be measured.
  • the amount of change in the repetitive pattern at each marker is calculated from the captured moving image data, and further, the amount of correction for the vibration of the object is calculated from the calculated amount of change in each marker.
  • it is considered that the accuracy of vibration measurement can be improved even when the imaging surface of the imaging device and the imaging target surface are not parallel.
  • Patent Document 3 In order to implement the technique disclosed in Patent Document 3, it is necessary to attach a plurality of markers to the infrastructure structure that is the object. And, since it is necessary to manually attach the marker, and further, there is a danger in installation, the implementation of the method disclosed in Patent Document 3 requires a large amount of human cost, time cost, and It costs money.
  • An example of the object of the present invention is to solve the above-mentioned problems and to perform vibration measurement with high accuracy without requiring manual work, vibration measurement system, vibration measurement device, vibration measurement method, and computer-readable Is to provide a simple recording medium.
  • a vibration measurement system is a system for measuring vibration of a structure, An optical device that projects pattern light onto a measurement target surface of the structure; An imaging device that images the measurement target surface; A vibration measuring device, The vibration measuring device is A detection unit that acquires an image of the measurement target surface onto which the pattern light is projected as a pattern image from the imaging device, and detects the projected pattern light from the pattern image; An estimation unit that estimates an angle between a normal of an imaging surface of the imaging device and a normal of the measurement target surface based on the detected pattern light; Using the estimated angle, an image obtained by photographing with the imaging device is converted into an image obtained when the normal of the measurement target surface matches the normal of the imaging surface of the imaging device. , An image converter, Using the converted image, a vibration measurement unit that measures the vibration of the structure; With It is characterized by that.
  • a vibration measuring device is a device for measuring vibration of a structure
  • An image of the measurement target surface on which pattern light is projected by an optical device is acquired as a pattern image from an imaging device that captures the measurement target surface of the structure, and the projected pattern light is detected from the pattern image.
  • the detection unit An estimation unit that estimates an angle between a normal of an imaging surface of the imaging device and a normal of the measurement target surface based on the detected pattern light; Using the estimated angle, an image obtained by photographing with the imaging device is converted into an image obtained when the normal of the measurement target surface matches the normal of the imaging surface of the imaging device.
  • An image converter Using the converted image, a vibration measurement unit that measures the vibration of the structure; With It is characterized by that.
  • a vibration measuring method is a method for measuring vibration of a structure, (A) projecting pattern light onto a measurement target surface of the structure by an optical device; and (B) photographing the measurement target surface with an imaging device; (C) acquiring an image of the measurement target surface onto which the pattern light is projected as a pattern image from the imaging device, and detecting the projected pattern light from the pattern image; (D) estimating an angle between the normal of the imaging surface of the imaging device and the normal of the measurement target surface based on the detected pattern light; (E) An image obtained when the normal of the measurement target surface and the normal of the imaging surface of the imaging device match an image obtained by photographing with the imaging device using the estimated angle Convert to steps, and (F) measuring vibration of the structure using the transformed image; and Having It is characterized by that.
  • a computer-readable recording medium is a computer-readable recording medium recording a program for measuring vibration of a structure by a computer
  • the computer (A) An image of the measurement target surface onto which the pattern light is projected by an optical device is acquired as a pattern image from an imaging device that captures the measurement target surface of the structure, and the projected pattern light from the pattern image Detect, step, and (B) based on the detected pattern light, estimating an angle between the normal of the imaging surface of the imaging device and the normal of the measurement target surface; (C) An image obtained when the normal of the measurement target surface and the normal of the imaging surface of the imaging device match an image obtained by photographing with the imaging device using the estimated angle Convert to steps, and (D) measuring vibration of the structure using the converted image; and Records a program that includes instructions to execute It is characterized by that.
  • FIG. 1 is a block diagram showing a schematic configuration of a vibration measurement system and a vibration measurement device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram more specifically showing the configuration of the vibration measuring apparatus according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of a pattern image used in the embodiment of the present invention.
  • FIG. 4 is an explanatory diagram for explaining an angle estimation process performed in the embodiment of the present invention.
  • FIG. 5 is a flowchart showing the operation during the angle and distance estimation processing of the vibration measuring apparatus according to the embodiment of the present invention.
  • FIG. 6 is a flowchart showing an operation during vibration measurement processing of the vibration measuring apparatus according to the embodiment of the present invention.
  • FIG. 7 is a block diagram illustrating an example of a computer that implements the vibration measuring apparatus according to the embodiment of the present invention.
  • FIG. 1 is a block diagram showing a schematic configuration of a vibration measurement system and a vibration measurement device according to an embodiment of the present invention.
  • Examples of the structure 40 include infrastructure structures such as bridges, roads, buildings, and facilities.
  • the vibration measurement system 100 includes an optical device 10, an imaging device 20, and a vibration measurement device 30.
  • the optical device 10 is a device that projects pattern light onto the measurement target surface of the structure 40.
  • the imaging device 20 is a device for photographing a measurement target surface.
  • the vibration measuring device 30 is a device for measuring the vibration of the structure.
  • the vibration measurement device 30 includes a detection unit 31, an estimation unit 32, an image conversion unit 33, and a vibration measurement unit 34.
  • the detecting unit 31 acquires an image of the measurement target surface onto which the pattern light is projected as a pattern image from the imaging device 20, and detects the projected pattern light from the pattern image.
  • the estimation unit 32 estimates the angle between the normal of the imaging surface of the imaging device 20 and the normal of the measurement target surface based on the detected pattern light.
  • the image conversion unit 33 obtains an image obtained by photographing with the imaging device 20 using the estimated angle when the normal of the measurement target surface matches the normal of the imaging surface of the imaging device 20. Convert to image.
  • the vibration measuring unit 34 measures the vibration of the structure using the converted image.
  • the angle between the imaging surface of the imaging device 20 and the measurement target surface is estimated, and the image of the measurement target surface is converted using this angle. Therefore, in the present embodiment, even when the imaging device 20 is not directly facing the measurement target surface, it is possible to perform highly accurate vibration measurement without requiring manual work.
  • FIG. 2 is a block diagram more specifically showing the configuration of the vibration measuring apparatus according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of a pattern image used in the embodiment of the present invention.
  • FIG. 4 is an explanatory diagram for explaining an angle estimation process performed in the embodiment of the present invention.
  • the measurement target surface is set to an area (floor) on the lower surface of the bridge.
  • the optical device 10 and the imaging device 20 are installed toward the area of the lower surface of the bridge.
  • a laser irradiation device is used as the optical device 10.
  • the optical apparatus 10 which is a laser irradiation apparatus projects the condensing spot by a several laser beam on a measurement object surface as pattern light.
  • a digital camera is used as the imaging device 20.
  • the imaging device 20 continuously outputs image data of the measurement target surface at set intervals. Image data output by the imaging device 20 is input to the vibration measuring device 30.
  • the vibration measurement device 30 includes a data storage unit 35 in addition to the detection unit 31, the estimation unit 32, the image conversion unit 33, and the vibration measurement unit 34 described above. It has.
  • the data storage unit 35 stores an angle and a distance estimated by the estimation unit 32, which will be described later.
  • the detection unit 31 acquires an image (pattern image 21) obtained by the capturing.
  • the pattern image 21 includes a plurality of focused spots 22.
  • the detection unit 31 detects the condensing spot 22 from the pattern image 21 based on a preset feature amount of the condensing spot 22, and the position coordinates (X, Y) of each detected condensing spot 22 ).
  • the X axis indicates the horizontal direction on the imaging surface
  • the Y axis indicates the vertical direction on the imaging surface
  • the Z axis indicates the normal direction on the imaging surface.
  • the estimation unit 32 estimates the angle ⁇ between the normal of the imaging surface of the imaging device 20 and the normal of the measurement target surface based on the detected condensing spot 22, and further, the imaging device The distance d from the 20 imaging surfaces to the measurement target surface is also estimated. Further, the estimated angle ⁇ and distance are stored in the data storage unit 35.
  • the estimation unit 32 sets, for each focused spot 22, an expression indicating the relationship between the position coordinates of each focused spot, the center position coordinates of the laser light, and the normal line of the measurement target surface. And the estimation part 32 estimates the distance d and angle (theta) using each formula set for every condensing spot.
  • the estimation process of the angle ⁇ and the distance d will be described in more detail with reference to FIG.
  • the origin O of the three-dimensional coordinates is set at the center of the imaging device 20.
  • “i” indicates the identification number of the laser light emitted from the optical device 10.
  • Each laser beam forming the condensed spot 22 is irradiated from the laser center X i , travels along the direction l i , and intersects the observation plane ⁇ at a point (intersection) p i .
  • the observation plane ⁇ corresponds to the measurement target surface and is located at a distance d away from the imaging device 20. Further, the normal line n of the observation plane ⁇ is inclined at an angle ⁇ with respect to the normal line (camera optical axis) of the imaging surface of the imaging device 20. Further, the intersection p i is projected as a point m i on the image.
  • the estimation unit 32 estimates t, p i , d, n, and ⁇ shown in FIG.
  • n and d are a function represented by n and d by the above equation 3, it is necessary to obtain n and d.
  • the camera parameters inside the imaging device 20 are a 3 ⁇ 3 matrix K and the number of laser beams forming the condensing spot 22 is N, the following equation 4 is minimized. And d may be obtained.
  • unknowns and n x and n y is the component of the normal n, is three and the distance d, also, a set of ⁇ m i, p i ⁇ from two constraints generated . Therefore, if there are at least two laser beams, the initial value can be estimated by linearization. Therefore, if the reprojection error is minimized by the Newton method or the like, the normal n and the distance d can be obtained.
  • the estimation unit 32 performs the inverse cosine.
  • the angle ⁇ can be obtained from the function (arccos).
  • the image conversion unit 33 acquires the image data.
  • the image conversion unit 33 uses the estimated angle ⁇ to obtain an image of the acquired image data when the normal n of the measurement target surface matches the normal of the imaging surface of the imaging device. Convert to Furthermore, in this embodiment, the image conversion unit 33 also uses the estimated distance d and adjusts the size of the converted image.
  • the image conversion unit 33 since the imaging device 20 outputs image data continuously along the time series, the image conversion unit 33 also executes image conversion continuously along the time series.
  • the image conversion unit 33 first calculates the mapping transformation matrix H using the estimated angle ⁇ and the normal n, and then uses the calculated mapping transformation matrix H for vibration measurement. Convert images taken to.
  • the mapping transformation matrix H is calculated using, for example, the following formulas 5 and 6. Furthermore, as the mapping transformation matrix H, H or H ′ described on page 100 of the following reference can be used. (Reference) Xugang, "3D CG from photographs" (Modern Sciences, 2001)
  • X is a coordinate in the coordinate system of the imaging apparatus 20 at an arbitrary point A on the measurement target surface.
  • X ′ is the coordinates of the point A in the coordinate system of the imaging apparatus (hereinafter referred to as “virtual imaging apparatus”) assumed to have captured the converted image.
  • R is a rotation matrix between the imaging device 20 and the virtual imaging device, and t is a translation vector.
  • the virtual imaging device is indicated by a broken line.
  • the vibration measuring unit 34 first calculates the displacement in the surface direction of the measurement target surface from the image converted by the image converting unit 33 (hereinafter referred to as “converted image”). Next, the vibration measurement unit 34 calculates the displacement in the normal direction of the measurement target surface from the converted image and the displacement in the surface direction. Thereafter, the vibration measurement unit 34 calculates the vibration of the structure 40 from the displacement in the surface direction and the displacement in the normal direction.
  • the processing by the vibration measuring unit 34 will be specifically described below, assuming that the horizontal direction in the converted image is X ′, the vertical direction is Y ′, and the normal direction in the converted image is Z ′.
  • the vibration measurement unit 34 uses a converted image at an arbitrary time as a reference image and the other images as processed images. Then, the vibration measurement unit 34 searches for a specific region (hereinafter referred to as “specific region”) including a region of interest on the reference image, that is, a measurement target region in the image, for each processed image, and the surface direction
  • the displacement (d1x ′, d1y ′) at is calculated.
  • the vibration measuring unit 34 calculates the displacement d1z ′ in the normal direction of the specific region, and expands and contracts the reference image at a predetermined magnification to express an image group (hereinafter referred to as “reference image group”). ). At this time, the vibration measuring unit 34 sets the center position of the enlarged image and the reduced image of the reference image based on the displacement (d1x ′, d1y ′) in the plane direction calculated previously, and creates a reference image group. .
  • the vibration measuring unit 34 collates the enlarged image and the reduced image for each processed image, and specifies the enlarged image or the reduced image having the highest matching degree. For example, an image having a high matching degree is identified by similarity correlation such as SAD (Sum of Absolute Difference), SSD (Sum of Squared Difference), NCC (Normalized Cross-Correlation), ZNCC (Zero-mean Normalized Cross-Correlation). This can be done using a function. Then, the vibration measuring unit 34 identifies an image having the highest similarity among images constituting the reference image group, that is, an image having a high correlation, and an enlargement rate or reduction rate (hereinafter referred to as “magnification”) of the specified image. (Denoted) is calculated as an amount (d1z ′) indicating the displacement in the normal direction of the specific region.
  • magnification an image having the highest similarity among images constituting the reference image group, that is, an image having a high correlation, and an enlargement rate or reduction rate (hereinafter
  • the displacement finally obtained in a certain processed image is represented by displacement (dnx ′, dny ′) and magnification (dnz ′) which is an amount indicating displacement in the normal direction. Since the result of calculating the displacement in the same manner for the time series image can be treated as a time-varying value, the displacement (dnx ′ (t), dny ′ (t)) and the magnification (dnz ′ (t)) Is written.
  • the vibration measuring unit 34 calculates vibration in the surface direction of the measurement target region on the structure 40 based on the displacement in the surface direction of the specific region and the imaging information of the imaging device 20. Subsequently, the vibration measurement unit 34 calculates the vibration in the normal direction of the measurement target surface based on the displacement in the normal direction of the specific region and the distance d ′ from the imaging device 20 to the structure 40.
  • the vibration measurement unit 34 has the length (Dx, Dy) [mm / mm] of the image sensor of the imaging device 20 in each of the X ′ direction and the Y ′ direction. pixel] is used to calculate movement amounts ( ⁇ x ′, ⁇ y ′) [mm] in the X direction and Y direction, respectively.
  • the displacement in the normal direction of the specific area is calculated as a magnification. Therefore, the vibration measuring unit 34 uses the distance L [mm] from the principal point of the image sensor to the specific area as shown in the following formula 11, and the amount of movement ⁇ z ′ in the Z ′ direction (normal direction). [Mm] is calculated.
  • each movement amount obtained for each time-series image represents a measurement target surface with the reciprocal of the shooting frame rate as a sampling interval. Therefore, each movement amount obtained for each time-series image calculated by the vibration measurement unit 34 is handled as vibration information (vibration waveform) of the measurement target region in each of the X ′ direction, the Y ′ direction, and the Z ′ direction. be able to.
  • FIGS. 1 to 4 are referred to as appropriate.
  • the vibration measurement method is implemented by operating the vibration measurement system 100. Therefore, the description of the vibration measurement method in the present embodiment is replaced with the following description of the operation of the vibration measurement system 100.
  • FIG. 5 is a flowchart showing the operation during the angle and distance estimation processing of the vibration measuring apparatus according to the embodiment of the present invention.
  • the vibration measuring device 30 instructs the optical device 10 to irradiate pattern light (step A1). Thereby, the pattern light is projected onto the measurement target surface of the structure 40.
  • the vibration measuring device 30 instructs the imaging device 20 to take a picture (step A2).
  • the imaging device 20 images the measurement target surface on which the pattern light is projected, and outputs an image (pattern image) obtained by the imaging to the vibration measurement device 30.
  • the detection unit 31 acquires a pattern image from the imaging device 20, and detects pattern light from the acquired pattern image (step A3). Specifically, in step A ⁇ b> 3, the detection unit 31 detects the focused spot 22 from the pattern image 21 and specifies the position coordinates (X, Y) of each detected focused spot 22.
  • the estimation unit 32 estimates the angle ⁇ between the normal of the imaging surface of the imaging device 20 and the measurement target surface based on the pattern light detected in step A3, and further from the imaging surface of the imaging device 20.
  • the distance d to the measurement target surface is also estimated (step A4).
  • the estimation unit 32 stores the estimated angle ⁇ and distance d in the data storage unit 35. Execution of step A4 ends the angle and distance estimation processing.
  • FIG. 6 is a flowchart showing an operation during vibration measurement processing of the vibration measuring apparatus according to the embodiment of the present invention.
  • the image conversion unit 33 acquires image data of the measurement target surface output by the imaging device 20 (step B ⁇ b> 1).
  • the image converting unit 33 uses the angle and the distance estimated in step A4 shown in FIG. 5 for the image of the image data acquired in step B1, and the image of the imaging device 20 and the normal of the measurement target surface.
  • the image is converted into an image obtained when the surface normal matches (step B2).
  • the image conversion unit 33 calculates the mapping conversion matrix H using the estimated angle and distance after the execution of step A4 shown in FIG. 5 and before the execution of step B2. In step B2, the image conversion unit 33 executes image conversion using the mapping conversion matrix H.
  • Steps B1 and B2 are executed for a preset time or until the conversion of a preset number of image data is completed.
  • the vibration measurement unit 34 calculates the displacement in the surface direction of the measurement target surface from the image (converted image) converted in step B2 (step B3).
  • the vibration measurement unit 34 calculates the displacement in the normal direction of the measurement target surface from the converted image and the displacement in the surface direction calculated in Step B3 (Step B4).
  • the vibration measuring unit 34 calculates the vibration of the structure 40 from the displacement in the surface direction calculated in Step B3 and the displacement in the normal direction calculated in Step B4 (Step B5).
  • the angle between the imaging surface of the imaging device 20 and the measurement target surface, and the distance from the imaging surface to the measurement target surface are estimated, and automatically based on the estimated data.
  • the photographed image is converted. According to the present embodiment, even when the imaging device 20 is not directly facing the measurement target surface, highly accurate vibration measurement can be performed without requiring manual work.
  • the image conversion unit 33 adjusts the size of the converted image using the estimated distance d.
  • the size may not be adjusted. it can.
  • the image conversion unit 33 uses only the estimated angle ⁇ and the image of the acquired image data matches the normal n of the measurement target surface and the normal of the imaging surface of the imaging device. Convert to the resulting image.
  • the image conversion unit 33 is based on the estimated angle ⁇ and the direction in which the normal (camera optical axis) of the imaging surface of the imaging device 20 is inclined.
  • An expression for converting 20 coordinate systems into the coordinate system of the virtual imaging apparatus is created. Then, the image conversion unit 33 performs image conversion using the created formula.
  • the program in this embodiment may be a program that causes a computer to execute steps A1 to A4 shown in FIG. 5 and steps B1 to B5 shown in FIG. By installing and executing this program on a computer, the vibration measuring apparatus 30 in the present embodiment can be realized.
  • the processor of the computer functions as the detection unit 31, the estimation unit 32, the image conversion unit 33, and the vibration measurement unit 34, and performs processing.
  • each computer may function as any of the detection unit 31, the estimation unit 32, the image conversion unit 33, and the vibration measurement unit 34, respectively.
  • FIG. 7 is a block diagram illustrating an example of a computer that implements the vibration measuring apparatus according to the embodiment of the present invention.
  • the computer 110 includes a CPU (Central Processing Unit) 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. With. These units are connected to each other via a bus 121 so that data communication is possible.
  • the computer 110 may include a GPU (GraphicsGraphProcessing Unit) or an FPGA (Field-Programmable Gate Array) in addition to or instead of the CPU 111.
  • GPU GraphicsGraphProcessing Unit
  • FPGA Field-Programmable Gate Array
  • the CPU 111 performs various operations by developing the program (code) in the present embodiment stored in the storage device 113 in the main memory 112 and executing them in a predetermined order.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program in the present embodiment is provided in a state of being stored in a computer-readable recording medium 120. Note that the program in the present embodiment may be distributed on the Internet connected via the communication interface 117.
  • the storage device 113 includes a hard disk drive and a semiconductor storage device such as a flash memory.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and a mouse.
  • the display controller 115 is connected to the display device 119 and controls display on the display device 119.
  • the data reader / writer 116 mediates data transmission between the CPU 111 and the recording medium 120, and reads a program from the recording medium 120 and writes a processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include general-purpose semiconductor storage devices such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), magnetic recording media such as a flexible disk, or CD- Optical recording media such as ROM (Compact Disk Read Only Memory) are listed.
  • CF Compact Flash
  • SD Secure Digital
  • magnetic recording media such as a flexible disk
  • CD- Optical recording media such as ROM (Compact Disk Read Only Memory) are listed.
  • the vibration measuring device 30 in the present embodiment can be realized not by using a computer in which a program is installed but also by using hardware corresponding to each unit. Furthermore, part of the vibration measuring device 30 may be realized by a program, and the remaining part may be realized by hardware.
  • a system for measuring vibration of a structure An optical device that projects pattern light onto a measurement target surface of the structure; An imaging device that images the measurement target surface; A vibration measuring device, The vibration measuring device is A detection unit that acquires an image of the measurement target surface onto which the pattern light is projected as a pattern image from the imaging device, and detects the projected pattern light from the pattern image; An estimation unit that estimates an angle between a normal of an imaging surface of the imaging device and a normal of the measurement target surface based on the detected pattern light; Using the estimated angle, an image obtained by photographing with the imaging device is converted into an image obtained when the normal of the measurement target surface matches the normal of the imaging surface of the imaging device. , An image converter, Using the converted image, a vibration measurement unit that measures the vibration of the structure; With This is a vibration measurement system.
  • the vibration measurement system according to appendix 2 or 3,
  • the optical device is a laser irradiation device, and projects a focused spot by a plurality of laser beams on the measurement target surface as the pattern light
  • the estimation unit sets, for each of the focused spots, an expression indicating the relationship between the position coordinates of the focused spot, the center position coordinates of the laser light, and the normal of the measurement target surface, and the focused spot Estimating the distance and the angle using each of the formulas set for each spot, This is a vibration measurement system.
  • a device for measuring the vibration of a structure An image of the measurement target surface on which pattern light is projected by an optical device is acquired as a pattern image from an imaging device that captures the measurement target surface of the structure, and the projected pattern light is detected from the pattern image.
  • the detection unit An estimation unit that estimates an angle between a normal of an imaging surface of the imaging device and a normal of the measurement target surface based on the detected pattern light; Using the estimated angle, an image obtained by photographing with the imaging device is converted into an image obtained when the normal of the measurement target surface matches the normal of the imaging surface of the imaging device.
  • An image converter Using the converted image, a vibration measurement unit that measures the vibration of the structure; With A vibration measuring apparatus characterized by that.
  • the vibration measuring device (Appendix 6) The vibration measuring device according to appendix 5, The estimation unit further estimates a distance from the imaging surface of the imaging device to the measurement target surface based on the detected pattern light, When the vibration measurement unit measures the vibration, the vibration in the normal direction of the measurement target surface of the structure is corrected using the estimated distance.
  • a vibration measuring apparatus characterized by that.
  • the vibration measuring device according to appendix 5
  • the estimation unit further estimates a distance from the imaging surface of the imaging device to the measurement target surface based on the detected pattern light,
  • the image conversion unit corrects the size of the converted image using the estimated distance and angle.
  • a vibration measuring apparatus characterized by that.
  • (Appendix 9) A method for measuring vibration of a structure, (A) projecting pattern light onto a measurement target surface of the structure by an optical device; and (B) photographing the measurement target surface with an imaging device; (C) acquiring an image of the measurement target surface onto which the pattern light is projected as a pattern image from the imaging device, and detecting the projected pattern light from the pattern image; (D) estimating an angle between the normal of the imaging surface of the imaging device and the normal of the measurement target surface based on the detected pattern light; (E) An image obtained when the normal of the measurement target surface and the normal of the imaging surface of the imaging device match an image obtained by photographing with the imaging device using the estimated angle Convert to steps, and (F) measuring vibration of the structure using the transformed image; and Having A vibration measurement method characterized by that.
  • a computer-readable recording medium recording a program for measuring vibration of a structure by a computer,
  • C An image obtained when the normal of the measurement target surface and the normal of the imaging surface of the imaging device match an image obtained by photographing with the imaging device using the estimated angle Convert to steps, and (D) measuring vibration of the structure using the converted image; and Records a program that includes instructions to execute A computer-readable recording medium.
  • Appendix 16 The computer-readable recording medium according to appendix 14 or 15, In the case where the optical device is a laser irradiation device, and a focused spot by a plurality of laser beams is projected onto the measurement target surface as the pattern light, In the step (d), for each focused spot, an equation indicating the relationship between the position coordinates of the focused spot, the center position coordinates of the laser beam, and the normal of the measurement target surface is set. Using each of the formulas set for each of the focused spots, the distance and the angle are estimated. A computer-readable recording medium.
  • the present invention is useful in vibration measurement of structures such as infrastructure structures.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

振動計測装置１０は、構造物４０の計測対象面を撮影する撮像装置２０から、光学装置１０によってパターン光が投影された計測対象面の画像をパターン画像として取得し、パターン画像から、パターン光を検出する、検出部３１と、パターン光に基づいて、撮像面の法線と計測対象面の法線との角度を推定する、推定部３２と、この角度を用いて、撮影された画像を、計測対象面の法線と撮像装置２０の撮像面の法線とが一致した場合に得られる画像に変換する、画像変換部３３と、変換された画像を用いて、構造物４０の振動を計測する、振動計測部３４と、を備えている。

Description

振動計測システム、振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、画像処理を用いてインフラ構造物等の構造体の振動を計測するための、振動計測システム、振動計測装置、及び振動計測方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
　従来から、対象物の機械振動を遠隔から非接触で計測する技術が提案されている。このような技術によれば、振動検出用のセンサの取り付け及び取り外しが不要となり、効率的な振動計測が可能となるため、特に橋梁・道路・建築物・設備などのインフラ構造物の維持管理及び異常検知などの分野でニーズがある。
　例えば、特許文献１は、撮像装置を用いた振動計測装置を開示している。特許文献１に開示された振動計測装置は、撮像装置から対象物の時系列画像を取得し、取得した時系列画像に対して画像処理を行なって、対象物の振動を計測する。
　また、特許文献２は、撮像装置に加えて、レーザ距離計又は超音波距離計等の距離測定装置も備えた振動計測装置を開示している。特許文献２に開示された振動計測装置によれば、画像内の２次元の方向での振動成分だけでなく、距離測定装置によって撮像装置の光軸方向における振動成分も計測できるため、３次元方向において対象物の振動を計測することができる。
　ところで、特許文献１及び２に開示された振動計測装置によって振動計測の精度を高めるためには、撮像装置と撮影対象面とを正対させ、撮像装置の撮像面と撮影対象面とを並行にする必要がある。しかし、撮像装置の設置は通常人手によって行われており、更に、計測対象となるインフラ構造物が設置されている場所は平面であるとは限らないことから、作業者が、正確に、撮像装置の撮像面と撮影対象面とを正対させることは極めて困難である。
　これに対して、例えば、特許文献３は、撮像装置と計測対象面とを正対させることなく、対象物の振動を正確に計測するための手法を提案している。具体的には、特許文献３に開示された手法では、予め、計測対象となるインフラ構造物の測面等に、鉛直方向に変化する繰り返し模様が付与されたマーカが複数個取り付けられる。次いで、撮影された動画データから、各マーカにおける繰り返し模様の変化量を算出し、更に、算出された各マーカの変化量から、対象物の振動の補正量が算出される。特許文献３に開示された手法によれば、撮像装置の撮像面と撮影対象面とが並行になっていない場合であっても、振動計測の精度が高められると考えられる。
特開２００３－１５６３８９号公報 特開２００５－２８３４４０号公報 特開２０１７－１４２１８５号公報
　しかしながら、上記特許文献３に開示された手法を実施するためには、対象物であるインフラ構造物に複数のマーカを取り付ける必要がある。そして、マーカの取り付けは人手によって行う必要があり、更に、設置には危険が伴うことから、上記特許文献３に開示された手法の実施には、多額の、人的コスト、時間的コスト、及び金銭的コストがかかってしまう。
　本発明の目的の一例は、上記問題を解消し、人手による作業を必要とすることなく、精度の高い振動計測を実行し得る、振動計測システム、振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における振動計測システムは、構造物の振動を計測するためのシステムであって、
　前記構造物の計測対象面にパターン光を投影する、光学装置と、
　前記計測対象面を撮影する、撮像装置と、
　振動計測装置と、を備え、
　前記振動計測装置は、
　前記撮像装置から、前記パターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、検出部と、
　検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、推定部と、
　推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、画像変換部と、
　変換された前記画像を用いて、前記構造物の振動を計測する、振動計測部と、
を備えている、
ことを特徴とする。
　また、上記目的を達成するため、本発明の一側面における振動計測装置は、構造物の振動を計測するための装置であって、
　前記構造物の計測対象面を撮影する撮像装置から、光学装置によってパターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、検出部と、
　検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、推定部と、
　推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、画像変換部と、
　変換された前記画像を用いて、前記構造物の振動を計測する、振動計測部と、
を備えている、
ことを特徴とする。
　また、上記目的を達成するため、本発明の一側面における振動計測方法は、構造物の振動を計測するための方法であって、
（ａ）光学装置によって、前記構造物の計測対象面にパターン光を投影する、ステップと、
（ｂ）撮像装置によって、前記計測対象面を撮影する、ステップと、
（ｃ）前記撮像装置から、前記パターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、ステップと、
（ｄ）検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、ステップと、
（ｅ）推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、ステップと、
（ｆ）変換された前記画像を用いて、前記構造物の振動を計測する、ステップと、
を有する、
ことを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、コンピュータによって構造物の振動を計測するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）前記構造物の計測対象面を撮影する撮像装置から、光学装置によってパターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、ステップと、
（ｂ）検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、ステップと、
（ｃ）推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、ステップと、
（ｄ）変換された前記画像を用いて、前記構造物の振動を計測する、ステップと、
を実行させる命令を含む、プログラムを記録している、
ことを特徴とする。
　以上のように、本発明によれば、人手による作業を必要とすることなく、精度の高い振動計測を実行することができる。
図１は、本発明の実施の形態における振動計測システム及び振動計測装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における振動計測装置の構成をより具体的に示すブロック図である。 図３は、本発明の実施の形態において用いられるパターン画像の一例を示す図である。 図４は、本発明の実施の形態において行われる角度の推定処理を説明する説明図である。 図５は、本発明の実施の形態における振動計測装置の角度及び距離の推定処理時の動作を示すフロー図である。 図６は、本発明の実施の形態における振動計測装置の振動計測処理時の動作を示すフロー図である。 図７は、本発明の実施の形態における振動計測装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態）
　以下、本発明の実施の形態における、振動計測システム、振動計測装置、振動計測方法、及びプログラムについて、図１～図７を参照しながら説明する。
［システム構成］
　最初に、図１を用いて、本実施の形態における振動計測システム及び振動計測装置の概略構成について説明する。図１は、本発明の実施の形態における振動計測システム及び振動計測装置の概略構成を示すブロック図である。
　図１に示す、本実施の形態における振動計測システム１００は、構造物４０の振動を計測するためのシステムである。本実施の形態において、構造物４０としては、たとえば、橋梁、道路、建築物、設備等のインフラ構造物が挙げられる。
　図１に示すように、振動計測システム１００は、光学装置１０と、撮像装置２０と、振動計測装置３０とを備えている。光学装置１０は、構造物４０の計測対象面にパターン光を投影する装置である。撮像装置２０は、計測対象面を撮影するための装置である。振動計測装置３０は、構造物の振動を計測するための装置である。
　また、図１に示すように、振動計測装置３０は、検出部３１と、推定部３２と、画像変換部３３と、振動計測部３４とを備えている。
　検出部３１は、撮像装置２０から、パターン光が投影された計測対象面の画像をパターン画像として取得し、このパターン画像から、投影されたパターン光を検出する。推定部３２は、検出されたパターン光に基づいて、撮像装置２０の撮像面の法線と計測対象面の法線との角度を推定する。
　画像変換部３３は、推定された角度を用いて、撮像装置２０による撮影によって得られた画像を、計測対象面の法線と撮像装置２０の撮像面の法線とが一致した場合に得られる画像に変換する。振動計測部３４は、変換された画像を用いて、構造物の振動を計測する。
　このように、本実施の形態では、撮像装置２０の撮像面と計測対象面との角度が推定され、この角度を用いて、計測対象面の画像が変換される。よって、本実施の形態では、撮像装置２０が、計測対象面に正対していない場合でも、人手による作業を必要とすることなく、精度の高い振動計測を実行することができる。
　続いて、図１に加えて、図２及び図３を用いて、本実施の形態における振動計測システム１００及び振動計測装置３０の構成についてより具体的に説明する。図２は、本発明の実施の形態における振動計測装置の構成をより具体的に示すブロック図である。図３は、本発明の実施の形態において用いられるパターン画像の一例を示す図である。図４は、本発明の実施の形態において行われる角度の推定処理を説明する説明図である。
　まず、本実施の形態では、計測対象面は、例えば、構造物４０が橋梁であるとすると、橋梁の下面の領域（床版）に設定される。この場合、光学装置１０及び撮像装置２０は、橋梁の下面の領域に向けて設置される。
　本実施の形態では、光学装置１０としては、レーザ照射装置が用いられる。また、レーザ照射装置である光学装置１０は、計測対象面に、複数のレーザ光による集光スポットを、パターン光として投影する。
　本実施の形態では、撮像装置２０としては、デジタルカメラが用いられる。撮像装置２０は、計測対象面の画像データを、設定間隔で連続的に出力する。撮像装置２０が出力した画像データは、振動計測装置３０に入力される。
　また、図２に示すように、本実施の形態では、振動計測装置３０は、上述した、検出部３１、推定部３２、画像変換部３３、及び振動計測部３４に加えて、データ格納部３５を備えている。データ格納部３５は、後述する、推定部３２によって推定された角度及び距離を格納する。
　検出部３１は、撮像装置２０がパターン光の投影されている計測対象面の画像を撮影すると、その撮影によって得られた画像（パターン画像２１）を取得する。図３に示すように、本実施の形態では、パターン画像２１には、複数の集光スポット２２が存在している。
　更に、検出部３１は、パターン画像２１から、予め設定されている集光スポット２２の特徴量に基づいて、集光スポット２２を検出し、検出した各集光スポット２２の位置座標（Ｘ、Ｙ）を特定する。また、図３において、Ｘ軸は、撮像面における水平方向を示し、Ｙ軸は、撮像面における垂直方向を示し、Ｚ軸は撮像面における法線方向を示している。
　推定部３２は、本実施の形態では、検出された集光スポット２２に基づいて、撮像装置２０の撮像面の法線と計測対象面の法線との角度θを推定し、更に、撮像装置２０の撮像面から計測対象面までの距離ｄも推定する。また、推定された角度θ及び距離では、データ格納部３５に格納される。
　具体的には、推定部３２は、集光スポット２２毎に、各集光スポットの位置座標と、レーザ光の中心位置座標と、計測対象面の法線との関係を示す式を設定する。そして、推定部３２は、集光スポット毎に設定した式それぞれを用いて、距離ｄ及び角度θを推定する。ここで、図４を用いて、角度θ及び距離ｄの推定処理について、より詳細に説明する。
　図４に示すように、まず、３次元座標の原点Ｏを撮像装置２０の中心に設定する。また、図４において、「ｉ」は、光学装置１０から照射されるレーザ光の識別番号を示している。集光スポット２２を形成する各レーザ光は、レーザ中心Ｘｉから照射され、方向ｌｉに沿って進み、点（交差点）ｐｉで観測平面Πと交差する。
　観測平面Πは、計測対象面に相当し、撮像装置２０から距離ｄ離れたところに位置している。また、観測平面Πの法線ｎは、撮像装置２０の撮像面の法線（カメラ光軸）に対して、角度θで傾斜している。また、交差点ｐｉは、画像上で点ｍｉとして射影される。
　そして、レーザ中心Ｘｉ、方向ｌｉ、及びｍｉは、予め設定されるので、推定部３２は、図４に示す、ｔ、ｐｉ、ｄ、ｎ、及びθを推定する。
　ここで、交差点ｐｉは下記の数１によって示すことができる。そして、交差点ｐｉは観測平面Π上の点でもあるので、ｎＴ（ｐｉ－ｑ）＝０を満たす。よって、当該式と数１とに基づきpiを消去すると数２が導かれ、さらに、数１からｔを消去すると、下記の数３が導かれる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　上記数３により、交差点ｐｉは、ｎとｄとで表される関数となるため、ｎ及びｄを求める必要がある。ここで、撮像装置２０の内部のカメラパラメータが、３×３の行列Ｋであり、集光スポット２２を形成するレーザ光の数がＮ個であるとすると、下記の数４を最小化するｎ及びｄを求めれば良い。
Figure JPOXMLDOC01-appb-M000004
　具体的には、未知数は法線ｎの成分であるｎｘ及びｎｙと、距離ｄとの３個であり、また、一組の｛ｍｉ、ｐｉ｝からは２つの拘束が発生する。従って、レーザ光が最低２本であれば、線形化して初期値を推定できるので、ニュートン法などにより、再投影誤差を最小化すれば、法線ｎ及び距離ｄを求めることができる。
　また、法線及び距離ｄが求められると、撮像装置２０の撮像面の法線（カメラ光軸）の逆方向が、［０，０，－１］であるので、推定部３２は、逆コサイン関数（ａｒｃｃｏｓ）から、角度θを求めることができる。
　画像変換部３３は、撮像装置２０から、振動計測用に撮影された画像の画像データが出力されてくると、これを取得する。そして、画像変換部３３は、推定された角度θを用いて、取得した画像データの画像を、計測対象面の法線ｎと撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する。更に、画像変換部３３は、本実施の形態では、推定された距離ｄも用い、変換画像の大きさも調整する。また、撮像装置２０は、時系列に沿って、連続して画像データを出力するため、画像変換部３３も、時系列に沿って、連続して画像の変換を実行する。
　具体的には、画像変換部３３は、まず、推定された角度θと法線ｎとを用いて、写像変換行列Ｈを算出し、次いで、算出した写像変換行列Ｈを用いて、振動計測用に撮影された画像を変換する。また、写像変換行列Ｈの算出は、例えば、下記の数５及び数６を用いて行われる。更に、写像変換行列Ｈとしては、下記の参考文献の１００頁に記載のＨ又はＨ’を利用できる。
（参考文献）徐剛、「写真から作る3次元CG」（近代科学社、2001年）
　また、下記の数５において、Ｘは、計測対象面の任意の点Ａにおける、撮像装置２０の座標系での座標である。Ｘ’は、変換後の画像を撮影したと仮定される撮像装置（以下「仮想撮像装置」とする。）の座標系での点Ａの座標ある。また、Ｒは、撮像装置２０と仮想撮像装置との間の回転行列であり、ｔは、並進ベクトルである。ｄ’は、仮想撮像装置と計測対象面との距離であり、ｄ’＝ｄｃｏｓθとなる。なお、図４において、仮想撮像装置は破線によって示されている。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　振動計測部３４は、まず、画像変換部３３によって変換された画像（以下「変換画像」と表記する）から、計測対象面の面方向における変位を算出する。次に、振動計測部３４は、変換画像及び面方向における変位から、計測対象面の法線方向における変位を算出する。その後、振動計測部３４は、面方向における変位、及び法線方向における変位から、構造物４０の振動を算出する。ここで、変換画像における、水平方向をＸ’とし、垂直方向をＹ’とし、変換画像における法線方向をＺ’として、以下に、振動計測部３４による処理について具体的に説明する。
　具体的には、振動計測部３４は、任意の時刻の変換画像を基準画像とし、それ以外を処理画像とする。そして、振動計測部３４は、処理画像毎に、基準画像上の注目領域、すなわち画像内での計測対象領域を含む特定の領域（以下「特定領域」と表記する）を探索して、面方向における変位（ｄ１ｘ’、ｄ１ｙ’）を算出する。
　また、振動計測部３４は、特定領域の法線方向の変位ｄ１ｚ’を算出するため、基準画像を予め定められた倍率で拡大及び縮小することによって画像群（以下「基準画像群」と表記する）を作成する。このとき、振動計測部３４は、先に算出した面方向における変位（ｄ１ｘ’、ｄ１ｙ’）に基づいて、基準画像の拡大画像及び縮小画像の中心位置を設定して、基準画像群を作成する。
　続いて、振動計測部３４は、処理画像毎に、拡大画像及び縮小画像に照合し、最も照合度合の高い拡大画像又は縮小画像を特定する。照合度合の高い画像の特定は、例えば、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）等の類似度相関関数を用いて行なうことができる。そして、振動計測部３４は、基準画像群を構成する画像の中から最も類似度が高い画像、即ち、相関が高い画像を特定し、特定した画像の拡大率又は縮小率（以下「倍率」と表記する）を、特定領域の法線方向の変位を示す量（ｄ１ｚ’）として算出する。
　また、以降の説明では、ある処理画像において最終的に得られる変位は、変位（ｄｎｘ’、ｄｎｙ’）と、法線方向の変位を示す量である倍率（ｄｎｚ’）とで表される。時系列画像に対して同様に変位を算出した結果は、時間変化する値として扱うことができるため、変位（ｄｎｘ’（ｔ）、ｄｎｙ’（ｔ））、および倍率（ｄｎｚ’（ｔ））と表記する。
　更に、振動計測部３４は、特定領域の面方向における変位と撮像装置２０の撮影情報とに基づいて、構造物４０上の計測対象領域の面方向における振動を算出する。続いて、振動計測部３４は、特定領域の法線方向における変位と撮像装置２０から構造物４０までの距離ｄ’とに基づいて、計測対象面の法線方向における振動を算出する。
　具体的には、特定領域の面方向における変位（ｄｎｘ’（ｔ）、ｄｎｙ’（ｔ））は、ピクセル単位で算出されている。従って、振動計測部３４は、下記の数７及び数８に示すように、Ｘ’方向及びＹ’方向それぞれにおける撮像装置２０の撮像素子の１ピクセル当たりの長さ（Ｄｘ、Ｄｙ）［ｍｍ／ｐｉｘｅｌ］を用いて、Ｘ方向及びＹ方向それぞれにおける移動量（△ｘ’、△ｙ’）［ｍｍ］を算出する。また、撮像素子の１ピクセル当たりの長さ（Ｄｘ、Ｄｙ）［ｍｍ／ｐｉｘｅｌ］は、撮像素子の画素ピッチ（ｐｘ、ｐｙ）［ｍｍ］と、レンズの焦点距離ｆ［ｍｍ］と、レンズの主点から計測対象領域までの距離Ｌ［ｍｍ］とを用いて、下記の数９及び数１０から算出できる。なお、Ｌ＝ｄ’（＝ｄｃｏｓθ）である。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　また、特定領域の法線方向における変位は、倍率として算出されている。従って、振動計測部３４は、下記の数１１に示すように、撮像素子の主点から特定領域までの距離Ｌ［ｍｍ］を用いて、Ｚ’方向（法線方向）における移動量△ｚ’［ｍｍ］を算出する。
Figure JPOXMLDOC01-appb-M000011
　また、このようにして得られた計測対象面の移動量（△ｘ’、△ｙ’、△ｚ’）は、時系列画像を撮影したフレーム毎に得られている。よって、時系列画像毎に得られた各移動量は、撮影フレームレートの逆数をサンプリング間隔とした計測対象面を表している。このため、振動計測部３４で算出した時系列画像毎に得られた各移動量は、Ｘ’方向、Ｙ’方向、及びＺ’方向それぞれについての計測対象領域の振動情報(振動波形)として扱うことができる。
［装置動作］
　次に、本実施の形態における振動計測システム１００の動作について図５及び６を用いて説明する。以下の説明においては、適宜図１～図４を参酌する。また、本実施の形態では、振動計測システム１００を動作させることによって、振動計測方法が実施される。よって、本実施の形態における振動計測方法の説明は、以下の振動計測システム１００の動作説明に代える。
　まず、図５を用いて、振動計測装置３０による角度及び距離の推定処理について説明する。図５は、本発明の実施の形態における振動計測装置の角度及び距離の推定処理時の動作を示すフロー図である。
　図５に示すように、最初に、振動計測装置３０は、光学装置１０に、パターン光の照射を指示する（ステップＡ１）。これにより、構造物４０の計測対象面に、パターン光が投影される。
　次に、振動計測装置３０は、撮像装置２０に、撮影を指示する（ステップＡ２）。これにより、撮像装置２０は、パターン光が投影されている計測対象面を撮影し、撮影によって得られた画像（パターン画像）を振動計測装置３０に出力する。
　次に、検出部３１は、撮像装置２０から、パターン画像を取得し、取得したパターン画像から、パターン光を検出する（ステップＡ３）。具体的には、ステップＡ３では、検出部３１は、パターン画像２１から、集光スポット２２を検出し、検出した各集光スポット２２の位置座標（Ｘ、Ｙ）を特定する。
　次に、推定部３２は、ステップＡ３で検出されたパターン光に基づいて、撮像装置２０の撮像面の法線と計測対象面との角度θを推定し、更に、撮像装置２０の撮像面から計測対象面までの距離ｄも推定する（ステップＡ４）。また、推定部３２は、推定した角度θと距離ｄとをデータ格納部３５に格納する。ステップＡ４の実行により、角度及び距離の推定処理は終了する。
　続いて、図６を用いて、振動計測装置３０による振動計測処理について説明する。図６は、本発明の実施の形態における振動計測装置の振動計測処理時の動作を示すフロー図である。
　図６に示すように、最初に、振動計測装置３０において、画像変換部３３は、撮像装置２０が出力する計測対象面の画像データを取得する（ステップＢ１）。
　次に、画像変換部３３は、ステップＢ１で取得した画像データの画像を、図５に示したステップＡ４で推定された角度及び距離を用いて、計測対象面の法線と撮像装置２０の撮像面の法線とが一致した場合に得られる画像に変換する（ステップＢ２）。
　具体的には、画像変換部３３は、図５に示したステップＡ４の実行後、ステップＢ２の実行前に、推定された角度及び距離を用いて写像変換行列Ｈを算出する。そして、ステップＢ２においては、画像変換部３３は、写像変換行列Ｈを用いて、画像変換を実行する。
　また、ステップＢ１及びＢ２は、予め設定されている時間の間、又は、予め設定されている数の画像データの変換が終了するまで、実行される。
　次に、振動計測部３４は、ステップＢ２で変換された画像（変換画像）から、計測対象面の面方向における変位を算出する（ステップＢ３）。
　次に、振動計測部３４は、変換画像、及びステップＢ３で算出した面方向における変位から、計測対象面の法線方向における変位を算出する（ステップＢ４）。
　その後、振動計測部３４は、ステップＢ３で算出した面方向における変位、及びステップＢ４で算出した法線方向における変位から、構造物４０の振動を算出する（ステップＢ５）。
［実施の形態による効果］
　以上のように、本実施の形態では、撮像装置２０の撮像面と計測対象面との角度、及び撮像面から計測対象面までの距離が推定され、推定されたデータに基づいて、自動的に、撮影された画像が変換される。本実施の形態によれば、撮像装置２０が、計測対象面に正対していない場合でも、人手による作業を必要とすることなく、精度の高い振動計測を実行することができる。
［変形例］
　続いて、本実施の形態における変形例について説明する。上述した例では、画像変換部３３は、推定された距離ｄも用いて、変換画像の大きさの調整を行っているが、本変形例では、大きさの調整を行わない態様とすることができる。
　本変形例では、画像変換部３３は、推定された角度θのみを用いて、取得した画像データの画像を、計測対象面の法線ｎと撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する。
　具体的には、本変形例では、画像変換部３３は、推定された角度θと、撮像装置２０の撮像面の法線（カメラ光軸）が傾斜している向きとに基づいて、撮像装置２０の座標系を、仮想撮像装置の座標系に変換する式を作成する。そして、画像変換部３３は、作成した式を用いて、画像変換を行う。
　また、本変形例では、振動計測部３４は、振動を計測する際に、推定された距離ｄ及び角度θを用いて、構造物４０の振動を補正する。具体的には、仮想撮像装置の撮像面から計測対象面までの距離ｄ’（＝ｄｃｏｓθ）と、撮像装置２０の撮像面から計測対象面までの距離ｄとの比を求め、求めた比に基づいて、基準画像及び処理画像それぞれを縮小する。その後、振動計測部３４は、縮小した基準画像及び処理画像を用いて、面方向及び法線方向における変位を算出し、更に振動も算出する。
［プログラム］
　本実施の形態におけるプログラムは、コンピュータに、図５に示すステップＡ１～Ａ４、図６に示すステップＢ１～Ｂ５実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における振動計測装置３０を実現することができる。この場合、コンピュータのプロセッサは、検出部３１、推定部３２、画像変換部３３、及び振動計測部３４として機能し、処理を行なう。
　また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、検出部３１、推定部３２、画像変換部３３、及び振動計測部３４のいずれかとして機能しても良い。
　ここで、本実施の形態におけるプログラムを実行することによって、振動計測装置３０を実現するコンピュータについて図７を用いて説明する。図７は、本発明の実施の形態における振動計測装置を実現するコンピュータの一例を示すブロック図である。
　図７に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。
　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
　なお、本実施の形態における振動計測装置３０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、振動計測装置３０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
　上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１６）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
　構造物の振動を計測するためのシステムであって、
　前記構造物の計測対象面にパターン光を投影する、光学装置と、
　前記計測対象面を撮影する、撮像装置と、
　振動計測装置と、を備え、
　前記振動計測装置は、
　前記撮像装置から、前記パターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、検出部と、
　検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、推定部と、
　推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、画像変換部と、
　変換された前記画像を用いて、前記構造物の振動を計測する、振動計測部と、
を備えている、
ことを特徴とする振動計測システム。
（付記２）
付記１に記載の振動計測システムであって、
　前記推定部が、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
　前記振動計測部が、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
ことを特徴とする、振動計測システム。
（付記３）
付記１に記載の振動計測システムであって、
　前記推定部が、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
　前記画像変換部が、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
ことを特徴とする、振動計測システム。
（付記４）
付記２または３に記載の振動計測システムであって、
　前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影し、
　前記推定部が、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
ことを特徴とする、振動計測システム。
（付記５）
　構造物の振動を計測するための装置であって、
　前記構造物の計測対象面を撮影する撮像装置から、光学装置によってパターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、検出部と、
　検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、推定部と、
　推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、画像変換部と、
　変換された前記画像を用いて、前記構造物の振動を計測する、振動計測部と、
を備えている、
ことを特徴とする振動計測装置。
（付記６）
付記５に記載の振動計測装置であって、
　前記推定部が、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
　前記振動計測部が、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
ことを特徴とする、振動計測装置。
（付記７）
付記５に記載の振動計測装置であって、
　前記推定部が、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
　前記画像変換部が、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
ことを特徴とする、振動計測装置。
（付記８）
付記６または７に記載の振動計測装置であって、
　前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影している場合に、
　前記推定部が、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
ことを特徴とする、振動計測装置。
（付記９）
　構造物の振動を計測するための方法であって、
（ａ）光学装置によって、前記構造物の計測対象面にパターン光を投影する、ステップと、
（ｂ）撮像装置によって、前記計測対象面を撮影する、ステップと、
（ｃ）前記撮像装置から、前記パターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、ステップと、
（ｄ）検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、ステップと、
（ｅ）推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、ステップと、
（ｆ）変換された前記画像を用いて、前記構造物の振動を計測する、ステップと、
を有する、
ことを特徴とする振動計測方法。
（付記１０）
付記９に記載の振動計測方法であって、
　前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
　前記（ｆ）のステップにおいて、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
ことを特徴とする、振動計測方法。
（付記１１）
付記９に記載の振動計測方法であって、
　前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
　前記（ｅ）のステップにおいて、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
ことを特徴とする、振動計測方法。
（付記１２）
付記１０または１１に記載の振動計測方法であって、
　前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影する場合に、
　前記（ｄ）のステップにおいて、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
ことを特徴とする、振動計測方法。
（付記１３）
　コンピュータによって構造物の振動を計測するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）前記構造物の計測対象面を撮影する撮像装置から、光学装置によってパターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、ステップと、
（ｂ）検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、ステップと、
（ｃ）推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、ステップと、
（ｄ）変換された前記画像を用いて、前記構造物の振動を計測する、ステップと、
を実行させる命令を含む、プログラムを記録している、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
（付記１４）
付記１３に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
　前記（ｆ）のステップにおいて、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
ことを特徴とする、コンピュータ読み取り可能な記録媒体。
（付記１５）
付記１３に記載のコンピュータ読み取り可能な記録媒体であって、
　前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
　前記（ｅ）のステップにおいて、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
ことを特徴とする、コンピュータ読み取り可能な記録媒体。
（付記１６）
付記１４または１５に記載のコンピュータ読み取り可能な記録媒体であって、
　前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影する場合に、
　前記（ｄ）のステップにおいて、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
ことを特徴とする、コンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　以上のように、本発明によれば、人手による作業を必要とすることなく、精度の高い振動計測を実行することができる。本発明は、インフラ構造物といった構造物の振動計測において有用である。
　１０　光学装置
　２０　撮像装置
　３０　振動計測装置
　３１　検出部
　３２　推定部
　３３　画像変換部
　３４　振動計測部
　４０　構造物
　１００　振動計測システム
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　入力インターフェイス
　１１５　表示コントローラ
　１１６　データリーダ／ライタ
　１１７　通信インターフェイス
　１１８　入力機器
　１１９　ディスプレイ装置
　１２０　記録媒体
　１２１　バス

Claims (16)

  1. 　構造物の振動を計測するためのシステムであって、
    　前記構造物の計測対象面にパターン光を投影する、光学装置と、
    　前記計測対象面を撮影する、撮像装置と、
    　振動計測装置と、を備え、
    　前記振動計測装置は、
    　前記撮像装置から、前記パターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、検出手段と、
    　検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、推定手段と、
    　推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、画像変換手段と、
    　変換された前記画像を用いて、前記構造物の振動を計測する、振動計測手段と、
    を備えている、
    ことを特徴とする振動計測システム。
  2. 請求項１に記載の振動計測システムであって、
    　前記推定手段が、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
    　前記振動計測手段が、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
    ことを特徴とする、振動計測システム。
  3. 請求項１に記載の振動計測システムであって、
    　前記推定手段が、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
    　前記画像変換手段が、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
    ことを特徴とする、振動計測システム。
  4. 請求項２または３に記載の振動計測システムであって、
    　前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影し、
    　前記推定手段が、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
    ことを特徴とする、振動計測システム。
  5. 　構造物の振動を計測するための装置であって、
    　前記構造物の計測対象面を撮影する撮像装置から、光学装置によってパターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、検出手段と、
    　検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、推定手段と、
    　推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、画像変換手段と、
    　変換された前記画像を用いて、前記構造物の振動を計測する、振動計測手段と、
    を備えている、
    ことを特徴とする振動計測装置。
  6. 請求項５に記載の振動計測装置であって、
    　前記推定手段が、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
    　前記振動計測手段が、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
    ことを特徴とする、振動計測装置。
  7. 請求項５に記載の振動計測装置であって、
    　前記推定手段が、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
    　前記画像変換手段が、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
    ことを特徴とする、振動計測装置。
  8. 請求項６または７に記載の振動計測装置であって、
    　前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影している場合に、
    　前記推定手段が、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
    ことを特徴とする、振動計測装置。
  9. 　構造物の振動を計測するための方法であって、
    （ａ）光学装置によって、前記構造物の計測対象面にパターン光を投影する、ステップと、
    （ｂ）撮像装置によって、前記計測対象面を撮影する、ステップと、
    （ｃ）前記撮像装置から、前記パターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、ステップと、
    （ｄ）検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面の法線との角度を推定する、ステップと、
    （ｅ）推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、ステップと、
    （ｆ）変換された前記画像を用いて、前記構造物の振動を計測する、ステップと、
    を有する、
    ことを特徴とする振動計測方法。
  10. 請求項９に記載の振動計測方法であって、
    　前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
    　前記（ｆ）のステップにおいて、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
    ことを特徴とする、振動計測方法。
  11. 請求項９に記載の振動計測方法であって、
    　前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
    　前記（ｅ）のステップにおいて、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
    ことを特徴とする、振動計測方法。
  12. 請求項１０または１１に記載の振動計測方法であって、
    　前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影する場合に、
    　前記（ｄ）のステップにおいて、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
    ことを特徴とする、振動計測方法。
  13. 　コンピュータによって構造物の振動を計測するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    前記コンピュータに、
    （ａ）前記構造物の計測対象面を撮影する撮像装置から、光学装置によってパターン光が投影された前記計測対象面の画像をパターン画像として取得し、前記パターン画像から、投影された前記パターン光を検出する、ステップと、
    （ｂ）検出された前記パターン光に基づいて、前記撮像装置の撮像面の法線と前記計測対象面との角度を推定する、ステップと、
    （ｃ）推定された前記角度を用いて、前記撮像装置による撮影によって得られた画像を、前記計測対象面の法線と前記撮像装置の撮像面の法線とが一致した場合に得られる画像に変換する、ステップと、
    （ｄ）変換された前記画像を用いて、前記構造物の振動を計測する、ステップと、
    を実行させる命令を含む、プログラムを記録している、
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  14. 請求項１３に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
    　前記（ｆ）のステップにおいて、前記振動を計測する際に、推定された前記距離を用いて、前記構造物の前記計測対象面の法線方向における振動を補正する、
    ことを特徴とする、コンピュータ読み取り可能な記録媒体。
  15. 請求項１３に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記（ｄ）のステップにおいて、検出された前記パターン光に基づいて、更に、前記撮像装置の撮像面から前記計測対象面までの距離を推定し、
    　前記（ｅ）のステップにおいて、推定された前記距離及び前記角度を用いて、前記変換された前記画像のサイズを補正する、
    ことを特徴とする、コンピュータ読み取り可能な記録媒体。
  16. 請求項１４または１５に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記光学装置が、レーザ照射装置であり、前記計測対象面に、複数のレーザ光による集光スポットを、前記パターン光として投影する場合に、
    　前記（ｄ）のステップにおいて、前記集光スポット毎に、当該集光スポットの位置座標と、前記レーザ光の中心位置座標と、前記計測対象面の法線との関係を示す式を設定し、前記集光スポット毎に設定した前記式それぞれを用いて、前記距離及び前記角度を推定する、
    ことを特徴とする、コンピュータ読み取り可能な記録媒体。
PCT/JP2018/013506 2018-03-29 2018-03-29 振動計測システム、振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体 WO2019186984A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2018/013506 WO2019186984A1 (ja) 2018-03-29 2018-03-29 振動計測システム、振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体
US17/042,556 US11768102B2 (en) 2018-03-29 2018-03-29 Vibration measurement system, vibration measurement apparatus, vibration measurement method, and computer-readable recording medium
JP2020508780A JP6954451B2 (ja) 2018-03-29 2018-03-29 振動計測システム、振動計測装置、振動計測方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/013506 WO2019186984A1 (ja) 2018-03-29 2018-03-29 振動計測システム、振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
WO2019186984A1 true WO2019186984A1 (ja) 2019-10-03

Family

ID=68059631

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/013506 WO2019186984A1 (ja) 2018-03-29 2018-03-29 振動計測システム、振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体

Country Status (3)

Country Link
US (1) US11768102B2 (ja)
JP (1) JP6954451B2 (ja)
WO (1) WO2019186984A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11312029B2 (en) * 2018-09-03 2022-04-26 Seiko Epson Corporation Three-dimensional measuring apparatus, robot, and robot system

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114061738B (zh) * 2022-01-17 2022-05-17 风脉能源（武汉）股份有限公司 一种基于标定板位姿计算的风机塔筒基础环振动监测方法
CN117615244B (zh) * 2024-01-22 2024-04-02 四川群源科技有限公司 一种摄像设备的驱动方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1082614A (ja) * 1996-09-10 1998-03-31 Niyuujietsuku:Kk モアレ縞を使った微小変位計測装置
JP2007278951A (ja) * 2006-04-10 2007-10-25 Alpine Electronics Inc 車体挙動測定装置
JP2015087135A (ja) * 2013-10-29 2015-05-07 株式会社明電舎 微小変位計測システム
JP2017075887A (ja) * 2015-10-16 2017-04-20 株式会社ニコン 振動検出装置、検査装置、振動検出方法、及び振動検出プログラム
JP2017142185A (ja) * 2016-02-10 2017-08-17 国立研究開発法人産業技術総合研究所 変位測定装置、変位測定方法およびそのプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4005795B2 (ja) 2001-11-21 2007-11-14 株式会社東芝 振動計測装置及び記憶媒体
JP4058421B2 (ja) 2004-03-30 2008-03-12 株式会社東芝 振動計測装置及びその計測方法
JP6253368B2 (ja) * 2013-11-25 2017-12-27 キヤノン株式会社 三次元形状計測装置およびその制御方法
CN107864667A (zh) * 2014-12-27 2018-03-30 贾迪安光学技术有限公司 用于检测表面的多个振动的系统及方法
DE102018202559A1 (de) * 2018-02-20 2019-08-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtungen und verfahren zur vibrationsanalyse
WO2019186985A1 (ja) * 2018-03-29 2019-10-03 日本電気株式会社 振動計測システム、振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1082614A (ja) * 1996-09-10 1998-03-31 Niyuujietsuku:Kk モアレ縞を使った微小変位計測装置
JP2007278951A (ja) * 2006-04-10 2007-10-25 Alpine Electronics Inc 車体挙動測定装置
JP2015087135A (ja) * 2013-10-29 2015-05-07 株式会社明電舎 微小変位計測システム
JP2017075887A (ja) * 2015-10-16 2017-04-20 株式会社ニコン 振動検出装置、検査装置、振動検出方法、及び振動検出プログラム
JP2017142185A (ja) * 2016-02-10 2017-08-17 国立研究開発法人産業技術総合研究所 変位測定装置、変位測定方法およびそのプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HORIUCHI, HIRONOBU: "Displacement Measurement System Using Moire", 2010 MEETING OF THE JAPAN SOCIETY OF CIVIL ENGINEERS, 2010, pages 1 - 6 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11312029B2 (en) * 2018-09-03 2022-04-26 Seiko Epson Corporation Three-dimensional measuring apparatus, robot, and robot system

Also Published As

Publication number Publication date
US20210033451A1 (en) 2021-02-04
US11768102B2 (en) 2023-09-26
JPWO2019186984A1 (ja) 2021-03-11
JP6954451B2 (ja) 2021-10-27

Similar Documents

Publication Publication Date Title
Feng et al. Computer vision for SHM of civil infrastructure: From dynamic response measurement to damage detection–A review
JP6954452B2 (ja) 振動計測システム、振動計測装置、振動計測方法、及びプログラム
JP5388921B2 (ja) ３次元距離計測装置及びその方法
WO2019097578A1 (ja) 変位成分検出装置、変位成分検出方法、及びコンピュータ読み取り可能な記録媒体
WO2019186984A1 (ja) 振動計測システム、振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体
JP4005795B2 (ja) 振動計測装置及び記憶媒体
JP2019215811A (ja) 投影システム、画像処理装置および投影方法
WO2020021778A1 (ja) 情報処理装置、システム、方法、及びコンピュータ可読媒体
JP4058421B2 (ja) 振動計測装置及びその計測方法
WO2020255728A1 (ja) 振動計測装置、振動計測方法、及びコンピュータ読み取り可能な記録媒体
JPWO2008032375A1 (ja) 画像補正装置及び方法、並びにコンピュータプログラム
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
US11519780B2 (en) Measurement system, correction processing apparatus, correction processing method, and computer-readable recording medium
US11391621B2 (en) Vibration measurement apparatus, vibration measurement method, and computer-readable recording medium
JP6996569B2 (ja) 計測システム、補正処理装置、補正処理方法、及びプログラム
JP2006317418A (ja) 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体
JP6521988B2 (ja) ウェハノッチの検出
WO2020255231A1 (ja) 変位測定装置、変位測定方法、コンピュータ読み取り可能な記録媒体
WO2019145992A1 (ja) 振動信頼度算出装置、振動信頼度算出方法、及びコンピュータ読み取り可能な記録媒体
KR20190057511A (ko) 자동 주차 제어 장치 및 방법과 이에 관한 기록매체
KR102302337B1 (ko) 십자형 레이저 이미지를 이용한 촬영 대상면의 기울림 각도 측정장비, 이를 이용한 촬영 대상면 기울림 각도 측정방법 및 이를 이용한 균열조사 장치
Li et al. Advancements in 3D displacement measurement for civil Structures: A monocular vision approach with moving cameras
Habib et al. Optical remote sensing systems for structural deflection measurement and crack characterization

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18912761

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020508780

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18912761

Country of ref document: EP

Kind code of ref document: A1