WO2018061321A1 - 周期模様を利用した三次元形状・変位・ひずみ測定装置、方法およびそのプログラム - Google Patents

周期模様を利用した三次元形状・変位・ひずみ測定装置、方法およびそのプログラム Download PDF

Info

Publication number
WO2018061321A1
WO2018061321A1 PCT/JP2017/020435 JP2017020435W WO2018061321A1 WO 2018061321 A1 WO2018061321 A1 WO 2018061321A1 JP 2017020435 W JP2017020435 W JP 2017020435W WO 2018061321 A1 WO2018061321 A1 WO 2018061321A1
Authority
WO
WIPO (PCT)
Prior art keywords
deformation
moire
moire fringes
sample
stage
Prior art date
Application number
PCT/JP2017/020435
Other languages
English (en)
French (fr)
Inventor
慶華 王
志遠 李
浩 津田
Original Assignee
国立研究開発法人産業技術総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人産業技術総合研究所 filed Critical 国立研究開発法人産業技術総合研究所
Priority to US16/328,309 priority Critical patent/US10655954B2/en
Priority to JP2018541896A priority patent/JP6583761B2/ja
Priority to EP17855280.8A priority patent/EP3489621A4/en
Publication of WO2018061321A1 publication Critical patent/WO2018061321A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G01B11/161Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by interferometric means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G01B11/165Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge by means of a grating deformed by the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J9/00Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
    • G01J9/02Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength by interferometric methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00Measuring force or stress, in general
    • G01L1/24Measuring force or stress, in general by measuring variations of optical properties of material when it is stressed, e.g. by photoelastic stress analysis using infrared, visible light, ultraviolet
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J9/00Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
    • G01J9/02Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength by interferometric methods
    • G01J2009/0234Measurement of the fringe pattern
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/41Refractivity; Phase-affecting properties, e.g. optical path length
    • G01N21/45Refractivity; Phase-affecting properties, e.g. optical path length using interferometric methods; using Schlieren methods
    • G01N2021/456Moire deflectometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8829Shadow projection or structured background, e.g. for deflectometry

Definitions

  • the objective is to develop a two-stage moire technology and its program for measuring 3D shape, displacement and strain distribution with high accuracy and wide field of view. This belongs to the fields of non-destructive measurement, experimental mechanics and optical technology.
  • Measuring the shape and deformation of an object is an extremely important technique for evaluating mechanical properties, structural instability, crack propagation and residual stress.
  • deformation measurements at the millimeter, micron, and nanoscale levels are attracting a great deal of attention in the field of materials science.
  • DIC Digital Correlation
  • ESPI Electronic Speckle Pattern Interferometry
  • GPS Geometric Phase Analysis
  • fringe image phase analysis method for example, Fourier transform method, phase shift method, space-time phase shift method, etc.
  • the DIC method has a high measurement accuracy but is susceptible to disturbance noise during measurement.
  • ESPI is very sensitive to vibration. Since GPA directly observes the lattice of the sample, the observation field of view is narrow compared to the scanning moire method.
  • the Fourier transform method is another method for analyzing small-scale deformations in a plane, but the field of view is reduced by observing the grating used (the width of the field of view is usually less than 100 times the grating pitch).
  • the moire method is an effective method for nondestructively measuring the deformation distribution from the change in moire fringes before and after deformation.
  • the microscope moire method, CCD or CMOS moire method hereinafter referred to as the CCD moire method
  • moire interferometry sampling moire method
  • digital moire method digital moire method
  • overlap (geometric) moire method have attracted a great deal of attention. Applied to measuring deformation of materials and structures.
  • the microscope moire method and moire interferometry are suitable for micron / nanoscale deformation measurement using a microscope.
  • the CCD moire method, sampling moire method, digital moire method, and (geometric) overlap moire method can measure deformation from nanoscale to metric scale when a lattice image can be acquired.
  • the moire method is applied to measure strain of materials such as metals, polymers and composite materials, and deformation of bridges and buildings. Further, by analyzing the phase of moire fringes in the lattice image, the measurement accuracy of deformation measurement can be greatly improved.
  • phase shift method for analyzing the phase using a plurality of fringe images shifted in phase
  • sampling moire method that analyzes a phase using only a fringe image
  • spatio-temporal phase shift method that combines a phase shift method and a sampling moire method
  • the phase shift method and the spatio-temporal phase shift method need to shoot multiple striped images and cannot be applied to dynamic measurement.
  • the sampling moire method can analyze the phase from a single striped image and can be applied to dynamic measurement, but there is a problem that accurate measurement cannot be performed in a noisy environment.
  • a highly accurate three-dimensional shape deformation measuring method is desired only by photographing one striped image.
  • Patent No. 5818218 gazette Phase analysis method, apparatus and program for fringe image using high-dimensional luminance information
  • International Publication WO / 2015/008404 Publication Measuring method, apparatus and program for displacement distribution with regular pattern Li Shien and Hiroshi Tsuda Japanese Patent Application No. 2016-028169 (2016.2.17)
  • High-speed displacement / strain distribution measuring method and measuring device by moire method Wang Qinghua, Li Shien, Takashi Tokisaki
  • the analysis method mainly used is a method centered on moire fringes (fringe). Since only the center line of the moire fringes is used to calculate the deformation distribution, the measurement accuracy of the deformation is not high.
  • the measurement accuracy can be improved by using the spatial phase shift method, but high accuracy and wide field of view cannot be realized at the same time.
  • a sample having a smaller grating pitch gives high measurement accuracy but has a small field of view.
  • a sample with a larger grating pitch (3 pixels or more) can have a wide field of view, but cannot perform the spatial phase shift method to calculate deformation.
  • This patent proposes a two-stage moire method as an innovative deformation measurement technology to achieve wide field of view and high accuracy, or high accuracy and dynamic measurement simultaneously.
  • the core idea is to treat the recorded or generated conventional moiré fringes as a grating for generating phase-shifted two-stage moiré fringes.
  • the phase of the two-stage moire fringes can be calculated more accurately by using an algorithm such as a spatial phase shift method or a space-time phase shift method.
  • the shape can be determined from the phase difference between the grating projected onto the surface of the measurement object and the reference plane, and the displacement and strain can be determined from the phase difference between the two-stage moire fringes before and after the deformation of the grating attached to the object surface.
  • the three-dimensional shape and deformation distribution of the object can be measured accurately with a wide field of view or dynamically with high accuracy.
  • a scanning line of a microscope, or a pixel array of a camera, or a virtual grid (down-sampling pixel array), or a digital grid can be a reference grid. If there is a slight discrepancy or misalignment between the sample grating and the reference grating, conventional moiré fringes appear from interference between the sample grating and the reference grating (FIG. 3 (a)).
  • Conventional moire fringes include microscope moire fringes, CCD moire fringes, sampling moire fringes, or digital moire fringes. These conventional moire fringes are treated as a lattice.
  • Downsampling processing is performed at a pitch T (2) close to the conventional moire fringe spacing P m , and the downsampling start point is shifted by one pixel (T (2) -1) times to each downsampled image. If luminance interpolation is performed, a two-stage moire fringe in which the phase of T (2) steps is shifted as shown in FIG. 3B can be obtained.
  • FIG. 4 shows the principle of a method for generating the first two-stage moire fringe and calculating the phase distribution.
  • the pitch of the sample lattice and the pitch in the x direction (or y direction, hereinafter omitted) of the reference lattice (microscope scanning line or camera imaging pixel digital lattice) are defined as P and T, respectively.
  • a (x, y) is the moire fringe amplitude
  • ⁇ 0 is the initial phase
  • B (x, y) is the background luminance and higher frequency (2 ⁇ x / P, 2 ⁇ x (1 / P + 1 / T), etc. ) Is included, the luminance distribution of the conventional moire fringes can be expressed by equation (1).
  • the conventional moire fringes are analyzed by the spatial phase shift method in the sampling moire method.
  • a (2) (x, y) is the amplitude of the two-stage moire fringes
  • k is the phase shift procedure number
  • B (2) (x, y) is the two-stage
  • the luminance of the two-stage moire fringes can be expressed by equation (3).
  • phase of the two-stage moire fringes is expressed by equation (4), and can be calculated from a one-dimensional discrete Fourier transform (DFT) or fast Fourier transform (FFT).
  • DFT discrete Fourier transform
  • FFT fast Fourier transform
  • twiddle factor W is defined as equation (5).
  • the original moire fringes ⁇ m can be obtained from equation (6)
  • the original grating phase ⁇ s can be obtained from equation (7).
  • FIG. 5 shows the principle of a method for calculating the phase distribution of the second two-stage moire fringe.
  • P is a pitch of a one-dimensional vertical lattice projected on the object surface or a lattice attached to the sample surface.
  • the luminance distribution of the grid image taken at this time is expressed by Expression (8).
  • a (x, y), b (x, y), ⁇ 0 are respectively the amplitude of the grid, the background luminance and initial phase.
  • a (x, y) is the moire fringe amplitude
  • ⁇ 0 is the initial phase
  • B (x, y) is the background luminance and higher frequency (2 ⁇ x / P, 2 ⁇ x (1 / P + 1 / T), etc. ) Is included
  • the luminance of the conventional moire fringes obtained by the sampling moire method can be expressed by equation (9). Unlike Equation (1), here, a plurality of moiré fringes whose phases are shifted simultaneously are obtained.
  • the plurality of moiré fringes obtained by shifting the phases obtained here are treated as “lattices” used for generating two-stage moire fringes.
  • the downsampling pitch is T (2) as the second stage of downsampling
  • a (2) (x, y) is the amplitude of the two-stage moire fringes
  • k and t The phase shift procedure number is used
  • B (2) (x, y) is the background luminance of the two-stage moire fringes
  • the luminance distribution of the two-stage moire fringes can be expressed by equation (10).
  • T ⁇ T (2) two-stage moire fringes with the phase shifted are obtained.
  • phase of the two-stage moire fringes is expressed by equation (11) and can be calculated by two-dimensional discrete Fourier transform or fast Fourier transform.
  • the original moire fringes ⁇ m can be obtained from equation (6)
  • the original grating phase ⁇ s can be obtained from equation (7).
  • the luminance distribution of a lattice image obtained by photographing a one-dimensional oblique lattice projected on the object surface or a lattice attached to the sample surface with a digital camera is expressed by Expression (12).
  • P x and P y are pitch intervals in the x and y directions of the lattice, respectively.
  • the luminance distribution of can be expressed by equation (13).
  • the plurality of moiré fringes obtained by shifting the phases obtained here are treated as “lattices” used for generating two-stage moire fringes.
  • phase of the two-stage moire fringes can be calculated by (multi-dimensional) discrete Fourier transform or fast Fourier transform as shown in equation (15).
  • the original moire fringes ⁇ m can be obtained from equation (6)
  • the original grating phase ⁇ s can be obtained from equation (7).
  • FIG. 6 shows the principle of a method for calculating the phase distribution after adjusting the pitch interval of the third two-stage moire fringes.
  • the moire fringes generated by the first downsampling are regarded as a lattice and the downsampling process is performed again.
  • the pitch intervals of the moire fringes are sparse, the two-stage moire fringes are reduced.
  • the sampling pitch increases and the spatial resolution may decrease.
  • N which is an integer shown in Equation (16)
  • a dense (multiplication type) moire fringe can be generated from the sine wave or cosine wave function again.
  • Table 1 summarizes the characteristics and application conditions of the three methods according to the present invention described so far and a comparison with the conventional phase analysis method. The optimum method is selected depending on whether the recorded lattice itself or the moire fringe spacing is fine or coarse.
  • Table 2 summarizes the comparison between the conventional method and the present invention in three-dimensional shape / out-of-plane displacement measurement, and Table 3 summarizes the comparison between the conventional method and the present invention in in-plane displacement / strain measurement. Compared with the conventional method, it is possible to measure the shape deformation with high accuracy and high speed, or with high accuracy and wide field of view.
  • Principle of measuring the three-dimensional shape of an object using two-step moire fringes As an example of a method for measuring an object, for example, a reference surface, which is a planar object, is projected and photographed to obtain a phase distribution ⁇ ref of the reference surface.
  • the object placed in front of the reference plane is subjected to grid projection and photographing, and the phase distribution of the object is ⁇ object .
  • the relationship between the phase difference between the reference plane and the object and the height of the object is approximately proportional as shown in Expression (17).
  • the reference plane while moving the reference plane several places in the depth (height) direction in advance, calibrate the relationship between the distance (height) of each two places and the phase difference at that time to obtain the phase / height conversion coefficient ⁇ . Then, the height of the object can be measured without contact.
  • phase difference of the conventional moire fringes is equal to the phase difference of the sample grating before and after deformation.
  • phase difference of the two-stage moire fringes is equal to the phase difference of the conventional moire fringes before and after deformation and the phase difference of the sample grating before and after deformation.
  • the displacement is proportional to the phase difference of the sample grating.
  • p is the actual pitch of the lattice on the sample surface.
  • the displacement of the sample in the x direction is determined by equation (23).
  • strain in the x-direction of the sample can be measured from first derivative of the displacement u x.
  • FIG. 7 is a diagram illustrating an arrangement example of the computer 1, the image sensor 3, the lattice projection device 4, the measurement object 5, and the reference plane (planar object) 6 in the object three-dimensional shape measurement system according to the present embodiment.
  • the three-dimensional shape measurement system measures the shape of a three-dimensional object to be measured.
  • a grid pattern set by the grid projection control unit 11 (having known pitch dimensions and height coefficients (phase and height conversion coefficients of the regular grid) on the reference plane) is projected from the grid projection device 4, Using the image pickup device 3 (various cameras and microscopes), the projected pattern is photographed from the fringe lattice image recording unit 12 according to the shape of the object.
  • the phase distribution of the two-stage moire fringe image is calculated by the two-stage moire fringe generation unit and the phase analysis calculation unit 13 for the photographed image, and the three-dimensional shape calculation unit 14 calculates the phase distribution. Further height distribution is calculated from The measurement result is displayed on the monitor display unit 2.
  • FIG. 8 is a diagram showing an arrangement example of the computer 1, the imaging device 3, the structural material 7 to be measured, and the fine lattice 8 (one-dimensional or two-dimensional) in the material displacement / strain distribution measurement system according to the present embodiment. is there.
  • the deformation measurement system records a lattice image or moire fringes from the imaging device 3 on a fine lattice that is provided on the surface of the structural material to be measured and whose pitch dimension is known. “Applied” may be a repetitive pattern that exists in advance on the sample surface as seen in an atomic arrangement image observed with a metal material, for example, as well as sticking a regular lattice to the material surface.
  • the moire fringes recorded from the recording unit 12 or the moire fringes generated from the lattice image were processed by the two-stage moire fringe generation unit and the phase analysis calculation unit 13, and further measured by the displacement / strain calculation unit 15.
  • the displacement / strain distribution result is displayed on the monitor 2.
  • FIG. 9 shows a flowchart of shape / deformation measurement by the two-stage moire method.
  • (S1) In the case of three-dimensional shape measurement, a grid pattern is projected onto the object surface. In the case of displacement / strain distribution measurement, a regular lattice may be produced on the sample surface, or the periodic structure of the sample itself may be used as the lattice.
  • Image recording devices include laser scanning microscope (LSM), scanning electron microscope (SEM), scanning electron microscope (TEM), atomic force microscope (AFM) and other scanning microscopes, charge-coupled device (CCD) cameras or complementary It may be a digital camera such as a mechanical metal oxide semiconductor (CMOS) camera or a moire interferometer.
  • CMOS mechanical metal oxide semiconductor
  • the scanning line interval of the microscope or the pixel size of the camera is adjusted in the vicinity of the sample lattice pitch (or an integer (a natural number of 2 or more) multiples thereof or a fractional multiple with the integers as denominators). Wide field CCD / CMOS moire fringes are recorded in the image recorder due to interference between the sample grid and the microscope scan line or pixel array.
  • Microscope moire, CCD / CMOS moire, and interference moire are techniques for directly observing and recording moire fringes.
  • the sample grid pitch on the captured image can be reduced to 2 pixels in order to enlarge the field of view.
  • Moiré fringes obtained from the sampling moire method or the digital moire method are generated by downsampling and luminance interpolation, or interference between the sample grating and the digital grating close to the pitch (or integer multiple or fractional multiple) of the sample grating.
  • Overlapping (geometric) moiré fringes are created by superposition between sample lattices before and after deformation.
  • This shape deformation measurement method is named a two-stage moire method.
  • the two-stage moire method can be expanded in multiple stages as long as moire fringes having the same phase difference can be generated from the moire fringes using a digital grating. Therefore, the two-stage moire method includes the multi-stage moire method as long as it meets the problems of the present invention.
  • the moire fringe before deformation is compared with the phase change of the moire fringe of the deformed portion. If it can be estimated, distortion can also be obtained from a single moire fringe after deformation.
  • the two-stage moire method may be applied by using the estimated moire fringes and the moire fringes after deformation as the moire fringes before and after the deformation.
  • this technique is used in the case where a distorted lattice pattern on the reference plane is photographed in order to project the lattice onto the object obliquely in the three-dimensional shape measurement described in the first embodiment shown in FIG. This is not suitable unless a regular grid image on the reference plane (which would have been obtained if it was the reference plane) is estimated from the grid image.
  • FIG. 10 is a flowchart showing the shape deformation measuring process according to the present invention.
  • the process shown in FIG. 10 includes steps S101, S102, S103, S104, and S105.
  • the process of step S105 is performed in order after step S101.
  • the program language can be selected as appropriate as long as the above mathematical formula can be calculated.
  • the computer that executes the program may be either a dedicated machine or a general-purpose machine.
  • the pitch dimension, the height coefficient, and parameters such as an integer capable of generating moire fringe are input (S102), and necessary calculations are performed using the two-stage moire method (S103).
  • the shape / displacement / strain amount is calculated from the phase of the two-stage moire fringes (S104), and the result is displayed (S105).
  • Effect 1 The proposed method remarkably improves the measurement accuracy by phase analysis as compared to the fringe centering method used in the conventional microscope, CCD, digital, overlap moire method and moire interferometry.
  • the strain sensitivity theoretically reaches 10 ⁇ 6 . Further, according to the present invention, it is possible to remove distortion measurement errors caused by scanning distortions of various microscopes.
  • Effect 2 The analysis area of the proposed method can be increased by several tens to several hundred times as compared with the conventional sampling / digital / overlap moire method.
  • Effect 3 Only a single moire pattern or a single grid image is required for recording deformation measurements.
  • the proposed method is suitable for dynamic material testing where the spatio-temporal phase shift method cannot be applied.
  • Effect 4 This technique can be used for non-destructive deformation measurement from nanoscale to meter scale if it has good noise characteristics and can record moire patterns or lattice images.
  • FIG. 4 is a diagram illustrating a principle of calculating a phase distribution of a two-stage moire obtained by down-sampling a moire.
  • FIG. 4 is a diagram illustrating a principle of calculating a phase distribution of a two-stage moire obtained by down-sampling a lattice image in two stages.
  • the block diagram of the three-dimensional shape measuring apparatus by this invention. 1 is a configuration diagram of a displacement / strain measuring apparatus according to the present invention.
  • transformation measurement process of a proposal method The flowchart of the deformation
  • FIG. 12 (a) is a repeating pattern (English A) existing on or attached to the object surface.
  • the moire fringe image obtained by the first down-sampling at a constant pitch in the x and y directions with respect to the pattern of FIG. 12 (a) is FIG. 12 (b).
  • This moire fringe image is regarded as a lattice, and the moire fringe image obtained by the second down-sampling at a constant pitch in the x and y directions is shown in FIG. It can be seen that the original repeating pattern A is enlarged and further expanded. This is called a two-stage moire.
  • the intervals of moire fringes obtained by down-sampling a grid image may be sparse.
  • the doubling type moire fringes can be reconstructed so that the moire fringe intervals are close to each other by the third method of the present invention so that the appropriate moire fringe intervals are obtained.
  • FIG. 13 shows the generation result of the (doubled) moire fringes by simulation.
  • FIG. 13 (a) shows a lattice pattern with a pitch interval of 3.02 pixels generated by simulation.
  • FIG. 13B is a moire fringe image with two phases shifted, obtained by thinning out the lattice image of FIG. 13A with a downsampling pitch of 2 pixels. Since the lattice pitch P (3.02 pixels) and the sampling pitch T (2 pixels) are greatly different, it can be confirmed that moire fringes are not generated.
  • FIG. 13 (c) is a moire fringe image with three phase shifts obtained by thinning the lattice image of FIG. 13 (a) with a downsampling pitch of 3 pixels. Since the lattice pitch P (3.02 pixels) and the sampling pitch T (3 pixels) are close, it is possible to generate beautiful moire fringes, but it can be seen that the moire fringes are sparse. If the two-stage moire method is applied as it is, there is a problem that the spatial resolution is significantly reduced.
  • FIG. 13D shows a moiré fringe image generated when the number of thinnings obtained by shifting the phase of four sheets obtained by thinning the lattice image of FIG. 13A with a downsampling pitch of 4 pixels is 4 pixels. It is. Similarly to FIG. 13B, it can be seen that moire fringes are not generated because the grating pitch P (3.02 pixels) and the sampling pitch T (4 pixels) are greatly different.
  • FIG. 13 (e) is a moire fringe phase distribution image calculated using a moire fringe image (FIG. 13 (c)) generated when the sampling pitch is 3 pixels.
  • FIG. 13 (f) shows the result of the moiré fringe image reconstructed when the adjustment coefficient N is changed from 1 to 20 using this phase distribution image.
  • the moire fringe spacing can be adjusted from sparse to dense.
  • FIG. 14 shows an example of an analysis result when a lattice image obtained by photographing a lattice projected by the lattice projection device with a camera using the three-dimensional shape measuring device as shown in FIG. 7 is applied to the two-stage moire method.
  • FIG. 14A shows a lattice image obtained by projecting a sine wave having a fixed period (8 pixel period in the projector) on the reference plane.
  • the conventional moire method is applied to FIG. 14A by downsampling 25 pixels in the horizontal direction and luminance interpolation, and using the 25 moire fringes whose phases are shifted.
  • the phase distribution of fringes is shown in FIG.
  • FIG. 14C shows the phase distribution of the two-stage moire fringes calculated by using the two-dimensional discrete Fourier transform.
  • FIG. 14 (d) shows the phase distribution of the original projection grating obtained by adding the phase of the sampling point to the phase distribution of the two-stage moire fringes (formula (7)).
  • 2500 moire fringes whose phases are shifted can be generated from one lattice image, and more accurate phase analysis can be performed.
  • FIG. 15 shows a comparison result of the analysis results obtained by the phase shift method, sampling moire method, space-time phase shift method, and the present invention for the reference plane lattice image as shown in FIG. 14 (a).
  • FIG. 15A shows the result of spatially differentiating the phase distribution calculated by the conventional phase shift method from the eight phase-shifted lattice images taken in the horizontal direction (phase gradient).
  • the left figure is a phase gradient distribution diagram, and the right figure is a sectional view of one horizontal center line.
  • FIG. 15 (b) shows the result of calculating one photographed grid image by the conventional sampling moire method (decimation number is 25 pixels).
  • FIG. 15 (c) shows the result of calculating eight phase-shifted grid images taken by the conventional space-time phase shift method (decimation number is 25 pixels).
  • FIG. 15 (d) shows the result of calculating one captured grid image according to the present invention (the thinning-out number is 25 pixels in the first stage and 100 pixels in the second stage).
  • the correct result is that the phase gradient of the reference plane is a smooth straight line with a certain inclination.
  • the conventional phase shift method has a large measurement error.
  • the sampling moire method can calculate the phase with one lattice image, but there is a measurement error.
  • the spatio-temporal phase shift method uses both temporal and spatial luminance information and is therefore more accurate than the phase shift method and the sampling moire method, but requires multiple images and is not suitable for dynamic measurement.
  • FIG. 16 uses a three-dimensional shape measuring apparatus as shown in FIG. 7 and applies a grid image of a reference plane and an object (hand) obtained by photographing a grid projected from the grid projection apparatus to the two-stage moire method. This is an analysis result of obtaining the height of the object from the phase difference between the reference plane and the object.
  • FIG. 16 (a) shows images taken with cameras installed at different angles by projecting two types of sinusoidal grating patterns with a grating pitch ratio of 8 and 9 onto the reference plane and the object in order from the top.
  • FIG. 16B shows the phase distribution calculated by the two-stage moire method for these images.
  • two types of lattice patterns having a lattice pitch ratio of 8 and 9 are used so that the height can be measured even with a deep object.
  • FIG. 16 (c) shows the phase difference between the reference surface and the object when the grating pitch ratio is 8
  • FIG. 16 (d) shows the phase difference between the reference surface and the object when the grating pitch ratio is 9.
  • the analysis conditions for a lattice having a lattice pitch ratio of 8 are the same as those in FIG. In the case of a lattice with a lattice pitch ratio of 9, the first downsampling pitch is 29 pixels and the second downsampling pitch is 110 pixels.
  • phase difference results of FIG. 16 (c) and FIG. 16 (d) it is applied to an existing phase connection algorithm using a plurality of pitch gratings, and the obtained object (hand) after phase connection is applied.
  • the phase distribution is shown in FIG.
  • FIG. 17 shows the hand height measurement results obtained by the conventional phase shift method, the sampling moire method, and the two-stage moire method of the present invention.
  • FIG. 17A shows measurement results obtained by the conventional phase shift method.
  • the lattice images with a lattice pitch ratio of 8 are divided into 8 images whose phases are shifted by 2 ⁇ / 8 and a lattice image with a lattice pitch ratio of 9.
  • the left side shows the shape distribution, and the right side shows the data of one horizontal line.
  • FIG. 17 (b) shows the measurement result obtained by the conventional sampling moire method, and dynamic shape measurement can be performed using only two images in total with a grating pitch ratio of 8 and 9, respectively. There are many problems.
  • FIG. 17 (c) shows the result obtained by the two-stage moire method of the present invention.
  • the analysis result is obtained under a condition where the SN (Signal-noise) ratio of the projected lattice pattern is extremely bad. Therefore, since the conventional phase shift method (FIG. 17A) and the space-time phase shift method require many phase shift lattice images, application to dynamic measurement is difficult.
  • the sampling moire method (FIG. 17 (b)) is suitable for dynamic measurement, but there are many places where the measurement result has a lot of noise and the shape cannot be measured well.
  • FIG. 17 (c) it was confirmed that the shape of the hand with less measurement error can be calculated using only two images in each of the lattice pitch ratios 8 and 9.
  • the present invention is effective for highly accurate and dynamic three-dimensional shape measurement.
  • this method using the two-stage moire method is not suitable for measuring a rapidly changing object because it uses luminance information in a wide space.
  • Simulation verification example 4 of the proposed method in uniform deformation measurement is an example in which the proposed two-stage moire method is implemented by simulation to verify the accuracy when uniform deformation measurement is performed.
  • a regular lattice with a 10 pixel pitch can be extended linearly, and the current strain is 100 ⁇ (FIG. 18A).
  • the length of the regular lattice image was 10000 pixels.
  • the microstrain ( ⁇ ) here is a unit of strain and is 10 to the sixth power.
  • a known digital sampling moire fringe before and after deformation was obtained when the pitch of the reference grid was 9 pixels (FIG. 18 (b)).
  • the interval between known moire fringes before and after the deformation was about 90 pixels.
  • a known moire fringe was treated as a regular lattice, downsampling was performed at 88 pixels, and a two-stage moire fringe before and after deformation was obtained by combining with the spatial phase shift method (FIG. 18 (c)).
  • the distribution characteristics (FIG. 19) measured for non-uniform displacement and strain are the same as the theoretical characteristics.
  • a numerical value obtained from the MATLAB (registered trademark) function peaks (x, y) is added to a regular grid with one pitch of 8.1 pixels (FIG. 19 (a) left, before deformation) and transformed (FIG. 19 (a)). Right, after deformation).
  • the grid image was 256 ⁇ 180 pixels.
  • the known moire fringes were downsampled at 41 pixels and combined with the spatial phase shift method to obtain a two-stage moire fringes that were phase-shifted before and after deformation (FIG. 19 (c)).
  • phase of moire fringes before and after deformation was determined using the present invention (FIG. 19 (d)).
  • displacement and strain distribution were measured.
  • the distribution characteristics of the measured displacement and strain agreed with the theoretically obtained result.
  • the measured average strain error is shown in Fig. 21 (a) with the strain applied in the simulation as the horizontal axis.
  • FIG. 21 (b) shows the standard deviation of the measured strain. All the relative errors were less than 1% and the standard deviation was less than 4 ⁇ 10 ⁇ 5 , confirming that highly accurate strain measurement was possible.
  • Fig. 23 shows the deformation measurement process of an aluminum sample under a tensile load, taking as an example the case where the value of the strain gauge is 3000 ⁇ .
  • FIG. 24 shows a stress-strain curve of an aluminum sample obtained using the average strain evaluated from the proposed method and the strain evaluated from the strain gauge.
  • the average strain value evaluated from the proposed method agreed well with that of the strain gauge method, and the validity and measurement accuracy of the proposed method could be verified.
  • the proposed secondary moire method and its software can be used for full-field displacement and strain measurement of various materials and structures from nanoscale to metric scale.
  • Analyzable objects include metals, polymers, ceramics, semiconductors, composite materials, hybrid structures, and thin films in industrial fields such as aerospace, automobiles, electronic packaging, biomedicine, military, and material manufacturing.
  • the following four major applications can be cited as typical applications in the industrial field.
  • the proposed method can predict the crack initiation region by finding the stress concentration region from the full-field deformation.
  • Crack propagation morphology can be evaluated by measuring the deformation distribution near the crack tip. It is possible to quantitatively analyze instability modes due to various mechanical loads, electric loads, thermal loads, magnetic loads, and mixed loads in which they are combined, and damage forms including delamination, buckling, and cracks.
  • Residual strain inside the material and its effect on structural stability can be detected by combining with stress release methods (heating, drilling method, ring core method, etc.) .
  • Measure deformation distribution in the vicinity of the interface helps to find areas that are prone to fracture, and provides guidelines for strengthening and strengthening materials and optimal design of materials and interfaces.
  • Deformation measurement information can be used to determine material constants such as stress-strain curves, Young's modulus, Poisson's ratio, elastic limit, yield strength, and ultimate strength. Displacements and strains caused by mechanical, electrical or thermal loads can be evaluated, helping to monitor structural integrity.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

従来のモアレ法では、測定精度と動的計測の両立または視野と測定精度のバランスをとることは困難である。従来のモアレ縞を位相シフトされた2段モアレ縞を生成するための格子として扱い、変形前後の2段モアレ縞の位相を空間位相シフト法のアルゴリスムを利用して正確に解析し、測定対象物表面と基準面に投影された格子の位相差から形状を、物体表面に存在する繰り返し模様または作製された格子の変形前後の2段モアレ縞の位相差から変位とひずみを決定することができる。その結果、物体の三次元形状と変形分布を広視野で正確に、もしくは高精度で動的に測定可能になった。

Description

周期模様を利用した三次元形状・変位・ひずみ測定装置、方法およびそのプログラム
 高精度、広視野で三次元形状・変位・ひずみ分布測定のために、2段モアレ技術とそのプログラムを開発することを目的とする。これは、非破壊計測、実験力学と光学技術の分野に属する。
 物体の形状や変形を計測することは、力学的特性、構造不安定性、亀裂伝播と残留応力の評価のため極めて重要な技術である。製品の小型化や集積化に伴い、ミリ、ミクロン、ナノスケールレベルでの変形計測は材料科学の分野で大きな注目を集めている。
 現時点で物体の三次元形状計測やその微小変形計測に一般的に使用される手法は、光学的全視野計測法として、デジタル画像相関(Digital Image Correlation, DIC)法、電子スペックルパターン干渉法(Electronic Speckle Pattern Interferometry, ESPI)、幾何学的位相分析(Geometric Phase Analysis, GPA)、縞画像の位相解析方法(例えば、フーリエ変換法、位相シフト法、時空位相シフト法等)、とモアレ法がある。
 DIC法は、高い測定精度を有するが測定中外乱ノイズの影響を受けやすいのが欠点である。ESPI は振動に非常に敏感である。GPAは試料の格子を直接観察することから走査モアレ法と比較して観察視野が狭い。フーリエ変換法は平面内の小規模な変形を分析する別の方法であるが、使用する格子を観察することから視野が小さくなる (視野の幅は格子ピッチの通常100倍未満)。
 モアレ法は、変形の前後のモアレ縞の変化から変形分布を非破壊的測定する効果的な方法である。中でも、顕微鏡モアレ法、CCDまたはCMOSモアレ法(以降、CCDモアレ法と記す)、モアレ干渉法、サンプリングモアレ法、デジタルモアレ法、オーバーラップ(幾何学的)モアレ法は大きな注目を集め、様々な材料および構造の変形計測に適用されている。
 顕微鏡モアレ法とモアレ干渉法は、顕微鏡を用いたミクロン/ナノスケール変形計測に適している。CCDモアレ法、サンプリングモアレ法、デジタルモアレ法、(幾何学的)オーバーラップモアレ法は格子画像を取得できる場合、ナノスケールからメートルスケールの変形を測定できる。
 モアレ法は、金属、高分子、複合材料などの材料のひずみや橋梁、建物の構造の変形の測定に適用される。また格子画像のモアレ縞の位相を解析することで、変形計測の測定精度を大幅に向上させることができる。
 縞格子(fringe or grating、以降単に縞と呼ぶ)画像の位相解析として、図1のように、複数枚の位相がシフトされた縞画像を用いて位相を解析する位相シフト法や、1枚の縞画像のみを用いて位相を解析するサンプリングモアレ法、と位相シフト法とサンプリングモアレ法を融合した時空位相シフト法がある。
 位相シフト法と時空位相シフト法は複数枚の縞画像を撮影する必要があり、動的計測への適用ができない。サンプリングモアレ法は1枚の縞画像から位相を解析でき、動的計測への適用が可能であるが、ノイズが多い環境では、精度の良い計測ができないといった問題点がある。1枚の縞画像を撮影するだけで、高精度な三次元形状変形計測方法が望まれている。
特許5818218号公報 高次元輝度情報を用いた縞画像の位相分布解析方法、装置およびそのプログラム,李志遠 国際公開WO/2015/008404号公報 規則性模様による変位分布のための測定方法、装置およびそのプログラム,李志遠・津田浩 特願2016-028169(2016.2.17) モアレ法による高速変位・ひずみ分布測定方法及び測定装置,王慶華・李志遠・時崎高志
Qinghua Wang, Hiroshi Tsuda and Huimin Xie, Developments and Applications of Moire Techniques for Deformation Measurement, Structure Characterization and Shape Analysis, Vol. 8, No. 3, pp. 188-207 (2015).
 顕微鏡モアレ法、CCDモアレ法、モアレ干渉法、サンプリングモアレ法、デジタルモアレ法、(幾何学的)オーバーラップモアレ法を含む従来のモアレ法では、視野と測定精度のバランスをとることは困難である。
 顕微鏡モアレ法、CCDモアレ法、モアレ干渉法、デジタルモアレ法、オーバーラップモアレ法において、主に使用される解析法は、モアレ縞(フリンジ)を中心とした方法である。変形分布の計算にモアレ縞の中心線のみが使用されるため、変形の測定精度は高くない。
 特許文献1に記載している時空間の位相シフト法を用いる場合は、顕微鏡とCCDモアレ法での測定確度を改善することができる。ただし、位相がシフトした複数枚のモアレ縞や格子イメージを記録する操作は、時間がかかり、振動によって容易に影響を受ける動的測定には適していない。
 サンプリングモアレ法では、空間位相シフト法を利用して測定精度を向上できるが、高精度と広視野を同時に実現できない。より小さい格子ピッチを有する試料は、高い測定精度を与える反面、視野が小さくなる。より大きい格子ピッチ(3画素以上)を有する試料は、広視野にできるが、変形を計算する空間位相シフト法を実行できない。
 高い変形計測精度と広視野(図2)、または高精度と動的計測を同時に達成することが課題となる。
 広視野と高精度、または高精度と動的計測を同時に達成するための革新的な変形計測技術としてこの特許で2段モアレ法を提案する。
 コアとなるアイデアは、記録または生成された従来のモアレ縞を、位相シフトされた2段モアレ縞を生成するための格子として扱うことである。2段モアレ縞の位相は空間位相シフト法または時空位相シフト法などのアルゴリスムを利用してより正確に算出することができる。
 測定対象物表面と基準面に投影された格子の位相差から形状を、物体表面に貼り付けた格子の変形前後の2段モアレ縞の位相差から変位とひずみを決定することができる。
 その結果、物体の三次元形状と変形分布を広視野で正確に、もしくは高精度で動的に測定可能になる。
2段モアレ縞の形成
 顕微鏡の走査線、またはカメラのピクセル配列、または仮想格子(ダウンサンプリングピクセル配列)、またはデジタル格子は、参照格子とすることができる。
 試料の格子と参照格子間のわずかな不一致またはずれがある場合、従来のモアレ縞が試料の格子と参照格子との干渉から出現する(図3(a))。
 従来のモアレ縞には、顕微鏡モアレ縞、CCDモアレ縞、サンプリングモアレ縞またはデジタルモアレ縞が含まれている。
 これら従来のモアレ縞を格子として扱う。
 従来のモアレ縞の間隔 Pm に近いピッチT(2)でダウンサンプリング処理を行い、ダウンサンプリングの開始点を1 ピクセルずつ(T(2)-1)回ずらして、それぞれのダウンサンプリング画像に対して輝度補間を行えば、図3(b)のように T(2)ステップの位相がシフトされた2段モアレ縞を得ることができる。
 2段モアレ縞を生成する方法、およびその位相分布を算出する方法は3つある。以下、それぞれの方法を記す。
 2段モアレ縞の位相分布の算出原理1(モアレ縞を格子として扱う場合)
 図4に1つ目の2段モアレ縞の生成、および位相分布を算出する方法の原理を示す。
 試料の格子のピッチと参照格子(顕微鏡走査線、またはカメラ撮像画素デジタル格子)のx方向(またはy方向、以降省略)のピッチをそれぞれPとTと定義する。
 試料格子および参照格子の位相表現はそれぞれφs=2πx/P(またはφs=2πy/P)とφr=2πx/T(またはφr=2πy/T)になる。
 A(x,y)をモアレ縞の振幅、φ0を初期位相とし、B(x,y)には背景輝度と高次周波数(2πx/P、2πx(1/P+1/T)、など)が含まれるとして、従来のモアレ縞の輝度分布は式(1)で表せる。試料の格子ピッチPと参照格子またはダウンサンプリングピッチTのわずかな違いによって、ピッチ間隔Pm(1/Pm=1/P-1/T)のモアレ縞が生成される。
Figure JPOXMLDOC01-appb-M000001
 高次周波数を除外すれば、従来のモアレ縞の位相は式(2)で表せる。
Figure JPOXMLDOC01-appb-M000002
 形状変形計測精度を向上させるために、従来のモアレ縞はサンプリングモアレ法における空間的位相シフト法により解析される。
 従来のモアレ縞を位相がシフトされた2段モアレ縞を生成する際に用いる「格子」として扱う。
 ダウンサンプリングピッチをT(2) とすると、A(2)(x,y)を2段モアレ縞の振幅、kを位相シフト手順の番号とし、B(2)(x,y)には2段モアレ縞の背景輝度と高次周波数(2πx/P、2πx(1/P+1/T)、など)が含まれるとして、2段モアレ縞の輝度は式(3)で表現できる。
Figure JPOXMLDOC01-appb-M000003
 その結果、2段モアレ縞の位相は式(4)で表され、1次元の離散的フーリエ変換(Discrete Fourier transform: DFT)または高速フーリエ変換(Fast Fourier transform: FFT)より算出できる。
Figure JPOXMLDOC01-appb-M000004
 ただし、回転因子Wを式(5)として定義する。
Figure JPOXMLDOC01-appb-M000005
 ここで求めた2段モアレ縞の位相を利用して、元のモアレ縞φmを式(6)、元の格子の位相φsを式(7)より求めることができる。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
 このように、従来のモアレ縞を格子とみなし、空間的位相解析方法であるサンプリングモアレ法を適用することで、本来の広視野という特徴に加えて、高精度な解析も同時にできるようになる。
2段モアレ縞の位相分布の算出原理2(格子画像を2段階にダウンサンプリングする場合)
 図5に2つ目の2段モアレ縞の位相分布を算出する方法の原理を示す。
 ここでは、物体表面に投影された1次元の垂直方向の格子または試料表面に貼り付けた格子のピッチをPとする。このときに撮影される格子画像の輝度分布は式(8)で表される。
Figure JPOXMLDOC01-appb-M000008
 a(x,y)、b(x,y)、φ0はそれぞれ格子の振幅、背景輝度と初期位相である。
 撮影された格子画像に対して、x方向にサンプリング(カメラ撮像画素デジタル格子)ピッチTでダウンサンプリングと輝度補間すると、格子およびサンプリング格子の位相表現はそれぞれφs=2πx/Pとφr=2πx/Tになる。
 A(x,y)をモアレ縞の振幅、φ0を初期位相とし、B(x,y)には背景輝度と高次周波数(2πx/P、2πx(1/P+1/T)、など)が含まれるとして、サンプリングモアレ法によって得られる従来のモアレ縞の輝度は式(9)で表せる。
 式(1)と異なり、ここでは同時に複数枚の位相がシフトされたモアレ縞が得られている。
Figure JPOXMLDOC01-appb-M000009
 ここで得られた複数枚の位相がシフトされたモアレ縞を2段モアレ縞の生成に用いる「格子」として扱う。それぞれの位相シフトモアレ縞に対して、さらに2段階目のダウンサンプリングとして、ダウンサンプリングピッチをT(2)とすると、A(2)(x,y)を2段モアレ縞の振幅、kとtを位相シフト手順の番号とし、B(2)(x,y)は2段モアレ縞の背景輝度として、2段モアレ縞の輝度分布は式(10)で表現できる。
 この場合、T×T(2)枚の位相がシフトされた2段モアレ縞が得られる。
Figure JPOXMLDOC01-appb-M000010
 その結果、2段モアレ縞の位相は式(11)で表され,2次元離散的フーリエ変換または高速フーリエ変換より算出できる。
Figure JPOXMLDOC01-appb-M000011
 ここで求めた2段モアレ縞の位相を利用して、元のモアレ縞φmを式(6)、元の格子の位相φsを式(7)より求めることができる。
 また、物体表面に投影された1次元の斜め方向の格子または試料表面に貼り付けた格子をデジタルカメラで撮影して得られる格子画像の輝度分布は式(12)で表される。
Figure JPOXMLDOC01-appb-M000012
 ここで、Px、Pyはそれぞれ格子のx方向とy方向のピッチ間隔である。
 撮影された格子画像に対して、x方向とy方向にそれぞれサンプリング(カメラ撮像画素デジタル格子)ピッチTxとTyでダウンサンプリングと輝度補間すると、2次元サンプリングモアレ法によって得られる従来のモアレ縞の輝度分布は式(13)で表せる。 
Figure JPOXMLDOC01-appb-M000013
 ここで得られた複数枚の位相がシフトされたモアレ縞を2段モアレ縞の生成に用いる「格子」として扱う。
 それぞれの位相シフトモアレ縞に対して、さらに2段階目のダウンサンプリングとして、x方向とy方向のダウンサンプリングピッチをTx (2)、Ty (2)とすると、A(2)(x,y)を2段モアレ縞の振幅、kxとkyをそれぞれx方向とy方向の位相シフト手順の番号とし、B(2)(x,y)は2段モアレ縞の背景輝度として、複数枚の位相がシフトされた2段モアレ縞の輝度分布は式(14)で表現できる。
Figure JPOXMLDOC01-appb-M000014
 これらの2段モアレ縞を用いて、2段モアレ縞の位相を式(15)に示すとおり、(多次元)離散的フーリエ変換または高速フーリエ変換より算出できる。
Figure JPOXMLDOC01-appb-M000015
 ここで求めた2段モアレ縞の位相を利用して、元のモアレ縞φmを式(6)、元の格子の位相φsを式(7)より求めることができる。
2段モアレ縞の位相分布の算出原理3(格子画像をダウンサンプリング後にモアレ縞のピッチを調整する方法)
 図6に3つ目の2段モアレ縞のピッチ間隔を調整してから位相分布を算出する方法の原理を示す。
 本発明である2段モアレ法は、1回目のダウンサンプリングより生成されるモアレ縞を格子とみなし、再度ダウンサンプリング処理を行うが、モアレ縞のピッチ間隔が疎な場合、2段モアレ縞のダウンサンプリングピッチが大きくなり、空間分解能が低下することがある。
 この場合、適切なピッチ間隔で2回目のダウンサンプリング処理をできるように、以下にモアレ縞の位相値を利用して、モアレ縞のピッチを調整できる方法を述べる。
 従来のサンプリングモアレ法で、格子ピッチPに近いピッチTでダウンサンプリングと輝度補間処理を行い、得られた疎なモアレ縞の位相値に、式(16)に示す整数であるNを乗算した値を再度正弦波または余弦波関数より、密な(乗算型)モアレ縞を生成できる。
Figure JPOXMLDOC01-appb-M000016
 この方法で得られた調整後のモアレ縞の間隔に近い値のダウンサンプリングピッチで2段モアレ縞を生成し、これまでに述べた2段モアレ縞の位相算出方法に適用すれば、高精度な2段モアレ縞の位相解析が行える。
 この方法において、調整係数であるNを変えることで、精度を優先するのかまたは空間分解能を優先するのかを選択的に決めることができるのが利点である。
 表1にこれまでに述べた本発明である3つの手法の特徴と適用条件および従来の位相解析方法との比較をまとめた。記録される格子そのものまたはモアレ縞の間隔が密か粗であるかによって最適な方法を選ぶ。表2に3次元形状・面外変位計測における従来法と本発明の比較と、表3に面内変位・ひずみ計測における従来法と本発明の比較をまとめている。
 従来法に比べて、高精度かつ高速、または高精度かつ広視野の形状変形計測ができるようになる。
Figure JPOXMLDOC01-appb-T000017
Figure JPOXMLDOC01-appb-T000018
Figure JPOXMLDOC01-appb-T000019
2段モアレ縞による物体の三次元形状計測の原理
 物体を測定する方法の1例として、例えば、平面物体である基準面を格子投影と撮影を行い、基準面の位相分布φrefとし、同様に基準面の前に設置した物体を格子投影と撮影を行い、物体の位相分布をφobjectとする。ここで、基準面と物体の位相差と物体の高さの関係は式(17)に示すように、近似的に比例関係にある。
Figure JPOXMLDOC01-appb-M000020
 したがって、基準面を奥行き(高さ)方向にあらかじめ数カ所動かしながら、それぞれの2カ所の距離(高さ)とそのときの位相差の関係をキャリブレーションして、位相・高さ換算係数κを求めておけば、物体の高さを非接触で測定することができる。
2段モアレ縞による変形(変位・ひずみ分布)計測の原理
 構造材料に外力(力や熱変化など)を負荷して変形させると、試料表面の格子のピッチが変形のためx方向にPからP'に変わる。
 参照格子Tのピッチが不変の場合、式(2)と同様に、変形後の従来のモアレ縞は式(18)になる。
Figure JPOXMLDOC01-appb-M000021
 試料格子のピッチがPからP'に変わると、試料の試料格子の位相がφs=2πy/P'に変わるので、変形前後の試料の位相差は式(19)になる。
Figure JPOXMLDOC01-appb-M000022
 式(2)、(18)、(19)から、従来のモアレ縞の位相差は変形前後の試料格子の位相差に等しい。
Figure JPOXMLDOC01-appb-M000023
 変形に伴い、試料の格子のピッチが変形のためx方向にPからP'に変更し、参照格子T(2)のピッチが不変の場合、式(4)と同様に、変形後の2段モアレ縞は式(21)になる。
Figure JPOXMLDOC01-appb-M000024
 式(4)、(20)、(21)により、2段モアレ縞の位相差は、変形前後の従来のモアレ縞の位相差と変形前後の試料格子の位相差に等しいことがわかる。
Figure JPOXMLDOC01-appb-M000025
 uをx方向の試料格子の変位を表現すると仮定すると、変形した試料格子の位相はφs'(x)=2π(x-u)/Pとして表せる。
 変形前の試料格子の位相φs(x)=2πx/pに基づいて、試料格子の位相差はΔφs(x)=φs’(x)-φs(x)=-2πu/pによって計算できる。その結果、変位は試料格子の位相差に比例する。
 ここで、pは試料表面の格子の実寸ピッチである。
 x方向の試料の変位は、式(23)によって決定される。
Figure JPOXMLDOC01-appb-M000026
 x方向の試料のひずみは、変位uxの一次微分から測定可能である。
Figure JPOXMLDOC01-appb-M000027
 同様にy方向の格子ピッチもpである場合、y方向の変位とひずみ測定は、式(25)と式(26)より算出できる。
Figure JPOXMLDOC01-appb-M000028
Figure JPOXMLDOC01-appb-M000029
(第1の実施形態:三次元形状計測)
 以下、図面を参考しながら本発明の第1の実施形態について説明する。
 図7は、本実施形態に係る物体の三次元形状測定システムにおける計算機1、撮像素子3と格子投影装置4、および測定対象物5と基準面(平面物体)6の配置例を示す図である。
 図7に示す例では、三次元形状測定システムは、測定対象とする三次元物体の形状を測定する。
 格子投影の制御部11から設定された(その基準面でピッチ寸法および高さ係数(その規則格子の位相と高さの変換係数)が知られた)格子模様が格子投影装置4より投影され、投影されたパターンを撮像素子3(各種カメラや顕微鏡)用いて縞格子画像の記録部12より物体の形状に応じてゆがんだ格子模様を撮影する。
 撮影された画像に対して、本発明の方法による2段モアレ縞の生成部と位相解析の演算部13で2段モアレ縞画像の位相分布を算出し、三次元形状の演算部14で位相分布からさらに高さ分布を算出する。
 その計測結果をモニター表示部2で表示される。
(第2の実施形態:変位・ひずみ計測)
 図8は、本実施形態に係る材料の変位・ひずみ分布測定システムにおける計算機1、撮像素子3と測定対象とする構造材料7、微細格子8(1次元または2次元)の配置例を示す図である。
 図8に示す例では、変形測定システムは、測定対象とする構造材料表面に付与されそのピッチ寸法が知られた微細格子を撮像素子3より格子画像またはモアレ縞を記録する。
付与されとは、規則格子を材料表面に貼り付けるだけでなく、例えば金属材料で観察される原子配列画像に見られるように試料表面にあらかじめ存在する繰り返し模様であってもよい。
 記録部12で記録されたモアレ縞または格子画像から生成されたモアレ縞を、2段モアレ縞の生成部と位相解析の演算部13で各処理し、さらに変位・ひずみの演算部15で計測した変位・ひずみ分布結果がモニター2で表示される。
形状変形計測手順
 図9に2段モアレ法による形状・変形計測のフローチャート示す。
 (S1)三次元形状計測の場合は物体表面に格子パターンを投影する。
 変位・ひずみ分布計測の場合は試料表面上に規則格子を作製する、または試料自体の周期構造を格子としてもよい。
 (S2)次に画像記録装置の下に試料格子を配置する。
 画像記録装置はレーザー走査型顕微鏡(LSM)、走査型電子顕微鏡(SEM)、透過型電子顕微鏡(TEM)や原子間力顕微鏡(AFM)などの走査型顕微鏡、電荷結合素子(CCD)カメラまたは相補的金属酸化物半導体(CMOS)カメラなどのデジタルカメラ、またはモアレ干渉計であってよい。
 次に顕微鏡の走査線間隔またはカメラのピクセルサイズを試料格子ピッチ(またはその整数(2以上の自然数)倍やその整数を分母とする分数倍)の近傍に調整する。
 試料格子と顕微鏡走査線またはピクセル配列との間の干渉により広視野CCD/CMOSモアレ縞が画像記録装置に記録される。
 または2つのコヒーレントレーザー干渉によって引き起こされる干渉モアレ縞が干渉計によって記録される。
 顕微鏡モアレ、CCD/CMOSモアレ、干渉モアレは、モアレ縞を直接観察、記録する手法である。
 これ以外に格子画像を撮影して画像処理によりモアレ縞(たとえばデジタルモアレ、サンプリングモアレ、オーバーラップモアレなど)を生成する方法がある。
 これらの手法においては視野を拡大するために、撮影画像上の試料格子ピッチは2ピクセルまで小さくできる。
 サンプリングモアレ法やデジタルモアレ法から得られるモアレ縞はダウンサンプリングと輝度補間、または試料格子と試料格子のピッチ(または整数倍や分数倍数)に近いデジタル格子との干渉によって生成される。オーバーラップ(幾何学的)モアレ縞は、変形前後の試料格子間の重ね合わせによって生成される。
 (S3)これら従来のモアレ縞を使用して、その間隔に近いピッチによりダウンサンプリング、輝度補間、そして空間位相シフト法を用いて、位相がシフトされた2段モアレ縞を生成する。
 それから位相がシフトされた2段モアレ縞から2段モアレ縞の位相分布を求めることができる。
 (S4)変形前後の2段モアレ縞の位相差から(S5)変位・ひずみ分布を広視野で正確に定量評価することができる。
 この形状変形計測法を2段モアレ法と命名する。
 2段モアレ法は、モアレ縞からデジタル格子を利用してその位相差が同一となるモアレ縞を生成し得る限り多段階的に拡張することが可能である。
 よって2段モアレ法には本発明の課題に適合する限度において多段モアレ法が含まれる。
 また、一枚の変形後のモアレ縞のみから変形していない部分のモアレ縞の位相変化(位相勾配)と変形している部分のモアレ縞位相変化とを比較することで変形前のモアレ縞を推定できる場合には、一枚の変形後のモアレ縞からひずみを求めることもできる。
 モアレ縞の位相変化を求める際には推定されたモアレ縞と変形後のモアレ縞とを変形前後のモアレ縞として2段モアレ法を適用してもよい。
 ただしこの手法は、図7に示した第1の実施形態で説明した三次元形状計測において格子を斜めから物体に投影するため基準面におけるゆがんだ格子模様が撮影されるような場合にはそのゆがんだ格子画像から基準面での正規な格子画像(基準面であったなら得られたであろう)が推定される場合を除いて不向きである。
本発明のプログラムの流れ
 次に本発明に係る形状変形測定処理について説明する。図10は、本発明に係る形状変形測定処理を示すフローチャートである。図10に示す処理は、ステップS101、S102、S103、S104とS105を有する。
 図10に示す処理では、ステップS101の後、順番にステップS105の処理を行う。
 プログラム言語は上述の数式が演算可能であれば適宜選択できそのプログラムを実行する計算機は専用機・汎用機のいずれでもよい。
 格子模様またはモアレ縞を記録した(S101)後、ピッチ寸法、高さ係数、モアレ縞を生成し得る整数等パラメータを入力して(S102)、2段モアレ法を用いて必要な演算行い(S103)、2段モアレ縞の位相分より形状・変位・ひずみ量を算出して(S104)、その結果を表示する(S105)。
 本発明は、2段モアレ法による広視野で高い測定精度でまたは高精度で動的に全視野変位とひずみを測定できるため、以下の効果がある(図11)。
 効果1:提案手法は、従前の顕微鏡、CCD、デジタル、オーバーラップモアレ法とモアレ干渉法に使用される縞中央化法と比較して、位相解析により顕著に測定精度が向上する。ひずみ感度は、理論的には10-6 に達する。また本発明によれば、各種顕微鏡の走査歪みに起因したひずみ測定誤差を除去できる。
 効果2:提案手法の解析領域は、従来のサンプリング/デジタル/オーバーラップモアレ法と比して、数十から数百倍大きくできる。 
 効果3:変形計測の記録に必要なのは単一のモアレパターンまたは単一格子イメージのみである。
 提案手法は、時空間の位相シフト法を適用できない動的な材料試験に適している。
 効果4:この技法は、良好なノイズ特性があって、モアレパターンまたは格子イメージを記録できる場合、ナノスケールからメータースケールの非破壊変形計測に使用することができる。
異なる位相解析手法の原理図。 異なるモアレ法の視野。 (a)従来のモアレ縞と(b)2段モアレ縞の形成原理を表す図。 モアレに対してダウンサンプリング処理して、得られる2段モアレの位相分布の算出原理図。 格子画像を2段階にダウンサンプリング処理して、得られる2段モアレの位相分布の算出原理図。 位相分布を利用した倍増型モアレ縞の生成原理と画像処理の流れ図。 本発明による3次元形状測定装置の構成図。 本発明による変位・ひずみ測定装置の構成図。 提案手法の変形測定工程のフローチャート。 提案手法の変形測定プログラムのフローチャート。 異なるモアレ法のひずみ計測精度の分布比較表。 2段モアレ法を任意の2次元繰り返し模様に適用した実施例。 本発明の第3の方法による倍増型モアレ縞の生成の実施例。 2段モアレ法による投影格子の位相解析の実施例。 先行技術と本発明による投影格子の位相解析結果の比較図。 2段モアレ法を格子投影による3次元非接触形状計測への適用の実施例。 先行技術と本発明による物体の高さ計測結果の比較結果を表す図。 均一な変形計測の提案手法のシミュレーション検証結果を表す図。 不均一な変形計測の提案手法のシミュレーション検証結果を表す図。 シミュレーションしたひずみ値が0と1000μεの場合のランダムノイズを有する傾斜格子を用いて得られた変位・ひずみ分布の解析結果を表す図。 (a)シミュレーションしたひずみ値(プリセット)を基準にして2段モアレ法で計測した平均ひずみの誤差、および、(b)測定されたひずみの標準偏差を表す図。 レーザー顕微鏡下でアルミ試験片および引張実験のセットアップの写真。 アルミ試験片の引張試験時にひずみゲージ値が3000μεのときの2段モアレ法による変位・ひずみ分布計測結果を表す図。 提案手法とひずみゲージで得られたアルミ試料の応力-ひずみ曲線の比較図。
シミュレーションによる任意の繰り返し模様の2段モアレ縞の生成原理の確認
 ここでは、任意の2次元繰り返し模様を対象に、2段モアレ法を適用した場合の結果を示す。
 図12(a)は物体表面に存在するまたは付与した繰り返し模様(英語A)とする。
 図12(a)の模様に対して、x方向およびy方向に一定ピッチで1回目のダウンサンプリングによって得られるモアレ縞画像は図12(b)である。
 このモアレ縞画像を格子とみなし、さらにx方向およびy方向に一定ピッチで2回目のダウンサンプリングによって得られるモアレ縞画像は図12(c)である。
 元の繰り返し模様であるAを拡大して、さらに拡大していることがわかる。
 これを2段モアレと呼ぶ。
シミュレーションによる倍増型モアレ縞の生成原理の確認
 本発明では、格子画像をダウンサンプリング処理して得られるモアレ縞の間隔は疎であることがある。
 このような場合は、本発明である第3の方法により、適切なモアレ縞の間隔になるように、モアレ縞の間隔を密となるような倍増型モアレ縞を再構成することができる。
 図13にシミュレーションによる(倍増型)モアレ縞の生成結果を示す。
 図13(a)はシミュレーションにより生成されたピッチ間隔が3.02画素の格子パターンである。
 図13(b)は図13(a)の格子画像をダウンサンプリングピッチ2画素で間引き処理して得られた2枚の位相がシフトされたモアレ縞画像である。
 格子ピッチP(3.02画素)とサンプリングピッチT(2画素)が大きく異なっているため、モアレ縞の生成ができていないことが確認できる。
 図13(c)は図13(a)の格子画像をダウンサンプリングピッチ3画素で間引き処理して得られた3枚の位相がシフトされたモアレ縞画像である。
 格子ピッチP(3.02画素)とサンプリングピッチT(3画素)が近いため、きれいなモアレ縞を生成できるが、モアレ縞の間隔が疎であることがわかる。
 このまま2段モアレ法を適用すると、空間分解能が著しく低下するという問題点がある。
 図13(d)は図13(a)の格子画像をダウンサンプリングピッチ4画素で間引き処理して得られた4枚の位相がシフトされた間引き数が4画素のときに生成されるモアレ縞画像である。
 図13(b)と同様に、格子ピッチP(3.02画素)とサンプリングピッチT(4画素)が大きく異なっているため、モアレ縞の生成ができていないことがわかる。
 図13(e)はサンプリングピッチが3画素のときに生成されたモアレ縞画像(図13(c))を用いて算出したモアレ縞の位相分布画像である。
 この位相分布画像を用いて、調整係数Nを1から20まで変えた場合に再構成された(倍増型)モアレ縞画像の結果を図13(f)に示す。
 このように、調整係数Nを変えることで、モアレ縞の間隔を疎から密に調整できるようになる。
格子投影法による物体の三次元形状の非接触計測の実験検証
 本発明で提案する2段モアレ法による物体の三次元形状の非接触計測の精度向上を実験よりその効果を確認した。
 図14は、図7に示すような3次元形状測定装置を用いて、格子投影装置より投影された格子をカメラで撮影した格子画像を2段モアレ法に適用した場合の解析結果例を示す。
 ここでは基準面に一定周期(プロジェクタでは8画素周期)の正弦波を投影して、撮影した格子画像を図14(a)に示す。
 図14(a)に対して、従来のサンプリングモアレ法を適用して、横方向に25画素のダウンサンプリングと輝度補間をして、位相がシフトされた25枚のモアレ縞を用いて計算したモアレ縞の位相分布を図14(b)に示す。
 これらのモアレ縞画像を位相がシフトされた格子画像を見なし、さらに横方向に100画素のダウンサンプリングと輝度補間を行い、生成される100×25の2500枚の位相シフトされた2段モアレ縞画像を利用して、2次元離散的フーリエ変換より算出した2段モアレ縞の位相分布を図14(c)に示す。
 2段モアレ縞の位相分布にサンプリング点の位相を加える(式(7))ことで得られる元の投影格子の位相分布を図14(d)に示す。
 この実施例の場合、1枚の格子画像から2500枚の位相がシフトされたモアレ縞を生成でき、より高精度な位相解析が行えるようになる。
 図15は図14(a)に示すような基準面の格子画像を従来技術である位相シフト法、サンプリングモアレ法、時空位相シフト法および本発明による解析結果の比較結果である。
 図15(a)は撮影された8枚の位相シフトされた格子画像を従来の位相シフト法より算出した位相分布を横方向に空間微分した(位相勾配)結果である。
 左図は位相勾配分布図であり、右図は横中央1ラインの断面図である。
 同様に図15(b)は撮影された1枚の格子画像を従来のサンプリングモアレ法(間引き数は25画素)より算出した結果である。
 図15(c)は撮影された8枚の位相シフトされた格子画像を従来の時空位相シフト法(間引き数は25画素)より算出した結果である。
 図15(d)は撮影された1枚の格子画像を本発明(間引き数は1段目では25画素、2段目では100画素)より算出した結果である。
 基準面の位相勾配はある傾きをもったなめらかな直線であることが正しい結果である。
 図15の結果からわかるように、従来の位相シフト法は測定誤差が大きい。
 サンプリングモアレ法は1枚の格子画像で位相算出できるが、測定誤差がある。
 時空位相シフト法は時間と空間の両方の輝度情報を使用するため、位相シフト法とサンプリングモアレ法よりも精度が高いが、複数枚の画像が必要であるため、動的な計測に向かない。
 一方、本発明によれば、1枚の格子画像のみを用いて、最も精度の良い結果が得られていることから、本発明の有効性が示された。
 次に、本発明である第2の方法を利用した高精度で動的な3次元形状計測の実施例を示す。
 図16は、図7に示すような3次元形状測定装置を用いて、格子投影装置より投影された格子をカメラより撮影した基準面と物体(手)の格子画像を2段モアレ法に適用し、基準面と物体の位相差から物体の高さを求めた解析結果である。
 図16(a)は上から順にそれぞれ基準面と物体に格子ピッチ比が8と9の2種類の正弦波状格子パターンを投影して異なる角度に設置したカメラで撮影した画像である。
 これらの画像に対して、それぞれ2段モアレ法より算出した位相分布を図16(b)に示す。
 ここでは、奥行きのある物体でも高さを測定できるように、格子ピッチ比が8と9の2種類の格子パターンを用いている。
 格子ピッチ比が8における基準面と物体の位相差を図16(c)に示し、同様に格子ピッチ比が9における基準面と物体の位相差を図16(d)に示す。
 格子ピッチ比が8の格子の場合の解析条件は図14と同じである。
 格子ピッチ比が9の格子の場合の解析条件は1回目のダウンサンプリングピッチは29画素で、2回目のダウンサンプリングピッチは110画素である。
 図16(c)と図16(d)の2種類の位相差結果を用いて、既存の複数ピッチの格子による位相接続のアルゴリスムに適用して、得られた物体(手)の位相接続後の位相分布が図16(e)である。
 図16(e)にキャリブレーションで得られる高さ係数をかければ最終的に物体の高さ分布を得ることができる。
 図17は、従来の位相シフト法と、サンプリングモアレ法、および本発明である2段モアレ法でそれぞれ得られた手の高さ測定結果である。
 図17(a)は、従来の位相シフト法による測定結果で、格子ピッチ比が8の格子画像を2π/8ずつ位相がシフトされた8枚の画像と、格子ピッチ比が9の格子画像を2π/9ずつ位相がシフトされた9枚の画像の計17枚の画像を用いて求めた手の形状データである。
 左側は形状分布であり、右側は横1ラインのデータを示している。
 図17(b)は、従来のサンプリングモアレ法による測定結果で、格子ピッチ比8と9のそれぞれ1枚で計2枚の画像のみ用いて動的な形状計測を行えるが、測定結果にノイズが多いのが問題点である。
 図17(c)は、本発明である2段モアレ法で得られた結果である。
 この実施例では、投影された格子パターンのSN(Signal-noise)比が極めて悪い条件での解析結果である。
 したがって、従来の位相シフト法(図17(a))や時空位相シフト法は多くの位相シフト格子画像を必要とするため、動的計測への適用が困難である。
 一方でサンプリングモアレ法(図17(b))は動的計測に向いているが、測定結果にノイズが多く、うまく形状を測定できない箇所が多く存在する。
 対して本発明(図17(c))によれば、格子ピッチ比8と9のそれぞれ1枚で計2枚の画像のみ用いて測定誤差の少ない手の形状を算出できることを確認できた。
 図17の実験結果からわかるように、本発明は高精度でかつ動的な三次元形状計測に有効である。
 ただし、2段モアレ法を用いる本手法は、広い空間の輝度情報を用いるため、急激に変化する物体の計測に向かないことに留意する必要がある。
均一な変形計測において提案手法のシミュレーション検証
 実施例4は提案する2段モアレ法をシミュレーションで実施し、均一な変形計測した場合の正確性を検証する例である。
 10ピクセルピッチの規則格子は線型に伸張することが可能で現在のひずみは100με(図18(a))。規則格子の格子像の長さは10000ピクセルだった。
 ここでいうマイクロンストレイン(με)はひずみ量の単位で10のマイナス6乗である。
 参照格子のピッチが9ピクセルの時に変形前後の公知のディジタルサンプリングモアレ縞が得られた(図18(b))。
 変形前後の公知のモアレ縞の間隔はいずれも約90ピクセルだった。
 公知のモアレ縞を規則格子として扱い88ピクセルでダウンサンプリングを行い、空間位相シフト法と結合して変形前後の2段モアレ縞を求めた(図18(c))。
 本発明を用いて変形前後の2段モアレ縞の位相を計算した(図18(d))。
 次に同一の分布特性を有する位相の変化、または変位を測定した(図18(e))。
 最後にひずみの分布が決定されて、平均的ひずみ101μεが得られた。
 プリセットひずみ100μεに比較すると計測誤差は僅か1μεであり、本測定方法の正確性が確認できた。
不均一変形計測において提案手法のシミュレーション検証
 本実施例は不均一な変位とひずみを測定された分布特性(図19)が理論的特性と同一であることを示す例である。
 1ピッチが8.1ピクセルの規則格子(図19(a)左、変形前)にMATLAB(登録商標)関数peaks(x,y)から得た数値をその位相に加えて変形した(図19(a)右、変形後)。
格子像は256×180ピクセルだった。
 参照格子を7ピクセルとすると変形前後の公知のモアレ縞が現れた(図19(b))。
 変形前後の公知のモアレ縞の間隔は46~57ピクセルだった。
 その公知のモアレ縞を41ピクセルでダウンサンプルして空間位相シフト法と結合して変形前後の位相シフトした2段モアレ縞を求めた(図19(c))。
 本発明を用いて変形前後のモアレ縞の位相を求めた(図19(d))。
 位相の変化(図19(e))、変位とひずみ分布を測定した。
 測定された変位とひずみ(図19(f))の分布特性は理論的に求めた結果と合致した。
ランダムノイズのある傾斜格子の提案手法のシミュレーション検証
 本実施例ではランダムノイズを有する傾斜格子の変位測定を説明する。
 格子線の傾斜角は0.0086radで垂直方向の格子ピッチは2.0572ピクセル、格子像は1300×900ピクセルだった。
 傾斜格子に格子の輝度振幅の10%のランダムノイズを追加し、50με、100με、500με、1000με、2000με、3000μεに相当する引張りひずみを負荷した場合の画像をシミュレーションにより生成した。
 ひずみが0、および1000μεの場合のモアレ縞、および2段モアレ縞生成プロセスを図20に示す。2段モアレ縞の位相差から、変位およびひずみを測定できる。
 シミュレーションで与えたひずみを横軸にして、計測された平均ひずみの誤差を図21(a)に示す。
 図21(b)は測定されたひずみの標準偏差を示している。
 すべての相対誤差は1%未満であり、標準偏差は4×10-5未満であることから、高精度なひずみ計測ができていることが確認できた。
載荷したアルミニウムの変形の実験的検証
 本実施例では提案する変形計測の妥当性と正確性を実験により示す。
 アルミニウム試料は、レーザー顕微鏡(図22)の下で 引張されていた。
 アルミニウム試料の寸法は長さ・幅・厚みはそれぞれ27、6.3、0.5(mm)であった。
 UVナノインプリントリソグラフィーによりアルミニウム試料の表面に3.0μmピッチの格子を作製した。
 試料の反対側にひずみゲージを貼り付けたのち、顕微鏡の下で引張負荷を与えた。
 対物レンズの倍率を5倍にして試料上の格子と走査線との干渉で生じたレーザー走査モアレ縞を観測した。
 引張過程中の一連のレーザー走査モアレ縞を記録した。
 ひずみゲージの値が3000μεの場合を例にして、引張負荷下のアルミニウム試料の変形計測プロセスを図23に示す。
 提案手法から評価された平均ひずみとひずみゲージから評価されたひずみを用いて得られたアルミニウム試料の応力-ひずみ曲線を、図24に示す。
 提案手法から評価された平均ひずみ値はひずみゲージ法のそれと良く一致し、提案手法の妥当性と測定精度を検証することができた。
 提案された二次モアレ法とそのソフトウェアは、ナノスケールからメートルスケールに至る様々な素材や構造の全視野変位・ひずみ測定に使用できる。
 解析可能な対象には、航空宇宙、自動車、電子パッケージ、生物医学、軍事、材料製造などの産業分野における金属、高分子、セラミックス、半導体、複合材料、ハイブリッド構造、薄膜がある。
 産業分野における代表的なアプリケーションとして、主に次の4つが挙げられる。
1)はく離、亀裂伝播と不安定性モードの評価
 提案手法は全視野変形から応力集中領域を見つけることによってき裂の発生領域を予測することができる。
 き裂伝播形態はき裂先端近傍の変形分布を測定することによって評価できる。
 様々な機械的負荷、電気負荷、熱負荷、磁気負荷、およびそれらが結合した混合負荷による不安定性モードと層間はく離、座屈、き裂を含む損傷形態を定量的に解析できる。
2)残留ひずみ・応力分布の評価、最適化設計指針の提供
 材料内部の残留ひずみとその構造的安定性への影響を応力解放法(加熱、穿孔法、リングコア法など) と組み合わせることによって検出できる。
 界面近傍の変形分布計測は、破壊し易い領域を見つける助けになり、材料の強化・強靭化および材料および界面の最適設計の指針を提供する。
3)機械的特性評価と構造健全性監視
 変形計測情報は、応力-ひずみ曲線やヤング率、ポアソン比、弾性限界、降伏強度、極限強度などの材料定数を決定するのに使用できる。
 機械的、電気的負荷または熱負荷下がもたらす変位とひずみを評価することができ、構造健全性を監視する助けとなる。
4)高さ深さ平坦性の評価と製造品質の制御
 測定した3次元形状から、対象物の高さ、深さ、表面平坦性と面外変位を定量的に評価することができる。製造品質の制御、機械視覚、自動処理などの工業分野に有用である。
1  計算機
2  モニター
3  撮像素子(各種カメラや顕微鏡)
4  格子投影装置
5  測定対象とする三次元物体
6  基準面(平面物体)
7  測定対象とする構造材料
8  微細格子(1次元または2次元)
11 格子投影の制御部
12 縞格子画像の記録部
13 2段モアレ縞の生成部と位相解析の演算部
14 三次元形状の演算部
15 変位・ひずみの演算部

Claims (7)

  1.  試料の表面形状または面内・面外変位・ひずみをそのモアレ縞(規則的に配列され輝度情報を持ちうる画素(ピクセル)群に撮像された画像情報)を利用して高精度かつ広視野で計測する三次元形状、変位・ひずみ分布測定方法であって、
     前記試料の表面形状とその基準面または変形前後(以下単に変形前後とする)のピッチ寸法またはそのピッチ寸法と高さ係数(その規則格子の位相と高さの変換係数)が知られた規則格子から生成されたモアレ縞から当該モアレ縞の間隔に近接する、またはその整数(2以上の自然数、以下同じ)倍または前記整数を分母とする分数倍のピッチでダウンサンプリングと輝度補間処理を行い前記変形前後の2段モアレ縞を求め、
     さらに前記変形前後の2段モアレ縞から空間位相シフト法で得られる前記変形前後の2段モアレ縞の位相分布の差から前記高さ係数を用いて試料の三次元形状をまたは面内・面外変位・ひずみ分布を決定することを特徴とする2段モアレ縞を用いた三次元形状、変位・ひずみ分布測定方法。
  2.  前記試料の表面形状その基準面または変形前後について得られたモアレ縞は、格子投影装置(液晶プロジェクタ、DLPプロジェクタ、LCoSプロジェクタ、ロンキー格子投影を含む)、画像記録装置(デジタルカメラ、LSM、SEM、TEM、AFM顕微鏡を含む)、レーザー干渉計、コンピュータおよびモバイル端末(以下、画像記録装置等とする)から得られたシャドーモアレ縞、投影モアレ縞、顕微鏡モアレ縞、CCD/CMOSモアレ縞、干渉モアレ縞、デジタルモアレ縞、サンプリングモアレ縞、オーバーラップモアレ縞であることを特徴とする請求項1に記載の2段モアレ縞を用いた三次元形状、変位・ひずみ分布測定方法。
  3.  試料上に存在する、または投影され、描かれ、作製され、貼付された規則格子の画像を解析して当該試料の三次元形状、面内・面外変位・ひずみを高精度かつ広視野で計測する変位・ひずみ分布測定方法であって、
     前記試料の表面形状とその基準面または変形前後(以下単に変形前後とする)の規則格子の画像は画像記録装置等により記録され、
     三次元形状にあってはさらに高さ係数を求め、
     前記記録された前記変形前後の規則格子の画像から前記試料の変形前後の一枚のデジタルモアレ縞、サンプリングモアレ縞、またはオーバーラップモアレ縞が生成され、
     前記試料の変形前後の一枚のデジタルモアレ縞、サンプリングモアレ縞、またはオーバーラップモアレ縞から当該モアレ縞の間隔に近接する、またはその整数(2以上の自然数、以下同じ)倍または前記整数を分母とする分数倍のピッチでダウンサンプリングと輝度補間処理を行い変形前後の2段モアレ縞を求め、
     さらに前記変形前後の2段モアレ縞から空間位相シフト法で得られる前記変形前後の2段モアレ縞の位相分布の差から前記高さ係数を用いて試料の三次元形状をまたは面内・面外変位・ひずみ分布を決定することを特徴とする2段モアレ縞を用いた三次元形状、変位・ひずみ分布測定方法。
  4.  試料上に存在する、または投影され、描かれ、作製され、貼付された規則格子の画像を解析して当該試料の表面形状、面内・面外変位・ひずみを高精度かつ広視野で計測する三次元形状、変位・ひずみ分布測定方法であって、
     前記試料の表面に投影された格子模様または、変形前後の規則格子の画像は画像記録装置等により記録され、
     前記記録された前記変形前後の規則格子の画像から前記試料の変形前後について各n個(nは2以上の自然数)の空間位相シフトされたデジタルモアレ縞、またはサンプリングモアレ縞が生成され、
     前記試料の変形前後の各n個(nは2以上の自然数)の空間位相シフトされたデジタルモアレ縞、またはサンプリングモアレ縞から当該モアレ縞の間隔に近接する、またはその整数(2以上の自然数、以下同じ)倍または前記整数を分母とする分数倍のピッチでダウンサンプルと輝度補間処理を行いn群の変形前後の2段モアレ縞を求め、
     さらに前記n群の変形前後の2段モアレ縞から空間位相シフト法で得られる前記n群の変形前後の2段モアレ縞の位相分布の平均値の差から前記高さ係数を用いて試料の三次元形状をまたは前記試料の面内・面外変位・ひずみ分布を決定することを特徴とする2段モアレ縞を用いた三次元形状・変位・ひずみ分布測定方法。
  5.  請求項1に記載の前記試料の変形前後の一枚のデジタルモアレ縞、サンプリングモアレ縞、またはオーバーラップモアレ縞、請求項3に記載の前記試料の変形前後の一枚のデジタルモアレ縞、サンプリングモアレ縞、またはオーバーラップモアレ縞、または、請求項4に記載の前記試料の変形前後について各n個(nは2以上の自然数)の空間位相シフトされたデジタルモアレ縞、またはサンプリングモアレ縞において該モアレ縞が租な場合、
     空間位相シフト法により前記試料の変形前後の当該モアレ縞の位相分布を求め、
     前記当該モアレ縞の位相値をN倍(Nは2以上の自然数)して逆フーリエ変換により密なモアレ縞を有する倍増モアレ縞を再構築し、
     前記試料の変形前後について得られた倍増モアレ縞から当該モアレ縞の間隔に近接する、またはその整数(2以上の自然数、以下同じ)倍または前記整数を分母とする分数倍のピッチでダウンサンプルと輝度補間処理を行い変形前後の2段モアレ縞を求め、
     さらに前記変形前後の2段モアレ縞から空間位相シフト法で得られる前記変形前後の2段モアレ縞の位相分布の差から前記高さ係数を用いて試料の三次元形状をまたは前記試料の面内・面外変位・ひずみ分布を決定することを特徴とする2段モアレ縞を用いた三次元形状・変位・ひずみ分布測定方法。
  6.  画像記録装置等、該当する場合には格子投影装置、演算処理装置、表示装置からなる三次元形状、変位・ひずみ分布測定装置であって、
     前記画像記録装置等において取得した、または、取得する前記試料の表面形状または変形前後の当該モアレ縞について、
     前記演算処理装置において請求項1乃至請求項5のいずれか1項に記載の2段モアレ縞を用いた三次元形状・変位・ひずみ分布測定方法を実施し、前記決定された前記試料の三次元形状、面内・面外変位・ひずみ分布を前記表示装置に表示することを特徴とする2段モアレ縞を用いた三次元形状・変位・ひずみ分布測定装置。
  7.  前記演算処理装置において請求項1乃至請求項5のいずれか1項に記載の2段モアレ縞を用いた三次元形状・変位・ひずみ分布測定方法を実施することを特徴とするプログラム、またはプログラムを記憶する記録媒体。

     
     
PCT/JP2017/020435 2016-09-27 2017-06-01 周期模様を利用した三次元形状・変位・ひずみ測定装置、方法およびそのプログラム WO2018061321A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/328,309 US10655954B2 (en) 2016-09-27 2017-06-01 Three-dimensional shape, displacement, and strain measurement device and method using periodic pattern, and program therefor
JP2018541896A JP6583761B2 (ja) 2016-09-27 2017-06-01 周期模様を利用した三次元形状・変位・ひずみ測定装置、方法およびそのプログラム
EP17855280.8A EP3489621A4 (en) 2016-09-27 2017-06-01 THREE-DIMENSIONAL MOLDING, SHIFTING AND STRENGTH MEASURING DEVICE AND METHOD WITH PERIODIC STRUCTURE AND PROGRAM THEREFOR

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-188217 2016-09-27
JP2016188217 2016-09-27

Publications (1)

Publication Number Publication Date
WO2018061321A1 true WO2018061321A1 (ja) 2018-04-05

Family

ID=61760268

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020435 WO2018061321A1 (ja) 2016-09-27 2017-06-01 周期模様を利用した三次元形状・変位・ひずみ測定装置、方法およびそのプログラム

Country Status (4)

Country Link
US (1) US10655954B2 (ja)
EP (1) EP3489621A4 (ja)
JP (1) JP6583761B2 (ja)
WO (1) WO2018061321A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018136273A (ja) * 2017-02-23 2018-08-30 国立研究開発法人産業技術総合研究所 残留熱ひずみ測定方法、残留熱ひずみ測定装置、及びそのプログラム
CN109084698A (zh) * 2018-10-25 2018-12-25 北京测科空间信息技术有限公司 一种用于工程建筑物形变监测的方法及系统
WO2019082528A1 (ja) * 2017-10-24 2019-05-02 国立研究開発法人産業技術総合研究所 計測方法、コンピュータプログラム及び計測システム
CN110987677A (zh) * 2019-12-25 2020-04-10 上海交通大学 提高微形变加载精度的方法及装置
JP2021039032A (ja) * 2019-09-04 2021-03-11 株式会社Ihi 非接触計測装置
CN115307746A (zh) * 2022-08-10 2022-11-08 苏州科技大学 一种单色光的干涉测量相位计算方法
CN109084698B (zh) * 2018-10-25 2024-05-24 中国测绘科学研究院 一种用于工程建筑物形变监测的方法及系统

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3586189B1 (en) * 2017-02-23 2024-01-10 Nikon Corporation Measurement of a change in a geometrical characteristic and/or position of a workpiece
JP6897398B2 (ja) * 2017-07-31 2021-06-30 セイコーエプソン株式会社 三次元形状測定装置、ロボットシステム、及び三次元形状測定方法
US11226195B1 (en) * 2018-06-27 2022-01-18 United States Of America Represented By The Secretary Of The Air Force Method and system for measuring strain in a 3D printed part
CN109307475B (zh) * 2018-09-04 2020-01-14 西安交通大学 差频主动扫描式光栅位移传感器及测量方法
CN111476788B (zh) * 2020-04-27 2023-08-25 武汉精立电子技术有限公司 一种显示屏夹层缺陷检测方法及系统
CN112414304B (zh) * 2020-11-18 2022-06-21 天津科技大学 基于激光光栅投射的焊后焊缝表面三维测量方法
CN113048901B (zh) * 2021-03-05 2023-06-27 中国建筑材料科学研究总院有限公司 基于光流算法测量显微镜下纳米尺度三维形变的方法
CN114322841B (zh) * 2021-12-06 2022-11-18 重庆邮电大学 一种投影光栅相移生成动态三维测量方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009264852A (ja) * 2008-04-23 2009-11-12 Wakayama Univ 格子画像の位相解析方法およびそれを用いた物体の変位測定方法ならびに物体の形状測定方法
WO2015008404A1 (ja) * 2013-07-18 2015-01-22 独立行政法人産業技術総合研究所 規則性模様による変位分布のための測定方法、装置およびそのプログラム
US20150029514A1 (en) * 2013-07-25 2015-01-29 National Tsing Hua University Method and system for on-line real-time measuring the surface topography and out-of-plane deformation by using phase-shifting shadow moire method
JP2015141151A (ja) * 2014-01-30 2015-08-03 国立大学法人 和歌山大学 計測装置及び橋梁検査方法
JP2016142726A (ja) * 2015-02-05 2016-08-08 国立研究開発法人産業技術総合研究所 二次モアレ縞による顕微鏡走査ゆがみの影響を受けない変形測定方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH081371B2 (ja) 1985-11-14 1996-01-10 大阪大学長 実時間変位分布測定方法および装置
JP5818218B2 (ja) 2012-03-14 2015-11-18 国立研究開発法人産業技術総合研究所 高次元輝度情報を用いた縞画像の位相分布解析方法、装置およびそのプログラム
WO2015102546A1 (en) * 2013-12-31 2015-07-09 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi A liquid cooled device enclosure
JP6813162B2 (ja) 2016-02-17 2021-01-13 国立研究開発法人産業技術総合研究所 モアレ法による高速変位・ひずみ分布測定方法及び測定装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009264852A (ja) * 2008-04-23 2009-11-12 Wakayama Univ 格子画像の位相解析方法およびそれを用いた物体の変位測定方法ならびに物体の形状測定方法
WO2015008404A1 (ja) * 2013-07-18 2015-01-22 独立行政法人産業技術総合研究所 規則性模様による変位分布のための測定方法、装置およびそのプログラム
US20150029514A1 (en) * 2013-07-25 2015-01-29 National Tsing Hua University Method and system for on-line real-time measuring the surface topography and out-of-plane deformation by using phase-shifting shadow moire method
JP2015141151A (ja) * 2014-01-30 2015-08-03 国立大学法人 和歌山大学 計測装置及び橋梁検査方法
JP2016142726A (ja) * 2015-02-05 2016-08-08 国立研究開発法人産業技術総合研究所 二次モアレ縞による顕微鏡走査ゆがみの影響を受けない変形測定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3489621A4 *
YOSHIHARU MORIMOTO ET AL.: "Displacement and Strain Distribution Measurement by Sampling Moire Method", JOURNAL OF THE VACUUM SOCIETY OF JAPAN, vol. 54, no. l, 11 March 2011 (2011-03-11), pages 32 - 38, XP055365411 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018136273A (ja) * 2017-02-23 2018-08-30 国立研究開発法人産業技術総合研究所 残留熱ひずみ測定方法、残留熱ひずみ測定装置、及びそのプログラム
WO2019082528A1 (ja) * 2017-10-24 2019-05-02 国立研究開発法人産業技術総合研究所 計測方法、コンピュータプログラム及び計測システム
JPWO2019082528A1 (ja) * 2017-10-24 2020-10-22 国立研究開発法人産業技術総合研究所 計測方法、コンピュータプログラム及び計測システム
CN109084698A (zh) * 2018-10-25 2018-12-25 北京测科空间信息技术有限公司 一种用于工程建筑物形变监测的方法及系统
CN109084698B (zh) * 2018-10-25 2024-05-24 中国测绘科学研究院 一种用于工程建筑物形变监测的方法及系统
JP2021039032A (ja) * 2019-09-04 2021-03-11 株式会社Ihi 非接触計測装置
JP7276016B2 (ja) 2019-09-04 2023-05-18 株式会社Ihi 非接触計測装置
CN110987677A (zh) * 2019-12-25 2020-04-10 上海交通大学 提高微形变加载精度的方法及装置
CN110987677B (zh) * 2019-12-25 2021-08-10 上海交通大学 提高微形变加载精度的方法及装置
CN115307746A (zh) * 2022-08-10 2022-11-08 苏州科技大学 一种单色光的干涉测量相位计算方法
CN115307746B (zh) * 2022-08-10 2023-08-18 苏州科技大学 一种单色光的干涉测量相位计算方法

Also Published As

Publication number Publication date
US20190212130A1 (en) 2019-07-11
US10655954B2 (en) 2020-05-19
EP3489621A1 (en) 2019-05-29
JP6583761B2 (ja) 2019-10-02
JPWO2018061321A1 (ja) 2019-04-18
EP3489621A4 (en) 2020-04-08

Similar Documents

Publication Publication Date Title
JP6583761B2 (ja) 周期模様を利用した三次元形状・変位・ひずみ測定装置、方法およびそのプログラム
JP5818218B2 (ja) 高次元輝度情報を用いた縞画像の位相分布解析方法、装置およびそのプログラム
JP4831703B2 (ja) 物体の変位測定方法
Sutton et al. Metrology in a scanning electron microscope: theoretical developments and experimental validation
JP6813162B2 (ja) モアレ法による高速変位・ひずみ分布測定方法及び測定装置
JP6983402B2 (ja) 汚れの影響を受けにくいひずみ分布測定方法とそのプログラム
JP6753592B2 (ja) 変形測定方法、変形測定装置、及びそのプログラム
CN110325817B (zh) 残余热应变测定方法、残余热应变测定装置及其程序
Mudassar et al. Improved digital image correlation method
JP5130513B2 (ja) 3次元変位ひずみ計測方法及び装置
JP5466325B1 (ja) 物体に取り付けた格子の画像から物体の物理量を測定する方法
Ri Accurate and fast out-of-plane displacement measurement of flat objects using single-camera based on the sampling moiré method
CN110631487B (zh) 一种利用激光散斑自相关技术测量横向微位移的方法
JP6533914B2 (ja) 計測方法、計測装置、計測プログラム及び計測プログラムを記録した、コンピュータ読み取り可能な記録媒体
JP6472675B2 (ja) 二次モアレ縞による顕微鏡走査ゆがみの影響を受けない変形測定方法
Kang et al. New measurement method of Poisson’s ratio of thin films by applying digital image correlation technique
Farahani et al. Electronic Speckle Pattern Interferometry for fatigue crack monitoring
Aebischer et al. Measurement of the nanometric deformation field in metallic microbars with microscopical ESPI
Dowling Three Dimensional Digital Image Correlation for Dynamic Measurements
Fuqiang Development of Digital Image Correlation Technique for Engineering Measurement
Levin et al. Measurement of nanomovements of an object from the optical phase image
Arikawa et al. Pattern position correction for measuring large deformation in speckle interferometry
Zhu et al. Measurement of three-dimensional deformation using speckle projection method
Ran et al. Measurement of the elastic modulus of solid material with objective speckles field
He et al. Calibration of eddy current sensor using speckle photography

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17855280

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018541896

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2017855280

Country of ref document: EP

Effective date: 20190225

NENP Non-entry into the national phase

Ref country code: DE