WO2017183181A1 - 三次元形状測定装置 - Google Patents
三次元形状測定装置 Download PDFInfo
- Publication number
- WO2017183181A1 WO2017183181A1 PCT/JP2016/062756 JP2016062756W WO2017183181A1 WO 2017183181 A1 WO2017183181 A1 WO 2017183181A1 JP 2016062756 W JP2016062756 W JP 2016062756W WO 2017183181 A1 WO2017183181 A1 WO 2017183181A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- interference fringe
- imaging
- pixel
- image
- condition
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/2441—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2527—Projection by scanning of the object with phase change by in-plane movement of the patern
Definitions
- the present invention relates to a three-dimensional shape measuring apparatus, and more particularly to an apparatus for measuring the shape of an object by projecting interference fringes.
- the "fringe scanning method” is used to calculate the irregularity information on the surface of the object by projecting a laser interference fringe onto the object and capturing and analyzing the projected image of the interference fringe.
- This technology is known.
- the fringe scanning method the depth and height of the irregularities at each point are obtained from the amount of scanning of the interference fringes and the change in the light intensity at each point of the projected image (for example, see Patent Document 1).
- a configuration has been proposed in which interference fringes are generated using an incoherent light source in order to suppress the generation of speckle noise caused by a laser (see, for example, Patent Document 2).
- the contrast ratio of the interference fringe pattern In order to improve the measurement accuracy of the three-dimensional shape by the fringe scanning method, it is preferable to increase the contrast ratio of the interference fringe pattern and reduce the influence of speckle noise caused by the light source.
- coherent light with high coherence may be used, but this leads to an increase in speckle noise.
- speckle noise On the other hand, when an incoherent light source is used to suppress speckle noise, the contrast of the interference fringe pattern is lowered.
- the present invention has been made in such a situation, and is to provide a technique for improving the measurement accuracy of a three-dimensional measurement apparatus using an interference fringe pattern.
- a three-dimensional shape measurement apparatus is an interference that scans an interference fringe and projects any one of a plurality of interference fringe patterns having different bright and dark positions on the object to be measured.
- a fringe projector an imaging device that images a measurement object on which interference fringes are projected, and generates a plurality of interference fringe images corresponding to at least three different interference fringe patterns under each of a plurality of imaging conditions; Based on the pixel values of each pixel of a plurality of interference fringe images imaged for each imaging condition, it is selected for each pixel whether the phase distribution image of the object to be measured is calculated using the interference fringe image of which imaging condition.
- 3D shape data of the object to be measured by calculating the phase for each pixel of the phase distribution image based on the condition selection unit and the pixel values of the plurality of interference fringe images corresponding to the imaging conditions selected for each pixel by the condition selection unit Shape calculation unit , Comprising a.
- FIGS. 8A and 8B are diagrams schematically illustrating a configuration of an imaging apparatus according to another embodiment.
- 9A and 9B are diagrams schematically illustrating the configuration of an imaging apparatus according to a modification.
- FIGS. 10A, 10 ⁇ / b> B, and 10 ⁇ / b> C are diagrams schematically illustrating a configuration of a filter according to another embodiment. It is a block diagram which shows typically the function structure of the control apparatus which concerns on another Example. It is a figure which shows typically the structure of the three-dimensional shape measuring apparatus which concerns on another Example. It is a figure which shows typically the structure of the interference fringe projector which concerns on a modification.
- a three-dimensional shape measuring apparatus includes an interference fringe projector that scans an interference fringe and projects any one of a plurality of interference fringe patterns having different bright and dark positions of the interference fringe onto a measurement object.
- An imaging device that images the object to be projected and generates a plurality of interference fringe images corresponding to at least three different interference fringe patterns under each of the plurality of imaging conditions, and a plurality of images captured for each of the plurality of imaging conditions
- a condition selection unit that selects, for each pixel, a phase distribution image of the object to be measured using an interference fringe image of which imaging condition based on the pixel value of each pixel of the interference fringe image of Calculates a phase for each pixel of the phase distribution image based on pixel values of a plurality of interference fringe images corresponding to the imaging condition selected for each pixel, and calculates a three-dimensional shape data of the object to be measured; Is provided.
- the interference fringe image is acquired under a plurality of imaging conditions, and the pixel value of which imaging condition is used is selected for each pixel, so that the optimal imaging condition can be used for each pixel.
- the pattern of the interference fringe pattern projected on the object to be measured is not uniform in terms of brightness and darkness and speckle noise, and varies depending on the location depending on the shape of the object to be measured, the interference fringe projector and the arrangement relationship between the imaging device and the object Can be changed.
- the optimal imaging condition for a certain area of the object to be measured may not be the optimal imaging condition for another area of the object to be measured.
- the present embodiment by selecting a pixel value that is an optimal imaging condition for each location, even when using coherent light that is likely to generate speckle noise, imaging that is less affected by speckle noise Conditions can be selected for each pixel. Thereby, compared with the case where only one imaging condition is used, the influence of speckle noise can be suppressed, and the measurement accuracy of the object to be measured can be increased.
- the plurality of imaging conditions are projected from the exposure time of the imaging device included in the imaging device, the amount of light incident on the imaging device, the gain of the image signal of the imaging device, the position of the interference fringe projector relative to the imaging device, and the interference fringe projector. At least one of the light intensities of the interference fringes may be different.
- the shape calculation unit is configured to distribute a phase distribution based on pixel values of a plurality of interference fringe images corresponding to at least three different interference fringe patterns imaged under the same imaging conditions and phase shift amounts of at least three different interference fringe patterns.
- the phase of each pixel of the image may be calculated.
- the condition selection unit is configured to capture the interference fringe image used for calculating the phase distribution image based on the pixel values of the plurality of interference fringe images and a reference value determined according to the number of gradations of the image sensor included in the imaging device. May be selected for each pixel.
- the condition selection unit may compare pixel values of a plurality of interference fringe images between a plurality of imaging conditions, and select an imaging condition for which the pixel value is equal to or less than a reference value for each pixel.
- the condition selection unit performs interference based on pixel values of a plurality of interference fringe images corresponding to at least three different interference fringe patterns imaged under the same imaging conditions and phase shift amounts of at least three different interference fringe patterns.
- Imaging condition of the interference fringe image used for calculating the phase distribution image based on the calculated amplitude of the pixel value change of the pixel value of the plurality of interference fringe images caused by the fringe scanning. May be selected for each pixel.
- the condition selection unit compares the pixel values of the plurality of interference fringe images between the plurality of imaging conditions, and sets the imaging condition that the pixel value is equal to or less than the reference value and the amplitude of the change in the calculated pixel value is the maximum. You may choose every.
- the condition selection unit calculates a reliability distribution indicating the reliability of the pixel values of the plurality of interference fringe images for each of the plurality of imaging conditions, and compares the calculated reliability distributions to use the interference fringe image for calculation of the phase distribution image
- the imaging conditions may be selected for each pixel.
- the imaging apparatus may include an imaging element and an imaging optical system that forms an image of the object to be measured on which the interference fringes are projected on the imaging element.
- the minimum F-number F of the imaging optical system at the wavelength ⁇ of the projection light of the interference fringe projector, the pitch p of the unit unit composed of one pixel or a plurality of pixels corresponding to one pixel of the interference fringe image, and the wavelength ⁇ And the lateral magnification M of the imaging device at the wavelength ⁇ may satisfy the following expression (1).
- the interference fringe projector includes a light source that emits coherent light, a demultiplexer that branches a light beam emitted from the light source, a phase modulator that changes a phase of at least one of the light beams branched by the demultiplexer, May be provided.
- the interference fringe projector may further include a light source controller that keeps the wavelength of the light beam emitted from the light source constant and a light modulator that modulates the light amount of the light beam emitted from the light source.
- the image processing apparatus may further include a condition control unit that controls the imaging conditions, and the imaging apparatus may capture the interference fringe images corresponding to each of the plurality of imaging conditions in a time division manner.
- the imaging apparatus may include a plurality of imaging elements and an optical path branching unit that branches the imaging light from the object to be measured toward each of the plurality of imaging elements and makes the imaging conditions of the plurality of imaging elements different from each other. .
- the imaging apparatus includes an imaging device in which a plurality of pixels are arranged in a two-dimensional array, and each of the plurality of pixels includes an exposure time of each pixel, an incident light amount to each pixel, and a gain of an output signal of each pixel. May be configured to be different from any other pixel.
- the imaging device may simultaneously capture interference fringe images with different imaging conditions.
- the interference fringe projector is a first interference fringe projector that projects an interference fringe pattern from the first position toward the object to be measured, and the interference fringe pattern from the second position different from the first position toward the object to be measured. May be further provided.
- the imaging apparatus includes a condition control unit that switches between interference fringe projection by the first interference fringe projector and interference fringe projection by the second interference fringe projector, and the imaging apparatus has an interference fringe image based on the interference fringe projection by the first interference fringe projector. And an interference fringe image based on the interference fringe projection by the second interference fringe projector may be imaged in a time-sharing manner.
- Another aspect of the present invention is also a three-dimensional shape measuring apparatus.
- This apparatus includes an interference fringe projector that scans interference fringes and projects any one of a plurality of interference fringe patterns with different bright and dark positions of the interference fringes onto the object to be measured, and an imaging device having a gradation number of 14 bits or more. Based on the pixel value of each pixel of the plurality of interference fringe images, and an imaging device that images the object to be measured on which the interference fringes are projected and images a plurality of interference fringe images corresponding to at least three different interference fringe patterns A shape calculation unit that calculates a phase distribution image of the measurement object and calculates three-dimensional shape data of the measurement object.
- the imaging element having a wide dynamic range with the number of gradations of 14 bits or more is used, even if speckle noise occurs, it is possible to image the difference in brightness of the interference fringe pattern with high accuracy. Thereby, the phase distribution image can be calculated with high accuracy.
- the apparatus further includes an effectiveness determination unit that determines the effectiveness of the pixel value of each pixel of the interference fringe image, and the shape calculation unit may calculate the phase distribution image of the measurement object based on the determination result of the effectiveness determination unit Good.
- FIG. 1 is a diagram schematically showing a configuration of a three-dimensional shape measuring apparatus 100 according to the first embodiment.
- the three-dimensional shape measuring apparatus 100 includes an interference fringe projector 20, an imaging device 40, and a control device 50.
- the interference fringe projector 20 includes a duplexer 22, a phase modulator 27, a projection lens 28, a light source device 30, and an optical fiber 38.
- the three-dimensional shape measuring apparatus 100 is incorporated in an endoscope scope 10 having a distal end portion 12, an insertion portion 14, and a connection portion 16. For example, by directing the distal end portion 12 toward an object to be measured, an object in a lumen is obtained. Used to measure the three-dimensional shape of the part.
- the distal end portion 12 is a portion that houses a part of the interference fringe projector 20 and the imaging device 40, and has an outer surface made of a hard member such as metal.
- the insertion portion 14 is formed of a flexible member, and the direction of the distal end portion 12 can be adjusted by bending the vicinity of the distal end portion 12. Therefore, the endoscope scope 10 is configured as a flexible mirror, and the distal end portion 12 is less flexible than the insertion portion 14.
- the optical fiber 38, the first wiring 61, the second wiring 62, and the like are inserted inside the insertion portion 14.
- the connection unit 16 is provided with a plug for connecting the endoscope scope 10 to the light source device 30 and the control device 50.
- the interference fringe projector 20 projects the interference fringe pattern 70 onto the object to be measured.
- the duplexer 22 is an optical integrated circuit formed on a silicon substrate, an optical glass substrate, or the like, and generates an interference fringe pattern 70 by causing the laser light from the light source device 30 to interfere with two light beams.
- the projection lens 28 increases the divergence angle of the interference light output from the duplexer 22 so that the interference fringe pattern 70 is projected on the entire object to be measured.
- the projection lens 28 is arranged so that the projection axis A of the interference fringe pattern 70 and the imaging axis B of the imaging device 40 intersect, and the interference fringe pattern 70 is projected onto the entire imaging range of the imaging device 40. I have to.
- the projection lens 28 is arranged to be an off-axis optical system in which the optical axis is shifted with respect to the duplexer 22.
- the output axis of the duplexer 22 may be tilted so that the projection axis A of the interference fringe pattern 70 and the imaging axis B of the imaging device 40 intersect.
- the duplexer 22 includes an input path 23, a branching unit 24, a first output path 25, and a second output path 26.
- the input path 23 is coupled to the optical fiber 38.
- the light input to the input path 23 is branched into the first output path 25 and the second output path 26 at the branching section 24.
- the division ratio of the branching portion 24 is arbitrary, it is preferable that the division is performed at 1: 1 so that the contrast ratio of the interference fringe pattern 70 is increased.
- the first output path 25 and the second output path 26 are configured to output light from different positions, and generate an interference fringe pattern 70 by using the positional shift.
- the phase modulator 27 is provided in the second output path 26.
- the phase modulator 27 changes the refractive index of at least a part of the second output path 26 based on the control signal from the control device 50 and changes the optical path length of the second output path 26. As a result, a phase difference is generated between the light output from the first output path 25 and the light output from the second output path 26, and the light and dark positions of the projected interference fringe pattern 70 are changed.
- the configuration of the phase modulator 27 is not particularly limited, and for example, a hot wire heater or an electro-optical element can be used.
- the phase modulator 27 is electrically connected to the control device 50 via the first wiring 61.
- the light source device 30 outputs coherent light for generating the interference fringe pattern 70.
- the light source device 30 outputs, for example, a single wavelength laser beam.
- the light source device 30 includes a light source 32, a light source controller 34, a collimator lens 35, a light modulator 36, and a coupling lens 37.
- the light source device 30 is connected to the duplexer 22 via the optical fiber 38.
- the light source 32 is a solid-state laser light source such as a semiconductor laser element.
- the light source controller 34 controls the drive current and operating temperature of the light source 32 and controls the output intensity and output wavelength of the light source 32 to be constant.
- the light source controller 34 may include a light receiving element and a driving element for feedback driving according to the output intensity of the light source 32 and a temperature adjusting element such as a Peltier element for adjusting the temperature of the light source 32. By providing the light source controller 34, it is possible to stabilize the output wavelength of the light source 32 and suppress the change in the light / dark cycle of the interference fringe pattern 70.
- the output light from the light source 32 is converted into parallel light by the collimating lens 35 and input to the light modulator 36.
- the light modulator 36 modulates the amount of light emitted from the light source 32.
- the configuration of the light modulator 36 is not particularly limited, but a light amount adjusting element such as a combination of a wave plate and a polarizing plate, a variable ND (Neutral-Density) filter, or a liquid crystal shutter can be used.
- an optical isolator may be provided between the light source 32 and the light amount adjusting element. By using the optical isolator, the operation of the light source 32 can be stabilized and the output wavelength of the light source 32 can be kept constant.
- the light beam that has passed through the optical modulator 36 is input to the optical fiber 38 via the coupling lens 37.
- the interference fringe projector 20 scans the projected interference fringes so that any one of a plurality of interference fringe patterns having different bright and dark positions of the interference fringe pattern 70 is projected onto the object to be measured.
- the interference fringe projector 20 adjusts the light / dark position of the interference fringe pattern 70 by adjusting the phase difference ⁇ given by the phase modulator 27.
- the interference fringe projector 20 projects the four types of interference fringe patterns 70 so that the value of the phase difference ⁇ becomes 0, ⁇ / 2, ⁇ , 3 ⁇ / 2, for example.
- the types of interference fringe patterns 70 that can be projected by the interference fringe projector 20 are not limited to four types, and may be three types or may be five or more types. For example, six types of interference fringe patterns 70 may be projected by using 0, ⁇ / 3, 2 ⁇ / 3, ⁇ , 4 ⁇ / 3, and 5 ⁇ / 3 as the phase difference ⁇ .
- the imaging device 40 captures an object to be measured on which the interference fringe pattern 70 is projected, and generates an interference fringe image.
- the imaging device 40 includes an imaging lens 42 and an imaging element 44.
- the imaging lens 42 forms an image of the measurement object on which the interference fringe pattern 70 is projected on the imaging element 44.
- the image sensor 44 is an image sensor such as a CCD or CMOS sensor, and outputs an image signal based on the captured interference fringe image.
- the image sensor 44 is configured such that the exposure time, the incident light amount, and the gain can be adjusted.
- the image sensor 44 is electrically connected to the control device 50 via the second wiring 62.
- the imaging device 40 is the minimum of the imaging device 40 (imaging lens 42) at the wavelength ⁇ of the projection light of the interference fringe projector 20, the pitch p of the unit unit composed of one pixel or a plurality of pixels of the imaging device 44, and the wavelength ⁇ . It is preferable that the lateral magnification M of the imaging device 40 (imaging lens 42) at the F number F and the wavelength ⁇ satisfies the following formula (1).
- Equation (1) The left side of Equation (1) is a PSF (Point Spread Function) indicating the imaging performance of the imaging device 40, and corresponds to the speckle average diameter of speckle noise imaged by the imaging device 40.
- PSF Point Spread Function
- the pitch p of the unit unit of the image sensor 44 shown in Expression (1) refers to a pixel size corresponding to each pixel of the interference fringe image obtained as a result of imaging by the imaging device 40.
- the pixel size of the image sensor 44 is the pitch p in Expression (1).
- a unit unit composed of a plurality of adjacent pixels Is the pitch p in equation (1).
- the imaging device 40 captures interference fringe images corresponding to a plurality of imaging conditions and a plurality of interference fringe patterns in a time-sharing manner.
- the imaging device 40 captures interference fringe images under at least two different imaging conditions, and captures a plurality of interference fringe images corresponding to at least three different interference fringe patterns under one imaging condition.
- FIG. 2 is a block diagram schematically showing the functional configuration of the control device 50.
- the control device 50 includes a condition control unit 52, an image acquisition unit 54, a condition selection unit 56, and a shape calculation unit 58.
- Each block shown in the figure can be realized in hardware by an element and a mechanical device such as a CPU (central processing unit) of a computer, and is realized by a computer program in software. , Depicts functional blocks realized by their cooperation. Therefore, it is understood by those skilled in the art who have touched this specification that these functional blocks can be realized in various forms by a combination of hardware and software.
- the condition control unit 52 controls the phase condition related to the interference fringe pattern 70 projected on the object to be measured and the imaging condition related to the interference fringe image captured by the imaging device 40.
- the condition control unit 52 controls the type of the interference fringe pattern 70 projected on the object to be measured by controlling the operation of the phase modulator 27.
- the condition control unit 52 controls the interference fringe image capturing condition (in other words, the exposure condition) by controlling the light amount of the laser light output from the light source device 30, the exposure time of the image sensor 44, the incident light amount, the gain, and the like.
- the imaging device 40 captures an interference fringe image under a plurality of imaging conditions.
- the condition control unit 52 may operate the light source device 30 and the imaging device 40 based on predetermined operation parameters, or may set the operation parameters of the light source device 30 and the imaging device 40 based on the captured image of the imaging device 40. You may adjust.
- the image acquisition unit 54 acquires an interference fringe image from the imaging device 40.
- This figure shows images having different interference fringe patterns in the horizontal direction and images having different imaging conditions in the vertical direction.
- (A) shows the interference fringe image of the first imaging condition and corresponds to a relatively dark exposure condition.
- (B) shows an interference fringe image under the second imaging condition and corresponds to an intermediate exposure condition.
- (C) shows an interference fringe image under the third imaging condition and corresponds to a relatively bright exposure condition.
- the condition selection unit 56 determines for each pixel which initial fringe image of the object to be measured is to be calculated using the interference fringe image of which imaging condition. Select In other words, an optimum imaging condition is determined for each pixel of the interference fringe image, and which imaging value is to be used for each pixel is determined. For example, when an interference fringe image of three types of imaging conditions is acquired, a pixel value based on the first imaging condition is adopted for a certain pixel, and another pixel is based on a second imaging condition that is different from the first imaging condition. A pixel value is employed, and for another pixel, a pixel value based on a third imaging condition different from the first imaging condition and the second imaging condition is employed.
- the condition selection unit 56 generates an “amplitude image” and a “saturated region image” based on a plurality of interference fringe images corresponding to a plurality of interference fringe patterns imaged under the same imaging condition as reference values used for condition selection.
- the “amplitude image” is obtained by imaging the amount of change in the pixel value of each pixel of the interference fringe image caused by the change in the interference fringe pattern 70.
- Pixel value I A of each pixel of the amplitude image can be calculated based on the following equation (2).
- I i represents the pixel value of each pixel of the interference fringe image
- ⁇ i represents the phase difference ⁇ of the corresponding interference fringe pattern
- the subscript i corresponds to the type of the interference fringe pattern.
- I A instead of I A as the pixel value of the amplitude image, it may be used I A 2, in the latter case may not take the square root in equation (2).
- the “saturated region image” is an image that indicates a region in which the pixel value is saturated (saturated) due to the amount of light that exceeds the number of gradations of the image sensor 44 being incident in the interference fringe image.
- Pixel value I S for each pixel in the saturation region image can be calculated based on the following equation (3).
- I i indicates the pixel value of each pixel of the interference fringe image
- the suffix i corresponds to the type of interference fringe pattern
- n is the number of types of interference fringe pattern (for example, 4)
- a I is a constant for determining the threshold
- b is the number of gradations of the image sensor 44.
- a value of constant a 0.8 to 0.9 is set.
- the number of gradations b of the image sensor 44 is 12, for example.
- the pixel value I S of the saturation region image becomes 0 when the average of the pixel values of the interference fringe image is considered to be saturated beyond a predetermined reference value, the pixel values of the interference fringe image Is 1 when the average is less than or equal to a predetermined reference value and is deemed not saturated.
- the pixel value I S of the saturation region image may be calculated based on other criteria. For example, when a pixel value corresponding to at least one pattern among pixel values of a plurality of interference fringe images corresponding to a plurality of interference fringe patterns is saturated (for example, I i ⁇ 2 b ⁇ 1), The pixel value I S may be set to 1 when I S is 0 and all the pixel values corresponding to the plurality of patterns are not saturated (for example, I i ⁇ 2 b ⁇ 1).
- the condition selection unit 56 generates a “reliability distribution image” from the amplitude image and saturation region image generated as described above.
- the pixel value I T reliable distribution image becomes 0 for pixels to be 0 at the saturation region image, it is equal to the pixel value I A of the amplitude image is the pixel to be 1 in the saturation region image.
- the condition selection unit 56 generates an amplitude image, a saturation region image, and a reliability distribution image for each of a plurality of imaging conditions.
- FIG. 4 is a diagram illustrating an example of generating an amplitude image, a saturation region image, and a reliability distribution image.
- (a) is the first imaging condition
- (b) is the second imaging condition
- (c) is the third imaging condition.
- the dark exposure condition (a) the amplitude of the pixel value is small as a whole, but no saturated pixel is seen.
- the bright exposure condition (c) a saturated pixel is seen near the center of the image, and the amplitude of the pixel value is small in the saturated region.
- the amplitude of the pixel value is relatively large in the peripheral region where the pixel value is not saturated.
- saturated pixels are not seen, and the amplitude of the pixel value is relatively large near the center of the image, but the amplitude of the pixel value is relatively small in the peripheral region of the image.
- the difference in brightness of each pixel due to the difference in the type of interference fringe pattern that is, the amplitude of the pixel value of the interference fringe image is large and the image sensor 44 is not saturated. It is preferable that the brightness of the interference fringe pattern can be detected appropriately.
- the pixel value is 0 for a saturated pixel, and the pixel value is the amplitude of the interference fringe image for a non-saturated pixel. Therefore, it can be said that the pixel value of each pixel of the reliability distribution image is an index indicating the effectiveness of each pixel of the interference fringe image, and it can be said that the larger the pixel value, the higher the effectiveness.
- condition selection unit 56 determines, for each pixel, the pixel value based on which imaging condition is appropriate by comparing the pixel values of the reliability distribution image between different imaging conditions.
- the condition selection unit 56 compares the pixel values of the three reliability distribution images corresponding to the three types of imaging conditions, and determines for each pixel which imaging condition has the highest pixel value.
- the shape calculation unit 58 calculates the phase distribution image of the measurement object, and calculates the three-dimensional shape data of the measurement object from the phase distribution image.
- the shape calculation unit 58 calculates the pixel value (initial phase ⁇ ) of the phase distribution image from the pixel values of the plurality of interference fringe images corresponding to the plurality of interference fringe patterns imaged under the same imaging conditions.
- the shape calculation unit 58 calculates the initial phase ⁇ of each pixel using the pixel value of the interference fringe image captured under the imaging condition determined for each pixel by the condition selection unit 56.
- the initial phase ⁇ of the phase distribution image can be calculated based on the following equation (4).
- FIG. 5 is a diagram illustrating an example of generating an initial phase image, a phase distribution image, and a distance image.
- (a) is an initial phase image generated from the interference fringe image under the first imaging condition
- (b) is an initial phase image generated from the interference fringe image under the second imaging condition
- (c ) Is an initial phase image generated from the interference fringe image under the third imaging condition.
- the shape calculation unit 58 selects one of the three types of initial phase images shown in (a) to (c) (initial phase ⁇ ) based on the determination of the condition selection unit 56, thereby changing to (d).
- a phase distribution image is generated.
- the pixel value (initial phase ⁇ ) of each pixel in the phase distribution image of (d) is equal to the initial phase ⁇ calculated from the interference fringe image of the imaging condition determined by the condition selection unit 56.
- the shape calculation unit 58 calculates information on the depth and height of the surface of the object to be measured corresponding to the position of each pixel by applying a known algorithm to the generated phase distribution image, and (e) The distance image shown is generated.
- the shape calculation unit 58 may calculate the spatial coordinates of the object to be measured instead of the distance image, and generate three-dimensional shape data such as three-dimensional CAD (Computer Aided Design).
- the shape calculation unit 58 may generate the three types of initial phase images shown in FIGS. 5A to 5C and then generate the phase distribution image shown in FIG. 5D.
- the phase distribution image shown in (d) may be generated directly from the interference fringe image of FIG. 3 without generating the initial phase image shown in c). In the latter case, it is not necessary to calculate the initial phase ⁇ for all the pixels of the initial phase image for three sheets, and it is only necessary to calculate the initial phase ⁇ for each pixel of the phase distribution image for one sheet. The amount of calculation processing required for generation can be reduced.
- FIG. 6 is a flowchart showing the operation flow of the three-dimensional shape measuring apparatus 100.
- the imaging device 40 captures a plurality of interference fringe images corresponding to a plurality of interference fringe patterns for each of a plurality of imaging conditions (S10).
- the condition selection unit 56 calculates the amplitude of the pixel value of the interference fringe image for each of the plurality of imaging conditions (S12), and calculates the saturated pixel of the interference fringe image for each of the plurality of imaging conditions (S14).
- the condition selection unit 56 determines an imaging condition to be selected for each pixel based on the amplitude of the pixel value of the interference fringe image and the saturated pixel (S16).
- the shape calculation unit 58 calculates an initial phase from the pixel values of the interference fringe image of the imaging condition selected by the condition selection unit 56 to generate a phase distribution image (S18), and calculates the tertiary of the object to be measured from the calculated initial phase.
- the original shape data is calculated (S20).
- an interference fringe image is acquired under a plurality of imaging conditions, and the pixel value of which imaging condition is used is selected for each pixel, so that the optimal imaging condition can be used for each pixel.
- the pixel value of which imaging condition is used is selected for each pixel, so that the optimal imaging condition can be used for each pixel.
- the phase distribution image can be generated by combining the pixel values acquired in step (1). Therefore, even when using coherent light in which speckle noise is likely to occur, it is possible to select an imaging condition with little influence of speckle noise for each pixel. Thereby, compared with the case where only one imaging condition is used, the influence of speckle noise can be suppressed, and the measurement accuracy of the object to be measured can be increased.
- condition selection unit 56 may determine the imaging condition to be selected for each pixel based only on either the amplitude of the pixel value of the interference fringe image or the saturated pixel.
- phase modulator 27 may be disposed in both the first output path 25 and the second output path 26 instead of providing the phase modulator 27 only in the second output path 26 of the duplexer 22. .
- a duplexer using a birefringent element or a beam splitter may be used instead of the duplexer 22 using an optical integrated circuit.
- FIG. 7 is a diagram schematically illustrating the configuration of the imaging device 140 according to the second embodiment.
- the second embodiment is different from the first embodiment in that an imaging device 140 having a plurality of imaging elements is provided instead of the imaging device 40 described above.
- the second embodiment will be described focusing on the differences from the first embodiment.
- the imaging device 140 includes an imaging lens 142, a first imaging element 144a, a second imaging element 144b, a third imaging element 144c, and an optical path branching unit 146.
- the optical path branching unit 146 branches the light incident on the imaging lens 142 along the imaging axis B, and forms an interference fringe pattern projection image on each of the plurality of imaging elements 144a, 144b, and 144c.
- the optical path branching portion 146 is formed by bonding and bonding three prisms, for example.
- the optical path branching unit 146 has a first light branching surface 147 and a second light branching surface 148.
- the first light branching surface 147 branches the light that has passed through the imaging lens 142 into an optical path toward the first imaging element 144a and the second imaging element 144b and an optical path toward the third imaging element 144c.
- the second light branch surface 148 branches the light that has passed through the first light branch surface 147 into an optical path toward the first image sensor 144a and an optical path toward the second image sensor 144b.
- the first light branching surface 147 is configured to branch the light incident on the first light branching surface 147 at a ratio of 3: 4, and the ratio of the light traveling toward the first image sensor 144a and the second image sensor 144b. 3 and the ratio of the light toward the third image sensor 144c is 4.
- the second light branching surface 148 is configured to branch the light incident on the second light branching surface 148 at a ratio of 1: 2, and the ratio of the light toward the first imaging element 144a is 1, and the second imaging is performed.
- the ratio of the light toward the element 144b is set to 2.
- the optical path branching unit 146 makes the amount of light incident on each of the first imaging element 144a, the second imaging element 144b, and the third imaging element 144c 1: 2: 4, and the imaging condition of each imaging element is To be different.
- the first image pickup device 144a picks up an interference fringe image under a first image pickup condition corresponding to a dark exposure condition
- the second image pickup device 144b picks up an interference fringe image under a second image pickup condition corresponding to an intermediate exposure condition.
- the third image sensor 144c captures an interference fringe image under a third imaging condition corresponding to a bright exposure condition.
- the imaging device 140 transmits the interference fringe images captured by the first imaging device 144a, the second imaging device 144b, and the third imaging device 144c to the control device 50.
- the imaging device 140 can simultaneously capture interference fringe images corresponding to different imaging conditions with the same composition by the above-described configuration. That is, it is possible to capture a plurality of interference fringe images with different imaging conditions only by imaging the object to be measured on which a specific interference fringe pattern is projected once. Therefore, according to the imaging apparatus 140 according to the present embodiment, all types (for example, 12) of interference fringe images corresponding to a plurality of imaging conditions and a plurality of interference fringe patterns, compared to the case of the first embodiment described above. The time it takes to acquire can be shortened. For example, when the surface shape of the object to be measured changes with time, measurement errors due to the shape change can be reduced.
- the plurality of imaging conditions are not realized by using the division ratio of the first light branching surface 147 and the second light branching surface 148 of the optical path branching unit 146, but the other imaging methods are used. Simultaneous shooting may be realized. For example, the amount of light that is divided by the optical path branching unit 146 and travels toward the first image sensor 144a, the second image sensor 144b, and the third image sensor 144c is 1: 1: 1.
- the imaging conditions of each imaging element may be varied. Further, the imaging conditions of each image sensor may be varied by varying the exposure time and gain of each image sensor.
- each image sensor can be adjusted by combining arbitrary methods capable of adjusting the imaging conditions such as the branching ratio of the optical path branching unit 146, the ND filter arranged in front of each image sensor, and the exposure time and gain of each image sensor. It may be different.
- the light source device 30 of the interference fringe projector 20 a light source capable of outputting multicolor light in which a plurality of colors (for example, red, green, and blue) are mixed may be used.
- the light branching unit of the imaging device 140 may separate incident light by wavelength so that the wavelength of light incident on each imaging element is different. For example, red light may be incident on the first imaging element 144a, green light may be incident on the second imaging element 144b, and blue light may be incident on the third imaging element 144c. Thereby, you may make it the imaging conditions of each image sensor differ.
- the image acquisition unit 54 may generate a color image of the object to be measured using image signals acquired from the plurality of imaging elements 144a, 144b, and 144c.
- FIGS. 8A and 8B are diagrams schematically illustrating the configuration of the imaging apparatus 240 according to the third embodiment.
- the imaging device 240 includes an imaging element 244 and a filter 246.
- the light transmittance of each cell 247 of the filter 246 is made different so that interference fringe images corresponding to a plurality of imaging conditions can be simultaneously acquired using one imaging element 244.
- the third embodiment will be described focusing on differences from the above-described embodiment.
- the image sensor 244 has a plurality of pixels 245 arranged in a two-dimensional array.
- the filter 246 includes a plurality of cells 247 arranged in a two-dimensional array corresponding to each pixel 245.
- the filter 246 is an ND filter, and the transmittance of each cell 247 is determined so that the transmittance of the light L incident on each pixel 245 is different.
- the filter 246 includes four types of cells 247a, 247b, 247c, and 247d (collectively referred to as cells 247) having different transmittances, and four adjacent types of cells 247a to 247a to 247a.
- One unit unit 248 is configured by 247d.
- each cell 247 is, for example, 12.5% for the first cell 247a, 25% for the second cell 247b, 50% for the third cell 247c, and 100% for the fourth cell 247d. is there.
- the pixel 245 corresponding to the first cell 247a generates a pixel value of the interference fringe image of the first imaging condition that is a dark exposure condition.
- the pixel 245 corresponding to the second cell 247b generates a pixel value of the interference fringe image of the second imaging condition that is a slightly dark exposure condition.
- the pixel 245 corresponding to the third cell 247c generates a pixel value of the interference fringe image of the third imaging condition that is a slightly bright exposure condition.
- the pixel 245 corresponding to the fourth cell 247d generates a pixel value of the interference fringe image of the fourth imaging condition that is a bright exposure condition.
- the image acquisition unit 54 generates four interference fringe images having different imaging conditions based on the image signal acquired from the imaging element 244.
- the image acquisition unit 54 generates an interference fringe image of the first imaging condition from the pixel value of the pixel 245 corresponding to the first cell 247a in the image signal.
- the image acquisition unit 54 generates an interference fringe image of the second imaging condition from the pixel value of the pixel 245 corresponding to the second cell 247b in the image signal, and the pixel of the pixel 245 corresponding to the third cell 247c.
- the interference fringe image of the third imaging condition is generated from the value
- the interference fringe image of the fourth imaging condition is generated from the pixel value of the pixel 245 corresponding to the fourth cell 247d.
- the plurality of interference fringe images corresponding to the plurality of imaging conditions generated in this manner are different in imaging conditions from each other as in the above-described embodiment, but the imaging positions of the respective pixels are strictly different. Specifically, the pixel 245 corresponding to the first cell 247a is used in the first imaging condition, whereas the pixel 245 corresponding to the second cell 247b adjacent to the first cell 247a is used in the second imaging condition. It is done. In order to increase the measurement accuracy of the object to be measured, the object to be measured on which the interference fringe pattern is projected can be captured at substantially the same position even if the position of the pixel 245 of the image sensor 244 differs depending on the imaging condition. Is preferred.
- substantially the same position of the object to be measured can be imaged regardless of which of the plurality of pixels 245 corresponding to one unit unit 248 is used.
- This condition can be expressed by the following formula (5) using the PSF of the imaging optical system.
- s shown on the left side of the equation (5) is the size of the pixel 245, and the right side is the PSF shown in the above equation (1).
- the size p of the unit unit 248 preferably satisfies the above formula (1). That is, the speckle average diameter is preferably smaller than the diagonal length ⁇ 2p of the unit unit 248. As a result, the difference in the likelihood of speckle between different unit units 248 is reduced, and an appropriate light amount (that is, a light amount having a large amplitude within a range that is not saturated) is applied to any pixel 245 included in the unit unit 248. The probability of incidence can be increased. As a result, the detection accuracy of the initial phase ⁇ at each pixel can be increased.
- the unit unit 248 may not be provided so as to correspond to the four pixels 245.
- one unit unit may be provided for the three pixels 245, or six or eight units may be provided.
- One unit unit may be provided for the pixel 245.
- a plurality of pixels arranged every other or every other unit may be included in one unit unit.
- the transmittance of each cell 247 of the filter 246 is not varied, but the exposure time and gain of the plurality of pixels 245 corresponding to the unit unit 248 are varied, so that a plurality of images corresponding to a plurality of imaging conditions can be obtained. These interference fringe images may be acquired simultaneously.
- a color filter may be used to change the transmittance of each cell 247 for a specific wavelength.
- a color filter having a Bayer arrangement of red (R), green (G), and blue (B) is used, and the interference fringe pattern 70 is formed using laser light having a specific wavelength in which the transmittance of each color filter varies stepwise. May be generated.
- FIGS. 9A and 9B are diagrams schematically illustrating a configuration of an imaging apparatus 240 according to a modification.
- the filter 246 forms a Bayer array of red (R), green (G), and blue (B), and R and G are alternately arranged in odd rows. In the even-numbered rows, G and B are alternately arranged.
- FIG. 9B is a graph showing the transmittance of the red (R), green (G), and blue (B) filters.
- FIGS. 10A, 10 ⁇ / b> B, and 10 ⁇ / b> C are diagrams schematically illustrating the configuration of the filter 346 according to the fourth embodiment.
- the filter 346 forms a red (R), green (G), and blue (B) Bayer array, and R and G are in odd rows. Alternatingly arranged, G and B are alternately arranged in even-numbered rows.
- the filter 346 includes unit units 348 a and 348 b (hereinafter collectively referred to as unit units 348) by six cells 347.
- the green (G) cells included in the same unit unit 348 have different transmittances, so that interference fringe images under different imaging conditions can be simultaneously acquired.
- the fourth embodiment will be described focusing on differences from the above-described embodiments.
- FIG. 10B is a diagram schematically showing the configuration of the first unit unit 348a.
- the first unit 348a includes a red (R) first cell 347a, a green (G) second cell 347b, a green (G) third cell 347c, and a blue (B) fourth cell 347d. , Red (R) fifth cell 347e and green (G) sixth cell 347f.
- the green (G) second cell 347b and the green (G) third cell 347c are provided with ND filters as well as color filters.
- the second cell 347b is provided with an ND filter having a transmittance of 25%
- the third cell 247c is provided with an ND filter having a transmittance of 50%.
- the green (G) sixth cell 347f has a transmittance of 100%.
- FIG. 10C is a diagram schematically showing the configuration of the second unit unit 348b.
- the second unit 348b includes a green (G) seventh cell 347g, a blue (B) eighth cell 347h, a red (R) ninth cell 347i, a green (G) tenth cell 347j,
- the cell is composed of a green (G) eleventh cell 347k and a blue (B) twelfth cell 347l.
- the green (G) seventh cell 347g and the green (G) tenth cell 347j are provided with an ND filter together with a color filter.
- the seventh cell 347g is provided with an ND filter having a transmittance of 25%
- the tenth cell 247j is provided with an ND filter having a transmittance of 50%
- the green (G) eleventh cell 347k has a transmittance of 100%.
- the first unit units 348a and the second unit units 348b are alternately arranged in the vertical direction.
- the first unit units 348a are arranged in the horizontal direction
- the second unit units 348b are arranged in the horizontal direction in the same manner.
- This realizes an R, G, B Bayer array by repeating 2 ⁇ 2 cells, and by repeating unit units composed of 2 ⁇ 3 cells, three types of transmittance (for example, 25%, 50%, 100%) green cells are arranged periodically.
- the image acquisition unit 54 generates a color image of the object to be measured or an interference fringe image corresponding to the three imaging conditions based on the image signal acquired from the imaging device 340 provided with the filter 346.
- the image acquisition unit 54 processes the image signal based on the R, G, B Bayer array of the filter 346 to generate a color image of the object to be measured.
- the image acquisition unit 54 may generate a color image by correcting the pixel value corresponding to the green cell in consideration of the transmittance of the green (G) cell. For example, the pixel value may be corrected to 4 times for a cell having a transmittance of 25%, and the pixel value may be corrected to 2 times for a cell having a transmittance of 50%.
- the pixel value corresponding to each pixel of the green (G) cell may be calculated by averaging the pixel values of the green (G) cell having different transmittances.
- the image acquisition unit 54 generates interference fringe images corresponding to three imaging conditions using pixel values corresponding to green (G) cells.
- the image acquisition unit 54 arranges pixel values of cells corresponding to the second cell 347b and the seventh cell 347g having a transmittance of 25%, thereby generating an interference fringe image of the first imaging condition that is a dark exposure condition. .
- the image acquisition unit 54 arranges the pixel values of the cells corresponding to the third cell 347c and the tenth cell 347j having a transmittance of 50%, thereby obtaining an interference fringe image of the second imaging condition serving as an intermediate exposure condition.
- the image acquisition unit 54 generates an interference fringe image of the third imaging condition that is a bright exposure condition by arranging the pixel values of the corresponding cells in the sixth cell 347f and the twelfth cell 347l having a transmittance of 100%.
- the number of pixels of the color image generated by the image acquisition unit 54 may not coincide with the number of pixels of the interference fringe image corresponding to each imaging condition.
- the image acquisition unit 54 may generate a color image that matches the number of pixels of the imaging device of the imaging device 340, while generating an interference fringe image that is 1/6 of the number of pixels of the imaging device of the imaging device 340.
- a color image may be generated so as to match the number of pixels of the interference fringe image.
- one unit unit 348 may be composed of a different number of cells 347.
- FIG. 11 is a block diagram schematically illustrating a functional configuration of the control device 450 according to the fifth embodiment.
- the control device 450 includes a condition control unit 452, an image acquisition unit 454, an effectiveness determination unit 456, and a shape calculation unit 458.
- the control device 450 according to the present embodiment includes an effectiveness determination unit 456 instead of the condition selection unit 56.
- the condition control unit 452 controls the operation of the phase modulator 27 so that a plurality of interference fringe patterns 70 are projected onto the object to be measured. Further, the light amount of the light source device 30, the exposure time of the image sensor 44, the gain, and the like are controlled so that the imaging device 40 can capture an interference fringe image under a desired exposure condition. The condition control unit 452 controls the exposure conditions so that the interference fringe image captured by the imaging device 40 does not include saturated pixels or the number of saturated pixels is less than a predetermined reference value.
- the image acquisition unit 454 acquires a plurality of interference fringe images corresponding to the plurality of interference fringe patterns from the imaging device 40.
- the validity determination unit 456 determines the validity of each pixel of the interference fringe image acquired by the image acquisition unit 454. For example, the validity determination unit 456 generates a “reliability distribution image” from the “amplitude image” and the “saturation region image” in the same manner as the condition selection unit 56 according to the above-described embodiment, and each pixel of the reliability distribution image The validity of each pixel is determined based on the pixel value of.
- the validity determination unit 456 determines that the pixel is valid if the pixel value of the reliability distribution image is equal to or greater than a predetermined threshold, and determines that the pixel is invalid if the pixel value is less than the predetermined threshold.
- the shape calculation unit 458 calculates a phase distribution image of the object to be measured based on the determination result of the validity determination unit 456.
- the shape calculation unit 458 calculates the initial phase based on the pixel values of the plurality of interference fringe images for the pixels that are determined to be valid by the validity determination unit 456, and the pixels that are determined to be invalid by the validity determination unit 456.
- a value indicating an error (for example, null) is set as a pixel value of the phase distribution image.
- the shape calculation unit 458 may calculate the initial phase of the pixel determined to be invalid by interpolating from the initial phase value of the neighboring pixels.
- the image pickup apparatus 40 has an image pickup element 44 with a large number of gradations, for example, a gradation number of 14 bits or more.
- a 14-bit image sensor is used as the image sensor 44 and the exposure condition is adjusted to 1/2 and 1 using a 12-bit image sensor by adjusting the exposure conditions so that each pixel of the image sensor 44 is not saturated.
- An interference fringe image equivalent to / 4 can be obtained.
- an interference fringe image based on one imaging condition is imaged, the same accuracy as when a phase distribution image is generated by combining interference fringe images under a plurality of imaging conditions can be obtained. Therefore, highly accurate three-dimensional shape measurement can also be realized in this embodiment.
- FIG. 12 is a diagram schematically illustrating a configuration of a three-dimensional shape measuring apparatus 500 according to the sixth embodiment.
- the three-dimensional shape measuring apparatus 500 includes a first interference fringe projector 520a, a second interference fringe projector 520b, an imaging device 540, and a control device 550.
- the first interference fringe projector 520a includes a first duplexer 522a, a first projection lens 528a, and a first light source device 530a.
- the second interference fringe projector 520b includes a second duplexer 522b, a second projection lens 528b, and a second light source device 530b.
- the present embodiment is different from the above-described embodiment in that a plurality of interference fringe projectors for projecting the interference fringe pattern 70 are provided.
- the present embodiment will be described focusing on differences from the above-described embodiments.
- the three-dimensional shape measuring apparatus 500 is incorporated in an endoscope scope 510 having a distal end portion 512, an insertion portion 514, and a connection portion 516.
- a first duplexer 522a, a first projection lens 528a, a second duplexer 522b, a second projection lens 528b, and an imaging device 540 are incorporated in the distal end portion 512.
- the first optical fiber 538a, the second optical fiber 538b, the first wiring 561, the second wiring 562, and the third wiring 563 are inserted through the insertion portion 514.
- the first optical fiber 538a connects the first duplexer 522a and the first light source device 530a
- the second optical fiber 538b connects the second duplexer 522b and the second light source device 530b.
- the first wiring 561 connects the first duplexer 522a and the control device 550
- the second wiring 562 connects the imaging device 540 and the control device 550
- the third wiring 563 connects the second duplexer 522b.
- a control device 550 is connected.
- the first interference fringe projector 520a and the second interference fringe projector 520b are configured similarly to the above-described interference fringe projector 20, but project the interference fringe pattern 70 from different positions on the imaging device 540. .
- the first interference fringe projector 520a is configured to project the interference fringe pattern 70 from the first position
- the second interference fringe projector 520b projects the interference fringe pattern 70 from a second position different from the first position. Configured to do.
- the projection axis A1 of the first interference fringe projector 520a, the projection axis A2 of the second interference fringe projector 520b, and the imaging axis B of the imaging device 540 are arranged so as to intersect each other.
- the first interference fringe projector 520a and the second interference fringe projector 520b may be arranged at positions that are symmetric with respect to the imaging axis 540 of the imaging device 540 or the imaging device 540.
- the first interference fringe projector 520a and the projection axis A1 of the first interference fringe projector 520a, the projection axis A2 of the second interference fringe projector 520b, and the imaging axis B of the imaging device 540 are in the same plane.
- a second interference fringe projector 520b may be arranged.
- the first interference fringe projector 520a and the second interference fringe projector 520b generate the interference fringe pattern 70 so that the direction in which the fringes of the interference fringe pattern 70 extend is orthogonal to the plane including the projection axes A1 and A2 and the imaging axis B. May be.
- the first interference fringe projector 520a and the second interference fringe projector 520b may generate the interference fringe pattern 70 using laser light having the same wavelength, or may use the laser light having different wavelengths. May be generated.
- the first light source device 530a and the second light source device 530b may be substantially the same light source device.
- the first light source device 530a and the second light source device 530b may be light source devices that output laser beams having different wavelengths.
- the first interference fringe projector 520a and the second interference fringe projector 520b may share one light source device.
- the control device 550 projects the interference fringe pattern 70 on the first interference fringe projector 520a or the second interference fringe projector 520b, and causes the imaging device 540 to image the object to be measured on which the interference fringe pattern 70 is projected.
- the control device 550 controls the imaging condition of the interference fringe image by switching the interference fringe projectors 520a and 520b used for the projection of the interference fringe pattern 70.
- the control device 550 causes the imaging device 540 to image the object to be measured on which the first interference fringe pattern 70a based on the first interference fringe projector 520a is projected, and acquires an interference fringe image of the first imaging condition.
- control device 550 causes the imaging device 540 to image the object to be measured on which the second interference fringe pattern 70b based on the second interference fringe projector 520b is projected, and acquires an interference fringe image of the second imaging condition.
- the control device 550 causes the interference fringe image related to the first imaging condition and the interference fringe image related to the second imaging condition to be acquired in a time division manner.
- the control device 550 controls the phase condition of the first duplexer 522a to capture the interference fringe images corresponding to the plurality of types of first interference fringe patterns 70a based on the first interference fringe projector 520a. Specifically, the four types of first interference fringe patterns 70a are projected so that the phase difference ⁇ of the first demultiplexer 522a is 0, ⁇ / 2, ⁇ , 3 ⁇ / 2, An interference fringe image of the first imaging condition corresponding to one interference fringe pattern 70a is acquired. Similarly, the control device 550 controls the phase condition of the second duplexer 522b to capture the interference fringe images corresponding to the plurality of types of second interference fringe patterns 70b based on the second interference fringe projector 520b. .
- second interference fringe patterns 70b are projected so that the phase difference ⁇ of the second demultiplexer 522b is 0, ⁇ / 2, ⁇ , 3 ⁇ / 2, and The interference fringe image of the second imaging condition corresponding to the two interference fringe pattern 70b is acquired.
- the control device 550 generates a “reliability distribution image” based on the acquired interference fringe image.
- the control device 550 generates a reliability distribution image according to the first imaging condition from the interference fringe images based on the four types of first interference fringe patterns 70a having different phase differences ⁇ , and the four types of second interference having different phase differences ⁇ .
- a reliability distribution image according to the second imaging condition is generated from the interference fringe image based on the fringe pattern 70b.
- the control device 550 compares the reliability distribution images related to the first imaging condition and the second imaging condition, and determines for each pixel which pixel value is appropriate based on which imaging condition.
- the control device 550 calculates an initial phase ⁇ of each pixel from a plurality of types of interference fringe images corresponding to the imaging conditions determined for each pixel, and generates an initial phase image of the object to be measured.
- the control device 550 calculates a spatial coordinate of the object to be measured with respect to the initial phase ⁇ calculated from a plurality of types of interference fringe images based on the first interference fringe pattern 70a, and a plurality based on the second interference fringe pattern 70b. Different calculation methods are used for calculating the spatial coordinates of the object to be measured with respect to the initial phase ⁇ calculated from the types of interference fringe images. This is because the arrangement relationship between the first interference fringe projector 520a and the imaging device 540 is different from the arrangement relationship between the second interference fringe projector 520b and the imaging device 540.
- the control device 550 applies an algorithm corresponding to the arrangement relationship between the interference fringe projectors 520a and 520b and the imaging device 540, so that the spatial coordinates of the object to be measured can be used even when using interference fringe patterns from different projection positions. Can be calculated appropriately.
- an interference fringe image based on a more appropriate projection position for each pixel by using a plurality of interference fringe patterns having different projection positions, so that a more accurate initial phase image can be generated.
- the speckle pattern of the laser is determined by the arrangement relationship of the interference fringe projector, the imaging device, and the object to be measured, a measurement result with less speckle noise can be obtained for each pixel by combining a plurality of projection positions.
- shadowing occurs for each pixel by projecting the interference fringe pattern from multiple directions. No measurement results can be obtained.
- the pixel at a position where no interference fringe is projected from one projection position can be complemented by using the imaging result of the interference fringe projected from the other projection position.
- the condition of each pixel is determined based on the reliability distribution image, it is possible to select a measurement result that is less affected by speckle noise and shadow, and to generate an initial phase image with high accuracy and reliability.
- an interference fringe image based on an interference fringe pattern projected from three or more projection positions may be acquired using three or more interference fringe projectors.
- the plurality of interference fringe projectors may be arranged so as to surround the projection axis B of the imaging device 540.
- the three or more interference fringe projectors may be configured such that the intervals between the fringes of the interference fringe pattern are the same or different.
- interference fringe images based on interference fringe patterns from different projection positions may be acquired simultaneously instead of being acquired in a time division manner.
- interference fringe images based on interference fringe patterns with different projection positions can be captured simultaneously by differentiating the wavelengths of the interference fringe patterns projected by each of the plurality of interference fringe projectors and separating the wavelengths of light incident on the imaging device. You may be made to do.
- the imaging device 140 according to the second embodiment described above, the imaging device 240 according to the third embodiment, or the like may be used as the imaging device.
- FIG. 13 is a diagram schematically showing the configuration of the interference fringe projector 20 according to the modification.
- This modification differs from the above-described embodiment in that a ball lens is used as the projection lens 28 instead of a plano-convex lens.
- the projection lens 28 condenses the light bundle output from the first output path 25 on the first focus 29a, and condenses the light bundle output from the second output path 26 on the second focus 29b.
- both light beam beams interfere to generate an interference fringe pattern 70. Therefore, even when a ball lens is used as the projection lens 28, the same effects as in the above-described embodiment can be obtained.
- a concave lens may be used as the projection lens 28 instead of a plano-convex lens, or the projection lens 28 may be configured by a combination of at least a concave lens or a plurality of lenses including a convex lens.
- only information on the depth and height of the surface of the object to be measured may be calculated instead of the spatial coordinates of the object to be measured.
- the three-dimensional shape measuring apparatus is an endoscope scope of a flexible mirror.
- an endoscope scope of a rigid endoscope configured so that the insertion portion does not have flexibility may be used.
- the endoscope apparatus may be used for medical purposes or may be used for industrial purposes.
- the three-dimensional shape measuring apparatus according to the present embodiment may not be incorporated in the endoscope.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Instruments For Measurement Of Length By Optical Means (AREA)
Abstract
三次元形状測定装置100は、干渉縞を走査し、干渉縞の明暗位置が異なる複数の干渉縞パターン70のいずれかを被測定物に投影する干渉縞投影器20と、干渉縞が投影される被測定物を撮像し、複数の撮像条件のそれぞれにて少なくとも三つの異なる干渉縞パターンに対応する複数の干渉縞画像を生成する撮像装置40と、複数の撮像条件ごとに撮像された複数の干渉縞画像の各画素の画素値に基づいて、いずれの撮像条件の干渉縞画像を用いて被測定物の位相分布画像を算出するかを画素ごとに選択する条件選択部と、条件選択部が画素ごとに選択した撮像条件に対応する複数の干渉縞画像の画素値に基づいて位相分布画像の画素ごとの位相を算出し、被測定物の三次元形状データを演算する形状演算部と、を備える。
Description
本発明は、三次元形状測定装置に関し、特に干渉縞を投影して対象物の形状を測定する装置に関する。
対象物の三次元形状を計測する方法として、対象物にレーザの干渉縞を投影し、干渉縞の投影像を撮像して解析することにより対象物表面の凹凸情報を演算する「縞走査法」といわれる技術が知られている。縞走査法では、干渉縞の走査量と投影像の各点の光強度の変化から各点での凹凸の深さ及び高さが求められる(例えば、特許文献1参照)。また、レーザに起因したスペックルノイズの発生を抑制するためにインコヒーレント光源を用いて干渉縞を発生させる構成が提案されている(例えば、特許文献2参照)。
縞走査法による三次元形状の測定精度を向上させるためには、干渉縞パターンのコントラスト比を高めるとともに、光源に起因したスペックルノイズの影響を小さくすることが好ましい。干渉縞パターンのコントラストを高めるためには可干渉性の高いコヒーレント光を用いればよいが、スペックルノイズの増加につながる。一方、スペックルノイズを抑えるためにインコヒーレント光源を用いると、干渉縞パターンのコントラストが低下してしまう。
本発明はかかる状況においてなされたものであり、干渉縞パターンを用いた三次元計測装置の測定精度を高める技術を提供することにある。
上記課題を解決するために、本発明のある態様の三次元形状測定装置は、干渉縞を走査し、干渉縞の明暗位置が異なる複数の干渉縞パターンのいずれかを被測定物に投影する干渉縞投影器と、干渉縞が投影される被測定物を撮像し、複数の撮像条件のそれぞれにて少なくとも三つの異なる干渉縞パターンに対応する複数の干渉縞画像を生成する撮像装置と、複数の撮像条件ごとに撮像された複数の干渉縞画像の各画素の画素値に基づいて、いずれの撮像条件の干渉縞画像を用いて被測定物の位相分布画像を算出するかを画素ごとに選択する条件選択部と、条件選択部が画素ごとに選択した撮像条件に対応する複数の干渉縞画像の画素値に基づいて位相分布画像の画素ごとの位相を算出し、被測定物の三次元形状データを演算する形状演算部と、を備える。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、などの間で変換したものもまた、本発明の態様として有効である。
本発明のある態様によれば、測定精度を高めた三次元計測装置を提供できる。
はじめに、本発明に係るいくつかの実施の形態の概要を説明する。
本発明のある態様の三次元形状測定装置は、干渉縞を走査し、干渉縞の明暗位置が異なる複数の干渉縞パターンのいずれかを被測定物に投影する干渉縞投影器と、干渉縞が投影される被測定物を撮像し、複数の撮像条件のそれぞれにて少なくとも三つの異なる干渉縞パターンに対応する複数の干渉縞画像を生成する撮像装置と、複数の撮像条件ごとに撮像された複数の干渉縞画像の各画素の画素値に基づいて、いずれの撮像条件の干渉縞画像を用いて被測定物の位相分布画像を算出するかを画素ごとに選択する条件選択部と、条件選択部が画素ごとに選択した撮像条件に対応する複数の干渉縞画像の画素値に基づいて位相分布画像の画素ごとの位相を算出し、被測定物の三次元形状データを演算する形状演算部と、を備える。
本発明のある態様の三次元形状測定装置は、干渉縞を走査し、干渉縞の明暗位置が異なる複数の干渉縞パターンのいずれかを被測定物に投影する干渉縞投影器と、干渉縞が投影される被測定物を撮像し、複数の撮像条件のそれぞれにて少なくとも三つの異なる干渉縞パターンに対応する複数の干渉縞画像を生成する撮像装置と、複数の撮像条件ごとに撮像された複数の干渉縞画像の各画素の画素値に基づいて、いずれの撮像条件の干渉縞画像を用いて被測定物の位相分布画像を算出するかを画素ごとに選択する条件選択部と、条件選択部が画素ごとに選択した撮像条件に対応する複数の干渉縞画像の画素値に基づいて位相分布画像の画素ごとの位相を算出し、被測定物の三次元形状データを演算する形状演算部と、を備える。
この態様によると、複数の撮像条件で干渉縞画像を取得するとともに、いずれの撮像条件の画素値を用いるかを画素ごとに選択するため、画素ごとに最適な撮像条件を利用することができる。被測定物に投影される干渉縞パターンの明暗やスペックルノイズの態様は一様ではなく、被測定物の形状、干渉縞投影器および撮像装置と被測定物の配置関係などに応じて場所ごとに変わりうる。その結果、被測定物のある領域について最適となる撮像条件は、被測定物の別の領域においては最適な撮像条件とはならないかもしれない。本実施の形態によれば、場所ごとに最適な撮像条件となる画素値を選択することで、スペックルノイズが発生しやすいコヒーレント光を用いる場合であっても、スペックルノイズの影響が少ない撮像条件を画素ごとに選択できる。これにより、一つの撮像条件のみを用いる場合と比べてスペックルノイズの影響を抑えることができ、被測定物の測定精度を高めることができる。
複数の撮像条件は、撮像装置が備える撮像素子の露光時間、撮像素子への入射光量、撮像素子の画像信号のゲイン、撮像装置に対する干渉縞投影器の位置、および、干渉縞投影器から投影される干渉縞の光強度の少なくとも一つが異なってもよい。
形状演算部は、同じ撮像条件にて撮像された少なくとも三つの異なる干渉縞パターンに対応する複数の干渉縞画像の画素値と、少なくとも三つの異なる干渉縞パターンの位相シフト量とに基づいて位相分布画像の各画素の位相を算出してもよい。
条件選択部は、複数の干渉縞画像の画素値と、撮像装置が備える撮像素子の階調数に応じて定められる基準値とに基づいて、位相分布画像の算出に用いる干渉縞画像の撮像条件を画素ごとに選択してもよい。
条件選択部は、複数の撮像条件間で複数の干渉縞画像の画素値を比較し、画素値が基準値以下かつ最大となる撮像条件を画素ごとに選択してもよい。
条件選択部は、同じ撮像条件にて撮像された少なくとも三つの異なる干渉縞パターンに対応する複数の干渉縞画像の画素値と、少なくとも三つの異なる干渉縞パターンの位相シフト量とに基づいて、干渉縞の走査に起因する複数の干渉縞画像の画素値の変化の振幅を画素ごとに算出し、算出した画素値の変化の振幅に基づいて、位相分布画像の算出に用いる干渉縞画像の撮像条件を画素ごとに選択してもよい。
条件選択部は、複数の撮像条件間で複数の干渉縞画像の画素値を比較し、画素値が基準値以下であり、かつ、算出した画素値の変化の振幅が最大となる撮像条件を画素ごとに選択してもよい。
条件選択部は、複数の撮像条件ごとに複数の干渉縞画像の画素値の信頼性を示す信頼性分布を算出し、算出した信頼性分布を比較して位相分布画像の算出に用いる干渉縞画像の撮像条件を画素ごとに選択してもよい。
撮像装置は、撮像素子と、干渉縞が投影される被測定物を撮像素子に結像させる撮像光学系とを備えてもよい。干渉縞投影器の投影光の波長λ、干渉縞画像の一画素に対応する撮像素子の一画素または複数画素で構成される単位ユニットのピッチp、波長λでの撮像光学系の最小FナンバーF、および、波長λでの撮像装置の横倍率Mが、次式(1)を満たしてもよい。
干渉縞投影器は、可干渉光を放射する光源と、光源から放射される光束を分岐する分波器と、分波器により分岐される光束の少なくとも一方の位相を変化させる位相変調器と、を備えてもよい。
干渉縞投影器は、光源から放射される光束の波長を一定に維持する光源制御器と、光源から放射される光束の光量を変調する光変調器とをさらに備えてもよい。
撮像条件を制御する条件制御部をさらに備え、撮像装置は、複数の撮像条件のそれぞれに対応する干渉縞画像を時分割で撮像してもよい。
撮像装置は、複数の撮像素子と、被測定物からの撮像光を複数の撮像素子のそれぞれに向けて分岐させ、複数の撮像素子の撮像条件を互いに異ならせる光路分岐部とを備えてもよい。
撮像装置は、複数の画素が二次元アレイ状に配列された撮像素子を備え、複数の画素のそれぞれは、各画素の露光時間、各画素への入射光量、および、各画素の出力信号のゲインの少なくとも一つが他のいずれかの画素と異なるように構成されてもよい。
撮像装置は、撮像条件の異なる干渉縞画像を同時に撮像してもよい。
干渉縞投影器は、第1位置から被測定物に向けて干渉縞パターンを投影する第1干渉縞投影器であり、第1位置とは異なる第2位置から被測定物に向けて干渉縞パターンを投影する第2干渉縞投影器をさらに備えてもよい。
第1干渉縞投影器による干渉縞投影と、第2干渉縞投影器による干渉縞投影とを切り替える条件制御部を備え、撮像装置は、第1干渉縞投影器による干渉縞投影に基づく干渉縞画像と、第2干渉縞投影器による干渉縞投影に基づく干渉縞画像とを時分割で撮像してもよい。
本発明の別の態様も三次元形状測定装置である。この装置は、干渉縞を走査し、干渉縞の明暗位置が異なる複数の干渉縞パターンのいずれかを被測定物に投影する干渉縞投影器と、階調数が14ビット以上の撮像素子を備え、干渉縞が投影される被測定物を撮像し、少なくとも三つの異なる干渉縞パターンに対応する複数の干渉縞画像を撮像する撮像装置と、複数の干渉縞画像の各画素の画素値に基づいて被測定物の位相分布画像を算出し、被測定物の三次元形状データを演算する形状演算部と、を備える。
この態様によれば、階調数が14ビット以上となるダイナミックレンジの広い撮像素子を用いるため、スペックルノイズが発生する場合であっても干渉縞パターンの明暗の差を高精度で撮像できる。これにより、位相分布画像を高精度で算出できる。
干渉縞画像の各画素の画素値の有効性を判定する有効性判定部をさらに備え、形状演算部は、有効性判定部の判定結果に基づいて被測定物の位相分布画像を算出してもよい。
以下、図面を参照しながら、本発明を実施するための形態について詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を適宜省略する。また、以下に述べる構成は例示であり、本発明の範囲を何ら限定するものではない。
(第1実施例)
図1は、第1実施例に係る三次元形状測定装置100の構成を模式的に示す図である。三次元形状測定装置100は、干渉縞投影器20と、撮像装置40と、制御装置50とを備える。干渉縞投影器20は、分波器22と、位相変調器27と、投影レンズ28と、光源装置30と、光ファイバ38とを含む。三次元形状測定装置100は、先端部12、挿入部14および接続部16を有する内視鏡スコープ10に組み込まれており、例えば、先端部12を被測定物に向けることで管腔内の目的部位の三次元形状を測定するために用いられる。
図1は、第1実施例に係る三次元形状測定装置100の構成を模式的に示す図である。三次元形状測定装置100は、干渉縞投影器20と、撮像装置40と、制御装置50とを備える。干渉縞投影器20は、分波器22と、位相変調器27と、投影レンズ28と、光源装置30と、光ファイバ38とを含む。三次元形状測定装置100は、先端部12、挿入部14および接続部16を有する内視鏡スコープ10に組み込まれており、例えば、先端部12を被測定物に向けることで管腔内の目的部位の三次元形状を測定するために用いられる。
先端部12は、干渉縞投影器20の一部および撮像装置40を収容する部分であり、金属等の硬質な部材で外面が構成されている。挿入部14は、可撓性を有する部材で構成され、先端部12の近傍を屈曲させることにより先端部12の向きが調整可能である。したがって、内視鏡スコープ10は軟性鏡として構成され、挿入部14に比べて先端部12は可撓性が低い。挿入部14の内側には、光ファイバ38、第1配線61、第2配線62などが挿通されている。接続部16は、光源装置30や制御装置50に内視鏡スコープ10を接続するためのプラグなどが設けられる。
干渉縞投影器20は、被測定物に干渉縞パターン70を投影する。分波器22は、シリコン基板や光学ガラス基板上などに形成される光集積回路であり、光源装置30からのレーザ光を二光束干渉させて干渉縞パターン70を発生させる。投影レンズ28は、分波器22から出力される干渉光の発散角を大きくし、干渉縞パターン70が被測定物の全体に投影されるようにする。投影レンズ28は、干渉縞パターン70の投影軸Aと撮像装置40の撮像軸Bとが交差するように配置されており、撮像装置40の撮像範囲の全体に干渉縞パターン70が投影されるようにしている。投影レンズ28は、例えば、分波器22に対して光軸をずらした軸外し光学系となるように配置される。なお変形例においては、分波器22の出力軸を傾けることにより干渉縞パターン70の投影軸Aと撮像装置40の撮像軸Bとが交差するようにしてもよい。
分波器22は、入力路23と、分岐部24と、第1出力路25と、第2出力路26とを有する。入力路23は、光ファイバ38と結合されている。入力路23に入力される光は、分岐部24において第1出力路25と第2出力路26に分岐される。分岐部24の分割比は任意であるが、干渉縞パターン70のコントラスト比が高まるように1:1で分割されることが好ましい。第1出力路25と第2出力路26は、異なる位置から光を出力するように構成され、その位置のずれを利用して干渉縞パターン70を生成する。
位相変調器27は、第2出力路26に設けられる。位相変調器27は、制御装置50からの制御信号に基づいて第2出力路26の少なくとも一部の屈折率を変化させ、第2出力路26の光路長を変化させる。これにより、第1出力路25から出力される光と第2出力路26から出力される光との間に位相差を生じさせ、投影される干渉縞パターン70の明暗位置を変化させる。位相変調器27の構成は特に限定されないが、例えば、熱線ヒータや電気光学素子などを用いることができる。位相変調器27は、第1配線61を介して制御装置50と電気的に接続されている。
光源装置30は、干渉縞パターン70を生成するための可干渉光を出力する。光源装置30は、例えば単波長のレーザ光を出力する。光源装置30は、光源32と、光源制御器34と、コリメートレンズ35と、光変調器36と、カップリングレンズ37とを有する。光源装置30は、光ファイバ38を介して分波器22と接続される。
光源32は、半導体レーザ素子などの固体レーザ光源である。光源32の出力波長は特に限定されないが、例えば、波長λ=635nmの赤色光を用いることができる。光源制御器34は、光源32の駆動電流や動作温度などを制御し、光源32の出力強度および出力波長が一定となるように制御する。光源制御器34は、光源32の出力強度に応じてフィードバック駆動するための受光素子および駆動素子と、光源32の温度を調整するためのペルチェ素子といった温度調整素子とを有してもよい。光源制御器34を設けることにより、光源32の出力波長を安定化させて干渉縞パターン70の明暗周期の変化を抑制できる。
光源32からの出力光はコリメートレンズ35により平行光に変換され、光変調器36に入力される。光変調器36は、光源32から放射される光束の光量を変調する。光変調器36の構成は特に限られないが、波長板と偏光板の組み合わせや、可変ND(Neutral Density)フィルタ、液晶シャッターといった光量調整素子を用いることができる。これらの光量調整素子から光源32への戻り光を防ぐために、光源32と光量調整素子の間に光アイソレータを設けてもよい。光アイソレータを用いることで、光源32の動作を安定させ、光源32の出力波長を一定に保つことができる。光変調器36を通過した光束は、カップリングレンズ37を介して光ファイバ38に入力される。
干渉縞投影器20は、投影される干渉縞を走査し、干渉縞パターン70の明暗位置が異なる複数の干渉縞パターンのいずれかが被測定物に投影されるようにする。干渉縞投影器20は、位相変調器27により与えられる位相差δを調整することにより、干渉縞パターン70の明暗位置を調整する。干渉縞投影器20は、例えば、位相差δの値が0、π/2、π、3π/2となるようにして、4種類の干渉縞パターン70を投影する。なお、干渉縞投影器20が投影可能な干渉縞パターン70の種類は4種類に限られず、3種類であってもよいし、5種類以上であってもよい。例えば、位相差δとして0、π/3、2π/3、π、4π/3、5π/3を用いることにより6種類の干渉縞パターン70を投影してもよい。
撮像装置40は、干渉縞パターン70が投影された被測定物を撮像し、干渉縞画像を生成する。撮像装置40は、撮像レンズ42と、撮像素子44とを含む。撮像レンズ42は、干渉縞パターン70が投影された被測定物を撮像素子44に結像させる。撮像素子44は、CCDやCMOSセンサなどのイメージセンサであり、撮像した干渉縞画像に基づく画像信号を出力する。撮像素子44は、露光時間、入射光量およびゲインが調整可能となるように構成されている。撮像素子44は、第2配線62を介して制御装置50と電気的に接続されている。
撮像装置40は、干渉縞投影器20の投影光の波長λ、撮像素子44の一画素または複数画素で構成される単位ユニットのピッチp、波長λでの撮像装置40(撮像レンズ42)の最小FナンバーF、および、波長λでの撮像装置40(撮像レンズ42)の横倍率Mが、下記式(1)を満たすように構成されることが好ましい。
式(1)の左辺は、撮像装置40の結像性能を示すPSF(Point Spread Function)であり、撮像装置40で撮像されるスペックルノイズのスペックル平均径に対応する。スペックル平均径よりも撮像素子44の単位ユニットのピッチpの対角線の距離√2pが大きくなるようにすることで、干渉縞パターン70に含まれるスペックルの影響を低減し、干渉縞画像の計測精度を高めることができる。
なお、式(1)に示す撮像素子44の単位ユニットのピッチpは、撮像装置40による撮像結果として得られる干渉縞画像の各画素に対応する画素サイズのことをいう。例えば、撮像素子44の一画素の受光結果から干渉縞画像の一画素の画素値を決める場合、撮像素子44の画素サイズが式(1)のピッチpとなる。一方、撮像素子44の複数の隣接画素を一つの単位ユニットとみなし、複数の隣接画素の受光結果から干渉縞画像の一つの画素の画素値を決める場合、複数の隣接画素で構成される単位ユニットのサイズが式(1)のピッチpとなる。
撮像装置40は、複数の撮像条件および複数の干渉縞パターンに対応する干渉縞画像を時分割で撮像する。撮像装置40は、少なくとも二以上の異なる撮像条件において干渉縞画像を撮像し、一つの撮像条件について少なくとも三以上の異なる干渉縞パターンに対応する複数の干渉縞画像を撮像する。撮像装置40は、例えば、3種類の撮像条件に対して4種類の干渉縞パターンの干渉縞画像を異なるタイミングで撮像し、合計で3×4=12枚の干渉縞画像を生成する。
図2は、制御装置50の機能構成を模式的に示すブロック図である。制御装置50は、条件制御部52と、画像取得部54と、条件選択部56と、形状演算部58とを含む。本図に示す各ブロックは、ハードウエア的には、コンピュータのCPU(central processing unit)をはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解されるところである。
条件制御部52は、被測定物に投影される干渉縞パターン70に関する位相条件および撮像装置40が撮像する干渉縞画像に関する撮像条件を制御する。条件制御部52は、位相変調器27の動作を制御することにより、被測定物に投影する干渉縞パターン70の種類を制御する。条件制御部52は、光源装置30から出力されるレーザ光の光量、撮像素子44の露光時間、入射光量およびゲインなどを制御することにより、干渉縞画像の撮像条件(いいかえれば、露光条件)を制御し、撮像装置40が複数の撮像条件下で干渉縞画像を撮像するようにする。条件制御部52は、あらかじめ定められた動作パラメータに基づいて光源装置30や撮像装置40を動作させてもよいし、撮像装置40の撮像画像に基づいて光源装置30や撮像装置40の動作パラメータを調整してもよい。
画像取得部54は、撮像装置40から干渉縞画像を取得する。画像取得部54は、複数の撮像条件のそれぞれにて撮像される少なくとも三つの異なる干渉縞パターン70に対応する複数の干渉縞画像を取得する。例えば、3種類の撮像条件に対して4種類の干渉縞パターンを用いる場合、合計で3×4=12枚の干渉縞画像を取得する。
図3は、干渉縞画像の取得例を示す図であり、3×4=12枚の干渉縞画像の例を示す。本図は、横方向に干渉縞パターンの異なる画像を示し、縦方向に撮像条件の異なる画像を示す。(a)は、第1撮像条件の干渉縞画像を示し、相対的に暗い露光条件に相当する。(b)は、第2撮像条件の干渉縞画像を示し、中間的な露光条件に相当する。(c)は、第3撮像条件の干渉縞画像を示し、相対的に明るい露光条件に相当する。図示する例では、露光光量が(a):(b):(c)=1:2:4となるように露光条件が調整されている。
条件選択部56は、画像取得部54が取得した干渉縞画像の各画素の画素値に基づいて、いずれの撮像条件の干渉縞画像を用いて被測定物の初期位相を算出するかを画素ごとに選択する。言いかえれば、干渉縞画像の画素ごとに最適な撮像条件が決定され、画素ごとにいずれの撮像条件に基づく画素値を採用するかが決定される。例えば、3種類の撮像条件の干渉縞画像を取得した場合、ある画素については第1撮像条件に基づく画素値が採用され、別の画素については第1撮像条件とは異なる第2撮像条件に基づく画素値が採用され、さらに別の画素については第1撮像条件および第2撮像条件とは異なる第3撮像条件に基づく画素値が採用される。
条件選択部56は、条件選択に用いる基準値として、同じ撮像条件にて撮像された複数の干渉縞パターンに対応する複数の干渉縞画像に基づいて「振幅画像」と「飽和領域画像」を生成する。ここで「振幅画像」とは、干渉縞パターン70の変化に起因する干渉縞画像の各画素の画素値の変化量を画像化したものである。振幅画像の各画素の画素値IAは、以下の式(2)に基づいて算出できる。
式(2)において、Iiは干渉縞画像の各画素の画素値を示し、δiは対応する干渉縞パターンの位相差δを示し、添え字iは干渉縞パターンの種類に対応する。本実施例では、添え字i=1,2,3,4であり、δ1=0,δ2=π/2,δ3=π,δ4=3π/2である。なお、振幅画像の画素値としてIAではなく、IA
2を用いてもよく、後者の場合には式(2)において平方根を取らなくてもよい。
「飽和領域画像」は、干渉縞画像において撮像素子44の階調数を超えた光量が入射したために画素値が飽和(サチュレーション)している領域を示す画像である。飽和領域画像の各画素の画素値ISは、例えば、以下の式(3)に基づいて算出できる。
式(3)において、Iiは干渉縞画像の各画素の画素値を示し、添え字iは干渉縞パターンの種類に対応し、nは干渉縞パターンの種類数(例えば4)であり、aは閾値を決定するための定数であり、bは撮像素子44の階調数である。本実施例において、定数a=0.8~0.9の値が設定される。撮像素子44の階調数bは、例えば12である。式(3)より、飽和領域画像の画素値ISは、干渉縞画像の画素値の平均が所定の基準値を超えて飽和しているとみなされる場合に0となり、干渉縞画像の画素値の平均が所定の基準値以下のため飽和していないとみなされる場合に1となる。
なお、飽和領域画像の画素値ISは、別の基準に基づいて算出されてもよい。例えば、複数の干渉縞パターンに対応する複数の干渉縞画像の画素値のうち、少なくとも一つのパターンに対応する画素値が飽和している場合(例えば、Ii≧2b-1)に画素値ISを0とし、複数のパターンに対応する画素値の全てが飽和していない場合(例えば、Ii<2b-1)に画素値ISを1としてもよい。
条件選択部56は、上述のように生成される振幅画像および飽和領域画像から「信頼性分布画像」を生成する。信頼性分布画像の画素値ITは、振幅画像の各画素の画素値IAと飽和領域画像の各画素の画素値ISの積(IT=IA×IS)により算出される。したがって、信頼性分布画像の画素値ITは、飽和領域画像にて0となる画素については0となり、飽和領域画像にて1となる画素については振幅画像の画素値IAと等しい。条件選択部56は、複数の撮像条件ごとに振幅画像、飽和領域画像、信頼性分布画像を生成する。
図4は、振幅画像、飽和領域画像および信頼性分布画像の生成例を示す図である。本図において、(a)は第1撮像条件であり、(b)は第2撮像条件であり、(c)は第3撮像条件である。図示されるように、暗い露光条件である(a)では、画素値の振幅が全体的に小さいが、飽和画素は見られない。一方、明るい露光条件である(c)では、画像の中央付近に飽和画素が見られ、飽和領域では画素値の振幅が小さい。一方、画素値が飽和していない周辺領域では画素値の振幅が比較的大きい。中間的な露光条件である(b)では、飽和画素が見られず、画像の中央付近では画素値の振幅が比較的大きいが、画像の周辺領域では画素値の振幅が比較的小さい。
本実施例に係る縞走査法では、干渉縞パターンの種類の違いに起因する各画素の明暗の差、つまり、干渉縞画像の画素値の振幅が大きく、かつ、撮像素子44が飽和しない範囲で適切に干渉縞パターンの明暗を検出できることが好ましい。上述の信頼性分布画像は、飽和している画素について画素値を0とし、飽和していない画素については画素値を干渉縞画像の振幅としている。したがって、信頼性分布画像の各画素の画素値は、干渉縞画像の各画素の有効性を示す指標であるということができ、画素値が大きいほど有効性が高いと言える。そこで、条件選択部56は、信頼性分布画像の画素値を異なる撮像条件間で比較することにより、いずれの撮像条件に基づく画素値が適切であるかを画素ごとに決定する。条件選択部56は、3種類の撮像条件に対応する3枚の信頼性分布画像の画素値を比較し、画素値の最も高い撮像条件がいずれであるかを画素ごとに決定する。
形状演算部58は、被測定物の位相分布画像を算出し、位相分布画像から被測定物の三次元形状データを演算する。形状演算部58は、同じ撮像条件にて撮像された複数の干渉縞パターンに対応する複数の干渉縞画像の画素値から位相分布画像の画素値(初期位相φ)を算出する。形状演算部58は、条件選択部56が画素ごとに決定した撮像条件にて撮像された干渉縞画像の画素値を用いて、各画素の初期位相φを算出する。位相分布画像の初期位相φは、以下の式(4)に基づいて算出できる。
図5は、初期位相画像、位相分布画像および距離画像の生成例を示す図である。本図において、(a)は第1撮像条件の干渉縞画像から生成される初期位相画像であり、(b)は第2撮像条件の干渉縞画像から生成される初期位相画像であり、(c)は第3撮像条件の干渉縞画像から生成される初期位相画像である。形状演算部58は、(a)~(c)に示す3種類の初期位相画像のいずれかの画素値(初期位相φ)を条件選択部56の決定に基づいて選択することにより(d)に示す位相分布画像を生成する。(d)の位相分布画像の各画素の画素値(初期位相φ)は、条件選択部56が決定した撮像条件の干渉縞画像から算出された初期位相φに等しい。形状演算部58は、生成した位相分布画像に対して既知のアルゴリズムを適用することにより、各画素の位置に対応する被測定物表面の深さおよび高さに関する情報を演算し、(e)に示す距離画像を生成する。形状演算部58は、距離画像の代わりに被測定物の空間座標を演算し、3次元CAD(Computer Aided Design)のような立体形状データを生成してもよい。
形状演算部58は、図5の(a)~(c)に示す3種類の初期位相画像を生成してから(d)に示す位相分布画像を生成してもよいし、(a)~(c)に示す初期位相画像を生成することなく、図3の干渉縞画像から直接的に(d)に示す位相分布画像を生成してもよい。後者の場合、3枚分の初期位相画像の全画素について初期位相φを計算する必要がなく、1枚分の位相分布画像の各画素について初期位相φを計算すればよいため、位相分布画像の生成にかかる演算処理量を少なくできる。
図6は、三次元形状測定装置100の動作の流れを示すフローチャートである。撮像装置40は、複数の撮像条件ごとに複数の干渉縞パターンに対応する複数の干渉縞画像を撮像する(S10)。条件選択部56は、複数の撮像条件ごとに干渉縞画像の画素値の振幅を算出し(S12)、複数の撮像条件ごとに干渉縞画像の飽和画素を算出する(S14)。条件選択部56は、干渉縞画像の画素値の振幅および飽和画素に基づいて、画素ごとに選択する撮像条件を決定する(S16)。形状演算部58は、条件選択部56により選択された撮像条件の干渉縞画像の画素値から初期位相を算出して位相分布画像を生成し(S18)、算出した初期位相から被測定物の三次元形状データを演算する(S20)。
本実施の形態によれば、複数の撮像条件で干渉縞画像を取得するとともに、いずれの撮像条件の画素値を用いるかを画素ごとに選択するため、画素ごとに最適な撮像条件を利用できる。特に、干渉縞画像の画素値の振幅と飽和画素に基づいて干渉縞画像を評価することにより、振幅が最大であり、かつ、飽和していない画素値を画素ごとに選択し、最適な撮像条件にて取得された画素値を組み合わせて位相分布画像を生成できる。したがって、スペックルノイズが発生しやすいコヒーレント光を用いる場合であっても、スペックルノイズの影響が少ない撮像条件を画素ごとに選択できる。これにより、一つの撮像条件のみを用いる場合と比べてスペックルノイズの影響を抑えることができ、被測定物の測定精度を高めることができる。
変形例においては、条件選択部56が干渉縞画像の画素値の振幅または飽和画素のいずれか一方のみに基づいて画素ごとに選択する撮像条件を決定してもよい。
変形例においては、分波器22の第2出力路26のみに位相変調器27を設けるのではなく、第1出力路25と第2出力路26の双方に位相変調器を配置してもよい。
変形例においては、光集積回路を用いた分波器22の代わりに、複屈折素子やビームスプリッタを用いた分波器を用いてもよい。
(第2実施例)
図7は、第2実施例に係る撮像装置140の構成を模式的に示す図である。第2実施例では、上述の撮像装置40の代わりに複数の撮像素子を有する撮像装置140が設けられる点で第1実施例と相違する。以下、第2実施例について、第1実施例との相違点を中心に説明する。
図7は、第2実施例に係る撮像装置140の構成を模式的に示す図である。第2実施例では、上述の撮像装置40の代わりに複数の撮像素子を有する撮像装置140が設けられる点で第1実施例と相違する。以下、第2実施例について、第1実施例との相違点を中心に説明する。
撮像装置140は、撮像レンズ142と、第1撮像素子144aと、第2撮像素子144bと、第3撮像素子144cと、光路分岐部146とを含む。光路分岐部146は、撮像軸Bに沿って撮像レンズ142に入射する光を分岐させ、複数の撮像素子144a,144b,144cのそれぞれに干渉縞パターンの投影像を結像させる。光路分岐部146は、例えば、3つのプリズムを接着接合したもので形成される。
光路分岐部146は、第1光分岐面147と、第2光分岐面148とを有する。第1光分岐面147は、撮像レンズ142を通過した光を第1撮像素子144aおよび第2撮像素子144bへ向かう光路と、第3撮像素子144cへ向かう光路とに分岐させる。第2光分岐面148は、第1光分岐面147を通過した光を第1撮像素子144aへ向かう光路と、第2撮像素子144bへ向かう光路とに分岐させる。
第1光分岐面147は、例えば、第1光分岐面147に入射する光を3:4の割合で分岐させるように構成され、第1撮像素子144aおよび第2撮像素子144bへ向かう光の割合が3、第3撮像素子144cへ向かう光の割合が4となるようにする。第2光分岐面148は、例えば、第2光分岐面148に入射する光を1:2の割合で分岐させるように構成され、第1撮像素子144aへ向かう光の割合が1、第2撮像素子144bへ向かう光の割合が2となるようする。これにより、光路分岐部146は、第1撮像素子144a、第2撮像素子144bおよび第3撮像素子144cのそれぞれに入射する光量が1:2:4となるようにし、各撮像素子の撮像条件が異なるようにする。
第1撮像素子144aは、暗い露光条件に対応する第1撮像条件にて干渉縞画像を撮像し、第2撮像素子144bは、中間的な露光条件に対応する第2撮像条件にて干渉縞画像を撮像し、第3撮像素子144cは、明るい露光条件に対応する第3撮像条件にて干渉縞画像を撮像する。撮像装置140は、第1撮像素子144a、第2撮像素子144b、第3撮像素子144cのそれぞれが撮像した干渉縞画像を制御装置50に送信する。
撮像装置140は、上述の構成により、異なる撮像条件に対応する干渉縞画像を同時に同じ構図で撮像することができる。つまり、特定の干渉縞パターンが投影された被測定物を1回撮像するだけで、撮像条件の異なる複数の干渉縞画像を撮像できる。したがって、本実施例に係る撮像装置140によれば、上述の第1実施例の場合と比べて、複数の撮像条件および複数の干渉縞パターンに対応する全種類(例えば12枚)の干渉縞画像を取得するのにかかる時間を短縮できる。例えば、被測定物の表面形状が時間経過とともに変化するような場合には、形状変化に起因する測定誤差を低減することができる。
変形例においては、光路分岐部146の第1光分岐面147および第2光分岐面148の分割比を利用して複数の撮像条件を実現するのではなく、他の方法により複数の撮像条件下の同時撮影が実現されてもよい。例えば、光路分岐部146により分割されて第1撮像素子144a、第2撮像素子144bおよび第3撮像素子144cに向かう光の光量が1:1:1になるようにする一方で、各撮像素子の手前に透過率の異なるNDフィルタを設けることによって、各撮像素子の撮像条件を異ならせてもよい。また、各撮像素子の露光時間やゲインを異ならせることによって各撮像素子の撮像条件を異ならせてもよい。また、光路分岐部146の分岐割合、各撮像素子の手前に配置するNDフィルタ、各撮像素子の露光時間やゲインといった撮像条件を調整しうる任意の方法を組み合わせることにより各撮像素子の撮像条件が異なるようにしてもよい。
変形例においては、干渉縞投影器20の光源装置30として、複数色(例えば、赤色、緑色、青色)を混合させた多色光を出力可能な光源を用いてもよい。撮像装置140の光分岐部は、入射する光を波長で分離し、各撮像素子に入射する光の波長が異なるようにしてもよい。例えば、第1撮像素子144aに赤色光、第2撮像素子144bに緑色光、第3撮像素子144cに青色光が入射するようにしてもよい。これにより、各撮像素子の撮像条件が異なるようにしてもよい。この場合、画像取得部54は、複数の撮像素子144a,144b,144cから取得する画像信号を用いて被測定物のカラー画像を生成してもよい。
(第3実施例)
図8(a),(b)は、第3実施例に係る撮像装置240の構成を模式的に示す図である。撮像装置240は、撮像素子244と、フィルタ246とを含む。本実施例では、フィルタ246の各セル247の光の透過率を異ならせることにより、一つの撮像素子244を用いて複数の撮像条件に対応する干渉縞画像を同時に取得できるようにする。以下、第3実施例について、上述の実施例との相違点を中心に説明する。
図8(a),(b)は、第3実施例に係る撮像装置240の構成を模式的に示す図である。撮像装置240は、撮像素子244と、フィルタ246とを含む。本実施例では、フィルタ246の各セル247の光の透過率を異ならせることにより、一つの撮像素子244を用いて複数の撮像条件に対応する干渉縞画像を同時に取得できるようにする。以下、第3実施例について、上述の実施例との相違点を中心に説明する。
撮像素子244は、二次元アレイ状に配列される複数の画素245を有する。フィルタ246は、各画素245に対応して二次元アレイ状に配列される複数のセル247を有する。フィルタ246は、NDフィルタであり、各画素245に入射する光Lの透過率が異なるように各セル247の透過率が定められている。フィルタ246は、図8(b)に示すように、透過率の異なる4種類のセル247a,247b,247c,247d(総称してセル247ともいう)を有し、隣接する4種類のセル247a~247dにより一つの単位ユニット248が構成される。フィルタ246において、複数の単位ユニット248が二次元アレイ状に配列されている。各セル247の透過率は、例えば、第1セル247aが12.5%であり、第2セル247bが25%であり、第3セル247cが50%であり、第4セル247dが100%である。
第1セル247aに対応する画素245は、暗い露光条件となる第1撮像条件の干渉縞画像の画素値を生成する。第2セル247bに対応する画素245は、やや暗い露光条件となる第2撮像条件の干渉縞画像の画素値を生成する。第3セル247cに対応する画素245は、やや明るい露光条件となる第3撮像条件の干渉縞画像の画素値を生成する。第4セル247dに対応する画素245は、明るい露光条件となる第4撮像条件の干渉縞画像の画素値を生成する。
画像取得部54は、撮像素子244から取得する画像信号に基づいて、撮像条件の異なる4つの干渉縞画像を生成する。画像取得部54は、画像信号のうち第1セル247aに対応する画素245の画素値から第1撮像条件の干渉縞画像を生成する。同様にして、画像取得部54は、画像信号のうち第2セル247bに対応する画素245の画素値から第2撮像条件の干渉縞画像を生成し、第3セル247cに対応する画素245の画素値から第3撮像条件の干渉縞画像を生成し、第4セル247dに対応する画素245の画素値から第4撮像条件の干渉縞画像を生成する。
このようにして生成される複数の撮像条件に対応する複数の干渉縞画像は、上述の実施例と同様、撮像条件が互いに異なるものの、各画素の撮像位置が厳密には異なっている。具体的に言えば、第1撮像条件では第1セル247aに対応する画素245が用いられるのに対し、第2撮像条件では第1セル247aに隣接する第2セル247bに対応する画素245が用いられる。被測定物の測定精度を高めるためには、撮像条件によって撮像素子244の画素245の位置が異なったとしても、干渉縞パターンが投影される被測定物を実質的に同じ位置で捉えることができるのが好ましい。つまり、一つの単位ユニット248に対応する複数の画素245のいずれを用いたとしても、実質的に被測定物の同じ位置を撮像できることが好ましい。この条件は、撮像光学系のPSFを用いて以下の式(5)で表すことができる。
ここで、式(5)の左辺に示すsは画素245のサイズであり、右辺は上記式(1)で示したPSFである。PSFよりも画素245のサイズを小さくすることで、隣接する各画素245に入射する光が実質的に同等となる。
また、スペックルノイズの影響を抑えるため、単位ユニット248のサイズpは、上記式(1)を満たすことが好ましい。つまり、単位ユニット248の対角線の長さ√2pよりもスペックル平均径が小さいことが好ましい。これにより、異なる単位ユニット248の間でスペックルの生じやすさの相違を小さくし、単位ユニット248に含まれるいずれかの画素245に適切な光量(つまり、飽和しない範囲で振幅の大きい光量)が入射する確率を高めことができる。その結果、各画素での初期位相φの検出精度を高めることができる。
変形例においては、単位ユニット248が4つの画素245に対応するように設けられなくてもよく、例えば、3つの画素245に対して一つの単位ユニットが設けられてもよいし、6つや8つの画素245に対して一つの単位ユニットが設けられてもよい。また、一つの単位ユニットを複数の隣接画素で構成するのではなく、一つおきや二つおきに配置される複数の画素を一つの単位ユニットに含めるようにしてもよい。
変形例においては、フィルタ246の各セル247の透過率を異ならせるのではなく、単位ユニット248に対応する複数の画素245の露光時間やゲインを異ならせることにより、複数の撮像条件に対応する複数の干渉縞画像を同時に取得できるようにしてもよい。
変形例においては、フィルタ246としてNDフィルタを用いるのではなく、カラーフィルタを用いて特定波長に対する各セル247の透過率を異ならせてもよい。例えば、赤色(R)、緑色(G)、青色(B)のベイヤ配列を有するカラーフィルタを用いるとともに、各色のフィルタの透過率が段階的に異なる特定波長のレーザ光を用いて干渉縞パターン70を生成してもよい。
図9(a),(b)は、変形例に係る撮像装置240の構成を模式的に示す図である。図9(a)に示すように、フィルタ246は、赤色(R)、緑色(G)、青色(B)のベイヤ配列を構成しており、奇数行目にはRとGが交互に配列され、偶数行目にはGとBが交互に配列されている。図9(b)は、赤色(R)、緑色(G)、青色(B)のフィルタの透過率を示すグラフである。図示されるように、λ=600nm付近の波長では、各色のフィルタの透過率がR:G:B≒4:2:1となっている。このように各色のフィルタの透過率が段階的に異なる波長を用いることで、フィルタ246としてカラーフィルタを用いる場合であっても透過率の異なるNDフィルタを用いる場合と同様の効果を奏することができる。
なお、特定波長としてλ=600nm付近以外の波長を用いてもよい。例えば、図9(b)に示す特性のカラーフィルタにおいて、λ=530nm付近の波長において各色のフィルタの透過率がR:G:B≒1:4:2となることを利用してもよい。その他、λ=500nm付近において各色のフィルタの透過率がR:G:B≒1:4:8となることを利用してもよい。
(第4実施例)
図10(a),(b),(c)は、第4実施例に係るフィルタ346の構成を模式的に示す図である。本実施例では、図10(a)に示すように、フィルタ346が赤色(R)、緑色(G)、青色(B)のベイヤ配列を構成しており、奇数行目にはRとGが交互に配列され、偶数行目にはGとBが交互に配列されている。さらにフィルタ346は、6つのセル347により単位ユニット348a,348b(以下、総称して単位ユニット348ともいう)が構成されている。同じ単位ユニット348に含まれる緑色(G)のセルは、透過率がそれぞれ異なっており、これにより異なる撮像条件の干渉縞画像を同時に取得できるようにしている。以下、第4実施例について、上述の実施例との相違点を中心に説明する。
図10(a),(b),(c)は、第4実施例に係るフィルタ346の構成を模式的に示す図である。本実施例では、図10(a)に示すように、フィルタ346が赤色(R)、緑色(G)、青色(B)のベイヤ配列を構成しており、奇数行目にはRとGが交互に配列され、偶数行目にはGとBが交互に配列されている。さらにフィルタ346は、6つのセル347により単位ユニット348a,348b(以下、総称して単位ユニット348ともいう)が構成されている。同じ単位ユニット348に含まれる緑色(G)のセルは、透過率がそれぞれ異なっており、これにより異なる撮像条件の干渉縞画像を同時に取得できるようにしている。以下、第4実施例について、上述の実施例との相違点を中心に説明する。
図10(b)は、第1単位ユニット348aの構成を模式的に示す図である。第1単位ユニット348aは、赤色(R)の第1セル347aと、緑色(G)の第2セル347bと、緑色(G)の第3セル347cと、青色(B)の第4セル347dと、赤色(R)の第5セル347eと、緑色(G)の第6セル347fとで構成されている。このうち、緑色(G)の第2セル347bおよび緑色(G)の第3セル347cには、カラーフィルタとともにNDフィルタが設けられている。例えば、第2セル347bには透過率25%のNDフィルタが設けられ、第3セル247cには透過率50%のNDフィルタが設けられている。なお、緑色(G)の第6セル347fは、透過率が100%である。
図10(c)は、第2単位ユニット348bの構成を模式的に示す図である。第2単位ユニット348bは、緑色(G)の第7セル347g、青色(B)の第8セル347hと、赤色(R)の第9セル347iと、緑色(G)の第10セル347jと、緑色(G)の第11セル347kと、青色(B)の第12セル347lと、で構成されている。このうち、緑色(G)の第7セル347gおよび緑色(G)の第10セル347jには、カラーフィルタとともにNDフィルタが設けられている。例えば、第7セル347gには透過率25%のNDフィルタが設けられ、第10セル247jには透過率50%のNDフィルタが設けられている。なお、緑色(G)の第11セル347kは、透過率が100%である。
図10(a)に示すように、第1単位ユニット348aおよび第2単位ユニット348bは、縦方向に交互に配列されている。また、第1単位ユニット348aは横方向に並べられ、第2単位ユニット348bも同様に横方向に順に並べられている。これにより、2×2のセルの繰り返しによるR,G,Bのベイヤ配列を実現するとともに、2×3のセルで構成される単位ユニットの繰り返しにより、3種類の透過率(例えば、25%,50%,100%)の緑色のセルが周期的に配列されるようにしている。
画像取得部54は、フィルタ346が設けられる撮像装置340から取得する画像信号に基づいて、被測定物のカラー画像または3つの撮像条件に対応する干渉縞画像を生成する。画像取得部54は、フィルタ346のR,G,Bのベイヤ配列に基づいて画像信号を処理することにより、被測定物のカラー画像を生成する。このとき、画像取得部54は、緑色(G)のセルの透過率を考慮し、緑色のセルに対応する画素値を補正を施してカラー画像を生成してもよい。例えば、透過率が25%のセルについて画素値を4倍に補正し、透過率が50%のセルについて画素値を2倍に補正してもよい。その他、透過率の異なる緑色(G)のセルの画素値を平均化するなどして、緑色(G)のセルの各画素に対応する画素値を算出してもよい。
画像取得部54は、緑色(G)のセルに対応する画素値を用いて、3つの撮像条件に対応する干渉縞画像を生成する。画像取得部54は、透過率が25%である第2セル347bおよび第7セル347gに対応するセルの画素値を並べることにより、暗い露光条件となる第1撮像条件の干渉縞画像を生成する。画像取得部54は、透過率が50%である第3セル347cおよび第10セル347jに対応するセルの画素値を並べることにより、中間的な露光条件となる第2撮像条件の干渉縞画像を生成する。画像取得部54は、透過率が100%である第6セル347fおよび第12セル347lに対応セルの画素値を並べることにより、明るい露光条件となる第3撮像条件の干渉縞画像を生成する。
画像取得部54により生成されるカラー画像の画素数と、各撮像条件に対応する干渉縞画像の画素数と一致しなくてもよい。画像取得部54は、撮像装置340の撮像素子の画素数と一致するカラー画像を生成する一方、撮像装置340の撮像素子の画素数の1/6となる干渉縞画像を生成してもよい。変形例においては、干渉縞画像の画素数と一致するようにカラー画像が生成されてもよい。
干渉縞投影器20は、赤色(例えば、波長λ=635nm)のレーザ光ではなく、緑色(例えば、波長λ=532nm)のレーザ光の干渉縞パターンを投影してもよい。つまり、本実施例では、フィルタ346の緑色(G)セルの透過率が高い波長のレーザ光を利用してもよい。これにより、緑色(G)セルに対応する画素にて検出される干渉縞パターンのコントラスト比を高め、被測定物の立体形状の計測精度を高めることができる。
変形例においては、一つの単位ユニット348を異なる数のセル347で構成してもよい。例えば、単位ユニット348を2×4=8個のセル347により構成し、単位ユニット348に含まれる4つの緑色(G)のセルのそれぞれの透過率を異ならせることにより、同時に4つの撮像条件に対応する干渉縞画像が取得できるようにしてもよい。
(第5実施例)
上述の実施例では、複数の撮像条件に対応する干渉縞画像に基づいて、いずれの撮像条件に基づいて画素ごとの初期位相を算出するかを決定し、決定した撮像条件の干渉縞画像から各画素の初期位相を算出する場合について示した。本実施例では、一つの撮像条件に対応する干渉縞画像に基づいて各画素の初期位相を算出する点で上述の実施例と相違する。以下、本実施例について、上述の実施例との相違点を中心に説明する。
上述の実施例では、複数の撮像条件に対応する干渉縞画像に基づいて、いずれの撮像条件に基づいて画素ごとの初期位相を算出するかを決定し、決定した撮像条件の干渉縞画像から各画素の初期位相を算出する場合について示した。本実施例では、一つの撮像条件に対応する干渉縞画像に基づいて各画素の初期位相を算出する点で上述の実施例と相違する。以下、本実施例について、上述の実施例との相違点を中心に説明する。
図11は、第5実施例に係る制御装置450の機能構成を模式的に示すブロック図である。制御装置450は、条件制御部452と、画像取得部454と、有効性判定部456と、形状演算部458とを含む。本実施例に係る制御装置450は、条件選択部56の代わりに有効性判定部456を含む。
条件制御部452は、位相変調器27の動作を制御して複数の干渉縞パターン70が被測定物に投影されるようにする。また、撮像装置40が所望の露光条件下にて干渉縞画像を撮像できるように、光源装置30の光量や撮像素子44の露光時間、ゲインなどを制御する。条件制御部452は、撮像装置40が撮像する干渉縞画像に飽和画素が含まれない、もしくは、飽和画素の画素数が所定の基準値未満となるように露光条件を制御する。
画像取得部454は、撮像装置40から複数の干渉縞パターンに対応する複数の干渉縞画像を取得する。有効性判定部456は、画像取得部454が取得した干渉縞画像の各画素の有効性を判定する。有効性判定部456は、例えば、上述の実施例に係る条件選択部56と同様に「振幅画像」と「飽和領域画像」から「信頼性分布画像」を生成し、信頼性分布画像の各画素の画素値に基づいて各画素の有効性を判定する。有効性判定部456は、信頼性分布画像の画素値が所定の閾値以上であれば、その画素を有効とし、所定の閾値未満であればその画素を無効と判定する。
形状演算部458は、有効性判定部456の判定結果に基づいて被測定物の位相分布画像を算出する。形状演算部458は、有効性判定部456が有効と判定した画素については、複数の干渉縞画像の画素値に基づいて初期位相を算出し、有効性判定部456が無効と判定した画素については、エラーを示す値(例えば、null)を位相分布画像の画素値とする。形状演算部458は、無効判定された画素の初期位相をその周囲に隣接する画素の初期位相の値から補間して算出してもよい。
本実施例に係る撮像装置40は、階調数の大きい撮像素子44を有し、例えば、14ビット以上の階調数を有する。例えば、撮像素子44として14ビットのイメージセンサを用いるとともに、撮像素子44の各画素が飽和しないように露光条件を調整することにより、12ビットのイメージセンサを用いて露光量を1/2および1/4にした場合と同等の干渉縞画像を得ることができる。その結果、一つの撮像条件に基づく干渉縞画像を撮像すれば、複数の撮像条件の干渉縞画像を組み合わせて位相分布画像を生成する場合と同等の精度を得ることができる。したがって、本実施例においても高精度の三次元形状測定を実現することができる。
(第6実施例)
図12は、第6実施例に係る三次元形状測定装置500の構成を模式的に示す図である。三次元形状測定装置500は、第1干渉縞投影器520aと、第2干渉縞投影器520bと、撮像装置540と、制御装置550とを備える。第1干渉縞投影器520aは、第1分波器522a、第1投影レンズ528aおよび第1光源装置530aを有する。第2干渉縞投影器520bは、第2分波器522b、第2投影レンズ528b、第2光源装置530bを有する。本実施例では、干渉縞パターン70を投影するための干渉縞投影器が複数設けられる点で上述の実施例と相違する。以下、本実施例について、上述の実施例との相違点を中心に説明する。
図12は、第6実施例に係る三次元形状測定装置500の構成を模式的に示す図である。三次元形状測定装置500は、第1干渉縞投影器520aと、第2干渉縞投影器520bと、撮像装置540と、制御装置550とを備える。第1干渉縞投影器520aは、第1分波器522a、第1投影レンズ528aおよび第1光源装置530aを有する。第2干渉縞投影器520bは、第2分波器522b、第2投影レンズ528b、第2光源装置530bを有する。本実施例では、干渉縞パターン70を投影するための干渉縞投影器が複数設けられる点で上述の実施例と相違する。以下、本実施例について、上述の実施例との相違点を中心に説明する。
三次元形状測定装置500は、先端部512、挿入部514、接続部516を有する内視鏡スコープ510に組み込まれている。先端部512には、第1分波器522a、第1投影レンズ528a、第2分波器522b、第2投影レンズ528b、撮像装置540が組み込まれている。挿入部514には、第1光ファイバ538a、第2光ファイバ538b、第1配線561、第2配線562、第3配線563が挿通されている。
第1光ファイバ538aは、第1分波器522aと第1光源装置530aを接続し、第2光ファイバ538bは、第2分波器522bと第2光源装置530bを接続する。第1配線561は、第1分波器522aと制御装置550を接続し、第2配線562は、撮像装置540と制御装置550を接続し、第3配線563は、第2分波器522bと制御装置550を接続する。
第1干渉縞投影器520aおよび第2干渉縞投影器520bは、上述の干渉縞投影器20と同様に構成されるが、撮像装置540に対してそれぞれが異なる位置から干渉縞パターン70を投影する。第1干渉縞投影器520aは、第1位置から干渉縞パターン70を投影するように構成され、第2干渉縞投影器520bは、第1位置とは異なる第2位置から干渉縞パターン70を投影するように構成される。その結果、第1干渉縞投影器520aの投影軸A1、第2干渉縞投影器520bの投影軸A2、および、撮像装置540の撮像軸Bのそれぞれが互いに交差するように配置される。
第1干渉縞投影器520aおよび第2干渉縞投影器520bは、撮像装置540または撮像装置540の撮像軸Bを挟んで対称となる位置に配置されてもよい。例えば、第1干渉縞投影器520aの投影軸A1、第2干渉縞投影器520bの投影軸A2および撮像装置540の撮像軸Bが同一平面内となるように、第1干渉縞投影器520aおよび第2干渉縞投影器520bが配置されてもよい。第1干渉縞投影器520aおよび第2干渉縞投影器520bは、干渉縞パターン70の縞が延びる方向が投影軸A1,A2および撮像軸Bを含む平面と直交するように干渉縞パターン70を生成してもよい。
第1干渉縞投影器520aおよび第2干渉縞投影器520bは、それぞれ同じ波長のレーザ光を用いて干渉縞パターン70を生成してもよいし、異なる波長のレーザ光を用いて干渉縞パターン70を生成してもよい。前者の場合、第1光源装置530aと第2光源装置530bは、実質的に同じ光源装置であってよい。後者の場合、第1光源装置530aと第2光源装置530bは、それぞれ異なる波長のレーザ光を出力する光源装置であってもよい。変形例においては、二つの光源装置530a,530bを設ける代わりに、第1干渉縞投影器520aと第2干渉縞投影器520bが一つの光源装置を共用してもよい。
制御装置550は、第1干渉縞投影器520aまたは第2干渉縞投影器520bに干渉縞パターン70を投影させ、干渉縞パターン70が投影された被測定物を撮像装置540に撮像させる。制御装置550は、干渉縞パターン70の投影に用いる干渉縞投影器520a,520bを切り替えることにより干渉縞画像の撮像条件を制御する。制御装置550は、第1干渉縞投影器520aに基づく第1干渉縞パターン70aが投影された被測定物を撮像装置540に撮像させ、第1撮像条件の干渉縞画像を取得する。また制御装置550は、第2干渉縞投影器520bに基づく第2干渉縞パターン70bが投影された被測定物を撮像装置540に撮像させ、第2撮像条件の干渉縞画像を取得する。制御装置550は、第1撮像条件に係る干渉縞画像および第2撮像条件に係る干渉縞画像が時分割で取得されるようにする。
制御装置550は、第1分波器522aの位相条件を制御することにより、第1干渉縞投影器520aに基づく複数種類の第1干渉縞パターン70aに対応する干渉縞画像を撮像させる。具体的には、第1分波器522aの位相差δの値が0、π/2、π、3π/2となるようにして4種類の第1干渉縞パターン70aを投影させ、それぞれの第1干渉縞パターン70aに対応する第1撮像条件の干渉縞画像を取得する。同様に、制御装置550は、第2分波器522bの位相条件を制御することにより、第2干渉縞投影器520bに基づく複数種類の第2干渉縞パターン70bに対応する干渉縞画像を撮像させる。具体的には、第2分波器522bの位相差δの値が0、π/2、π、3π/2となるようにして4種類の第2干渉縞パターン70bを投影させ、それぞれの第2干渉縞パターン70bに対応する第2撮像条件の干渉縞画像を取得する。
制御装置550は、取得した干渉縞画像に基づいて「信頼性分布画像」を生成する。制御装置550は、位相差δの異なる4種類の第1干渉縞パターン70aに基づく干渉縞画像から第1撮像条件に係る信頼性分布画像を生成し、位相差δの異なる4種類の第2干渉縞パターン70bに基づく干渉縞画像から第2撮像条件に係る信頼性分布画像を生成する。制御装置550は、第1撮像条件および第2撮像条件に係る信頼性分布画像を比較し、いずれの撮像条件に基づく画素値が適切であるかを画素ごとに決定する。制御装置550は、画素ごとに決定した撮像条件に対応する複数種類の干渉縞画像から各画素の初期位相φを算出し、被測定物の初期位相画像を生成する。
制御装置550は、第1干渉縞パターン70aに基づく複数種類の干渉縞画像から算出される初期位相φに対して被測定物の空間座標を演算する場合と、第2干渉縞パターン70bに基づく複数種類の干渉縞画像から算出される初期位相φに対して被測定物の空間座標を演算する場合とで互いに異なる計算方法を用いる。これは、第1干渉縞投影器520aと撮像装置540の配置関係と、第2干渉縞投影器520bと撮像装置540の配置関係が異なるためである。制御装置550は、干渉縞投影器520a,520bと撮像装置540の配置関係に対応するアルゴリズムを適用することにより、異なる投影位置からの干渉縞パターンを用いる場合であっても被測定物の空間座標を適切に算出することができる。
本実施例によれば、投影位置の異なる複数の干渉縞パターンを利用し、画素ごとにより適切な投影位置に基づく干渉縞画像を採用することができるため、より精度の高い初期位相画像を生成できる。レーザのスペックルパターンは、干渉縞投影器、撮像装置および被測物の配置関係で決まることから、複数の投影位置を組み合わせることでよりスペックルノイズの少ない計測結果を画素ごとに得ることができる。また、被測定物の立体形状等に起因して干渉縞パターンが投影されない陰となる部分が生じる場合であっても、複数の方向から干渉縞パターンを投影することにより、画素ごとに陰が生じない計測結果を得ることができる。つまり、一方の投影位置からでは干渉縞が投影されない位置の画素について、他方の投影位置から投影した干渉縞の撮像結果を用いることにより補完できる。本実施例では、信頼性分布画像に基づいて各画素の条件を決定するため、スペックルノイズや陰の影響の少ない計測結果を選択し、精度および信頼性の高い初期位相画像を生成できる。
変形例においては、三以上の干渉縞投影器を用いて三以上の投影位置から投影される干渉縞パターンに基づく干渉縞画像を取得できるようにしてもよい。この場合、複数の干渉縞投影器は、撮像装置540の投影軸Bを囲むように配置されてもよい。三以上の干渉縞投影器は、干渉縞パターンの縞の間隔がそれぞれ同じとなるように構成されてもよいし、異なるように構成されてもよい。
変形例においては、異なる投影位置からの干渉縞パターンに基づく干渉縞画像を時分割で取得するのではなく、同時に取得できるようにしてもよい。例えば、複数の干渉縞投影器のそれぞれが投影する干渉縞パターンの波長を異ならせ、撮像装置において入射する光の波長を分離することにより投影位置の異なる干渉縞パターンに基づく干渉縞画像が同時に撮像されるようにしてもよい。この場合、撮像装置として、上述の第2実施例に係る撮像装置140、第3実施例に係る撮像装置240などを用いてもよい。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
図13は、変形例に係る干渉縞投影器20の構成を模式的に図である。本変形例では、投影レンズ28として平凸レンズの代わりにボールレンズを用いる点で上述の実施例と相違する。投影レンズ28は、第1出力路25から出力される光線束を第1焦点29aに集光させ、第2出力路26から出力される光線束を第2焦点29bに集光される。第1焦点29aから発散される光線束と第2焦点29bから発散される光線束が重なる領域Wにおいて双方の光線束が干渉し、干渉縞パターン70を生成される。したがって、投影レンズ28としてボールレンズを用いる場合であっても、上述の実施例と同様の効果を奏することができる。
変形例においては、投影レンズ28として平凸レンズの代わりに凹レンズを用いてもよいし、少なくとも凹レンズまたは凸レンズを含む複数のレンズの組み合わせにより投影レンズ28を構成してもよい。
変形例においては、被測定物の空間座標の代わりに被測定物表面の深さおよび高さに関する情報のみを算出してもよい。また、被測定物の空間座標に関する任意の値を利用し、被測定物の空間座標に関する情報を任意の表示態様にて表示させてもよい。
上述の実施例では、三次元形状測定装置が軟性鏡の内視鏡スコープである場合を示した。変形例では、挿入部が可撓性を有しないように構成された硬性鏡の内視鏡スコープであってもよい。また、内視鏡装置は医療用途に用いられるものであってもよいし、工業用途に用いられるものであってもよい。また、本実施例に係る三次元形状測定装置は、内視鏡に組み込まれなくてもよい。
20…干渉縞投影器、22…分波器、27…位相変調器、30…光源装置、40…撮像装置、44…撮像素子、50…制御装置、52…条件制御部、54…画像取得部、56…条件選択部、58…形状演算部、70…干渉縞パターン、100…三次元形状測定装置。
本発明によれば、測定精度を高めた三次元計測装置を提供できる。
Claims (17)
- 干渉縞を走査し、前記干渉縞の明暗位置が異なる複数の干渉縞パターンのいずれかを被測定物に投影する干渉縞投影器と、
前記干渉縞が投影される被測定物を撮像し、複数の撮像条件のそれぞれにて少なくとも三つの異なる干渉縞パターンに対応する複数の干渉縞画像を生成する撮像装置と、
前記複数の撮像条件ごとに撮像された前記複数の干渉縞画像の各画素の画素値に基づいて、いずれの撮像条件の干渉縞画像を用いて前記被測定物の位相分布画像を算出するかを画素ごとに選択する条件選択部と、
前記条件選択部が画素ごとに選択した撮像条件に対応する複数の干渉縞画像の画素値に基づいて前記位相分布画像の画素ごとの位相を算出し、前記被測定物の三次元形状データを演算する形状演算部と、を備えることを特徴とする三次元形状測定装置。 - 前記複数の撮像条件は、前記撮像装置が備える撮像素子の露光時間、前記撮像素子への入射光量、前記撮像素子の画像信号のゲイン、前記撮像装置に対する前記干渉縞投影器の位置、および、前記干渉縞投影器から投影される干渉縞の光強度の少なくとも一つが異なることを特徴とする請求項1に記載の三次元形状測定装置。
- 前記形状演算部は、同じ撮像条件にて撮像された少なくとも三つの異なる干渉縞パターンに対応する複数の干渉縞画像の画素値と、前記少なくとも三つの異なる干渉縞パターンの位相シフト量とに基づいて前記位相分布画像の各画素の位相を算出することを特徴とする請求項1または2に記載の三次元形状測定装置。
- 前記条件選択部は、前記複数の干渉縞画像の画素値と、前記撮像装置が備える撮像素子の階調数に応じて定められる基準値とに基づいて、前記位相分布画像の算出に用いる干渉縞画像の撮像条件を画素ごとに選択することを特徴とする請求項1から3のいずれか一項に記載の三次元形状測定装置。
- 前記条件選択部は、前記複数の撮像条件間で前記複数の干渉縞画像の画素値を比較し、前記画素値が前記基準値以下かつ最大となる撮像条件を画素ごとに選択することを特徴とする請求項4に記載の三次元形状測定装置。
- 前記条件選択部は、同じ撮像条件にて撮像された少なくとも三つの異なる干渉縞パターンに対応する複数の干渉縞画像の画素値と、前記少なくとも三つの異なる干渉縞パターンの位相シフト量とに基づいて、前記干渉縞の走査に起因する前記複数の干渉縞画像の画素値の変化の振幅を画素ごとに算出し、算出した画素値の変化の振幅に基づいて、前記位相分布画像の算出に用いる干渉縞画像の撮像条件を画素ごとに選択することを特徴とする請求項1から4のいずれか一項に記載の三次元形状測定装置。
- 前記条件選択部は、前記複数の撮像条件間で前記複数の干渉縞画像の画素値を比較し、前記画素値が前記基準値以下であり、かつ、前記算出した画素値の変化の振幅が最大となる撮像条件を画素ごとに選択することを特徴とする請求項6に記載の三次元形状測定装置。
- 前記条件選択部は、前記複数の撮像条件ごとに前記複数の干渉縞画像の画素値の信頼性を示す信頼性分布を算出し、算出した信頼性分布を比較して前記位相分布画像の算出に用いる干渉縞画像の撮像条件を画素ごとに選択することを特徴とする請求項1から7のいずれか一項に記載の三次元形状測定装置。
- 前記干渉縞投影器は、
可干渉光を放射する光源と、
前記光源から放射される光束を分岐する分波器と、
前記分波器により分岐される光束の少なくとも一方の位相を変化させる位相変調器と、を備えることを特徴とする請求項1から9のいずれか一項に記載の三次元形状測定装置。 - 前記干渉縞投影器は、前記光源から放射される光束の波長を一定に維持する光源制御器と、前記光源から放射される光束の光量を変調する光変調器とをさらに備えることを特徴とする請求項10に記載の三次元形状測定装置。
- 前記撮像条件を制御する条件制御部をさらに備え、前記撮像装置は、前記複数の撮像条件のそれぞれに対応する干渉縞画像を時分割で撮像することを特徴とする請求項1から11のいずれか一項に記載の三次元形状測定装置。
- 前記撮像装置は、複数の撮像素子と、前記被測定物からの撮像光を前記複数の撮像素子のそれぞれに向けて分岐させ、前記複数の撮像素子の撮像条件を互いに異ならせる光路分岐部とを備えることを特徴とする請求項1から12のいずれか一項に記載の三次元形状測定装置。
- 前記撮像装置は、複数の画素が二次元アレイ状に配列された撮像素子を備え、前記複数の画素のそれぞれは、各画素の露光時間、各画素への入射光量、および、各画素の出力信号のゲインの少なくとも一つが他のいずれかの画素と異なるように構成される請求項1から13のいずれか一項に記載の三次元形状測定装置。
- 前記撮像装置は、撮像条件の異なる干渉縞画像を同時に撮像することを特徴とする請求項13または14に記載の三次元形状測定装置。
- 前記干渉縞投影器は、第1位置から前記被測定物に向けて干渉縞パターンを投影する第1干渉縞投影器であり、
前記第1位置とは異なる第2位置から前記被測定物に向けて干渉縞パターンを投影する第2干渉縞投影器をさらに備えることを特徴とする請求項1から15のいずれか一項に記載の三次元形状測定装置。 - 前記第1干渉縞投影器による干渉縞投影と、前記第2干渉縞投影器による干渉縞投影とを切り替える条件制御部を備え、
前記撮像装置は、前記第1干渉縞投影器による干渉縞投影に基づく干渉縞画像と、前記第2干渉縞投影器による干渉縞投影に基づく干渉縞画像とを時分割で撮像することを特徴とする請求項16に記載の三次元形状測定装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/062756 WO2017183181A1 (ja) | 2016-04-22 | 2016-04-22 | 三次元形状測定装置 |
JP2018512741A JPWO2017183181A1 (ja) | 2016-04-22 | 2016-04-22 | 三次元形状測定装置 |
US16/165,948 US10753731B2 (en) | 2016-04-22 | 2018-10-19 | Three-dimensional form measurement device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/062756 WO2017183181A1 (ja) | 2016-04-22 | 2016-04-22 | 三次元形状測定装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/165,948 Continuation US10753731B2 (en) | 2016-04-22 | 2018-10-19 | Three-dimensional form measurement device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017183181A1 true WO2017183181A1 (ja) | 2017-10-26 |
Family
ID=60115822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/062756 WO2017183181A1 (ja) | 2016-04-22 | 2016-04-22 | 三次元形状測定装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10753731B2 (ja) |
JP (1) | JPWO2017183181A1 (ja) |
WO (1) | WO2017183181A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019124543A (ja) * | 2018-01-16 | 2019-07-25 | 株式会社サキコーポレーション | 検査装置の高さ情報の取得方法及び検査装置 |
KR20210009602A (ko) * | 2019-07-17 | 2021-01-27 | 케이맥(주) | 샘플 표면의 3d 단차 측정 장치 |
JP2021131320A (ja) * | 2020-02-20 | 2021-09-09 | 有限会社折原製作所 | 強化ガラスの応力測定装置、強化ガラスの応力測定方法 |
EP3844555A4 (en) * | 2018-08-30 | 2021-10-20 | Facebook Technologies, LLC | STRUCTURED LIGHT DEPTH DETECTION |
JP7505961B2 (ja) | 2020-10-27 | 2024-06-25 | 株式会社ミツトヨ | 測定装置及び測定方法 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11070789B1 (en) * | 2019-12-30 | 2021-07-20 | Facebook Technologies, Llc | Switchable fringe pattern illuminator |
US20210262787A1 (en) * | 2020-02-21 | 2021-08-26 | Hamamatsu Photonics K.K. | Three-dimensional measurement device |
CN111721236B (zh) * | 2020-05-24 | 2022-10-25 | 奥比中光科技集团股份有限公司 | 一种三维测量系统、方法及计算机设备 |
EP4286791A4 (en) * | 2021-02-23 | 2024-03-20 | Huawei Technologies Co., Ltd. | OPTICAL SYSTEM, DEVICE AND TERMINAL |
CN115035015A (zh) * | 2021-02-23 | 2022-09-09 | 京东方科技集团股份有限公司 | 图片处理方法、装置、计算机设备及存储介质 |
CN115325960A (zh) * | 2021-05-10 | 2022-11-11 | 广州视源电子科技股份有限公司 | 多频相移测量方法、装置、存储介质及设备 |
DE102022108738A1 (de) * | 2022-04-11 | 2023-10-12 | Carl Zeiss GOM Metrology GmbH | Messeinheit und Verfahren zur optischen Vermessung von Objekten |
CN118424153A (zh) * | 2024-07-05 | 2024-08-02 | 先临三维科技股份有限公司 | 三维扫描方法、三维扫描仪及存储介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05211988A (ja) * | 1991-12-09 | 1993-08-24 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
JP2003519786A (ja) * | 2000-01-10 | 2003-06-24 | マサチューセッツ インスティテュート オブ テクノロジー | 表面輪郭測定のための装置および方法 |
JP2004138617A (ja) * | 2002-10-15 | 2004-05-13 | Mitsutoyo Corp | 干渉計、その使用方法および撮像素子 |
JP2005214653A (ja) * | 2004-01-27 | 2005-08-11 | Olympus Corp | 3次元形状測定方法及びその装置 |
US20080259348A1 (en) * | 2005-04-06 | 2008-10-23 | Dimensional Photonics International, Inc. | Multiple Channel Interferometric Surface Contour Measurement System |
JP2010243438A (ja) * | 2009-04-09 | 2010-10-28 | Nikon Corp | 三次元形状測定装置及び三次元形状測定方法 |
JP2012518791A (ja) * | 2009-02-23 | 2012-08-16 | ディメンジョナル フォトニクス インターナショナル,インコーポレイテッド | コヒーレント照明イメージング・システムにおけるスペックル雑音の低減 |
JP2015135276A (ja) * | 2014-01-17 | 2015-07-27 | Dmg森精機株式会社 | 表面形状測定装置およびそれを備えた工作機械 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3009521B2 (ja) | 1990-10-23 | 2000-02-14 | オリンパス光学工業株式会社 | 計測内視鏡 |
JPH07280535A (ja) | 1994-04-04 | 1995-10-27 | Seiko Epson Corp | 三次元形状測定装置 |
US6847457B2 (en) * | 2002-10-29 | 2005-01-25 | Mitutoyo Corporation | Interferometer using integrated imaging array and high-density phase-shifting array |
US6850329B2 (en) * | 2002-10-15 | 2005-02-01 | Mitutoyo Corporation | Interferometer using integrated imaging array and high-density polarizer array |
EP3482681A1 (en) * | 2007-11-01 | 2019-05-15 | Dental Imaging Technologies Corporation | Intra-oral three-dimensional imaging system |
EP2508871A4 (en) * | 2009-11-30 | 2017-05-10 | Nikon Corporation | Inspection apparatus, measurement method for three-dimensional shape, and production method for structure |
-
2016
- 2016-04-22 JP JP2018512741A patent/JPWO2017183181A1/ja active Pending
- 2016-04-22 WO PCT/JP2016/062756 patent/WO2017183181A1/ja active Application Filing
-
2018
- 2018-10-19 US US16/165,948 patent/US10753731B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05211988A (ja) * | 1991-12-09 | 1993-08-24 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
JP2003519786A (ja) * | 2000-01-10 | 2003-06-24 | マサチューセッツ インスティテュート オブ テクノロジー | 表面輪郭測定のための装置および方法 |
JP2004138617A (ja) * | 2002-10-15 | 2004-05-13 | Mitsutoyo Corp | 干渉計、その使用方法および撮像素子 |
JP2005214653A (ja) * | 2004-01-27 | 2005-08-11 | Olympus Corp | 3次元形状測定方法及びその装置 |
US20080259348A1 (en) * | 2005-04-06 | 2008-10-23 | Dimensional Photonics International, Inc. | Multiple Channel Interferometric Surface Contour Measurement System |
JP2012518791A (ja) * | 2009-02-23 | 2012-08-16 | ディメンジョナル フォトニクス インターナショナル,インコーポレイテッド | コヒーレント照明イメージング・システムにおけるスペックル雑音の低減 |
JP2010243438A (ja) * | 2009-04-09 | 2010-10-28 | Nikon Corp | 三次元形状測定装置及び三次元形状測定方法 |
JP2015135276A (ja) * | 2014-01-17 | 2015-07-27 | Dmg森精機株式会社 | 表面形状測定装置およびそれを備えた工作機械 |
Non-Patent Citations (1)
Title |
---|
SWANSON ET AL.: "High-precision surface profiling with broadband accordion fringe interferometry", PROCEEDINGS OF SPIE, vol. 4189, 12 February 2001 (2001-02-12), pages 161 - 169, XP005503893 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019124543A (ja) * | 2018-01-16 | 2019-07-25 | 株式会社サキコーポレーション | 検査装置の高さ情報の取得方法及び検査装置 |
JP7156794B2 (ja) | 2018-01-16 | 2022-10-19 | 株式会社サキコーポレーション | 検査装置の高さ情報の取得方法及び検査装置 |
EP3844555A4 (en) * | 2018-08-30 | 2021-10-20 | Facebook Technologies, LLC | STRUCTURED LIGHT DEPTH DETECTION |
KR20210009602A (ko) * | 2019-07-17 | 2021-01-27 | 케이맥(주) | 샘플 표면의 3d 단차 측정 장치 |
KR102305190B1 (ko) * | 2019-07-17 | 2021-09-27 | 에이치비솔루션(주) | 샘플 표면의 3d 단차 측정 장치 |
JP2021131320A (ja) * | 2020-02-20 | 2021-09-09 | 有限会社折原製作所 | 強化ガラスの応力測定装置、強化ガラスの応力測定方法 |
JP7284512B2 (ja) | 2020-02-20 | 2023-05-31 | 有限会社折原製作所 | 強化ガラスの応力測定装置、強化ガラスの応力測定方法 |
JP7505961B2 (ja) | 2020-10-27 | 2024-06-25 | 株式会社ミツトヨ | 測定装置及び測定方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2017183181A1 (ja) | 2019-02-28 |
US20190049237A1 (en) | 2019-02-14 |
US10753731B2 (en) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017183181A1 (ja) | 三次元形状測定装置 | |
JP6496940B2 (ja) | 軸上色収差を有するレンズを含む撮像システム、内視鏡及び撮像方法 | |
US10788318B2 (en) | Three-dimensional shape measurement apparatus | |
US9383549B2 (en) | Imaging system | |
JP6794371B2 (ja) | オブジェクトの光学的3d測定のためのデバイス | |
KR20180006451A (ko) | 치아 객체의 3차원 측정을 위한 카메라 및 방법 | |
US11002534B2 (en) | Patterned light projection apparatus and method | |
US10679370B2 (en) | Energy optimized imaging system with 360 degree field-of-view | |
US20180128603A1 (en) | Three-dimensional shape measurement apparatus | |
JP2017201760A (ja) | 撮像装置および測距装置 | |
JP7005175B2 (ja) | 距離測定装置、距離測定方法及び撮像装置 | |
JP2011075336A (ja) | 3次元形状計測装置、3次元形状計測方法 | |
US10630910B1 (en) | Image processing apparatus | |
JP7501582B2 (ja) | 撮像装置 | |
JP2011252835A (ja) | 三次元形状計測装置 | |
JP2021018081A (ja) | 撮像装置、計測装置、及び、計測方法 | |
JP5946208B2 (ja) | 画像処理装置 | |
JP6136364B2 (ja) | デフォーカス量検出装置およびカメラ | |
JP2006271503A (ja) | 三次元計測機能つき内視鏡装置 | |
WO2023084706A1 (ja) | 内視鏡プロセッサ、プログラム、およびフォーカスレンズの制御方法 | |
JP2006058142A (ja) | 3次元形状測定装置および方法 | |
Sagawa et al. | One-shot 3d reconstruction of moving objects by projecting wave grid pattern with diffractive optical element | |
JP2020008955A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体 | |
JP2017138621A (ja) | デフォーカス量検出装置およびカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2018512741 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16899453 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16899453 Country of ref document: EP Kind code of ref document: A1 |