WO2010113450A1 - 三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム - Google Patents

三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム Download PDF

Info

Publication number
WO2010113450A1
WO2010113450A1 PCT/JP2010/002193 JP2010002193W WO2010113450A1 WO 2010113450 A1 WO2010113450 A1 WO 2010113450A1 JP 2010002193 W JP2010002193 W JP 2010002193W WO 2010113450 A1 WO2010113450 A1 WO 2010113450A1
Authority
WO
WIPO (PCT)
Prior art keywords
height
measurement
phase
dimensional shape
calculated
Prior art date
Application number
PCT/JP2010/002193
Other languages
English (en)
French (fr)
Inventor
本間友紀
光本大輔
竹村素直
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to CN2010800141052A priority Critical patent/CN102365522B/zh
Priority to US13/256,965 priority patent/US8705049B2/en
Priority to KR1020117020989A priority patent/KR101257188B1/ko
Priority to EP10758230.6A priority patent/EP2416114A4/en
Publication of WO2010113450A1 publication Critical patent/WO2010113450A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2522Projection by scanning of the object the position of the object changing and being recorded
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2527Projection by scanning of the object with phase change by in-plane movement of the patern

Definitions

  • the present invention relates to a three-dimensional shape measurement apparatus, a three-dimensional shape measurement method, and a three-dimensional shape measurement program for measuring a three-dimensional shape of a measurement target by analyzing an optical pattern projected on the measurement target.
  • an optical pattern is projected onto a measurement target existing within a predetermined imaging field of view, and the deformation amount of the optical pattern deformed according to the 3D shape of the measurement target is analyzed.
  • Typical methods include a light cutting method, a spatial code method, and a fringe analysis method. These are all based on the principle of triangulation, but among them, many methods such as space fringe analysis and time fringe analysis have been proposed for the fringe analysis method.
  • the height position is determined by the geometric positional relationship between the light projecting device that projects the optical pattern, the reference plane that is the plane on which the measurement target is placed, and the imaging device that captures the measurement target. It will affect the accuracy. This point will be described with reference to FIG.
  • FIG. 15 is a diagram showing the principle of triangulation.
  • a plane Ph having a height h from the reference plane P0 is observed by the photographing apparatus Cc having an optical axis perpendicular to the reference plane P0.
  • the light projecting device Cp is disposed at the same height as the imaging device Cc when viewed from the reference plane P0, and projects the light pattern toward the position of the point O on the reference surface P0.
  • the optical pattern projected toward the reference plane P0 is observed at a position P at a distance PQ from the optical axis (Z axis). This positional deviation PQ appears as a phase difference of the optical pattern. If the phase difference can be calculated, the height h can be calculated by the following equation (1).
  • phase difference is usually calculated as a remainder obtained by dividing the original phase difference by 2 ⁇ . For this reason, the range of measurable phase differences is limited to 2 ⁇ , and the measurable height range (measurement range) is limited.
  • One method includes a method of increasing the period of the optical pattern. When the period becomes longer, the positional deviation PQ corresponding to one period becomes longer, so that the measurement range is expanded.
  • the resolution of the phase difference is the same, the resolution (minimum identifiable value) of the positional deviation PQ is increased, and the resolution of the height is increased. That is, the accuracy of the height is lowered.
  • the resolution of the phase difference may be improved.
  • an expensive optical system is required, and further calibration is troublesome.
  • the present invention has been made in view of the above-described problems, and an object of the present invention is to provide a three-dimensional shape measuring apparatus and the like that can easily extend the measurable height while maintaining the measurement range. .
  • the three-dimensional shape measuring apparatus is a three-dimensional shape that measures the three-dimensional shape of the measurement target by analyzing a light pattern projected on the measurement target and whose luminance periodically changes according to the position.
  • the measuring apparatus includes a reference surface that serves as a reference for the height of the measurement target, a mounting base on which the measurement target is attached, and the light on the measurement target and the reference surface.
  • a measurement head that projects a pattern and images the projected optical pattern, a displacement unit that causes displacement of at least one of the mounting base and the measurement head in the height direction, and the measurement head images
  • Phase calculating means for calculating the phase of the optical pattern in a certain pixel included in the image, and height calculating means for calculating the height of the measurement object based on the phase calculated by the phase calculating means;
  • Displacement control means for controlling the displacement based on the height of the measurement object calculated by the height calculation means, and the height calculation means has a phase calculated by the phase calculation means. Based on the amount of displacement by the displacement portion of the height from the reference surface of the mounting base to the measurement head, the height of the measurement target is calculated. It is characterized by calculating.
  • the three-dimensional shape measurement method is a third-order measurement that measures the three-dimensional shape of the measurement target by analyzing an optical pattern projected on the measurement target and whose luminance changes periodically according to the position.
  • a three-dimensional shape measuring method of an original shape measuring apparatus in order to solve the above problems, the measurement object, a mounting base to which the measurement object is attached, and a height reference of the measurement object
  • a phase calculating step for calculating a phase of the optical pattern in a certain pixel included in an image captured by a measurement head that images the projected optical pattern and imaging the projected optical pattern; and the phase calculating step
  • a height calculating step for calculating the height of the measurement target based on the phase calculated in step (b), and the mounting base and the height based on the height of the measurement target calculated in the height calculation step.
  • Total A displacement portion control step for controlling a displacement portion for displacing at least one of the heads in the height direction of the measurement object, wherein the height calculation step is based on the phase calculated in the phase calculation step.
  • the height of the measurement object is calculated by calculating the height and correcting the calculated height based on the amount of displacement by the displacement portion of the height from the reference surface of the mounting base to the measurement head. It is characterized by having.
  • the height is calculated based on the phase of the optical pattern in a certain pixel, and the calculated height is changed to the displacement amount by the displacement portion of the height from the reference surface of the mounting base to the measurement head.
  • the height of the measurement target is calculated by correcting based on this. Then, based on the calculated height of the measurement target, at least one of the mounting base and the measurement head is displaced in the height direction of the measurement target.
  • a three-dimensional shape measuring apparatus is provided with a height adjusting mechanism for adjusting the measuring head and / or the mounting base in the height direction.
  • the measurement range is changed. It can be easily displaced in the height direction. Moreover, since the calibration of the displacement part can be performed together with the conventional calibration, an increase in the labor of calibration can be suppressed.
  • the accurate height of the measurement target can be obtained without providing a new sensor for measuring the height. Can be calculated. Therefore, according to the present invention, the measurable height can be easily expanded while maintaining the above measurement range.
  • the measurement target may be attached to the reference plane or may be attached separately from the reference plane.
  • the displacement part may be displaced in the height direction, and both the measuring head and the mounting base may be displaced in the height direction. It may be displaced to.
  • each step in the three-dimensional shape measurement apparatus can be executed by a computer using a three-dimensional shape measurement program. Furthermore, by storing the three-dimensional shape measurement program in a computer-readable recording medium, the three-dimensional shape measurement program can be executed on any computer.
  • the three-dimensional shape measuring apparatus is configured so that the conventional height adjusting mechanism displaces the measuring head and / or the mounting base in the height direction based on the height of the measurement target.
  • the measurement range can be easily displaced in the height direction, the increase in calibration effort can be suppressed, and the height calculated based on the phase can be displaced by the displacement part.
  • the amount By correcting based on the amount, it is possible to calculate the exact height of the measurement object without providing a new sensor for measuring the height, so that the measurable height while maintaining the measurement range. There is an effect that can be easily expanded.
  • FIG. It is sectional drawing of the said board
  • FIG. It is a flowchart which shows the processing operation which the said control unit performs in measurement mode. It is a block diagram which shows the principal part structure of the control unit in the three-dimensional shape measurement system which is other embodiment of this invention. It is sectional drawing of the said board
  • FIG. 2 is a diagram showing a schematic configuration of a three-dimensional shape measurement system (three-dimensional shape measurement apparatus) 10 according to an embodiment of the present invention.
  • the three-dimensional shape measurement system 10 of the present embodiment projects an optical pattern 14 from a light projecting unit 13 onto a measurement target 12 placed on a transport table 41 of the transport unit 11, and measures the measurement target.
  • the imaging unit (imaging device) 15 captures the optical pattern 14 projected onto the image 12, and the control unit 16 analyzes the shape of the optical pattern 14 that has been captured. By repeating, the three-dimensional shape of the whole measuring object 12 is measured. Examples of the three-dimensional shape to be measured include the depth of the concave portion provided on the surface of the measurement object 12, the height of the convex portion, and their positions.
  • the usage of the three-dimensional shape measurement system 10 is not particularly limited, it can be applied to, for example, an apparatus for inspecting a mounting board.
  • the conveyance direction of the conveyance table 41 (direction indicated by the arrow in FIG. 2) is the y-axis direction, and the direction perpendicular to the conveyance table 41, that is, the height direction is the z-axis direction.
  • FIG. 4 is a block diagram showing the configuration of the main part of the three-dimensional shape measurement system 10.
  • the three-dimensional shape measurement system 10 includes a transport unit 11, a light projecting unit 13, an imaging unit 15, and a control unit 16.
  • the light projecting unit 13 is for projecting the light pattern 14 on the surface of the measurement object 12 as described above.
  • the light projecting unit 13 includes a light source 31 such as a halogen lamp or a xenon lamp, and a pattern generation element 32 for converting a part of light emitted from the light source 31 into light having a pattern.
  • an optical system 33 such as a macro lens.
  • any pattern that has periodicity and can specify the phase according to the position such as a sine wave, a triangular wave, or a rectangular wave, can be used.
  • the measurement resolution is improved. It is assumed that a sinusoidal optical pattern 14 that contributes to the above is used.
  • the pattern generation element 32 what was comprised by the liquid crystal element, the thing which processed glass or a film, etc. can be used.
  • the imaging unit 15 reads the measurement object 12 onto which the optical pattern 14 is projected and acquires the image. Further, as shown in FIG. 4, the imaging unit 15 includes a line sensor 34 and an optical system 35 such as a macro lens. In the present embodiment, four line sensors 34 are used.
  • the transport unit 11 is for horizontally moving the measurement object 12 in the main scanning direction (longitudinal direction) of the line sensor 34 and in a direction perpendicular to the main scanning direction (hereinafter referred to as “sub-scanning direction”). . Further, as shown in FIG. 4, the transport unit 11 includes a transport table 41 for placing the measurement target 12 and a servo motor 42 that drives the transport table 41. The transport unit 11 may include a linear scaler 43 that detects the position of the transport table 41.
  • the measurement target 12 By sequentially capturing images with the line sensor 34 while moving the measurement target 12 in the sub-scanning direction by the transport unit 11, it is possible to measure the three-dimensional shape of the entire measurement target 12.
  • the measurement target 12 When the measurement target 12 is wider in the main scanning direction than the imaging range of the line sensor 34, the measurement target 12 may be moved in the main scanning direction by the transport unit 11 and sequentially imaged by the line sensor 34.
  • the control unit 16 comprehensively controls various units in the three-dimensional shape measurement system 10. Specifically, the control unit 16 controls the transport unit 11, the light projecting unit 13, and the imaging unit 15, and analyzes the optical pattern 14 included in the image captured by the imaging unit 15 by the fringe analysis method. The three-dimensional shape of the measurement object 12 is calculated.
  • the light projecting unit 13 and the imaging unit 15 are integrally provided as a measurement head 17, and a z-axis feed mechanism (displacement unit) 18 that moves the measurement head 17 in the z-axis direction (height direction) is provided. Is provided. Then, the control unit 16 instructs the z-axis feed mechanism 18 to control the height of the measurement head 17.
  • the measurement head 17 As a configuration of the measurement head 17, a configuration in which the light projecting unit 13 and the imaging unit 15 are provided on a base (not shown) and the base is moved in the height direction by the z-axis feed mechanism 18 is conceivable. In this case, it is desirable that the base body has such rigidity that the geometric positional relationship between the light projecting unit 13 and the imaging unit 15 is maintained even when the base body moves in the height direction.
  • the z-axis feed mechanism 18 a known mechanism for moving an object such as a screw feed mechanism can be used.
  • control unit 16 is based on the feed amount (displacement amount) ⁇ z that is the amount by which the z-axis feed mechanism 18 moves (displaces) the measuring head 17 in the height direction from a certain reference position.
  • the height of the measurement object 12 is calculated by correcting the height calculated by the fringe analysis method.
  • the control unit 16 controls the z-axis feed mechanism 18 so as to move the measurement head 17 in the height direction based on the calculated height of the measurement target 12.
  • the measurement range can be easily displaced in the height direction by changing the conventional height adjustment mechanism to calibrate the three-dimensional shape measuring apparatus to the z-axis feed mechanism 18. Further, since the calibration of the z-axis feed mechanism 18 can be performed together with the conventional calibration, it is possible to suppress an increase in time for calibration.
  • the control unit 16 includes an image acquisition unit 44, a main control unit 45, a storage unit 46, an input / setting unit 47, a conveyance control unit 48, a light projection control unit 49, and a z-axis feed control unit ( (Displacement part control means) 50 is provided.
  • the main control unit 45 gives various instructions to the transport control unit 48, the light projection control unit 49, and the z-axis feed control unit 50.
  • the main control unit 45 is realized by causing a CPU (Central Processing Unit) to execute various control programs. Alternatively, it may be realized by a DSP (Digital Signal Processor), FPGA (Field Programmable Gate Array) or the like (not shown). Details of the main control unit 45 will be described later.
  • a CPU Central Processing Unit
  • DSP Digital Signal Processor
  • FPGA Field Programmable Gate Array
  • the storage unit 46 stores various information.
  • the storage unit 46 is realized by any one of a RAM (Random Access Memory), a ROM (Read Only Memory), an external storage device, or a combination thereof. Details of the information stored in the storage unit 46 will be described later.
  • the image acquisition unit 44 acquires image information from the imaging unit 15, and is configured by a capture board or the like.
  • the image acquisition unit 44 converts the acquired image information into image data that can be processed by the main control unit 45 and transmits the image data to the main control unit 45.
  • the input / setting unit 47 accepts various inputs such as an instruction input, information input, and setting input from the user, and includes, for example, a key input device such as a keyboard and buttons, and a pointing device such as a mouse.
  • a scanner device for reading printed information
  • a receiving device for receiving signals via a wireless or wired transmission medium
  • an external device or a device in its own device
  • the above-described various inputs from the outside may be received using a playback device that plays back data recorded on the recording medium.
  • the transport control unit 48, the light projection control unit 49, and the z-axis feed control unit 50 control the transport unit 11, the light projection unit 13, and the z-axis feed mechanism 18 based on instructions from the main control unit 45, respectively. Is.
  • the line sensor 34 of the imaging unit 15 is installed such that the main scanning direction is parallel to the placement surface (reference surface) of the transport table (mounting table) 41. Yes.
  • the main scanning direction of the line sensor 34 parallel to the placement surface of the transport table 41, the upper surface of the measurement object 12 can be imaged at a uniform magnification.
  • the main scanning direction and the sub-scanning direction of the line sensor 34 are perpendicular to each other, a right-angle portion is captured as a right-angle portion in a two-dimensional image composed of a plurality of line images photographed while being conveyed.
  • the light projecting unit 13 is installed so that its optical axis has a predetermined angle with respect to the optical axis of the imaging unit 15. Thereby, although details will be described later, the height of the measurement target 12 can be calculated based on the deviation of the optical pattern 14 projected onto the measurement target 12.
  • the geometric arrangement of the imaging unit 15 and the light projecting unit 13 may be measured in advance at the time of installation or may be calculated by calibration.
  • the operation of the three-dimensional shape measurement system 10 will be described as follows. First, various devices are calibrated. For example, a calibration target (not shown) is placed on the transfer table 41, the placed calibration target is photographed by the imaging unit 15, and the image of the photographed calibration target is analyzed by the control unit 16. Then, the optical axis of the imaging unit 15 is calibrated by calculating the inclination ⁇ of the optical axis of the imaging unit 15.
  • the servo motor 42 of the transport unit 11 sets the transport table 41 to the initial setting position according to a command from the transport control unit 48 of the control unit 16.
  • This initial setting position determines the imaging start position in the sub-scanning direction when the imaging unit 15 images the measurement target 12, and the imaging area of the imaging unit 15 is placed on the transport table 41 of the transport unit 11. It is preferable that the measurement object 12 be positioned at the end in the sub-scanning direction.
  • the light projecting unit 13 projects the optical pattern 14 onto the measurement target 12.
  • the imaging unit 15 scans the measurement target 12 on which the optical pattern 14 is projected, and acquires an image of the measurement target 12.
  • the image acquired by the imaging unit 15 is transmitted to the control unit 16 and converted into digital data by the image acquisition unit 44 of the control unit 16.
  • the main control unit 45 of the control unit 16 analyzes the optical pattern 14 to calculate the height information of the measurement target 12.
  • the spatial fringe analysis method is used when analyzing the optical pattern 14 in the image.
  • the area of the measurement target 12 and within the scan area (image pickup area) of the image pickup unit 15 is obtained.
  • the height at each position can be obtained. Details of the spatial fringe analysis method will be described later.
  • the transport unit 11 moves the measurement object 12 by a predetermined distance in the sub-scanning direction under the control of the control unit 16.
  • the imaging region of the imaging unit 15 in the measurement target 12 and the light pattern 14 projected by the light projecting unit 13 are shifted in the sub-scanning direction by a predetermined distance.
  • the imaging unit 15 scans the measurement object 12 again to acquire a line image.
  • the line image obtained here includes an area of the measurement object 12 that is shifted in the sub-scanning direction by a predetermined distance from the previous scanning area.
  • the obtained image is similarly transmitted to the control unit 16, and three-dimensional information at each position in the new scanning area is obtained.
  • the transport unit 11 again moves the measurement target 12 by a predetermined distance, the imaging unit 15 captures the measurement target 12, and the control unit 16 repeats the process of analyzing the line image, whereby the measurement target 12 is measured.
  • the entire three-dimensional shape is measured.
  • the length information of the line sensor 34 in the main scanning direction and the length information in the sub scanning direction can be measured by a known method.
  • the length information of the measurement target 12 in the main scanning direction can be calculated based on the length of the measurement target captured in the line image in the main scanning direction.
  • the length information of the measurement target 12 in the sub-scanning direction can be calculated based on the moving speed of the transport unit 11.
  • the three-dimensional shape information of the measurement target 12 can be obtained by obtaining the length information and the height information of the measurement target 12 in the main scanning direction and the sub-scanning direction.
  • the predetermined distance is preferably equal to the length of the imaging region of the imaging unit 15 in the sub-scanning direction. Thereby, it can measure rapidly, without leaking the whole area
  • imaging at a predetermined distance can be realized by causing the imaging unit 15 to capture images at regular intervals while moving the transport table 41 at a constant speed.
  • the conveyance control unit 48 transmits an imaging drive signal to the imaging unit 15 via the image acquisition unit 44 at regular time intervals on the order of, for example, several KHz.
  • the imaging unit 15 acquires an image of the measurement target 12 onto which the optical pattern 14 is projected, using this drive signal as a trigger.
  • the conveyance control unit 48 also transmits the same conveyance driving signal at regular intervals to the conveyance unit 11.
  • the servo motor 42 of the transport unit 11 drives the transport table 41 at a constant speed using this transport drive signal as a trigger. Thereby, the measurement object 12 can be imaged for each predetermined region.
  • the linear scaler 43 may be used for imaging at a predetermined distance.
  • the linear scaler 43 is provided in the transport unit 11 and transmits a signal to the transport control unit 48 every time the transport table 41 is moved by a predetermined distance.
  • the conveyance control part 48 will transmit an imaging drive signal with respect to the line sensor 34 of the imaging unit 15, if this signal is received.
  • the line sensor 34 is used as a reading sensor included in the imaging unit 15.
  • a measurement target having a length of 100 mm in the main scanning direction can be imaged with a resolution of about 10 ⁇ m.
  • a measurement target having a horizontal length of 100 mm can be imaged only with a resolution of about 150 ⁇ m.
  • the area camera in order for the area camera to capture an image with the same resolution as the line sensor 34, it is necessary to perform at least 12 sets of processing steps such as moving by a predetermined distance in the main scanning direction and capturing the image. In this case, it takes a lot of time to move the imaging unit 15 in the main scanning direction and capture the image.
  • the line sensor 34 by using the line sensor 34, it is possible to perform high-speed imaging with high resolution on the measurement object 12.
  • each line image read by the imaging unit 15 is analyzed by a spatial fringe analysis method.
  • the phase shift of the optical pattern 14 is calculated from one line image, and three-dimensional information can be calculated from this phase shift. Accordingly, since the total number of scans required for the measurement object 12 is only one, it is possible to perform measurement at a higher speed than a configuration that requires a plurality of scans.
  • the height can be measured based only on the line image acquired by one scan, it is also possible to measure a three-dimensional shape simultaneously with the scan.
  • the measurement can be immediately interrupted without repeating the imaging process until the end. The inspection can be speeded up.
  • the main control unit 45 analyzes the line image of the measurement target 12 projected with the optical pattern 14 based on the spatial fringe analysis method.
  • the spatial fringe analysis method is based on the principle of triangulation as described above. Since the principle of triangulation has been described above with reference to FIG. 15, the fringe analysis method and the spatial fringe analysis method will be described in turn below.
  • a sinusoidal optical pattern is used as the optical pattern 14 projected onto the measurement object 12.
  • the sinusoidal light pattern refers to a pattern having gradation in which luminance is expressed by a sine function.
  • an optical pattern in which the relationship between position and luminance is expressed by a sine function is called a sine wave optical pattern.
  • An example of a sinusoidal optical pattern is shown in FIG.
  • the brightness of the light pattern projected on the reference surface having no projection always changes at a constant cycle.
  • the luminance pattern of the light pattern projected on the convex part changes depending on the inclination of the convex part, and as a result, the optical pattern projected on the reference plane. Will cause a phase shift.
  • the phase of the optical pattern in a pixel at a certain position included in the image (line image) actually projected by projecting the optical pattern on the measurement object 12, and the phase of the same pixel when the optical pattern is projected on the reference plane If the difference from (reference phase) is obtained, the height of the measurement object 12 at the position corresponding to the pixel can be obtained based on the principle of triangulation.
  • the reference phase can be obtained in advance by projecting an optical pattern on the reference plane and taking an image.
  • the difference between the spatial fringe analysis method and the time fringe analysis method lies in how to obtain this phase.
  • the time fringe analysis method which is a conventionally used technique
  • at least three optical patterns whose phases are shifted by a predetermined amount are projected onto the measurement object 12 to image the measurement object 12.
  • the phase is determined as one by analyzing the obtained image. Therefore, when the time stripe analysis method is used, the measurement object 12 must be imaged at least three times even if the reflection characteristic of the measurement object 12 is strictly uniform.
  • the phase at the target pixel is calculated based on the luminance of the pixel for which the phase is obtained (hereinafter referred to as “target pixel”) and the surrounding pixels.
  • target pixel the luminance of the pixel for which the phase is obtained
  • the luminance of the surrounding pixels differs between the case where the phase of the pixel of interest is 0 and the case of ⁇ . become.
  • the phase of the target pixel is 0, for example, the luminance value of the peripheral pixel existing on the side slightly smaller in phase than the target pixel becomes smaller than the luminance value of the target pixel.
  • the phase of the pixel of interest is ⁇
  • the luminance value of the peripheral pixel existing on the side slightly smaller in phase than the pixel of interest is larger than the luminance value of the pixel of interest. Therefore, the phase of the optical pattern can be determined as one based on the pixels in the vicinity of the target pixel.
  • the feature of the spatial fringe analysis method is to determine the phase of the target pixel based on the luminance value of the pixel existing in the vicinity of the target pixel.
  • a phase-shifted optical pattern obtained by shifting the optical pattern by 90 ° is virtually created from the captured line image.
  • the projected optical pattern is expressed by the following equation (2).
  • phase ⁇ (x) of the pixel at the position x is expressed by the following equation (4)
  • the value of I (x) is the luminance value of the pixel at the position x in the main scanning direction.
  • the Hilbert transform is used to calculate the value of I ⁇ (x) (hereinafter I (x) with a hat is described in this way for convenience). That is, the luminance value I ⁇ (x) at the position x by the phase-shifting light pattern is expressed by the following equation (5).
  • the value of I ⁇ (x) can be obtained from the above equation (6), and the phase ⁇ (x) can be obtained from the above equation (4). Then, based on the phase difference ⁇ (x) between the obtained phase ⁇ (x) and the phase ⁇ 0 (x) on the reference plane, the height z at the position x can be calculated based on the above-described triangulation principle. it can.
  • the height z is specifically calculated as the distance from the reference plane, and the following equation (7)
  • a (x, z) and B (x, z) depend on the geometrical arrangement such as the pattern period, the distance from the camera to the reference plane, and the projection angle of the pattern. This is a function determined for each pixel. However, since these functions are functions of the unknown number z, it is difficult to calculate an exact form. Therefore, in this embodiment, a calibration target with a known height is observed in advance, and the values of A (x, z) and B (x, z) are calculated for each pixel x, and this is used to perform linear approximation. And the function form of z is estimated by spline function approximation.
  • the measurement head 17 since the measurement head 17 is displaced in the height direction, the reference surface is also displaced. Therefore, the height of the measurement object 12 is obtained by adding the feed amount ⁇ z to the height z calculated from the above equation (7).
  • FIG. 1 shows a main configuration of the control unit 16, particularly a main configuration of the main control unit 45.
  • the main control unit 45 includes a background removal unit 72, a Hilbert conversion unit 74, a phase calculation unit (phase calculation unit) 75, a phase difference calculation unit 76, a height calculation unit (height calculation unit) 77, and a feed amount calculation unit ( Displacement part control means) 78 is provided.
  • the storage unit 46 of the control unit 16 includes an arctangent DB (Database) 62, a reference phase DB 63, a function DB 61, a three-dimensional shape DB 64, and a feed amount DB 65.
  • the reference phase DB 63 is a database that stores in advance the phase of an optical pattern (hereinafter referred to as “reference phase”) in each pixel of a line image obtained by imaging a reference plane (a plane whose height is always 0) on which the optical pattern is projected. is there.
  • reference phase the phase of an optical pattern
  • the position x of the pixel included in the line image in the main scanning direction and the reference phase ⁇ 0 (x) of the pixel are stored in association with each other. Thereby, based on the information on the position x of the pixel included in the line image, the reference phase ⁇ 0 (x) in the pixel can be searched.
  • the reference phase DB 63 is preferably stored or updated in advance in the storage unit 46 in the calibration mode.
  • the function DB 61 is a database in which the function A (x, z) and the function B (x, z) included in the equation (7) are stored in advance.
  • the position x of the pixel included in the line image in the main scanning direction, the function A (x, z) and the function B (x, z) at the pixel estimated by observing the calibration target, and are stored in association with each other. Thereby, based on the information on the position x of the pixel included in the line image, the function A (x, z) and the function B (x, z) in the pixel can be searched.
  • the 3D shape DB 64 is a database for storing 3D shape information of the measurement object 12 obtained by measurement.
  • the three-dimensional shape DB 64 is associated with an x coordinate (corresponding to the main scanning direction), a y coordinate (corresponding to the sub scanning direction), and a z coordinate (corresponding to the height) for specifying a point on the surface of the measurement object 12. Stored. Thus, after the measurement is completed, the height (z coordinate) at the position can be searched based on the x coordinate and the y coordinate of the measurement target 12.
  • the feed amount DB 65 is a database for storing a feed amount ⁇ z that is an amount by which the z-axis feed mechanism 18 moves the measuring head 17 from a certain reference position in the height direction.
  • the feed amount DB 65 may store the feed amount ⁇ z and the y coordinate in association with each other.
  • the background removal unit 72 acquires a line image from the image acquisition unit 44 and removes a background component from the acquired line image.
  • the background removal unit 72 transmits the line image from which the background component has been removed to the Hilbert conversion unit 74 and the phase calculation unit 75.
  • the background removing unit 72 displays the line image obtained by capturing the measurement object 12 with the light pattern projected and the measurement object 12 irradiated with light having a uniform luminance without projecting the light pattern.
  • the captured control line image is acquired, and the luminance value of each pixel in the line image in a state in which the light pattern is projected is divided by the luminance value of the corresponding pixel of the control line image.
  • FIG. 8A shows an example of the line image in a state in which an optical pattern is projected
  • FIG. 8B shows an example of the control line image.
  • (b) of the figure it can be understood that even if the measurement object 12 is irradiated with light of uniform luminance, unevenness (spots) is generated in the captured image. This is due to the difference in reflection characteristics at each part of the measurement target 12. The unevenness also occurs in a line image in a state where an optical pattern is projected as shown in (a) of the figure, and an error occurs in the phase calculated using the line image.
  • the luminance value g 1 (x) of the line image in a state where the optical pattern is projected is expressed by the following equation (8).
  • a (x) is the reflectance of the measurement target 12
  • I 0 is the average intensity of light irradiated to the measurement target 12
  • B is the amplitude of the optical pattern
  • k is the frequency of the optical pattern
  • is the frequency of the measurement target 12. Phase modulation by height.
  • the luminance value g 2 (x) of the control line image is expressed by the following equation (9).
  • the imaging unit 15 is provided with a first line sensor for acquiring the line image and a second line sensor for acquiring the control line image as the line sensor 34. .
  • FIG. 3 shows a main configuration of the three-dimensional shape measurement system 10.
  • FIG. 3A shows details of the line sensor 34 provided in the imaging unit 15.
  • a sensor is used.
  • the line sensors 34k, 34b, 34r, and 34g are collectively referred to as “line sensor 34”.
  • (B) of FIG. 3 is the imaging region 34k ', 34b', 34r ', 34g' which is an area
  • the region irradiated with the light pattern 14 includes a photographing region 34k ′ for photographing the black and white component, and the blue component, the red component, and the green component are photographed in the region not irradiated with the light pattern 14, respectively.
  • Imaging regions 34b ', 34r', 34g ' are included. That is, the line sensor 34k corresponds to the first line sensor, and the line sensors 34b, 34r, and 34g correspond to the second line sensor.
  • the line image can be acquired from the captured image of the line sensor 34k by performing only one scan on the measurement target 12, and the measured target 12 can be acquired from the captured images of the line sensors 34b, 34r, and 34g.
  • Color images can be acquired.
  • the control line image can be acquired by converting the color image into a luminance image. From the acquired line image and the control line image, an image of only the optical pattern 14 can be acquired using the above formulas (8) to (10). Accordingly, the height of the measurement object 12 can be calculated by performing only one scan on the measurement object 12, so that the three-dimensional shape of the measurement object 12 can be measured quickly.
  • the Hilbert transform unit 74 is based on the Hilbert based on the above equation (6) in which the above equation (10) is applied to the line image data from the background removing unit 72, that is, the line image data from which the background component has been removed. Conversion is performed.
  • the Hilbert conversion unit 74 transmits the line image data subjected to Hilbert conversion to the phase calculation unit 75.
  • the phase difference calculation unit 76 calculates a phase difference (phase shift) ⁇ (x) at the position x.
  • the phase difference calculation unit 76 transmits the calculated phase difference ⁇ (x) to the height calculation unit 77.
  • the phase difference calculation unit 76 first receives the phase ⁇ (x) of the optical pattern at the position x from the phase calculation unit 75 and refers to the reference phase DB 63 to reference phase of the optical pattern at the position x.
  • the height calculation unit 77 calculates the height z of the measurement object 12 at the position x.
  • the height calculation unit 77 stores the calculated height z in association with the coordinate x in the main scanning direction and the coordinate y in the sub-scanning direction in the three-dimensional shape DB 64 and transmits it to the feed amount calculation unit 78.
  • the height calculation unit 77 first receives the phase difference ⁇ (x) at the position x from the phase difference calculation unit 76 and refers to the function DB 61 to function A (x, z) at the position x. And get the function B (x, z). Next, the height calculation unit 77 calculates the height from the phase difference ⁇ (x), the function A (x, z), and the function B (x, z) based on the equation (7). z is calculated. The height calculation unit 77 corrects the calculated height z by adding the feed amount ⁇ z from the feed amount DB 65 to the calculated height z. This corrected height z becomes the height z of the measurement object 12 at the position x.
  • the feed amount calculation unit 78 calculates the average value of the height z of the measurement target 12 from the height calculation unit 77 for a part or all of the positions x, and the calculated average value is the center of the measurement range in the next scanning.
  • the feed amount ⁇ z is calculated, and the calculated feed amount ⁇ z is transmitted to the z-axis feed control unit 50 and stored in the feed amount DB 65. Accordingly, the z-axis feed control unit 50 controls the z-axis feed mechanism 18 to displace the measurement head 17 so that the displacement amount of the measurement head 17 becomes the feed amount ⁇ z from the feed amount calculation unit 78. become.
  • statistics such as the mode value and the median value may be used.
  • FIG. 9 shows an example of the movement of the measurement head 17 in the three-dimensional shape measurement system 10 having the above configuration.
  • the substrate 12a that is the measurement target 12 is warped so as to be convex upward, and is transported in the y-axis direction.
  • the measuring head 17 starts scanning from the left side of the figure, and the measuring head 17 moves downward and then moves downward corresponding to the warp of the substrate 12a.
  • the feed amount ⁇ z may be calculated at the position x where no parts are arranged.
  • the color of the board 12a is determined in advance, such as brown or green, and therefore whether or not a component is arranged on the board 12a is easily determined based on the color image acquired from the second line sensor. be able to.
  • FIG. 10 is a view of the substrate 12a shown in FIG. 9 taken along the y-axis direction and viewed in the x-axis direction.
  • (A) of the figure has shown the mode of the change of the measurement range in the three-dimensional shape measurement system 10 of this embodiment.
  • (b) of the figure has shown the mode of the change of the measurement range in the conventional three-dimensional shape measurement system as a comparative example.
  • the measurement range is fixed in the conventional example, it can be understood that only a part of the parts arranged on the board 12a and the board 12a can be measured, but the rest cannot be measured.
  • the measurement head 17 is displaced so that the height z of the substrate 12a becomes the center of the measurement range in the next scan in this embodiment. Therefore, it can be understood that all of the board 12a and the above components can be measured.
  • the three-dimensional shape measurement system 10 first shifts to the calibration mode and performs calibration, and then shifts to the measurement mode and measures the three-dimensional shape of the measurement object 12. Note that the processing in the calibration mode is the same as in the prior art, and thus the description thereof is omitted.
  • FIG. 11 shows processing performed by the control unit 16 in the measurement mode.
  • the control unit 16 sequentially calculates the height from one end to the other end of the line image in which pixels are arranged in a straight line. Therefore, first, the pixel position x in the main scanning direction is set to 0 (step S11).
  • the control unit 16 acquires the phase ⁇ (x) at the position x (step S12).
  • the Hilbert transform unit 74 is based on the above equation (6) in which the above equation (10) is applied to the line image data from which the background component is removed by the background removing unit 72.
  • Hilbert conversion is performed.
  • the phase calculation unit 75 uses the line image data from which the background component has been removed by the background removal unit 72 and the line image data subjected to the Hilbert conversion by the Hilbert conversion unit 74, and applies the above equation (10).
  • the phase ⁇ (x) of the optical pattern at the position x is calculated.
  • phase difference calculation unit 76 subtracts the reference phase ⁇ 0 (x) at the position x obtained by referring to the reference phase DB 63 from the phase ⁇ (x) at the position x calculated by the phase calculation unit 75.
  • the phase difference ⁇ (x) at the position x is calculated (step S13).
  • the height calculating unit 77 calculates the phase difference ⁇ (x) calculated by the phase difference calculating unit 76, the function A (x, z) and the function B () at the position x acquired with reference to the function DB 61. x, z), the height z at the position x is calculated based on the above equation (7).
  • the height calculator 77 corrects the height z by adding the feed amount ⁇ z stored in the feed amount DB 65 to the calculated height z (step S14).
  • the height calculation unit 77 stores the corrected height z as the height z of the measurement object 12 in the three-dimensional shape DB 64 in association with the coordinate x in the main scanning direction and the coordinate y in the sub scanning direction. (Step S15).
  • the feed amount calculation unit 78 controls the z-axis feed mechanism 18 via the z-axis feed control unit 50 so as to move the measurement object 12 based on the corrected height z (step S15). Specifically, the feed amount calculation unit 78 calculates the average value of the height z of the measurement target 12 from the height calculation unit 77 for a part or all of the positions x, and the calculated average value is the next scan. The feed amount ⁇ z that becomes the center of the measurement range is calculated, and the calculated feed amount ⁇ z is transmitted to the z-axis feed control unit 50 and stored in the feed amount DB 65.
  • the main control unit 45 determines whether or not the position x is the end of the linear line image (step S16). Here, if the position x is the end of the line image, the process is terminated. On the other hand, if the position x is not the end of the line image, the value of x is increased by one in order to shift the position of the target pixel by one pixel in the main scanning direction (step S17). Then, the process returns to step S12.
  • the height information at each position along the main scanning direction of the measurement object 12 is accumulated in the three-dimensional shape DB 64 by repeating the processing of the above steps S12 to S17. Further, in parallel with the image analysis processing described above, the imaging unit 15 captures the measurement object 12 again while the conveyance unit 11 shifts the measurement object 12 in the sub-scanning direction. Then, the image analysis process is performed again based on the line image obtained by imaging. Thereby, the height information at each position along the sub-scanning direction is sequentially accumulated in the three-dimensional shape DB 64, and finally, the three-dimensional shape information of the entire measurement target 12 is accumulated. Note that after the image analysis process is completed, the conveyance unit 11 may shift the measurement object 12 in the sub-scanning direction, and the imaging unit 15 may image the measurement object 12 again.
  • the height information at each position along the main scanning direction of the measurement target 12 is accumulated in the three-dimensional shape DB 64 by repeating the processing from step S12 to step S17.
  • the transport unit 11 shifts the measurement target 12 in the sub-scanning direction, and then the imaging unit 15 captures the measurement target 12 again, and the above-described process is performed again based on the line image obtained by the imaging. Image analysis processing is performed.
  • the height information at each position along the sub-scanning direction is sequentially accumulated in the three-dimensional shape DB 64, and finally, the three-dimensional shape information of the entire measurement target 12 is accumulated.
  • the Hilbert conversion unit 74 obtains the luminance value of the phase-shifting light pattern at the position x based on the equation (6)
  • the value of the parameter N in the equation (6) is changed via the input / setting unit 47.
  • the number of pixels near the target pixel used when calculating the luminance of the phase-shifted light pattern at the position x is variable.
  • the size of the filter used in the spatial fringe analysis method is made variable.
  • the phase is calculated based on more pixels, and the calculation accuracy of the finally obtained height information is improved.
  • the value of N is reduced (that is, the size of the filter is reduced)
  • the number of calculations required for calculating I ⁇ (x) is reduced, and the calculation speed is improved.
  • the background removing unit 72 may perform preprocessing other than the processing for removing the background component on the line image captured by the imaging unit 15. Examples of the content of the preprocessing include removal of noise included in the line image.
  • post-processing may be performed on the calculated phase.
  • a PLL (Phase Locked Loop) unit may be further provided between the phase calculation unit 75 and the phase difference calculation unit 76 to reduce an error due to noise.
  • the feed amount calculation unit 78 calculates an appropriate feed amount ⁇ z, and the calculated head 17 is set to the calculated feed amount ⁇ z.
  • the z-axis feed mechanism 18 is controlled via the z-axis feed control unit 50 so that is moved. In this case, the number of times the z-axis feed mechanism 18 moves the measurement head 17 increases in proportion to the number of times of calculating the height z of the measurement target 12. However, based on the height z of the measurement target 12, the z-axis There is no need to perform processing for determining whether or not the feed mechanism 18 should be controlled to move the measuring head 17.
  • the feed amount calculation unit 78 calculates the feed amount ⁇ z for each scan and controls the z-axis feed mechanism 18 via the z-axis feed control unit 50.
  • thinning may be performed such as one scan placement or two scan placements. In this case, the number of times the z-axis feed mechanism 18 moves the measurement head 17 can be reduced.
  • the feed amount calculation unit 78 calculates the feed amount ⁇ z when the height z of the measurement target 12 calculated by the height calculation unit 77 reaches the end in the range in the height direction corresponding to the measurement range.
  • the z-axis feed mechanism 18 may be controlled via the z-axis feed controller 50.
  • the fact that the height z of the measurement object 12 reaches the end portion is considered that the height z of the measurement object 12 is likely to be out of the above range. If it is out of the above range, the accurate height cannot be measured as described above.
  • the measurement head 17 is moved when the height z of the measurement target 12 is likely to be out of the above range, thereby preventing the height z of the measurement target 12 from being out of the above range.
  • the height z of the measurement object 12 can be appropriately measured.
  • a process for determining whether or not to move the measurement head 17 according to the height z of the measurement target 12 is necessary, but the number of times the measurement head 17 is moved is reduced. be able to.
  • the feed amount calculation unit 78 calculates the feed amount ⁇ z using the height z of the measurement target 12 calculated in the current scan, but the height of the measurement target 12 calculated in the previous scan. z may be used. For example, in the case of the board 12a shown in FIG. 9, the height z of the board 12a may not be accurately measured by scanning a region where parts are densely packed. At this time, the measurement accuracy can be improved by calculating the feed amount ⁇ z using the height z of the substrate 12a calculated in the current and previous scans.
  • the brightness of the optical pattern projected onto the measurement object 12 is a line.
  • the sensor 34 is configured to change along the main scanning direction.
  • minimum pitch direction the direction in which the pitch of the luminance change of the optical pattern becomes the smallest.
  • the phase difference can be calculated. Therefore, no problem occurs even if the minimum pitch direction of the optical pattern is made to coincide with the main scanning direction of the line sensor 34.
  • the pitch of the brightness of the optical pattern is an important factor for determining the measurement accuracy in measuring the height. Specifically, the measurement accuracy improves as the pitch is reduced.
  • the light pattern has the smallest brightness pitch when the minimum pitch direction of the light pattern matches the main scanning direction of the line sensor 34. Therefore, in the three-dimensional shape measurement system 10 of the present embodiment, the minimum pitch direction of the optical pattern projected onto the measurement target 12 is parallel to (matches) the main scanning direction of the line sensor 34. preferable.
  • the measurement range is changed and the calculated height is changed by moving the measurement head 17 in the height direction based on the height z of the measurement target 12. Is corrected based on the feed amount ⁇ z of the measuring head 17, the height z of the measurement target 12 is appropriately calculated, and therefore the measurable height range can be increased.
  • the light pattern projected by the light projecting unit 13 is one. It is sufficient to cover only the imaging region of the line sensor 34 (line sensor 34k for photographing the luminance component). Therefore, in the three-dimensional shape measurement system 10 of the present embodiment, the projected optical pattern may not be spread in the two-dimensional direction.
  • the light projecting unit 13 projects the collected optical pattern. Specifically, as shown in FIGS. 2 and 3, the light projecting unit 13 collects a linear light pattern (strictly, in the sub-scanning direction) collected on one axis extending in the main scanning direction of the line sensor 34. (Having a very small finite width) is preferably projected onto the measurement object 12.
  • the light projecting unit 13 includes a uniaxial condensing element for condensing the optical pattern uniaxially, and the uniaxial condensing element collects the optical pattern in a linear shape extending in the main scanning direction. That's fine. This linear optical pattern is projected so as to cover the imaging region of the line sensor 34.
  • uniaxial condensing element examples include a Fresnel lens and a cylindrical lens. If these lenses are arranged between the light source 31 and the pattern generating element 32, it is possible to project an optical pattern condensed on one axis with respect to the measurement target 12.
  • the imaging unit 15 is configured to include the four line sensors 34, but the present invention is not limited to this and may include additional line sensors.
  • the additional line sensor By providing the additional line sensor, the luminance noise of the line sensor can be statistically removed, and the stability of the three-dimensional shape measurement can be improved.
  • the transport unit 11, the light projecting unit 13, the imaging unit 15, the control unit 16, and the like are configured separately, but part or all of these configurations. Can also be integrated.
  • the line image is analyzed based on the space fringe analysis method, it can also be analyzed based on the time fringe analysis method.
  • FIG. 12 shows the main configuration of the control unit 16 in the three-dimensional shape measurement system 10 according to the present embodiment, particularly the main configuration of the main control unit 45.
  • the three-dimensional shape measurement system 10 of the present embodiment has a feed determination unit (displacement unit control) instead of the feed amount calculation unit 78 in the main control unit 45.
  • Means) 81 and a phase difference calculation unit (phase correction means) 82 instead of the phase difference calculation unit 76, and a measurement range changing unit (measurement range setting unit) 83 and a measurement range DB 66 are added.
  • the other configurations are the same.
  • symbol is attached
  • the feed determination unit 81 determines whether or not the measurement head 17 should be moved based on the height z of the measurement target 12 calculated by the height calculation unit 77. When it is determined that the measurement head 17 should be moved, the feed determination unit 81 calculates the feed amount ⁇ z, transmits the calculated feed amount ⁇ z to the z-axis feed control unit 50 and the measurement range change unit 83, and also feeds the feed amount. Store in DB65. Thus, the z-axis feed control unit 50 controls the z-axis feed mechanism 18 to displace the measurement head 17 so that the displacement amount of the measurement head 17 becomes the feed amount ⁇ z from the feed determination unit 81. Become.
  • the determination of the feed determination unit 81 calculates the average value of the height z of the measurement target 12 from the height calculation unit 77 for a part or all of the positions x, and the calculated average value is This is performed by determining whether or not the end of the range corresponding to the depth of field of the measuring head 17 has been reached.
  • the feed amount ⁇ z is an amount such that the calculated average value becomes the center of the depth of field in the next scan.
  • statistics such as the mode value and the median value may be used.
  • the upper side of the end is a range between the upper limit value of the range corresponding to the depth of field and a value below the upper limit value by a half of the range corresponding to the measurement range. It is.
  • the lower side of the end portion is a range between a lower limit value of the range corresponding to the depth of field and a value above the lower limit value by a half of the range corresponding to the measurement range.
  • the size of the end can be set as appropriate based on the rate of change of the height z of the measurement object 12, the distance to the next scanned position, and the like.
  • the size of the end portion may be a predetermined size, or may change according to the change rate, for example.
  • the measurement range DB 66 is a database for storing a measurement range indicating a possible range of the phase ⁇ (x) at the position x corresponding to the pixel under analysis.
  • the measurement range is a set of an upper limit value and a lower limit value of a range that the original phase of the position x can take.
  • the measurement range is not limited to this, and the measurement range includes a set of the lower limit value and a size from the lower limit value to the upper limit value, a center of the range, and a difference from the center to the upper limit value or the lower limit value. A pair may be used. As a result, the measurement range at the position x corresponding to the pixel being analyzed can be searched.
  • the phase difference calculation unit 82 receives the phase ⁇ (x) of the optical pattern at the position x from the phase calculation unit 75 and acquires the reference phase ⁇ 0 (x) of the optical pattern at the position x with reference to the reference phase DB 63. To do. Next, the phase difference calculator 82 subtracts the phase ⁇ 0 (x) of the reference plane from the phase ⁇ (x) of the optical pattern to calculate a pre-correction phase difference ⁇ p (x).
  • the phase difference calculation unit 82 refers to the measurement range DB 66 and acquires the measurement range ⁇ . Then, a phase difference ⁇ p (x) + 2k ⁇ integer k such take a value in the range of measurement range lambda, correcting those obtained by substituting the integer k obtained in the phase difference ⁇ p (x) + 2k ⁇ retardation Let ⁇ (x). The phase difference calculation unit 82 transmits the corrected phase difference ⁇ (x) as the calculated phase difference ⁇ (x) to the height calculation unit 77 and the measurement range change unit 83.
  • the measurement range changing unit 83 changes the measurement range stored in the measurement range DB 66. Specifically, the measurement range changing unit 83 first receives the corrected phase difference ⁇ (x) at the position x from the phase difference calculating unit 82. The measurement range changing unit 83 uses the corrected phase difference ⁇ (x) to calculate the pixel to be analyzed next, that is, the measurement range of the corresponding position in the next scan, and updates the measurement range DB 66 with the calculated measurement range.
  • the measurement range changing unit 83 changes the measurement range based on the received feed amount ⁇ z, and updates the measurement range DB 66 with the changed measurement range.
  • the fact that the height z of the measurement target 12 reaches the end portion is considered that the height z of the measurement target 12 is likely to be out of the range corresponding to the depth of field. If it is out of the above range, the image picked up by the measuring head 17 becomes an in-focus image, and it is impossible to measure the exact height.
  • the measurement head 17 when the height z of the measurement target 12 is likely to be out of the above range, the measurement head 17 is moved to prevent the height z of the measurement target 12 from being out of the above range. Yes. As a result, the accurate height of the measurement object 12 can be measured. Moreover, since the depth of field is wider than the measurement range, the number of movements can be reduced as compared with the case where the measurement head 17 is moved based on the measurement range.
  • the phase difference calculation unit 82 corrects the phase difference for a certain pixel based on the measurement range, and the pixel to be scanned next based on the corrected phase difference and the feed amount ⁇ z. Since the measurement range is set, the possibility that the phase difference is out of the measurement range is low. As a result, it is possible to cope with a case where the original phase is 2 ⁇ or more within a range corresponding to the depth of field.
  • FIG. 13 is a view of the substrate 12a shown in FIG. 9 taken along the y-axis direction and viewed in the x-axis direction, and how the depth of field and the measurement range change in the three-dimensional shape measurement system 10 of the present embodiment. Is shown.
  • a long thick line indicates the depth of field
  • a thin line indicates the measurement range.
  • the short thick line has shown the range other than the said edge part in the depth of field.
  • FIG. 14 shows processing performed by the control unit 16 in the measurement mode. First, it is determined whether or not all lines have been measured (step S21). If it has been completed, the process ends.
  • each block selects various height parameters that are parameters for calculating the height z of the measurement object 12 (step S22). For example, in the case of the phase difference calculation unit 82, the measurement range is acquired from the measurement range DB 66.
  • scanning is performed to measure the height z at each position x on one line (step S23). Specifically, among steps S11 to S17 shown in FIG. 11, processes other than the process of moving the measurement head 17 are performed.
  • the height calculation unit 77 determines whether or not each position x of one line is a reference plane, that is, a reference plane in the measurement target 12 (in the example of FIG. 13, the surface of the substrate 12a). The determination is based on the color of the color image (step S24). Next, the height calculation unit 77 calculates an average value of the heights z of the positions x determined as the reference plane (step S25).
  • the feed determination unit 81 determines whether the calculated average height of the reference plane is above the end, that is, (upper limit value of the range corresponding to the depth of field) ⁇ (measurement range) It is determined whether it is larger than half of the range corresponding to (step S26). If larger, the process proceeds to step S27, and otherwise, the process proceeds to step S28.
  • step S27 the feed determination unit 81 controls the z-axis feed mechanism 18 via the z-axis feed control unit 50 so that the average value of the heights of the reference planes becomes the center of the depth of field.
  • the measuring head 17 is moved upward. Then, it returns to step S21 and repeats the said operation
  • step S28 the feed determination unit 81 determines whether the calculated average height of the reference plane is below the end, that is, (lower limit value of the range corresponding to the depth of field) + ( It is determined whether it is smaller than half of the range corresponding to the measurement range. If it is smaller, the process proceeds to step S29. Otherwise, the process proceeds to step S21 and the above operation is repeated.
  • step S29 the feed determination unit 81 controls the z-axis feed mechanism 18 via the z-axis feed control unit 50 so that the average value of the heights of the reference surfaces becomes the center of the depth of field.
  • the measurement head 17 is moved downward. Then, it returns to step S21 and repeats the said operation
  • the upper surface of the transfer table 41 is used as a reference surface, and the measurement target 12 is placed on the reference surface.
  • the measurement object 12 may be attached separately from the reference plane.
  • An example of such a measurement object 12 is a circuit board on which a large number of electronic components are mounted on both sides.
  • a holding member that detachably holds both ends of the board portion of the circuit board in a state of being separated from the upper surface of the transfer table 41 may be provided on the transfer table 41.
  • the actual height of the circuit board can be calculated by specifying in advance the distance from the upper surface (reference surface) of the transfer table 41 to the upper surface of the circuit board when there is no warp. .
  • the transport unit 11 is configured to move the measurement target 12, but instead of moving the measurement target 12, the transport head 11 is configured to move the measurement head 17 in the sub-scanning direction and further in the main scanning direction. It is good. That is, the transport unit 11 only needs to move the measurement target 12 relative to the measurement head 17.
  • the measurement head 17 is moved in the z-axis direction, but the transfer table 41 may be moved in the z-axis direction, or both may be moved in the z-axis direction.
  • the line sensor 34 is employ
  • the displacement control unit may cause the displacement unit to perform the displacement when the height calculation unit calculates the height of the measurement target. Good. In this case, the number of times the displacement unit performs the displacement increases in proportion to the number of times the height of the measurement target is calculated, but it is determined whether the displacement is performed according to the height of the measurement target. No determination process is required.
  • the displacement control unit may cause the displacement unit to perform the displacement each time when the height calculation unit calculates the height of the measurement target, or may be performed once or twice. , It may be thinned out.
  • the displacement control unit includes a height direction corresponding to a measurement range in which the height of the measurement target calculated by the height calculation unit indicates a range that the phase can take.
  • the displacement portion may cause the displacement.
  • the fact that the height of the measurement target reaches the end is considered that the height of the measurement target is likely to deviate from the range in the height direction corresponding to the measurement range. . If it is out of the above range, the accurate height cannot be measured as described above.
  • the displacement portion when the height of the measurement object is likely to be out of the range, the displacement portion performs the displacement, and thus the height of the measurement object is out of the range. Can be prevented, and as a result, an accurate height can be measured. Further, when the height of the measurement object is calculated, a process for determining whether or not to cause the displacement to be performed according to the height of the measurement object, compared to the above-described case where the displacement unit performs the displacement. Although necessary, the number of times the displacement part performs the displacement can be reduced.
  • the displacement control unit is configured such that the height of the measurement target calculated by the height calculation unit is at an end of a range corresponding to the depth of field of the measurement head.
  • the displacement unit is caused to perform the displacement, and further includes a phase correction unit that corrects the phase calculated by the phase calculation unit based on a measurement range indicating a range that the phase can take.
  • the height calculation means calculates the height based on the phase corrected by the phase correction means, and calculates the height of the measurement object by correcting the calculated height based on the displacement amount.
  • a measurement range setting means for setting the measurement range based on the phase corrected by the phase correction means and the displacement amount.
  • the fact that the height of the measurement target reaches the end is considered that the height of the measurement target is likely to deviate from a range corresponding to the depth of field. If it is out of the above range, the image picked up by the measuring head becomes an in-focus image, and there is a possibility that an accurate height cannot be measured.
  • the displacement portion when the height of the measurement object is likely to be out of the range, the displacement portion performs the displacement, and thus the height of the measurement object is out of the range. As a result, it is possible to reliably measure the accurate height.
  • the number of times the displacement unit performs the displacement is further increased as compared to the case where the displacement unit performs the displacement based on the measurement range. Can be reduced.
  • the phase is corrected based on the measurement range for a certain pixel, and the measurement range for the next scanned pixel is set based on the corrected phase and the displacement amount. Therefore, the possibility that the phase is out of the measurement range is low. As a result, it is possible to cope with a case where the original phase is 2 ⁇ or more within the range corresponding to the depth of field.
  • the size of the end can be set as appropriate based on the inclination of the measurement object, the distance to the next scanned position, and the like.
  • the size of the end portion may be a predetermined size, or may change according to the inclination of the measurement target, for example.
  • the height measured for a certain pixel includes noise and errors.
  • the setting of the measurement range may be performed based on a calculation result related to one pixel measured before, but is preferably performed based on a calculation result related to a plurality of pixels measured previously. Further, it is desirable that the determination as to whether or not the height of the measurement target has reached the end portion be made in the same manner.
  • the corrected phase may be the center of the measurement range, or when the height of the measurement target tends to increase, the corrected phase may be the lower limit of the measurement range.
  • the corrected phase may be set as the upper limit of the measurement range when the height of the object tends to decrease.
  • the measurement range may be centered on the set reference plane, may be a lower limit when the height of the measurement target is an upward trend, and may be an upper limit when the height of the measurement target is a downward trend. It is good.
  • the position of the measurement target and the measurement range are associated and stored in the storage unit, the position of the measurement target corresponding to the pixel is specified, and the measurement range corresponding to the specified position is read from the storage unit.
  • the phase may be corrected based on the read measurement range.
  • the possibility that the phase is out of the measurement range is low. As a result, it is possible to cope with the case where the original phase is 2 ⁇ or more.
  • the image of the optical pattern includes the image of the measurement object itself as a background component in addition to the image of the optical pattern.
  • an error in the phase of the optical pattern calculated by the phase calculation means increases, and it is difficult to accurately measure the height of the measurement target.
  • the measurement head includes a first line sensor that images a light pattern irradiation area that is an area on which the optical pattern is projected on the measurement target, and the measurement target.
  • a second line sensor that images a light pattern non-irradiation region that is a region on which the light pattern is not projected, and the image used by the phase calculation means is an image captured by the second line sensor. It is preferable that the background component is removed from the image captured by the first line sensor.
  • the phase calculation means can calculate the phase of the optical pattern with high accuracy, and the height of the measurement object can be accurately measured.
  • the background component can be removed by one scan, the height of the measurement target can be quickly measured.
  • the second line sensor may include, for example, three line sensors that respectively capture red, green, and blue images.
  • each functional block of the control unit 16, particularly the main control unit 45 may be configured by hardware logic, or may be realized by software using a CPU as follows.
  • control unit 16 is a storage device (recording device) such as a CPU that executes instructions of a control program that realizes each function, a ROM that stores the program, a RAM that expands the program, a memory that stores the program and various data, and the like. Medium).
  • An object of the present invention is to provide a recording medium in which a program code (execution format program, intermediate code program, source program) of a control program of the control unit 16 which is software that realizes the above-described functions is recorded so as to be readable by a computer. This can also be achieved by supplying the control unit 16 and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU).
  • Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R.
  • Card system such as IC card, IC card (including memory card) / optical card, or semiconductor memory system such as mask ROM / EPROM / EEPROM / flash ROM.
  • control unit 16 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited.
  • the Internet intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication. A net or the like is available.
  • the transmission medium constituting the communication network is not particularly limited.
  • wired such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL line, etc.
  • infrared rays such as IrDA and remote control, Bluetooth (Registered trademark), 802.11 wireless, HDR, mobile phone network, satellite line, terrestrial digital network, and the like can also be used.
  • the present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
  • the measurable height can be easily expanded while maintaining the measurement range, and thus can be suitably applied to, for example, an image inspection apparatus for inspecting a mounting board.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

 計測レンジを維持しつつ、計測可能な高さを簡便に拡張する。計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測システムは、計測対象の高さの基準面を有する取付台に計測対象が取り付けられ、計測ヘッドが計測対象および基準面に光パタンを投影して撮像し、変位部が計測ヘッドを高さ方向へ変位させる。撮像された画像の或る画素における光パタンの位相を位相算出部(75)が算出し、算出された位相に基づいて高さ算出部(77)が計測対象の高さを算出し、算出された高さに基づいて送り量算出部(78)が変位部を変位させるべき変位量を算出する。高さ算出部(77)は、位相算出部(75)が算出した位相に基づいて高さを算出し、算出した高さを、変位量に基づいて補正することにより、計測対象の高さを算出する。

Description

三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム
 本発明は、計測対象に投影された光パタンを解析することによって、計測対象の三次元形状を計測する三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラムに関するものである。
 画像解析によって対象物の三次元形状情報を得る手段として、所定の撮像視野内に存在する計測対象に光パタンを投影し、計測対象の三次元形状に応じて変形した光パタンの変形量を解析する方法が存在する。代表的な方法としては、光切断法や空間コード法、縞解析法などが挙げられる。これらは全て三角測量の原理に基づいているが、中でも、縞解析法に関しては空間縞解析や時間縞解析など多くの手法が提案されており、高い計測精度を得る手法として知られている(特許文献1~3、非特許文献1)。
 上述の方法の場合、光パタンを投影する投光装置と、計測対象が載置される平面である基準面と、計測対象を撮影する撮影装置との幾何学的位置関係が高さ位置の測定精度に影響を及ぼすことになる。この点について図15を参照して説明する。
 図15は、三角測量の原理を示す図である。説明を簡単にするため、基準面P0と垂直な光軸を有する撮影装置Ccによって、基準面P0からの高さがhである平面Phを観測する場合を考える。また、投光装置Cpは、基準面P0から見て撮影装置Ccと同じ高さに配置され、光パタンを基準面P0上の点Oの位置に向けて投影するものとする。
 基準面P0と平行で、高さhだけ離れた平面Phを観測する場合、点Oに向かう光パタンは点Pと交わる。このとき、撮影装置Ccから見ると、基準面P0へ向けて投影された光パタンは、光軸(Z軸)から距離PQの位置Pに観測されることになる。この位置ずれPQが光パタンの位相差となって現れる。位相差を算出することができれば、次式(1)によって高さhを算出することができる。
Figure JPOXMLDOC01-appb-M000001
日本国公開特許公報「特開2002-286433号公報(2002年10月03日公開)」 日本国公開特許公報「特開2004-117186号公報(2004年04月15日公開)」 日本国公開特許公報「特開2007-114071号公報(2007年05月10日公開)」 日本国公開特許公報「特開2002-214147号公報(2002年07月31日公開)」 日本国公開特許公報「特開2005-300512号公報(2005年10月27日公開)」
藤垣ら 「複数ラインセンサによる連続物体形状計測における平行光格子投影手法」,精密工学会秋季大会学術講演会講演論文集 pp.1061-1062,2004
 しかしながら、上記位相差は、通常、本来の位相差を2πで割り算した余りとして算出される。このため、計測可能な位相差の範囲は、2πに限定されることになり、計測可能な高さの範囲(計測レンジ)が限定されることになる。
 そこで、計測可能な高さを拡張する方法が幾つか提案されている。1つの方法としては、光パタンの周期を長くする方法が挙げられる。該周期が長くなると、1周期に対応する位置ずれPQが長くなるので、上記計測レンジが広がることになる。
 しかしながら、上記の方法では、上記位相差の分解能が同じであれば、位置ずれPQの分解能(識別可能な最小値)が長くなり、上記高さの分解能が長くなる。すなわち、上記高さの精度が低下することになる。この問題点を回避するには、上記位相差の分解能を向上させればよいが、高価な光学系が必要となり、さらに校正に手間がかかることになる。
 その他の方法としては、新たな変位センサを用いて計測対象の大まかな形状を計測し、該形状に基づいて上記計測レンジを変更することにより、計測可能な高さを拡張することが挙げられる。しかしながら、この場合、新たな変位センサを設置して校正する必要があり、計測のためのコストおよび手間が増加することになる。
 本発明は、上記の問題点に鑑みてなされたものであり、その目的は、計測レンジを維持しつつ、計測可能な高さを簡便に拡張できる三次元形状計測装置などを提供することにある。
 本発明に係る三次元形状計測装置は、計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、上記計測対象の三次元形状を計測する三次元形状計測装置であって、上記課題を解決するために、上記計測対象の高さの基準となる基準面を有し、上記計測対象が取り付けられる取付台と、上記計測対象および上記基準面に上記光パタンを投影し、投影した光パタンを撮像する計測ヘッドと、上記取付台および上記計測ヘッドの少なくとも一方の上記計測対象の高さ方向への変位を行わせる変位部と、上記計測ヘッドが撮像した画像に含まれる、或る画素における上記光パタンの位相を算出する位相算出手段と、該位相算出手段が算出した位相に基づいて、上記計測対象の高さを算出する高さ算出手段と、該高さ算出手段が算出した上記計測対象の高さに基づいて、上記変位部を制御する変位部制御手段とを備えており、上記高さ算出手段は、上記位相算出手段が算出した位相に基づいて高さを算出し、算出した高さを、上記取付台の基準面から上記計測ヘッドまでの高さの上記変位部による変位量に基づいて補正することにより、上記計測対象の高さを算出することを特徴としている。
 また、本発明に係る三次元形状計測方法は、計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、上記計測対象の三次元形状を計測する三次元形状計測装置の三次元形状計測方法であって、上記課題を解決するために、上記計測対象と、該計測対象が取り付けられた取付台が有し、かつ上記計測対象の高さの基準となる基準面とに上記光パタンを投影し、投影した光パタンを撮像する計測ヘッドが撮像した画像に含まれる、或る画素における上記光パタンの位相を算出する位相算出ステップと、該位相算出ステップにて算出された位相に基づいて、上記計測対象の高さを算出する高さ算出ステップと、該高さ算出ステップにて算出された上記計測対象の高さに基づいて、上記取付台および上記計測ヘッドの少なくとも一方を上記計測対象の高さ方向に変位させる変位部を制御する変位部制御ステップとを含んでおり、上記高さ算出ステップは、上記位相算出ステップにて算出された位相に基づいて高さを算出し、算出した高さを、上記取付台の基準面から上記計測ヘッドまでの高さの上記変位部による変位量に基づいて補正することにより、上記計測対象の高さを算出していることを特徴としている。
 上記の構成および方法によると、或る画素における光パタンの位相に基づいて高さを算出し、算出した高さを、取付台の基準面から計測ヘッドまでの高さの変位部による変位量に基づいて補正することにより、計測対象の高さを算出している。そして、算出された上記計測対象の高さに基づいて、上記取付台および上記計測ヘッドの少なくとも一方を上記計測対象の高さ方向に変位させている。
 一般に、三次元形状計測装置の校正を行うために、上記取付台の基準面から上記計測ヘッドまでの上記高さ方向の距離(高さ)が調整可能となっている。すなわち、一般に、三次元形状計測装置には、上記計測ヘッドおよび/または上記取付台を上記高さ方向に調整する高さ調整機構が設けられている。
 この高さ調整機構を、上記計測対象の高さに基づいて、上記計測ヘッドおよび/または上記取付台を上記高さ方向に変位するように制御される変位部に変更することにより、計測レンジを上記高さ方向に容易に変位させることができる。また、上記変位部の校正は、従来の校正と共に行うことができるので、校正の手間の増大を抑制することができる。
 そして、上記位相に基づいて算出された高さを、上記変位部による変位量に基づいて補正することにより、高さを計測するための新たなセンサを設けること無く、計測対象の正確な高さを算出することができる。従って、本発明によると、上記計測レンジを維持しつつ、計測可能な高さを簡便に拡張することができる。
 なお、上記計測対象は、上記基準面に取り付けられてもよいし、上記基準面から離間して取り付けられてもよい。また、上記変位部は、上記計測ヘッドを高さ方向に変位させることが望ましいが、上記取付台を高さ方向に変位させてもよいし、上記計測ヘッドおよび上記取付台の両方を高さ方向に変位させてもよい。
 なお、上記三次元形状計測装置における各ステップを、三次元形状計測プログラムによりコンピュータに実行させることができる。さらに、上記三次元形状計測プログラムをコンピュータ読み取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記三次元形状計測プログラムを実行させることができる。
 以上のように、本発明に係る三次元形状計測装置は、従来の高さ調整機構を、計測対象の高さに基づいて、計測ヘッドおよび/または取付台を上記高さ方向に変位するように制御される変位部に変更することにより、計測レンジを上記高さ方向に容易に変位でき、校正の手間の増大を抑制できると共に、位相に基づいて算出された高さを、上記変位部による変位量に基づいて補正することにより、高さを計測するための新たなセンサを設けること無く、上記計測対象の正確な高さを算出できるので、上記計測レンジを維持しつつ、計測可能な高さを簡便に拡張することができるという効果を奏する。
 本発明のさらに他の目的、特徴、および優れた点は、以下に示す記載によって十分わかるであろう。また、本発明の利益は、添付図面を参照した次の説明で明白になるであろう。
本発明の一実施形態である三次元形状計測システムにおける制御ユニットの要部構成を示すブロック図である。 上記三次元形状計測システムの概略構成を示す図であり、計測対象の計測を行う様子を示す図である。 上記三次元形状計測システムの要部を拡大して示す図である。 上記三次元形状計測システムの要部構成を示すブロック図である。 上記三次元形状計測システムの投光ユニットが投影する光パタンの一例を示す図である。 計測対象の形状を示す図であり、(a)は上面図であり、(b)は側面図である。 上記計測対象に光パタンを投影した場合に、上記計測対象に投影された光パタンの歪みを示す図であり、(a)は上面図であり、(b)は基準面での輝度変動と凸部での輝度変動を示す波形図である。 (a)は、光パタンを投影した状態の上記ライン画像の一例を示す図であり、(b)は、上記対照ライン画像の一例を示す図である。 上記三次元形状計測システムの計測ヘッドの動きを、計測対象の例として基板を用いて示す概要図である。 上記基板の断面図であり、(a)は上記三次元形状計測システムにおける計測レンジの変化の様子を示す図であり、(b)は従来の三次元形状計測システムにおける計測レンジの変化の様子を示す図である。 計測モードにおいて上記制御ユニットが行う処理動作を示すフローチャートである。 本発明の他の実施形態である三次元形状計測システムにおける制御ユニットの要部構成を示すブロック図である。 上記基板の断面図であり、上記三次元形状計測システムにおける計測レンジの変化の様子を示す図である。 計測モードにおいて上記制御ユニットが行う処理動作を示すフローチャートである。 三角測量の原理を説明するための図である。
〔実施の形態1〕
 本発明の一実施形態について図1~図11を参照して説明する。図2は、本発明の一実施形態に係る三次元形状計測システム(三次元形状計測装置)10の概略構成を示す図である。
 図2に示すように、本実施形態の三次元形状計測システム10は、搬送ユニット11の搬送テーブル41に載置された計測対象12に対し投光ユニット13から光パタン14を投影し、計測対象12に投影された光パタン14を撮像ユニット(撮影装置)15が撮影し、撮影された光パタン14の形状を制御ユニット16が解析し、これを、搬送ユニット11により計測対象12を移動させて繰り返すことによって、計測対象12全体の三次元形状を計測するものである。計測される三次元形状の例としては、計測対象12の表面に設けられた凹部の奥行きや凸部の高さ及びそれらの位置などが挙げられる。三次元形状計測システム10の使用用途は特に限定されないが、例えば実装基板を検査する装置などに適用することができる。
 なお、以下では、搬送テーブル41の搬送方向(図2の矢印で示す方向)をy軸方向とし、搬送テーブル41に垂直な方向、すなわち高さ方向をz軸方向とする。
 図4は、三次元形状計測システム10の要部構成を示すブロック図である。図2に示すように、三次元形状計測システム10は、搬送ユニット11、投光ユニット13、撮像ユニット15、及び制御ユニット16を備えている。
 投光ユニット13は、上述のように、計測対象12の表面に光パタン14を投影するためのものである。また、投光ユニット13は、図4に示すように、ハロゲンランプやキセノンランプなどの光源31、光源31から照射された光の一部を、パタンを有する光に変換するためのパタン生成素子32、及びマクロレンズなどの光学系33を備えている。
 投影する光パタン14としては、正弦波、三角波、又は矩形波など、位置に応じて周期性を有し、かつ位相を特定できる任意のパタンを利用できるが、本実施形態では、計測分解能の向上に寄与する正弦波状の光パタン14を用いることとする。また、パタン生成素子32としては、液晶素子によって構成されたものや、ガラス又はフィルムを加工したものなどを用いることができる。
 撮像ユニット15は、上述のように、光パタン14が投影された計測対象12を読み取り、その画像を取得するものである。また、撮像ユニット15は、図4に示すように、ラインセンサ34と、マクロレンズなどの光学系35とを備えている。なお、本実施形態では、4本のラインセンサ34が利用されている。
 搬送ユニット11は、ラインセンサ34の主走査方向(長手方向)、及び該主走査方向と垂直な方向(以下「副走査方向」と称する。)に計測対象12を水平移動させるためのものである。また、搬送ユニット11は、図4に示すように、計測対象12を載置するための搬送テーブル41と、搬送テーブル41を駆動するサーボモータ42とを備えている。なお、搬送ユニット11は、搬送テーブル41の位置を検出するリニアスケーラ43などを備えてもよい。
 搬送ユニット11により計測対象12を副走査方向に移動させつつラインセンサ34により逐次撮像することによって、計測対象12全体の三次元形状を計測することが可能になる。また、計測対象12がラインセンサ34の撮像範囲よりも主走査方向に広い場合には、搬送ユニット11により計測対象12を主走査方向に移動させてラインセンサ34により逐次撮像すればよい。
 制御ユニット16は、三次元形状計測システム10における各種ユニットを統括的に制御するものである。具体的には、制御ユニット16は、搬送ユニット11、投光ユニット13、及び撮像ユニット15を制御して、撮像ユニット15によって撮像された画像に含まれる光パタン14を縞解析法によって解析し、計測対象12の三次元形状を算出するものである。
 さらに、本実施形態では、投光ユニット13及び撮像ユニット15が計測ヘッド17として一体に設けられ、計測ヘッド17をz軸方向(高さ方向)に移動させるz軸送り機構(変位部)18が設けられている。そして、制御ユニット16は、z軸送り機構18に指示して、計測ヘッド17の高さを制御している。
 計測ヘッド17の構成としては、投光ユニット13及び撮像ユニット15が或る基体(図示せず)に設けられ、該基体がz軸送り機構18によって高さ方向に移動させる構成が考えられる。この場合、上記基体は、高さ方向に移動しても、投光ユニット13及び撮像ユニット15の幾何学的位置関係が保持されるような剛性を有することが望ましい。また、z軸送り機構18としては、ネジ送り機構など、物体を移動させる公知の機構を利用することができる。
 また、本実施形態では、制御ユニット16は、z軸送り機構18が計測ヘッド17を、或る基準位置から高さ方向に移動(変位)させた量である送り量(変位量)Δzに基づいて、上記縞解析法によって算出された高さを補正することにより、計測対象12の高さを算出している。そして、制御ユニット16は、算出された計測対象12の高さに基づいて、計測ヘッド17を高さ方向に移動させるようにz軸送り機構18を制御している。
 従って、三次元形状計測装置の校正を行うために従来設けられている高さ調整機構をz軸送り機構18に変更することにより、計測レンジを高さ方向に容易に変位させることができる。また、z軸送り機構18の校正は、従来の校正と共に行うことができるので、校正の手間の増大を抑制することができる。
 そして、上記縞解析法によって算出された高さを、z軸送り機構18による送り量Δzに基づいて補正することにより、高さを計測するための新たなセンサを設けること無く、計測対象の正確な高さを算出することができる。その結果、上記計測レンジを維持しつつ、計測可能な高さを簡便に拡張することができる。なお、制御ユニット16の詳細については後述する。
 次に、制御ユニット16の詳細について説明する。図4に示すように、制御ユニット16は、画像取得部44、主制御部45、記憶部46、入力・設定部47、搬送制御部48、投光制御部49、およびz軸送り制御部(変位部制御手段)50を備える構成である。
 主制御部45は、搬送制御部48、投光制御部49、およびz軸送り制御部50に各種指示を行うものである。主制御部45は、CPU(Central Processing Unit)に各種制御プログラムを実行させることによって実現される。或いはその代わりに、図示しないDSP(Digital Signal Processor)、FPGA(Field Programmable Gate Array)などによって実現してもよい。なお、主制御部45の詳細については後述する。
 記憶部46は、各種の情報を記憶するものである。記憶部46は、RAM(Random Access Memory)、ROM(Read Only Memory)、外部記憶装置などの何れか1つまたはそれらの組合せによって実現されている。なお、記憶部46に記憶される情報の詳細については後述する。
 画像取得部44は、撮像ユニット15からの画像情報を取得するものであり、キャプチャボードなどによって構成されている。画像取得部44は、取得した画像情報を、主制御部45にて処理可能な画像データに変換して、主制御部45に送信する。
 入力・設定部47は、ユーザからの指示入力、情報入力、設定入力などの各種入力を受け付けるものであり、例えばキーボードやボタンなどのキー入力デバイスや、マウスなどのポインティングデバイスなどによって構成される。なお、入力・設定部47と共に、或いは入力・設定部47の代わりに、印刷された情報を読み取るスキャナデバイス、無線または有線の伝送媒体を介して信号を受信する受信デバイス、外部または自装置内の記録媒体に記録されたデータを再生する再生デバイスなどを用いて、外部からの上記各種入力を受け付けてもよい。
 搬送制御部48、投光制御部49、およびz軸送り制御部50は、主制御部45からの指示に基づき、搬送ユニット11、投光ユニット13、および、z軸送り機構18をそれぞれ制御するものである。
 このような三次元形状計測システム10に備わる各部の幾何学的位置関係について一例を用いて以下に説明するが、本発明はこれに限定されない。
 本実施形態の三次元形状計測システム10では、撮像ユニット15のラインセンサ34は、その主走査方向が搬送テーブル(取付台)41の載置面(基準面)と平行になるように設置されている。ラインセンサ34の主走査方向と搬送テーブル41の載置面とを平行にすることにより、計測対象12の上面を均一な倍率で撮像することができる。また、ラインセンサ34の主走査方向と副走査方向とを垂直にしているので、搬送しながら撮影した複数のライン画像からなる2次元画像には、直角部分が直角部分として撮像される。
 また、投光ユニット13は、その光軸が撮像ユニット15の光軸に対して所定の角度を有するように設置されている。これにより、詳細は後述するが、計測対象12に投影した光パタン14のずれに基づいて、計測対象12の高さを算出することができる。なお、撮像ユニット15および投光ユニット13の幾何学的配置は設置時に予め計測しておいてもよいし、校正により算出してもよい。
 このような三次元形状計測システム10の動作について説明すると以下の通りである。まず、各種機器の校正を行う。例えば、搬送テーブル41に校正用ターゲット(図示せず)を載置し、載置された校正用ターゲットを撮像ユニット15が撮影し、撮影された校正用ターゲットの画像を制御ユニット16が解析して、撮像ユニット15の光軸の傾きφを算出することにより、撮像ユニット15の光軸の校正を行う。
 各種校正の終了後、計測対象12の三次元形状の計測を行う。まず、制御ユニット16の搬送制御部48からの命令によって、搬送ユニット11のサーボモータ42が搬送テーブル41を初期設定位置にセットする。この初期設定位置は、撮像ユニット15が計測対象12を撮像する際の副走査方向の撮像開始位置を決定するものであり、撮像ユニット15の撮像領域が、搬送ユニット11の搬送テーブル41に載せられた計測対象12の副走査方向における端部に来るような位置であることが好ましい。
 そして、投光ユニット13が計測対象12に光パタン14を投影する。撮像ユニット15は、光パタン14が投影された計測対象12を走査し、この計測対象12の画像を取得する。撮像ユニット15によって取得された画像は、制御ユニット16に送信され、制御ユニット16の画像取得部44によってデジタルデータに変換される。そして、制御ユニット16の主制御部45が光パタン14を解析することによって、計測対象12の高さ情報が算出される。
 ここで、本実施形態の三次元形状計測システム10では、画像中の光パタン14を解析する際に、空間縞解析法を用いる構成となっている。これにより、撮像ユニット15に備わった4本のラインセンサ34が1回走査して取得した4つのライン画像から、計測対象12の領域であって、撮像ユニット15の走査領域(撮像領域)内での各位置における高さを求めることができる。なお、空間縞解析法の詳細については後述する。
 そして、搬送ユニット11は、制御ユニット16の制御によって、計測対象12を副走査方向に所定の距離だけ移動させる。これにより、計測対象12における撮像ユニット15の撮像領域と投光ユニット13によって投影される光パタン14とが、所定の距離だけ副走査方向にずれることになる。この後、再び撮像ユニット15が計測対象12を走査し、ライン画像を取得する。ここで得られたライン画像には、計測対象12の、先ほどの走査領域よりも所定の距離だけ副走査方向にずれた領域が含まれることになる。得られた画像は、同様に制御ユニット16に送信され、新しい走査領域内での各位置における三次元情報が求められる。
 このように、搬送ユニット11が再び計測対象12を所定の距離だけ移動させ、撮像ユニット15が計測対象12を撮像し、制御ユニット16がライン画像を解析する処理を繰り返すことによって、計測対象12の全体の三次元形状が計測される。
 なお、計測対象12の三次元形状情報のうち、ラインセンサ34の主走査方向の長さおよび副走査方向の長さ情報については、公知の方法によって計測することができる。例えば、計測対象12の主走査方向の長さ情報は、ライン画像に撮像された計測対象の主走査方向の長さに基づいて算出することができる。また、計測対象12の副走査方向の長さ情報は、搬送ユニット11による移動速度に基づいて算出することができる。このように、計測対象12の主走査方向および副走査方向の長さ情報と、高さ情報とを求めることによって、計測対象12の三次元形状情報を得ることができる。
 なお、上記の所定の距離とは、撮像ユニット15の撮像領域の副走査方向における長さと等しいことが好ましい。これにより、上記の工程によって計測対象12の全領域を漏らすことなく迅速に計測することができる。
 また、所定の距離ごとの撮像は、搬送テーブル41を一定速度で移動させつつ、撮像ユニット15に一定時間ごとに撮像させることによって実現することができる。この場合、搬送制御部48が、画像取得部44を介して、例えば数KHzオーダーの一定時間ごとに撮像駆動信号を撮像ユニット15に送信する。撮像ユニット15は、この駆動信号をトリガとして光パタン14の投影された計測対象12の画像を取得する。一方、搬送制御部48は、同様の一定時間ごとの搬送駆動信号を搬送ユニット11にも送信する。搬送ユニット11のサーボモータ42は、この搬送駆動信号をトリガとして搬送テーブル41を一定速度で駆動する。これにより、所定の領域ずつ計測対象12を撮像することができる。
 また、所定の距離ごとの撮像にリニアスケーラ43を利用してもよい。この場合、図4に示すように、リニアスケーラ43は搬送ユニット11に設けられ、搬送テーブル41が所定の距離だけ移動されるたびに、搬送制御部48に対して信号を送信する。そして、搬送制御部48は、この信号を受信すると、撮像ユニット15のラインセンサ34に対して撮像駆動信号を送信する。これにより、搬送ユニット11の搬送速度ムラなどに左右されることなく、精確に所定の距離ごとの撮像を行うことが可能になり、その結果、三次元計測の精度が向上する。
 次に、このような三次元形状計測システム10の利点について説明する。本実施形態では、撮像ユニット15に含まれる読み取りセンサとして、ラインセンサ34を用いる構成となっている。例えば主走査方向の画素数が10000画素のラインセンサ34を用いる場合、主走査方向の長さが100mmの計測対象を、約10μmの分解能で撮像することができる。これに対して、例えば横方向の画素数が640画素のエリアカメラを用いる場合、横方向の長さが100mmの計測対象を、約150μmの分解能でしか撮像することができない。
 また、上記のエリアカメラがラインセンサ34と同じ分解能で撮像するためには、主走査方向に所定の距離ずつ移動し、そして撮像するといった処理工程を最低でも12セット行う必要がある。この場合、主走査方向に撮像ユニット15を移動させ、撮像させるために多大な時間を要してしまう。
 これに対して、本実施形態の三次元形状計測システム10では、ラインセンサ34を用いることにより、計測対象12に対して高い分解能で高速な撮像を行うことが可能になる。
 さらに、本実施形態では、撮像ユニット15によって読み取った各ライン画像を空間縞解析法によって解析する構成となっている。空間縞解析法では、1つのライン画像から光パタン14の位相ずれを算出し、この位相ずれから三次元情報を算出することができる。よって、計測対象12に対して必要な延べ走査回数が1回で済むので、走査回数が複数回必要な構成と比べると、高速に計測を行うことが可能になる。
 さらに、1度の走査によって取得したライン画像のみに基づいて高さを計測できるため、走査と同時に三次元形状の計測を行うことも可能になる。これにより、例えば基板の検査を行う場合などに、計測対象12となる基板上に何らかの製造上の不具合を発見した際に、最後まで撮像処理を繰り返すことなく直ちに計測を中断させることができ、基板の検査を迅速化することもできるようになる。
 次に、制御ユニット16の主制御部45による画像解析の詳細について説明する。まず、本実施形態の画像解析手法の原理について、図5~図8を参照して説明する。
 主制御部45は、光パタン14の投影された計測対象12のライン画像を空間縞解析法に基づいて解析する。空間縞解析法とは、上述したように三角測量の原理に基づくものである。三角測量の原理については、図15を参照して上述したので、以下では、縞解析法および空間縞解析法について順番に説明する。
 まず、縞解析法について説明する。本実施形態では、上述のように、計測対象12に投影する光パタン14として、正弦波状の光パタンを用いている。正弦波状の光パタンとは、輝度が正弦関数によって表されるグラデーションを有するパタンのことをいう。換言すれば、位置と輝度との関係が正弦関数によって表される光パタンのことを正弦波状の光パタンという。正弦波状の光パタンの一例を図5に示す。
 このような光パタンを、図6の(a)および(b)に示すような計測対象12に投影した場合、投影される光パタンを上面から観測すると図7の(a)のようになる。すなわち、斜め方向から投影された光パタンは、高さを有する凸部において歪みを生じることになる。このように光パタンが投影された計測対象12を撮像ユニット15のラインセンサ34によって走査すると、走査位置と輝度との関係は図7の(b)のようになる。
 図7の(b)の上段に示すように、凸部のない基準面に投影された光パタンは、常に一定の周期で輝度が変化する。これに対して、図7の(b)の下段に示すように、凸部に投影された光パタンは凸部の傾斜によって輝度の周期が変化し、その結果、基準面に投影された光パタンに対して位相のずれを生じることになる。よって、実際に計測対象12に光パタンを投影して撮像した画像(ライン画像)に含まれる或る位置の画素における光パタンの位相と、基準面に光パタンを投影した場合の同画素の位相(基準位相)との差を求めれば、その画素に対応する位置における計測対象12の高さを上記の三角測量の原理に基づいて求めることができる。
 上記の位相差を算出するにあたって、基準位相は、基準面に光パタンを投影して撮像することなどによって予め求めておくことができる。一方、実際に計測対象12に光パタンを投影して撮像した画像(ライン画像)に含まれる各位置の画素における光パタンの位相の求め方には、大別して2通りある。空間縞解析法と時間縞解析法との相違点は、この位相の求め方にある。
 図7の(b)に示すように、正弦関数では、或る1つの変位を与える位相が1周期内に2つ存在する。例えば、y=sinθによって表される関数において、変位y=0を与える位相θの解は0およびπの2つである。また、変位y=1/2を与える位相θの解はπ/6および5π/6の2つである。このような理由から、撮像した画像において、単一の画素の輝度値(正弦関数の変位に相当)のみから、その画素における光パタンの位相を求めることはできない。
 ここで、従来用いられてきた手法である時間縞解析法(位相シフト法)では、所定の量だけ位相をずらした少なくとも3つの光パタンを計測対象12に投影して計測対象12を撮像し、得られた画像を解析することによって位相を1つに決定する。従って、時間縞解析法を用いる場合は、計測対象12の反射特性が厳密に一様であったとしても、計測対象12を最低でも3回撮像しなければならない。
 一方、空間縞解析法では、位相を求める画素(以下「注目画素」と称する)およびその周辺の画素の輝度に基づいて、注目画素における位相を算出する。例えば、上記の例において変位y=0を与える位相θは0およびπの2つあるが、ここで、注目画素における位相が0の場合とπの場合とでは、周辺の画素の輝度が異なることになる。注目画素における位相が0の場合、例えば注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値は、注目画素の輝度値よりも小さくなる。一方、注目画素における位相がπの場合は、注目画素よりも少し位相が小さい側に存在する周辺画素の輝度値が注目画素の輝度値よりも大きくなる。従って、注目画素の近傍の画素に基づいて、光パタンの位相を1つに決定することができる。このように、注目画素の近傍に存在する画素の輝度値に基づいて、注目画素における位相を決定するのが空間縞解析法の特徴である。
 本実施形態の三次元形状計測システム10に用いられる空間縞解析法の具体的な処理工程について以下に詳述するが、本発明はこれに限定されず、上述した縞解析法の原理に基づいたものであればどのようなものであってもよい。
 本実施形態では、撮像したライン画像から、光パタンを90°移相した移相光パタンを仮想的に作成する。ここで、投影する光パタンを、次の式(2)
Figure JPOXMLDOC01-appb-M000002
とすると、この光パタンを90°移相した移相光パタンは、次の式(3)
Figure JPOXMLDOC01-appb-M000003
と表される。従って、位置xにおける画素の位相φ(x)は、次の式(4)
Figure JPOXMLDOC01-appb-M000004
で求めることができる。
 ここで、I(x)の値は、主走査方向の位置xにおける画素の輝度値である。一方、I^(x)(以下、ハットのついたI(x)を便宜的にこのように記述する)の値の算出には、Hilbert変換を用いる。すなわち、移相光パタンによる位置xにおける輝度値I^(x)は、次の式(5)
Figure JPOXMLDOC01-appb-M000005
で表される。ここで、取得できる輝度データは画素ごとのデータ、つまり離散的なものであるため、上記の式(5)を次の式(6)
Figure JPOXMLDOC01-appb-M000006
のように近似する。この式(6)によって、I^(x)の値を求めることができる。
 以上より、輝度値I(x)を取得すれば、上記の式(6)からI^(x)の値を求め、上記の式(4)から位相φ(x)を求めることができる。そして、求めた位相φ(x)と基準面における位相φ(x)との位相差Δφ(x)により、上述した三角測量の原理に基づいて、位置xにおける高さzを算出することができる。
 高さzは、具体的には、基準面からの距離として算出され、次の式(7)
Figure JPOXMLDOC01-appb-M000007
によって求めることができる。なお、上記の式(7)において、A(x,z)およびB(x,z)は、パタン周期やカメラから基準面までの距離、パタンの投影角度などの幾何学的配置に依存して画素ごとに決まる関数である。ただし、これらの関数は、未知数zの関数なので、厳密な形を算出するのは困難である。従って、本実施形態では、予め高さが既知の校正用ターゲットを観測して、A(x,z)およびB(x,z)の値を画素xごとに算出し、これを用いて直線近似やスプライン関数近似でzの関数形を推定している。
 なお、本実施形態では、計測ヘッド17が高さ方向に変位するため、上記基準面も変位することになる。従って、計測対象12の高さは、上記式(7)から算出される高さzに、送り量Δzを加算したものとなる。
 次に、主制御部45の構成について説明する。図1は、制御ユニット16の要部構成、特に主制御部45の要部構成を示している。主制御部45は、背景除去部72、Hilbert変換部74、位相算出部(位相算出手段)75、位相差算出部76、高さ算出部(高さ算出手段)77、および送り量算出部(変位部制御手段)78を備えている。また、制御ユニット16の記憶部46には、逆正接DB(Database)62、基準位相DB63、関数DB61、三次元形状DB64、および送り量DB65が存在する。
 逆正接DB62は、y=tan-1xによって表される関数におけるyとxとの対応を示すデータベースであり、xの値と、tan-1xの値とが予め関連付けて格納されている。これにより、xの値に基づいて、その逆正接の値yを検索することができる。
 基準位相DB63は、光パタンを投影した基準面(高さが常に0の平面)を撮像したライン画像の各画素における光パタンの位相(以下「基準位相」と称する。)を予め格納したデータベースである。基準位相DB63には、ライン画像に含まれる画素の主走査方向の位置xと、その画素における基準位相φ(x)とが関連付けて格納されている。これにより、ライン画像に含まれる画素の位置xの情報に基づいて、その画素における基準位相φ(x)を検索することができる。なお、基準位相DB63は、校正モードにおいて、記憶部46に予め格納または更新されることが望ましい。
 関数DB61は、上記の式(7)に含まれる関数A(x,z)および関数B(x,z)を予め格納したデータベースである。関数DB61には、ライン画像に含まれる画素の主走査方向の位置xと、校正用ターゲットを観測して推定された、その画素における関数A(x,z)および関数B(x,z)とが関連づけて格納されている。これにより、ライン画像に含まれる画素の位置xの情報に基づいて、その画素における関数A(x,z)および関数B(x,z)を検索することができる。
 三次元形状DB64は、計測によって得られた計測対象12の三次元形状情報を格納するためのデータベースである。この三次元形状DB64には、計測対象12の表面上の点を特定するx座標(主走査方向に相当)、y座標(副走査方向に相当)、z座標(高さに相当)が関連付けて格納される。これにより、計測終了後に、計測対象12のx座標およびy座標に基づいて、その位置における高さ(z座標)を検索することができる。
 送り量DB65は、z軸送り機構18が計測ヘッド17を或る基準位置から高さ方向に移動させた量である送り量Δzを格納するためのデータベースである。なお、送り量DB65には、送り量Δzとy座標とを関連づけて格納されてもよい。
 背景除去部72は、画像取得部44からライン画像を取得し、取得したライン画像から背景成分を除去するものである。背景除去部72は、背景成分を除去したライン画像をHilbert変換部74および位相算出部75に送信する。具体的には、背景除去部72は、光パタンを投影した状態で計測対象12を撮像したライン画像と、光パタンを投影せずに一様な輝度の光を照射した状態で計測対象12を撮像した対照ライン画像とを取得し、光パタンを投影した状態のライン画像における各画素の輝度値を、上記対照ライン画像の対応する画素の輝度値で除算している。
 図8の(a)は、光パタンを投影した状態の上記ライン画像の一例を示しており、図8の(b)は、上記対照ライン画像の一例を示している。同図の(b)に示すように、計測対象12に一様な輝度の光を照射しても、撮像した画像にはムラ(斑)が生じていることが理解できる。これは、計測対象12の各部位における反射特性の相違に起因する。上記ムラは、同図の(a)に示すように、光パタンを投影した状態のライン画像にも生じることになり、上記ライン画像を用いて算出される位相に誤差が生じることになる。
 光パタンを投影した状態の上記ライン画像の輝度値g(x)は次の式(8)
Figure JPOXMLDOC01-appb-M000008
で表される。ここで、A(x)は計測対象12の反射率、Iは計測対象12に照射する光の平均強度、Bは光パタンの振幅、kは光パタンの周波数、かつΦは計測対象12の高さによる位相変調である。
 一方、上記対照ライン画像の輝度値g(x)は次の式(9)
Figure JPOXMLDOC01-appb-M000009
で表される。
 上記の式(8)を上記の式(9)で除算すると、次の式(10)
Figure JPOXMLDOC01-appb-M000010
となり、計測対象12の各部位に依存する反射率A(x)が除去される。
 本実施形態では、撮像ユニット15には、上記ライン画像を取得するための第1のラインセンサと、上記対照ライン画像を取得するための第2のラインセンサとがラインセンサ34として設けられている。
 図3は、三次元形状計測システム10の要部構成を示している。図3の(a)は、撮像ユニット15に設けられるラインセンサ34の詳細を示している。本実施形態では、図示のように、白黒成分(輝度成分)を撮影するラインセンサ34kと、青色成分、赤色成分、及び緑色成分をそれぞれ撮影するラインセンサ34b・34r・34gとの4本のラインセンサを利用している。なお、以下では、ラインセンサ34k・34b・34r・34gを総称する場合には、「ラインセンサ34」と記載する。
 図3の(b)は、計測対象12において、照射される光パタン14と、ラインセンサ34k・34b・34r・34gがそれぞれ撮影する領域である撮影領域34k´・34b´・34r´・34g´とを示している。図示のように、光パタン14が照射される領域に、白黒成分を撮影する撮影領域34k´が含まれ、光パタン14が照射されない領域に、青色成分、赤色成分、及び緑色成分をそれぞれ撮影する撮影領域34b´・34r´・34g´が含まれる。すなわち、ラインセンサ34kが第1のラインセンサに該当し、ラインセンサ34b・34r・34gが第2のラインセンサに該当することになる。
 従って、本実施形態では、計測対象12に対し1回の走査を行うのみで、ラインセンサ34kの撮影画像から上記ライン画像を取得でき、ラインセンサ34b・34r・34gの撮影画像から、計測対象12のカラー画像を取得できる。そして、このカラー画像を輝度画像に変換することにより、上記対照ライン画像を取得できる。取得された上記ライン画像および上記対照ライン画像から、上記式(8)~(10)を利用して、光パタン14のみの画像を取得することができる。従って、計測対象12に対し1回の走査を行うのみで、計測対象12の高さを算出できるので、計測対象12の三次元形状を迅速に計測することができる。
 Hilbert変換部74は、背景除去部72からのライン画像データ、すなわち背景成分の除去されたライン画像データに対し、上記の式(10)が適用された上記の式(6)に基づいて、Hilbert変換を行うものである。Hilbert変換部74は、Hilbert変換したライン画像データを位相算出部75に送信する。
 位相算出部75は、背景除去部72にて背景成分が除去されたライン画像データと、さらにHilbert変換部74にてHilbert変換されたライン画像データとを用いて、位置xにおける光パタンの位相を算出するものである。具体的には、位相算出部75は、上記の式(10)が適用された上記の式(4)に基づいて、位置xにおける光パタンの位相φ(x)(=kx+Φ(x))を算出している。位相算出部75は、算出した位相φ(x)を位相差算出部76に送信する。なお、本実施形態では、位相算出部75は、上記の式(4)における逆正接の値を、逆正接DB62を参照することによって求めているが、数値演算によって求めてもよい。
 位相差算出部76は、位置xにおける位相差(位相のずれ)Δφ(x)を算出するものである。位相差算出部76は、算出した位相差Δφ(x)を高さ算出部77に送信する。具体的には、位相差算出部76は、まず、位相算出部75から位置xにおける光パタンの位相φ(x)を受信するとともに、基準位相DB63を参照して位置xにおける光パタンの基準位相φ(x)(=kx)を取得する。そして、位相差算出部76は、上記位相φ(x)から上記基準位相φ(x)を減算することによって、位置xにおける位相差Δφ(x)(=Φ(x))を算出する。
 高さ算出部77は、位置xにおける計測対象12の高さzを算出するものである。高さ算出部77は、算出した高さzを、主走査方向の座標xおよび副走査方向の座標yと関連付けて、三次元形状DB64に格納すると共に、送り量算出部78に送信する。
 具体的には、高さ算出部77は、まず、位相差算出部76から位置xにおける位相差Δφ(x)を受信するとともに、関数DB61を参照して位置xにおける関数A(x,z)および関数B(x,z)を取得する。次に、高さ算出部77は、上記位相差Δφ(x)、上記関数A(x,z)、および上記関数B(x,z)から、上記の式(7)に基づいて、高さzを算出する。そして、高さ算出部77は、算出した高さzに、送り量DB65からの送り量Δzを加算することにより、上記算出した高さzを補正する。この補正された高さzが、位置xにおける計測対象12の高さzとなる。
 送り量算出部78は、一部または全ての位置xに関して、高さ算出部77からの計測対象12の高さzの平均値を算出し、算出した平均値が次回の走査における計測レンジの中心となるような送り量Δzを算出し、算出した送り量Δzをz軸送り制御部50に送信すると共に、送り量DB65に格納する。これにより、z軸送り制御部50は、計測ヘッド17の変位量が、送り量算出部78からの送り量Δzとなるように、z軸送り機構18を制御して計測ヘッド17を変位させることになる。なお、平均値の他に、最頻値、中央値などの統計量を用いてもよい。
 図9は、上記構成の三次元形状計測システム10における計測ヘッド17の動きの一例を示している。図示の例では、計測対象12である基板12aが、上に凸となるように反っており、y軸方向に搬送されている。この場合、計測ヘッド17は、同図の左側から走査を開始することになり、基板12aの反りに対応して、計測ヘッド17が上方に移動した後、下方に移動することになる。
 このように、基板12aの反りに対応して計測ヘッド17を変位させる場合、部品の配置されていない位置xにおいて、送り量Δzを算出すればよい。なお、通常、基板12aの色は、茶色・緑色など、予め決まっているので、基板12aに部品が配置されているか否かは、第2のラインセンサから取得されるカラー画像によって容易に判断することができる。
 図10は、図9に示す基板12aをy軸方向に断面し、x軸方向に見た図である。同図の(a)は、本実施形態の三次元形状計測システム10における計測レンジの変化の様子を示している。また、同図の(b)は、従来の三次元形状計測システムにおける計測レンジの変化の様子を比較例として示している。
 図10の(b)を参照すると、従来例では、計測レンジが固定であるため、基板12aおよび基板12aに配置された部品の一部のみを計測できるが、残りが計測できないことが理解できる。これに対し、図10の(a)を参照すると、本実施例では、走査ごとに、基板12aの高さzが、次回の走査における計測レンジの中心となるように、計測ヘッド17が変位するので、基板12aおよび上記部品の全てを計測できることが理解できる。
 次に、上記構成の三次元形状計測システム10における処理動作について説明する。三次元形状計測システム10は、まず校正モードに移行して校正を行った後に、計測モードに移行して計測対象12の三次元形状を計測している。なお、校正モードにおける処理は、従来と同様であるので、その説明を省略する。
 図11は、計測モードにおいて制御ユニット16が行う処理を示している。制御ユニット16は、直線状に画素が配列されたライン画像において、その一端部から他端部に向かって順次高さを算出する。従って、まず、主走査方向における画素の位置xを0にセットする(ステップS11)。
 次に、制御ユニット16は、位置xにおける位相φ(x)を取得する(ステップS12)。具体的には、まず、Hilbert変換部74は、背景除去部72にて背景成分が除去されたライン画像データに対し、上記の式(10)が適用された上記の式(6)に基づいて、Hilbert変換を行う。そして、位相算出部75は、背景除去部72にて背景成分が除去されたライン画像データと、Hilbert変換部74にてHilbert変換されたライン画像データとを用い、上記の式(10)が適用された上記の式(4)に基づいて、位置xにおける光パタンの位相φ(x)を算出する。
 次に、位相差算出部76は、位相算出部75にて算出された位置xにおける位相φ(x)から、基準位相DB63を参照して取得した位置xにおける基準位相φ(x)を減算することによって、位置xにおける位相差Δφ(x)を算出する(ステップS13)。
 次に、高さ算出部77は、位相差算出部76にて算出された位相差Δφ(x)と、関数DB61を参照して取得した位置xにおける関数A(x,z)および関数B(x,z)とから、上記の式(7)に基づいて、位置xにおける高さzを算出する。次に、高さ算出部77は、算出した高さzに、送り量DB65に格納された送り量Δzを加算することにより、高さzを補正する(ステップS14)。次に、高さ算出部77は、補正後の高さzを計測対象12の高さzとして、主走査方向の座標xおよび副走査方向の座標yと関連付けて、三次元形状DB64に格納する(ステップS15)。
 次に、送り量算出部78は、補正後の高さzに基づいて計測対象12を移動させるように、z軸送り制御部50を介してz軸送り機構18を制御する(ステップS15)。具体的には、送り量算出部78は、一部または全ての位置xに関して、高さ算出部77からの計測対象12の高さzの平均値を算出し、算出した平均値が次回の走査における計測レンジの中心となるような送り量Δzを算出し、算出した送り量Δzをz軸送り制御部50に送信すると共に、送り量DB65に格納する。
 続いて、主制御部45は、位置xが直線状のライン画像の終端であるか否かを判定する(ステップS16)。ここで、位置xがライン画像の終端である場合は、処理を終了する。一方、位置xがライン画像の終端でない場合は、注目画素の位置を主走査方向に1画素分ずらすために、xの値を1つ増やす(ステップS17)。そして、ステップS12に戻る。
 上記のステップS12~ステップS17の処理を繰り返すことにより、三次元形状DB64には、計測対象12の主走査方向に沿った各位置における高さ情報が蓄積される。また、上記の画像解析処理と平行して、搬送ユニット11が計測対象12を副走査方向にずらしながら、撮像ユニット15が計測対象12を再び撮像する。そして、撮像によって得られたライン画像に基づいて再び上記の画像解析処理が行われる。これにより、三次元形状DB64には、副走査方向に沿った各位置における高さ情報も順次蓄積され、最終的に、計測対象12全体の三次元形状情報が蓄積される。なお、上記の画像解析処理が終了してから、搬送ユニット11が計測対象12を副走査方向にずらして、撮像ユニット15が計測対象12を再び撮像してもよい。
 上記のステップS12からステップS17の処理を繰り返すことにより、三次元形状DB64には、計測対象12の主走査方向に沿った各位置における高さ情報が蓄積される。また、上記の処理が終了すると、搬送ユニット11が計測対象12を副走査方向にずらし、その後、撮像ユニット15が計測対象12を再び撮像し、撮像によって得られたライン画像に基づいて再び上記の画像解析処理が行われる。これにより、三次元形状DB64には、副走査方向に沿った各位置における高さ情報も順次蓄積され、最終的に、計測対象12全体の三次元形状情報が蓄積される。
 なお、Hilbert変換部74が、式(6)に基づいて位置xにおける移相光パタンの輝度値を求める際に、式(6)のパラメータNの値を、入力・設定部47を介して変更可能にすることが好ましい。これは、位置xにおける移相光パタンの輝度を算出する際に用いる注目画素近傍の画素の数を可変にすることを意味する。あるいは、空間縞解析法で用いるフィルタのサイズを可変にするともいえる。
 ここで、Nの値を大きくする(すなわちフィルタのサイズを大きくする)と、より多くの画素に基づいて位相を算出することになり、最終的に求められる高さ情報の算出精度が向上する。一方、Nの値を小さくする(すなわちフィルタのサイズを小さくする)と、I^(x)の算出に必要な演算回数が少なくなり、算出速度が向上する。また、注目画素近傍の画素に黒点などの輝度の不連続点が含まれ難くなるので、不連続点による誤差伝搬の影響を抑制することもできる。
 また、背景除去部72は、撮像ユニット15によって撮像されたライン画像に対して、背景成分を除去する処理以外の前処理を行ってもよい。前処理の内容としては、例えばライン画像に含まれるノイズの除去などが挙げられる。さらに、位相算出部75が位相を算出した後に、算出した位相に対して後処理を行ってもよい。例えば、位相算出部75と位相差算出部76との間にPLL(Phase Locked Loop)部をさらに設け、ノイズによる誤差を軽減することなどが挙げられる。
 なお、上記の前処理は、図11に示すステップS12よりも前に行えばよい。一方、上記の後処理は、図11に示すステップS12とステップS13との間に行えばよい。
 以上により、制御ユニット16は、高さ算出部77が計測対象12の高さzを算出すると、送り量算出部78が適当な送り量Δzを算出して、算出した送り量Δzに計測ヘッド17が移動するように、z軸送り制御部50を介してz軸送り機構18を制御している。この場合、計測対象12の高さzを算出する回数に比例して、z軸送り機構18が計測ヘッド17を移動させる回数が増加するが、計測対象12の高さzに基づいて、z軸送り機構18が計測ヘッド17を移動させるように制御すべきか否かを判断する処理を行う必要が無い。
 なお、本実施形態では、送り量算出部78は、1回の走査ごとに、送り量Δzを算出し、z軸送り制御部50を介してz軸送り機構18を制御しているが、計測対象12の高さzの変化率が低い場合には、1回の走査置き、2回の走査置きなど、間引いて行ってもよい。この場合、z軸送り機構18が計測ヘッド17を移動させる回数を低減することができる。
 また、送り量算出部78は、高さ算出部77が算出した計測対象12の高さzが、上記計測レンジに対応する高さ方向の範囲における端部に到達すると、送り量Δzを算出し、z軸送り制御部50を介してz軸送り機構18を制御してもよい。ここで、計測対象12の高さzが、上記端部に到達するということは、計測対象12の高さzが、上記範囲から外れそうになっていると考えられる。上記範囲から外れると、上述のように、正確な高さを計測できなくなる。
 これに対し、上記の構成によれば、計測対象12の高さzが上記範囲から外れそうになると、計測ヘッド17を移動させるので、計測対象12の高さzが上記範囲から外れることを防止でき、その結果、計測対象12の高さzを適切に計測することができる。また、本実施形態の場合に比べて、計測対象12の高さzに応じて計測ヘッド17を移動させるか否かを判断する処理が必要であるが、計測ヘッド17を移動させる回数を低減することができる。
 また、送り量算出部78は、今回の走査において算出された計測対象12の高さzを利用して送り量Δzを算出しているが、以前の走査において算出された計測対象12の高さzを利用してもよい。例えば、図9に示す基板12aの場合、部品が密集している領域を走査することにより、基板12aの高さzが精度よく計測できないことがある。このとき、今回および以前の走査において算出された基板12aの高さzを利用して送り量Δzを算出する方が、計測精度の向上を図ることができる。
 次に、計測対象12に投影する光パタンの好ましい変形例について説明する。
 本実施形態の三次元形状計測システム10や、上述した特許文献1や非特許文献1の装置(以下「従来の装置」と称する。)では、計測対象12に投影する光パタンの輝度が、ラインセンサ34の主走査方向に沿って変化する構成となっている。ここで、従来の装置では、位相をずらした最低3種類の光パタンを計測対象に投影した状態で撮像するために、光パタンの輝度の変化のピッチが最も小さくなる方向(以下「最小ピッチ方向」と称する。)を、ラインセンサの主走査方向と異ならせる必要があった。なぜならば、それら2つの方向を一致させてしまうと、ラインセンサの主走査方向に対して垂直な方向の搬送方向に計測対象を搬送しても、計測対象の同一部分に投影される光パタンの位相がずれないからである。
 一方、本実施形態の三次元形状計測システム10では、光パタンが投影された計測対象12をラインセンサ34によって撮像して得られた1つのライン画像のみに基づいて、光パタンの位相、ひいては位相差を算出することができる。従って、光パタンの最小ピッチ方向をラインセンサ34の主走査方向と一致させても何ら問題は生じない。
 ここで、ラインセンサ34によって撮像したライン画像において、光パタンの輝度のピッチは、高さ計測を行う上で、計測精度を決定する重要な因子になる。具体的には、ピッチを小さくすればするほど計測精度が向上する。そして、ラインセンサ34が撮像したライン画像において光パタンの輝度のピッチが最も小さくなるのは、光パタンの最小ピッチ方向が、ラインセンサ34の主走査方向と一致する場合である。従って、本実施形態の三次元形状計測システム10において、計測対象12に対して投影される光パタンの最小ピッチ方向は、ラインセンサ34の主走査方向と平行である(一致している)ことが好ましい。
 また、光パタンの輝度のピッチを小さくすればするほど計測精度が向上するが、高さの計測レンジも小さくなり、計測レンジを固定していた従来の方法では、測定可能な高さが小さくなっていた。これに対し、本実施形態の三次元形状計測システム10では、計測対象12の高さzに基づいて計測ヘッド17を高さ方向に移動させることにより、計測レンジが変更されると共に、算出した高さが計測ヘッド17の送り量Δzに基づいて補正されることにより、計測対象12の高さzが適切に算出されるので、測定可能な高さの範囲を増大させることができる。
 ところで、従来の装置では、光パタンを複数のラインセンサで撮像するため、複数のラインセンサそれぞれの撮像領域に対して光パタンを投影する必要がある。ここで、複数のラインセンサのそれぞれに個別の専用の投光ユニットを設ける場合、投影される光パタンが投光ユニットごとにバラついてしまうという問題が生じる。このような問題から、投光ユニットを1つにすることが一般的となっている。しかしながら、投光ユニットを1つにするには、複数のラインセンサの撮像領域全てカバーできる光パタンを投影する必要がある。
 しかしながら、本実施形態の三次元形状計測システム10では、1本のラインセンサ34が、計測対象12の全領域を撮像する構成であるため、投光ユニット13によって投影される光パタンは、1本のラインセンサ34(輝度成分を撮影するラインセンサ34k)の撮像領域のみをカバーすればよい。よって、本実施形態の三次元形状計測システム10において、投影する光パタンは、二次元方向に広がったものでなくてもよい。
 この場合、光パタンのエネルギー効率を高める上では、投光ユニット13が、集光した光パタンを投影することが好ましい。具体的には、投光ユニット13が、図2および図3に示すように、ラインセンサ34の主走査方向に延在する1軸に集光した直線形状の光パタン(厳密には副走査方向に微小有限幅を有する)を計測対象12に投影することが好ましい。この場合、投光ユニット13は、光パタンを1軸集光するための1軸集光素子を備え、この1軸集光素子によって光パタンを主走査方向に延在する直線形状に集光すればよい。この直線形状の光パタンは、ラインセンサ34の撮像領域をカバーするように投影される。
 なお、上記1軸集光素子の具体例としては、フレネルレンズまたはシリンドリカルレンズなどが挙げられる。これらのレンズを光源31とパタン生成素子32との間に配置すれば、計測対象12に対して1軸に集光した光パタンを投影することができる。
 次に、本実施形態の三次元形状計測システム10の変形例について説明する。上記の説明では、撮像ユニット15が4本のラインセンサ34を備える構成としたが、本発明はこれに限定されず、追加のラインセンサを備えていてもよい。追加のラインセンサを備えることにより、ラインセンサの輝度ノイズを統計的に除去することができ、三次元形状計測の安定性を向上させることができる。
 また、本実施形態では、三次元形状計測システム10では、搬送ユニット11、投光ユニット13、撮像ユニット15、および制御ユニット16等を、別々の構成としているが、それらの構成の一部または全部を一体の構成とすることもできる。また、本実施形態では、ライン画像を空間縞解析法に基づいて解析しているが、時間縞解析法に基づいて解析することもできる。
 〔実施の形態2〕
 次に、本発明の別の実施形態について図12~図14を参照して説明する。図12は、本実施形態に係る三次元形状計測システム10における制御ユニット16の要部構成、特に主制御部45の要部構成を示している。本実施形態の三次元形状計測システム10は、図1~図11に示す三次元形状計測システム10に比べて、主制御部45において、送り量算出部78に代えて送り判定部(変位部制御手段)81が設けられ、位相差算出部76に代えて位相差算出部(位相補正手段)82が設けられている点と、計測レンジ変更部(計測レンジ設定手段)83と計測レンジDB66が追加されている点とが異なり、その他の構成は同様である。なお、上記実施形態で説明した構成と同様の機能を有する構成には同一の符号を付して、その説明を省略する。
 送り判定部81は、高さ算出部77が算出した計測対象12の高さzに基づいて、計測ヘッド17を移動させるべきか否かを判定するものである。計測ヘッド17を移動させるべきと判定した場合、送り判定部81は、送り量Δzを算出し、算出した送り量Δzをz軸送り制御部50および計測レンジ変更部83に送信すると共に、送り量DB65に格納する。これにより、z軸送り制御部50は、計測ヘッド17の変位量が、送り判定部81からの送り量Δzとなるように、z軸送り機構18を制御して計測ヘッド17を変位させることになる。
 具体的には、送り判定部81の上記判定は、一部または全ての位置xに関して、高さ算出部77からの計測対象12の高さzの平均値を算出し、算出した平均値が、計測ヘッド17の被写界深度に対応する範囲の端部に到達したか否かを判定することにより行われる。また、送り量Δzは、上記算出した平均値が次回の走査における被写界深度の中心となるような量である。なお、平均値の他に、最頻値、中央値などの統計量を用いてもよい。
 より具体的には、上記端部の上側は、上記被写界深度に対応する範囲の上限値と、該上限値から、上記計測レンジに対応する範囲の半分だけ下方の値との間の範囲である。また、上記端部の下側は、上記被写界深度に対応する範囲の下限値と、該下限値から、上記計測レンジに対応する範囲の半分だけ上方の値との間の範囲である。なお、上記端部の大きさは、計測対象12の高さzの変化率、次回走査される位置までの距離などに基づいて適宜設定することができる。また、上記端部の大きさは、所定の大きさでもよいし、例えば上記変化率に応じて変化してもよい。
 計測レンジDB66は、解析中の画素に対応する位置xの位相φ(x)の取りうる範囲を示す計測レンジを格納するためのデータベースである。具体的には、計測レンジは、位置xの本来の位相が取りうる範囲の上限値および下限値の組である。なお、これに限らず、計測レンジは、上記下限値と、該下限値から上記上限値までの大きさとの組や、上記範囲の中央と、該中央から上限値または下限値までの差分との組であってもよい。これにより、解析中の画素に対応する位置xにおける計測レンジを検索することができる。
 位相差算出部82は、位相算出部75から位置xにおける光パタンの位相φ(x)を受信すると共に、基準位相DB63を参照して位置xにおける光パタンの基準位相φ(x)を取得する。次に、位相差算出部82は光パタンの位相φ(x)から基準面の位相φ(x)を減じて、補正前位相差Δφ(x)を算出する。
 次に、位相差算出部82は、計測レンジDB66を参照して計測レンジλを取得する。そして、位相差Δφ(x)+2kπが計測レンジλの範囲内の値を取るとような整数kを求め、求めた整数kを位相差Δφ(x)+2kπに代入したものを補正位相差Δφ(x)とする。位相差算出部82は、補正位相差Δφ(x)を算出した位相差Δφ(x)として高さ算出部77と計測レンジ変更部83とに送信する。
 計測レンジ変更部83は、計測レンジDB66に格納する計測レンジを変更するものである。具体的には、計測レンジ変更部83は、まず、位相差算出部82から位置xにおける補正位相差Δφ(x)を受信する。計測レンジ変更部83は補正位相差Δφ(x)を用いて次に解析する画素、すなわち次回の走査において対応する位置の計測レンジを算出し、算出した計測レンジで計測レンジDB66を更新する。
 ところで、計測ヘッド17が変位すると、計測レンジも変位することになる。そこで、計測レンジ変更部83は、送り判定部81から送り量Δzを受信すると、受信した送り量Δzに基づいて計測レンジを変更し、変更した計測レンジで計測レンジDB66を更新する。
 ここで、計測対象12の高さzが上記端部に到達するということは、計測対象12の高さzが、被写界深度に対応する範囲から外れそうになっていると考えられる。上記範囲から外れると、計測ヘッド17が撮像した画像がピントの暈けた画像となるので、正確な高さを計測できなくなる。
 これに対し、本実施形態では、計測対象12の高さzが上記範囲から外れそうになると、計測ヘッド17を移動させて、計測対象12の高さzが上記範囲から外れることを防止している。その結果、計測対象12の正確な高さを計測することができる。また、被写界深度は、計測レンジよりも広いので、計測レンジに基づいて計測ヘッド17を移動させる場合に比べて、移動の回数を低減することができる。
 ところで、通常、基準面からの高さに対応する位相差が2πを超える場合でも、近くの画素同士の位相差が2πを超える可能性は低い。従って、本実施形態では、位相差算出部82が、或る画素に関して、計測レンジに基づいて位相差が補正され、補正された位相差と、送り量Δzとに基づいて次に走査される画素に関する計測レンジが設定されるので、位相差が計測レンジから外れる可能性が低い。その結果、被写界深度に対応する範囲内であって、本来の位相が2π以上となる場合にも対応することができる。
 図13は、図9に示す基板12aをy軸方向に断面し、x軸方向に見た図であり、本実施形態の三次元形状計測システム10における被写界深度および計測レンジの変化の様子を示している。図13において、長い太線が被写界深度を示し、細線が計測レンジを示している。また、短い太線は、被写界深度における上記端部以外の範囲を示している。
 従って、図13に示すように、基板12aの高さzが短い太線の範囲内である場合、計測レンジを変更することで対応する一方、基板12aの高さzが短い太線の範囲を超えると、計測ヘッド17を移動させて、被写界深度および計測レンジを変更することで対応している。その結果、図13の例では、計測ヘッド17の移動は5回のみで済む。
 次に、上記構成の三次元形状計測システム10における計測モードの処理動作について説明する。図14は、計測モードにおいて制御ユニット16が行う処理を示している。まず、全てのラインの計測が終了したか否かを判断する(ステップS21)。終了している場合には処理を終了する。
 一方、終了していない場合には、各ブロックは、計測対象12の高さzを算出するためのパラメータである各種の高さパラメータを選択する(ステップS22)。例えば、位相差算出部82の場合、計測レンジDB66から計測レンジを取得することになる。
 次に、走査を行って、1ラインの各位置xにおける高さzを計測する(ステップS23)。具体的には、図11に示すステップS11~S17のうち、計測ヘッド17を移動させる処理以外の処理が行われることになる。
 次に、高さ算出部77は、1ラインの各位置xが、基準面、すなわち計測対象12において基準となる面(図13の例では、基板12aの表面)であるか否かを、上記カラー画像の色で判定する(ステップS24)。次に、高さ算出部77は、基準面と判定された位置xの高さzの平均値を算出する(ステップS25)。
 次に、送り判定部81は、算出された基準面の高さの平均値が、上記端部の上側であるか、すなわち、(被写界深度に対応する範囲の上限値)-(計測レンジに対応する範囲の半分)よりも大きいか否かを判断する(ステップS26)。大きい場合にはステップS27に進み、それ以外の場合にはステップS28に進む。
 ステップS27において、送り判定部81は、z軸送り制御部50を介してz軸送り機構18を制御して、上記基準面の高さの平均値が被写界深度の中心となるように、計測ヘッド17を上方に移動させる。その後、ステップS21に戻って、上記動作を繰り返す。
 ステップS28において、送り判定部81は、算出された基準面の高さの平均値が、上記端部の下側であるか、すなわち、(被写界深度に対応する範囲の下限値)+(計測レンジに対応する範囲の半分)よりも小さいか否かを判断する。小さい場合にはステップS29に進み、それ以外の場合にはステップS21に進んで上記動作を繰り返す。
 ステップS29において、送り判定部81は、z軸送り制御部50を介してz軸送り機構18を制御して、上記基準面の高さの平均値が被写界深度の中心となるように、計測ヘッド17を下方に移動させる。その後、ステップS21に戻って、上記動作を繰り返す。
 本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
 例えば、上記実施形態では、搬送テーブル41の上面を基準面とし、該基準面に計測対象12が載置されている。しかしながら、計測対象12の中には、上記載置に不向きなものも存在する。この場合、計測対象12を上記基準面から離間して取り付ければよい。
 このような計測対象12の一例としては、両面に多数の電子部品が実装された回路基板が挙げられる。この場合、上記回路基板の基板部分の両端を、搬送テーブル41の上面から離間した状態で着脱可能に保持する保持部材を搬送テーブル41に設ければよい。このとき、搬送テーブル41の上面(基準面)から、反りの無い場合の上記回路基板の上面までの距離を予め特定しておくことにより、実際の上記回路基板の高さを算出することができる。
 また、上記実施形態では、搬送ユニット11は、計測対象12を移動させる構成としているが、計測対象12を移動させる代わりに、計測ヘッド17を副走査方向に、さらには主走査方向に移動させる構成としてもよい。すなわち、搬送ユニット11は、計測対象12を計測ヘッド17に対して相対的に移動させるものであればよい。
 また、上記実施形態では、計測ヘッド17をz軸方向に移動させているが、搬送テーブル41をz軸方向に移動させてもよいし、両方をz軸方向に移動させてもよい。また、上記実施形態では、撮像ユニット15にてラインセンサ34を採用しているが、ラインセンサの代わりにエリアカメラを使用してもよい。
 また、本発明は次のように表現することもできる。以上のように、本発明に係る三次元形状計測装置では、上記変位部制御手段は、上記高さ算出手段が上記計測対象の高さを算出すると、上記変位部に上記変位を行わせてもよい。この場合、上記計測対象の高さを算出する回数に比例して、上記変位部が上記変位を行う回数が増加するが、上記計測対象の高さに応じて上記変位を行わせるか否かを判断する処理が不要である。なお、上記変位部制御手段は、上記高さ算出手段が上記計測対象の高さを算出すると、上記変位部に上記変位を、その都度行わせてもよいし、1回置き、2回置きなど、間引いて行わせてもよい。
 本発明に係る三次元形状計測装置では、上記変位部制御手段は、上記高さ算出手段が算出した上記計測対象の高さが、上記位相が取り得る範囲を示す計測レンジに対応する高さ方向の範囲における端部に到達すると、上記変位部に上記変位を行わせてもよい。
 ここで、上記計測対象の高さが、上記端部に到達するということは、上記計測対象の高さが、上記計測レンジに対応する高さ方向の範囲から外れそうになっていると考えられる。上記範囲から外れると、上述のように、正確な高さを計測できなくなる。
 これに対し、本発明の上記の構成によれば、上記計測対象の高さが上記範囲から外れそうになると、上記変位部が上記変位を行うので、上記計測対象の高さが上記範囲から外れることを防止でき、その結果、正確な高さを計測することができる。また、上記計測対象の高さを算出すると、上記変位部に上記変位を行わせる上記の場合に比べて、上記計測対象の高さに応じて上記変位を行わせるか否かを判断する処理が必要であるが、上記変位部が上記変位を行う回数を低減することができる。
 本発明に係る三次元形状計測装置では、上記変位部制御手段は、上記高さ算出手段が算出した上記計測対象の高さが、上記計測ヘッドの被写界深度に対応する範囲の端部に到達すると、上記変位部に上記変位を行わせており、上記位相算出手段が算出した位相を、上記位相が取り得る範囲を示す計測レンジに基づいて補正する位相補正手段をさらに備えており、上記高さ算出手段は、上記位相補正手段が補正した位相に基づいて高さを算出し、算出した高さを、上記変位量に基づいて補正することにより、上記計測対象の高さを算出しており、上記位相補正手段が補正した位相と、上記変位量とに基づいて、上記計測レンジを設定する計測レンジ設定手段をさらに備えてもよい。
 ここで、上記計測対象の高さが上記端部に到達するということは、上記計測対象の高さが、上記被写界深度に対応する範囲から外れそうになっていると考えられる。上記範囲から外れると、上記計測ヘッドが撮像した画像がピントの暈けた画像となるので、正確な高さを計測できなくなる虞がある。
 これに対し、本発明の上記の構成によれば、上記計測対象の高さが上記範囲から外れそうになると、上記変位部が上記変位を行うので、上記計測対象の高さが上記範囲から外れることを防止でき、その結果、正確な高さを確実に計測することができる。また、上記被写界深度は、上記計測レンジよりも広いので、上記計測レンジに基づいて上記変位部に上記変位を行わせる上記の場合に比べて、上記変位部が上記変位を行う回数をさらに低減することができる。
 ところで、通常、基準面からの高さに対応する位相差が2πを超える場合でも、近くの画素同士の位相差が2πを超える可能性は低い。従って、本発明の上記の構成によれば、或る画素に関して計測レンジに基づいて位相が補正され、補正された位相と、上記変位量とに基づいて次に走査される画素に関する計測レンジが設定されるので、位相が計測レンジから外れる可能性が低い。その結果、上記被写界深度に対応する範囲内であって、本来の位相が2π以上となる場合にも対応することができる。
 なお、上記端部の大きさは、上記計測対象の傾き、次に走査される位置までの距離などに基づいて適宜設定することができる。また、上記端部の大きさは、所定の大きさでもよいし、例えば上記計測対象の傾きに応じて変化してもよい。
 ところで、或る画素に関して計測された高さには、ノイズや誤差が含まれている。このため、上記計測レンジの設定は、以前に計測した1つの画素に関する算出結果に基づいて行われてもよいが、以前に計測した複数の画素に関する算出結果に基づいて行われることが望ましい。また、上記計測対象の高さが上記端部に到達したか否かの判断も、同様に行われることが望ましい。
 また、上記設定において、上記補正された位相を上記計測レンジの中央としてもよいし、計測対象の高さが上昇傾向の場合に上記補正された位相を上記計測レンジの下限としてもよいし、計測対象の高さが下降傾向の場合に上記補正された位相を上記計測レンジの上限としてもよい。同様に、上記計測レンジは、上記設定された基準面を中央としてもよいし、計測対象の高さが上昇傾向の場合に下限としてもよいし、計測対象の高さが下降傾向の場合に上限としてもよい。
 ところで、通常、部品の検査などに三次元形状計測装置を利用する場合、上記部品の大まかな寸法が予め決まっているので、部品の各位置における計測レンジも決まることになる。
 従って、上記計測対象の位置と計測レンジとを対応付けて記憶部に記憶しておき、上記画素に対応する上記計測対象の位置を特定し、特定した位置に対応する計測レンジを記憶部から読み出し、読み出した計測レンジに基づいて、上記位相を補正してもよい。この場合、上記計測対象の位置に対応して計測レンジが設定されるので、位相が計測レンジから外れる可能性が低い。その結果、本来の位相が2π以上となる場合にも対応することができる。
 ところで、上記光パタンを撮像する画像には、上記光パタンの画像の他に、上記計測対象自身の画像が背景成分として含まれることになる。上記光パタンと上記背景成分との区別が困難である場合、上記位相算出手段が算出する上記光パタンの位相の誤差が増大することになり、上記計測対象の高さの正確な計測が困難となる。
 そこで、本発明に係る三次元形状計測装置では、上記計測ヘッドは、上記計測対象において上記光パタンが投影された領域である光パタン照射領域を撮像する第1のラインセンサと、上記計測対象において上記光パタンが投影されていない領域である光パタン非照射領域を撮像する第2のラインセンサとを備えており、上記位相算出手段が利用する画像は、第2のラインセンサが撮像した画像を利用して、第1のラインセンサが撮像した画像から背景成分を除去したものであることが好ましい。
 この場合、上記背景成分を除去した画像を取得できるので、上記位相算出手段が上記光パタンの位相を精度よく算出することができ、上記計測対象の高さを精度よく計測することができる。また、1回の走査で上記背景成分を除去できるので、上記計測対象の高さを迅速に計測することができる。なお、第2のラインセンサは、例えば赤色、緑色、および青色をそれぞれ撮像する3本のラインセンサを含んでもよい。
 最後に、制御ユニット16の各機能ブロック、特に主制御部45は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
 すなわち、制御ユニット16は、各機能を実現する制御プログラムの命令を実行するCPU、上記プログラムを格納したROM、上記プログラムを展開するRAM、上記プログラム及び各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである制御ユニット16の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記制御ユニット16に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
 上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD-ROM/MO/MD/DVD/CD-R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
 また、制御ユニット16を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
 尚、発明を実施するための形態の項においてなした具体的な実施態様または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する特許請求の範囲内で、いろいろと変更して実施することができるものである。
 本発明によれば、計測レンジを維持しつつ、計測可能な高さを簡便に拡張できるので、例えば実装基板を検査する画像検査装置などに好適に適用することができる。
10 三次元形状計測システム(三次元形状計測装置)
11 搬送ユニット
12 計測対象
13 投光ユニット
14 光パタン
15 撮像ユニット
16 制御ユニット
17 計測ヘッド
18 z軸送り機構(変位部)
31 光源
32 パタン生成素子
33 光学系
34 ラインセンサ
35 光学系
41 搬送テーブル(取付台)
42 サーボモータ
43 リニアスケーラ
44 画像取得部
45 主制御部
46 記憶部
47 入力・設定部
48 搬送制御部
49 投光制御部
50 z軸送り制御部(変位部制御手段)
72 背景除去部
74 Hilbert変換部
75 位相算出部(位相算出手段)
76 位相差算出部
77 高さ算出部(高さ算出手段)
78 送り量算出部(変位部制御手段)
81 送り判定部(変位部制御手段)
82 位相差算出部(位相補正手段)
83 計測レンジ変更部(計測レンジ設定手段)

Claims (7)

  1.  計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、上記計測対象の三次元形状を計測する三次元形状計測装置であって、
     上記計測対象の高さの基準となる基準面を有し、上記計測対象が取り付けられる取付台と、
     上記計測対象および上記基準面に上記光パタンを投影し、投影した光パタンを撮像する計測ヘッドと、
     上記取付台および上記計測ヘッドの少なくとも一方の上記計測対象の高さ方向への変位を行わせる変位部と、
     上記計測ヘッドが撮像した画像に含まれる、或る画素における上記光パタンの位相を算出する位相算出手段と、
     該位相算出手段が算出した位相に基づいて、上記計測対象の高さを算出する高さ算出手段と、
     該高さ算出手段が算出した上記計測対象の高さに基づいて、上記変位部を制御する変位部制御手段とを備えており、
     上記高さ算出手段は、上記位相算出手段が算出した位相に基づいて高さを算出し、算出した高さを、上記取付台の基準面から上記計測ヘッドまでの高さの上記変位部による変位量に基づいて補正することにより、上記計測対象の高さを算出することを特徴とする三次元形状計測装置。
  2.  上記変位部制御手段は、上記高さ算出手段が上記計測対象の高さを算出すると、上記変位部に上記変位を行わせることを特徴とする請求項1に記載の三次元形状計測装置。
  3.  上記変位部制御手段は、上記高さ算出手段が算出した上記計測対象の高さが、上記位相が取り得る範囲を示す計測レンジに対応する高さ方向の範囲における端部に到達すると、上記変位部に上記変位を行わせることを特徴とする請求項1に記載の三次元形状計測装置。
  4.  上記変位部制御手段は、上記高さ算出手段が算出した上記計測対象の高さが、上記計測ヘッドの被写界深度に対応する範囲の端部に到達すると、上記変位部に上記変位を行わせており、
     上記位相算出手段が算出した位相を、上記位相が取り得る範囲を示す計測レンジに基づいて補正する位相補正手段をさらに備えており、
     上記高さ算出手段は、上記位相補正手段が補正した位相に基づいて高さを算出し、算出した高さを、上記変位量に基づいて補正することにより、上記計測対象の高さを算出しており、
     上記位相補正手段が補正した位相と、上記変位量とに基づいて、上記計測レンジを設定する計測レンジ設定手段をさらに備えることを特徴とする請求項1に記載の三次元形状計測装置。
  5.  上記計測ヘッドは、
     上記計測対象において上記光パタンが投影された領域である光パタン照射領域を撮像する第1のラインセンサと、
     上記計測対象において上記光パタンが投影されていない領域である光パタン非照射領域を撮像する第2のラインセンサとを備えており、
     上記位相算出手段が利用する画像は、第2のラインセンサが撮像した画像を利用して、第1のラインセンサが撮像した画像から背景成分を除去したものであることを特徴とする請求項1から4までの何れか1項に記載の三次元形状計測装置。
  6.  計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、上記計測対象の三次元形状を計測する三次元形状計測装置の三次元形状計測方法であって、
     上記計測対象と、該計測対象が取り付けられた取付台が有し、かつ上記計測対象の高さの基準となる基準面とに上記光パタンを投影し、投影した光パタンを撮像する計測ヘッドが撮像した画像に含まれる、或る画素における上記光パタンの位相を算出する位相算出ステップと、
     該位相算出ステップにて算出された位相に基づいて、上記計測対象の高さを算出する高さ算出ステップと、
     該高さ算出ステップにて算出された上記計測対象の高さに基づいて、上記取付台および上記計測ヘッドの少なくとも一方を上記計測対象の高さ方向に変位させる変位部を制御する変位部制御ステップとを含んでおり、
     上記高さ算出ステップは、上記位相算出ステップにて算出された位相に基づいて高さを算出し、算出した高さを、上記取付台の基準面から上記計測ヘッドまでの高さの上記変位部による変位量に基づいて補正することにより、上記計測対象の高さを算出していることを特徴とする三次元形状計測方法。
  7.  計測対象に投影された、位置に応じて周期的に輝度が変化する光パタンを解析することによって、上記計測対象の三次元形状を計測する三次元形状計測装置を動作させるための三次元形状計測プログラムであって、以下の各ステップをコンピュータに実行させるための三次元形状計測プログラム:
     上記計測対象と、該計測対象が取り付けられた取付台が有し、かつ上記計測対象の高さの基準となる基準面とに上記光パタンを投影し、投影した光パタンを撮像する計測ヘッドが撮像した画像に含まれる、或る画素における上記光パタンの位相を算出する位相算出ステップ;
     該位相算出ステップにて算出された位相に基づいて、上記計測対象の高さを算出する高さ算出ステップ;および
     該高さ算出ステップにて算出された上記計測対象の高さに基づいて、上記取付台および上記計測ヘッドの少なくとも一方を上記計測対象の高さ方向に変位させる変位部を制御する変位部制御ステップ、
     ここで、上記高さ算出ステップは、上記位相算出ステップにて算出された位相に基づいて高さを算出し、算出した高さを、上記取付台の基準面から上記計測ヘッドまでの高さの上記変位部による変位量に基づいて補正することにより、上記計測対象の高さを算出していることを特徴とする三次元形状計測プログラム。
PCT/JP2010/002193 2009-04-03 2010-03-26 三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム WO2010113450A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2010800141052A CN102365522B (zh) 2009-04-03 2010-03-26 三维形状计测装置、方法及程序
US13/256,965 US8705049B2 (en) 2009-04-03 2010-03-26 Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and three-dimensional shape measuring program
KR1020117020989A KR101257188B1 (ko) 2009-04-03 2010-03-26 3차원 형상 계측 장치, 3차원 형상 계측 방법 및 3차원 형상 계측 프로그램을 기록한 기록 매체
EP10758230.6A EP2416114A4 (en) 2009-04-03 2010-03-26 DEVICE FOR MEASURING THREE-DIMENSIONAL FORMS, METHOD FOR MEASURING THREE-DIMENSIONAL FORMS AND A PROGRAM FOR MEASURING THREE-DIMENSIONAL FORMS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009091413A JP4715944B2 (ja) 2009-04-03 2009-04-03 三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム
JP2009-091413 2009-04-03

Publications (1)

Publication Number Publication Date
WO2010113450A1 true WO2010113450A1 (ja) 2010-10-07

Family

ID=42827761

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/002193 WO2010113450A1 (ja) 2009-04-03 2010-03-26 三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム

Country Status (7)

Country Link
US (1) US8705049B2 (ja)
EP (1) EP2416114A4 (ja)
JP (1) JP4715944B2 (ja)
KR (1) KR101257188B1 (ja)
CN (1) CN102365522B (ja)
TW (1) TWI414750B (ja)
WO (1) WO2010113450A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110132431A (zh) * 2019-03-29 2019-08-16 黑龙江科技大学 一种图像灰度区间扩展的多频外差光栅绝对相位计算方法
WO2021009884A1 (ja) * 2019-07-17 2021-01-21 株式会社Fuji 検査装置および検査用画像の撮像方法
CN114608482A (zh) * 2022-05-11 2022-06-10 南昌昂坤半导体设备有限公司 曲率测量方法、系统、可读存储介质及计算机设备

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8854377B2 (en) 2011-02-24 2014-10-07 Intel Corporation Hierarchical motion blur rasterization
JP5832928B2 (ja) * 2012-02-17 2015-12-16 株式会社キーエンス 光学式変位計および測定対象物の計測方法
JP5832927B2 (ja) * 2012-02-17 2015-12-16 株式会社キーエンス 光学式変位計
US9200899B2 (en) 2012-03-22 2015-12-01 Virtek Vision International, Inc. Laser projection system and method
WO2013187202A1 (ja) * 2012-06-12 2013-12-19 株式会社島精機製作所 3次元計測装置及び3次元計測方法
US9756313B2 (en) * 2013-06-09 2017-09-05 Camtek Ltd. High throughput and low cost height triangulation system and method
DE102013111761B4 (de) * 2013-10-25 2018-02-15 Gerhard Schubert Gmbh Verfahren und Scanner zum berührungslosen Ermitteln der Position und dreidimensionalen Form von Produkten auf einer laufenden Fläche
WO2015133287A1 (ja) * 2014-03-07 2015-09-11 新日鐵住金株式会社 表面性状指標化装置、表面性状指標化方法及びプログラム
WO2015181974A1 (ja) * 2014-05-30 2015-12-03 ヤマハ発動機株式会社 部品データ生成装置及び表面実装機並びに部品データ生成方法
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) * 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
DE112016001559T5 (de) 2015-03-31 2018-01-04 Sony Corporation Abbildungssystem, das strukturiertes Licht zur Tiefenrückgewinnung nutzt
CN105157612B (zh) * 2015-05-19 2018-07-20 南昌航空大学 一种基于脉冲宽度调制条纹的三维测量方法
JP6110897B2 (ja) * 2015-06-23 2017-04-05 Ckd株式会社 三次元計測装置
JP6109255B2 (ja) * 2015-07-14 2017-04-05 Ckd株式会社 三次元計測装置
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
TWI570387B (zh) 2015-11-09 2017-02-11 財團法人工業技術研究院 影像測距系統、光源模組及影像感測模組
DE102015121673B4 (de) * 2015-12-11 2019-01-10 SmartRay GmbH Formermittlungsverfahren
JP6259806B2 (ja) * 2015-12-24 2018-01-10 Ckd株式会社 三次元計測装置
JP6631261B2 (ja) * 2016-01-14 2020-01-15 セイコーエプソン株式会社 画像認識装置、画像認識方法および画像認識ユニット
JP6809128B2 (ja) * 2016-10-24 2021-01-06 富士通株式会社 画像処理装置、画像処理方法、および画像処理プログラム
TWI651513B (zh) 2016-11-15 2019-02-21 財團法人工業技術研究院 三維量測系統及其方法
CN107084680B (zh) * 2017-04-14 2019-04-09 浙江工业大学 一种基于机器单目视觉的目标深度测量方法
JP6997541B2 (ja) * 2017-05-31 2022-01-17 株式会社キーエンス 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6917781B2 (ja) * 2017-05-31 2021-08-11 株式会社キーエンス 画像検査装置
JP6897398B2 (ja) * 2017-07-31 2021-06-30 セイコーエプソン株式会社 三次元形状測定装置、ロボットシステム、及び三次元形状測定方法
JP7224112B2 (ja) * 2018-05-21 2023-02-17 Juki株式会社 縫製システム
EP4269940A3 (en) * 2018-10-15 2023-11-29 Koh Young Technology Inc. Device and method for inspection
JP2020071060A (ja) * 2018-10-29 2020-05-07 株式会社ミツトヨ 形状測定装置
JP7393737B2 (ja) * 2020-02-27 2023-12-07 オムロン株式会社 画像検査装置及び画像検査方法
CN111221049B (zh) * 2020-03-18 2022-08-26 苏州瑞迈斯医疗科技有限公司 一种三维断层成像设备
KR102413180B1 (ko) * 2020-06-02 2022-06-27 이노포토닉스 주식회사 검사대상물의 3차원 이미지 가공장치 및 이를 이용한 불량품 선별 장치
JP7530763B2 (ja) * 2020-08-06 2024-08-08 Towa株式会社 切断装置、及び、切断品の製造方法
CN113160155B (zh) * 2021-04-09 2023-11-28 深圳市华星光电半导体显示技术有限公司 辅间隔物最高点确定方法、装置、电子设备及存储介质
CN114234847B (zh) * 2021-12-08 2024-01-30 苏州恒视智能科技有限公司 一种光栅投影系统及光栅相移高度测量自动校正补偿方法
TWI813095B (zh) * 2021-12-10 2023-08-21 財團法人工業技術研究院 三維量測系統及其校正方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6056209U (ja) * 1983-09-26 1985-04-19 三菱重工業株式会社 非接触形変位検出装置
JPH05340724A (ja) * 1992-06-09 1993-12-21 Mitsubishi Heavy Ind Ltd 光学式測定装置
JPH11351858A (ja) * 1998-06-09 1999-12-24 Mitsutoyo Corp 非接触三次元測定装置
JP2002214147A (ja) 2001-01-12 2002-07-31 Nissan Motor Co Ltd 表面欠陥検査装置
JP2002286433A (ja) 2001-03-27 2002-10-03 Wakayama Univ 連続移動物体のリアルタイム形状計測方法及びシステム
JP2004117186A (ja) 2002-09-26 2004-04-15 Mitsutoyo Corp 3次元形状測定装置
JP2005300512A (ja) 2004-03-18 2005-10-27 Ricoh Co Ltd 表面欠陥検査装置、表面欠陥検査方法、その方法をコンピュータに実行させるプログラム
JP2007114071A (ja) 2005-10-20 2007-05-10 Omron Corp 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法
JP2009031150A (ja) * 2007-07-27 2009-02-12 Omron Corp 三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5786710A (en) * 1980-11-19 1982-05-29 Yokogawa Hokushin Electric Corp Measuring device for three-dimensional configuration
US4794550A (en) * 1986-10-15 1988-12-27 Eastman Kodak Company Extended-range moire contouring
US5953448A (en) * 1996-03-01 1999-09-14 Textile/Clothing Technology Corporation Contour measurement of an object having a discontinuous surface using block point identification techniques
CA2277855A1 (fr) * 1999-07-14 2001-01-14 Solvision Methode et systeme de mesure de la hauteur des billes de soudure d'un circuit imprime
US6788210B1 (en) * 1999-09-16 2004-09-07 The Research Foundation Of State University Of New York Method and apparatus for three dimensional surface contouring and ranging using a digital video projection system
US6937350B2 (en) * 2001-06-29 2005-08-30 Massachusetts Institute Of Technology Apparatus and methods for optically monitoring thickness
US7286246B2 (en) * 2003-03-31 2007-10-23 Mitutoyo Corporation Method and apparatus for non-contact three-dimensional surface measurement
US20080117438A1 (en) * 2006-11-16 2008-05-22 Solvision Inc. System and method for object inspection using relief determination
US8605983B2 (en) * 2007-08-17 2013-12-10 Renishaw Plc Non-contact probe

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6056209U (ja) * 1983-09-26 1985-04-19 三菱重工業株式会社 非接触形変位検出装置
JPH05340724A (ja) * 1992-06-09 1993-12-21 Mitsubishi Heavy Ind Ltd 光学式測定装置
JPH11351858A (ja) * 1998-06-09 1999-12-24 Mitsutoyo Corp 非接触三次元測定装置
JP2002214147A (ja) 2001-01-12 2002-07-31 Nissan Motor Co Ltd 表面欠陥検査装置
JP2002286433A (ja) 2001-03-27 2002-10-03 Wakayama Univ 連続移動物体のリアルタイム形状計測方法及びシステム
JP2004117186A (ja) 2002-09-26 2004-04-15 Mitsutoyo Corp 3次元形状測定装置
JP2005300512A (ja) 2004-03-18 2005-10-27 Ricoh Co Ltd 表面欠陥検査装置、表面欠陥検査方法、その方法をコンピュータに実行させるプログラム
JP2007114071A (ja) 2005-10-20 2007-05-10 Omron Corp 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法
JP2009031150A (ja) * 2007-07-27 2009-02-12 Omron Corp 三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUJIGAKI ET AL.: "Grating Projecting Method on Shape Measurement for Continuous Object by Multiple Linear Sensors", PROCEEDINGS OF JSPE AUTUMN MEETING, THE JAPAN SOCIETY FOR PRECISION ENGINEERING, 2004, pages 1061 - 1062
See also references of EP2416114A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110132431A (zh) * 2019-03-29 2019-08-16 黑龙江科技大学 一种图像灰度区间扩展的多频外差光栅绝对相位计算方法
WO2021009884A1 (ja) * 2019-07-17 2021-01-21 株式会社Fuji 検査装置および検査用画像の撮像方法
CN114608482A (zh) * 2022-05-11 2022-06-10 南昌昂坤半导体设备有限公司 曲率测量方法、系统、可读存储介质及计算机设备

Also Published As

Publication number Publication date
CN102365522B (zh) 2013-08-07
US8705049B2 (en) 2014-04-22
EP2416114A1 (en) 2012-02-08
EP2416114A4 (en) 2015-06-24
JP4715944B2 (ja) 2011-07-06
JP2010243296A (ja) 2010-10-28
KR101257188B1 (ko) 2013-04-22
TWI414750B (zh) 2013-11-11
KR20110126669A (ko) 2011-11-23
US20120019836A1 (en) 2012-01-26
CN102365522A (zh) 2012-02-29
TW201042235A (en) 2010-12-01

Similar Documents

Publication Publication Date Title
JP4715944B2 (ja) 三次元形状計測装置、三次元形状計測方法、および三次元形状計測プログラム
JP4924042B2 (ja) 三次元形状計測装置及びその校正方法、プログラム、並びにコンピュータ読み取り可能な記録媒体
JP2007114071A (ja) 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法
US8199335B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
JP4744610B2 (ja) 三次元計測装置
JP2009036589A (ja) 校正用ターゲット、校正支援装置、校正支援方法、および校正支援プログラム
JP2006003212A (ja) 位相計測システム
TW201033579A (en) Three dimensional measuring device
JP6027220B1 (ja) 三次元計測装置
JP5612969B2 (ja) 外観検査装置及び外観検査方法
KR20120038072A (ko) 측정장치 및 이의 보정방법
JP5957575B1 (ja) 三次元計測装置
JP5822463B2 (ja) 三次元計測装置、三次元計測方法、およびプログラム
JP5566707B2 (ja) 外観検査装置及び外観検査方法
JP4011561B2 (ja) 三次元計測装置
JP2006084286A (ja) 3次元計測方法とその計測装置
JP2012211905A (ja) 三次元形状計測装置、プログラム、コンピュータ読み取り可能な記録媒体、及び三次元形状計測方法
JP2009014571A (ja) 三次元形状計測装置、三次元形状計測方法
CN107923736B (zh) 三维测量装置
JP6126640B2 (ja) 三次元計測装置及び三次元計測方法
KR20130023305A (ko) 측정장치 및 이의 보정방법
JP2012073188A (ja) 光量決定装置、位置検出装置、描画装置、および、光量決定方法
JP6894348B2 (ja) 検査装置の高さ情報の取得方法及び検査装置
JP2002081924A (ja) 三次元計測装置
JP2022046063A (ja) 三次元形状計測方法および三次元形状計測装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080014105.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10758230

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20117020989

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2010758230

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13256965

Country of ref document: US