WO2012150659A1 - 形状認識方法、形状認識装置及び実装基板生産装置 - Google Patents

形状認識方法、形状認識装置及び実装基板生産装置 Download PDF

Info

Publication number
WO2012150659A1
WO2012150659A1 PCT/JP2012/002867 JP2012002867W WO2012150659A1 WO 2012150659 A1 WO2012150659 A1 WO 2012150659A1 JP 2012002867 W JP2012002867 W JP 2012002867W WO 2012150659 A1 WO2012150659 A1 WO 2012150659A1
Authority
WO
WIPO (PCT)
Prior art keywords
change light
imaging
luminance
line
luminance change
Prior art date
Application number
PCT/JP2012/002867
Other languages
English (en)
French (fr)
Inventor
環樹 小倉
勇一 佐藤
健一 戒田
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2012150659A1 publication Critical patent/WO2012150659A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G01B11/2522—Projection by scanning of the object the position of the object changing and being recorded

Definitions

  • the present invention relates to a shape recognition method for recognizing the shape of an object, a shape recognition device, and a mounting board production device for recognizing the shape of a component by the shape recognition device.
  • a mounting board production system for producing a mounting board on which a component is mounted includes a mounting board production apparatus such as a component mounting apparatus for mounting a component on a board or an inspection apparatus for inspecting a component mounted on a board.
  • a mounting board production apparatus such as a component mounting apparatus for mounting a component on a board or an inspection apparatus for inspecting a component mounted on a board.
  • the shape of the component adsorbed on the nozzle is recognized before the component is mounted.
  • the inspection apparatus recognizes the shape of the component on the substrate in order to inspect the mounting state of the component on the substrate. For this reason, in order to produce a mounting board with high accuracy, it is necessary to accurately recognize the shapes of these components.
  • a phase shift method in which a plurality of sinusoidal fringe pattern lights having different phases are projected onto an object, the object is imaged with a camera, and the shape of the object is recognized.
  • sine wave fringe pattern light that can represent luminance changes as a sine wave is projected onto the object multiple times while shifting the phase of the sine wave, and the object is imaged each time the sine wave fringe pattern light is projected. To do.
  • the object must be imaged a plurality of times while shifting the phase of the sine wave of the sine wave fringe pattern light in order to recognize the shape of the object.
  • this method has a problem that it takes time to recognize the shape of the object.
  • the component mounting apparatus it is necessary to recognize the shape of the component while moving the component sucked by the nozzle at a high speed. For this reason, it is difficult to recognize the shape of the object using the phase shift method according to the first prior art that takes a long time to recognize the shape of the object.
  • the shape of the object can be recognized while moving the object.
  • the luminance change direction of the sinusoidal fringe pattern light is different from the arrangement direction of the plurality of line sensors. For this reason, there is a problem that it is difficult to adjust the positions of the imaging unit and the projection unit that projects the sinusoidal fringe pattern light before the shape recognition process. That is, in the position adjustment, sinusoidal fringe pattern light is projected onto a reference plane where no object exists, and the reference plane is imaged by the imaging unit.
  • the position adjustment is performed by changing the position of the imaging unit or the projection unit so that the image data obtained by imaging has a desired pattern. In such position adjustment, the luminance of a plurality of pixels on each line sensor changes only by slightly changing the position of the imaging unit or projection unit. Therefore, the position adjustment between the imaging unit and the projection unit is complicated and difficult.
  • the present invention has been made to solve the above-described problems, and can recognize the shape of an object at high speed and can easily adjust the position of an imaging unit and a projection unit. It is an object to provide a method, a shape recognition apparatus, and a mounting board production apparatus.
  • a shape recognition method is a shape recognition method for recognizing a shape of an object, and a plurality of lines arranged in parallel to each other on a reference plane for imaging an object.
  • the line-shaped imaging region has the same luminance distribution, and the luminance change light whose luminance periodically changes in the direction of arrangement of the plurality of line-shaped imaging regions is changed to the reference plane.
  • the line-shaped imaging region while moving an object relative to the arrangement direction of the plurality of line-shaped imaging regions, the line-shaped imaging region has the same luminance distribution and periodically has a plurality of luminances.
  • the shape of the object is recognized by imaging the object when the luminance-changing light that changes in the direction in which the line-shaped imaging regions are arranged passes through each line-shaped imaging region projected obliquely with respect to the reference plane.
  • the imaging is performed in a linear imaging region, that is, the imaging of each linear imaging region only needs to be performed for one line, so the processing load for imaging is small. For this reason, it is possible to image an object that moves at high speed.
  • the luminance change light has the same luminance distribution in the line-shaped imaging region in each line-shaped imaging region.
  • each of the luminance change lights is from different oblique directions with respect to the reference plane, and is parallel to each other on the reference plane and periodically has a plurality of line-like luminances.
  • the first luminance change light and the second luminance change light that change in the arrangement direction of the imaging regions are projected.
  • brightness change light is projected from both sides of the object.
  • the luminance change light may be blocked by a part of the object and not projected onto the object. Therefore, by projecting the luminance change light from both sides of the object, the luminance change light can be projected on the object without being blocked by a part of the object.
  • the first brightness change light and the second brightness change light are projected on the reference plane so that the first brightness change light and the second brightness change light do not overlap.
  • the imaging step includes the first plurality of line-shaped imaging regions arranged on the reference surface and on the region on the reference surface where the first luminance change light is projected.
  • a second imaging step of imaging at the time of passing through each of the second plurality of line-shaped imaging regions, and the recognition step is imaged in each of the first imaging step and the second imaging step Image data of the object Using recognizes the shape of the object in accordance with the phase shift method.
  • the first luminance change light and the second luminance change light are projected on the reference plane so as not to overlap. Therefore, since the luminance change light for recognizing the shape of the object can be effectively used, the object shape recognition range can be expanded.
  • first luminance change light and the second luminance change light may have different wavelengths.
  • a plurality of brightness change lights having different wavelengths are projected. For example, when it is necessary to recognize the shape of an object colored in red and an object colored in blue, the object that is colored red is projected with blue luminance change light and colored in blue
  • the shapes of the two objects can be recognized by projecting the red luminance change light onto the object. As described above, by projecting a plurality of brightness change lights having different wavelengths according to the state of the object, various shapes of the object can be recognized.
  • the first brightness change light and the second brightness change light are projected on the reference plane so that the first brightness change light and the second brightness change light overlap, and the imaging is performed.
  • the step the light of the wavelength of the first luminance change light and the light of the wavelength of the second luminance change light are separated, and the reflected wave on the object at each wavelength is imaged, thereby imaging the object.
  • the recognition step the shape of the object is recognized according to a phase shift method using image data of the object at the respective wavelengths of the first luminance change light and the second luminance change light.
  • an object is imaged by separating light having the wavelength of the first luminance change light and light having the wavelength of the second luminance change light. For this reason, it is possible to simultaneously capture the reflected light having the wavelength of the first luminance change light and the reflected light having the wavelength of the second luminance change light using the same imaging unit. Therefore, the number of imaging units can be reduced as compared with the case where imaging units are provided for each wavelength.
  • the luminance change light has a luminance distribution indicated by a sine wave in a direction perpendicular to the reference plane, and a luminance indicated by a sine wave in an arrangement direction of the plurality of line-shaped imaging regions.
  • the number of the line-shaped imaging areas is N and the phase of the luminance distribution of the projected luminance change light is (2 ⁇ / N) between the adjacent line-shaped imaging areas. ) Radians different.
  • phase of the luminance distribution of the luminance change light changes by 2 ⁇ radians during one period. For this reason, by determining the phase of the luminance distribution of the luminance change light as described above, the phase shift method is used to determine the position change of the luminance distribution from the luminance of the object in the plurality of line-shaped imaging regions. Can be estimated with high accuracy. Therefore, the shape of the object can be recognized with high accuracy.
  • the recognition step includes a sine wave estimation step of estimating a sine wave indicating a position change of a luminance distribution from the luminance of an object in the plurality of line-shaped imaging regions imaged in the imaging step;
  • the height of the object is calculated from a phase difference between a sine wave indicating a change in luminance distribution in the arrangement direction of the plurality of line-shaped imaging regions on the reference plane and the sine wave estimated by the sine wave estimation step.
  • a shape recognition device is a shape recognition device for recognizing the shape of an object, in a plurality of line-shaped imaging regions arranged in parallel to each other on a reference plane for imaging the object.
  • the brightness change light having the same brightness distribution in the line-shaped imaging area and the brightness periodically changing in the arrangement direction of the plurality of line-shaped imaging areas is obliquely with respect to the reference plane.
  • a recognition unit that recognizes the shape of the object according to a phase shift method using image data of the object imaged by the unit.
  • the line-shaped imaging region while moving the object relative to the arrangement direction of the plurality of line-shaped imaging regions, the line-shaped imaging region has the same luminance distribution and periodically has a plurality of luminances.
  • the shape of the object is recognized by imaging the object when the luminance-changing light that changes in the direction in which the line-shaped imaging regions are arranged passes through each line-shaped imaging region projected obliquely with respect to the reference plane.
  • the imaging is performed in a linear imaging region, that is, the imaging of each linear imaging region only needs to be performed for one line, so the processing load for imaging is small. For this reason, it is possible to image an object that moves at high speed.
  • the luminance change light has the same luminance distribution in the line-shaped imaging region in each line-shaped imaging region.
  • the projection unit projects the first luminance change light, which is the luminance change light, obliquely with respect to the reference surface, and the first projection from an oblique direction with respect to the reference surface.
  • a second projection unit that projects the second luminance change light that is the luminance change light in a direction different from the projection direction of the first luminance change light by the unit, and the first luminance change light and the second luminance change Lights are parallel to each other on the reference plane, and the luminance periodically changes in the direction in which the plurality of line-shaped imaging regions are arranged.
  • the first luminance change light and the second luminance change light that are parallel to each other on the reference plane from both sides of the object and whose luminance periodically changes in the arrangement direction of the plurality of line-shaped imaging regions are projected.
  • the luminance change light may be blocked by a part of the object and not projected onto the object. Therefore, by projecting the luminance change light from both sides of the object, the luminance change light can be projected on the object without being blocked by a part of the object.
  • the first projecting unit and the second projecting unit may prevent the first brightness changing light and the second brightness changing light from overlapping with each other on the reference plane. Two brightness change lights are respectively projected.
  • the imaging unit is a first plurality of line-shaped imaging regions arranged on the reference surface on a region on the reference surface on which the first luminance change light is projected.
  • a first imaging unit that images the object that moves relative to the direction in which the line-shaped imaging regions are aligned when passing through each of the first plurality of line-shaped imaging regions, and the reference plane, The object that moves relative to the arrangement direction of the second plurality of line-shaped imaging areas that are the plurality of line-shaped imaging areas arranged on the area on the reference plane where the second luminance change light is projected
  • a second imaging unit that captures images when each of the second plurality of linear imaging regions passes, and the recognition unit is captured in each of the first imaging unit and the second imaging unit Using the image data of the object, the object according to the phase shift method Recognize the shape.
  • the first luminance change light and the second luminance change light are projected on the reference plane so as not to overlap.
  • first luminance change light and the second luminance change light may have different wavelengths.
  • a plurality of brightness change lights having different wavelengths are projected. For example, when it is necessary to recognize the shape of an object colored in red and an object colored in blue, the object that is colored red is projected with blue luminance change light and colored in blue
  • the shapes of the two objects can be recognized by projecting the red luminance change light onto the object. As described above, by projecting a plurality of brightness change lights having different wavelengths according to the state of the object, various shapes of the object can be recognized.
  • the present invention can be realized not only as such a shape recognition method and shape recognition device but also as a shape recognition device for recognizing a component mounted on a substrate or inspecting a component mounted on a substrate. It can also be realized as a mounting board production apparatus comprising Further, it can be realized as a program for causing a computer to execute characteristic processing included in the shape recognition method or an integrated circuit including the processing unit. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM and a transmission medium such as the Internet.
  • a shape recognition method capable of recognizing the shape of an object at high speed and easily adjusting the position of an imaging unit and a projection unit. be able to.
  • FIG. 1 is an external view showing a configuration of a mounting board production system according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing a configuration of the shape recognition device provided in the inspection device according to Embodiment 1 of the present invention.
  • FIG. 3 is a view of the shape recognition apparatus shown in FIG. 2 as viewed along the Y-axis direction.
  • FIG. 4 is a diagram illustrating the luminance distribution of the luminance change light.
  • FIG. 5 is a diagram illustrating an example of luminance change light projected onto the reference plane in the absence of an object.
  • FIG. 6 is a block diagram showing a functional configuration of the shape recognition apparatus according to Embodiment 1 of the present invention.
  • FIG. 1 is an external view showing a configuration of a mounting board production system according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing a configuration of the shape recognition device provided in the inspection device according to Embodiment 1 of the present invention.
  • FIG. 3 is
  • FIG. 7 is a flowchart showing an example of the operation of the shape recognition apparatus according to Embodiment 1 of the present invention.
  • FIG. 8 is a diagram for explaining the phase difference.
  • FIG. 9 is a diagram showing a configuration of a shape recognition apparatus according to Embodiment 2 of the present invention.
  • FIG. 10 is a diagram illustrating an example of the second luminance change light projected on the reference plane in the absence of an object.
  • FIG. 11 is a diagram showing a configuration of a shape recognition apparatus according to Embodiment 3 of the present invention.
  • (A) of FIG. 12 is a diagram illustrating an example of the first luminance change light projected on the reference plane in the absence of an object, and (b) is projected on the reference plane in the absence of an object.
  • FIG. 13 is a diagram illustrating the configuration of the color line sensor.
  • FIG. 14 is a diagram illustrating a configuration of the line sensor unit.
  • FIG. 15 is a diagram for explaining an imaging method using a color line sensor.
  • FIG. 16 is a diagram for explaining a problem when the first luminance change light and the second luminance change light have the same wavelength and the same phase.
  • FIG. 1 is an external view showing a configuration of a mounting board production system 10 according to Embodiment 1 of the present invention.
  • the mounting board production system 10 is a system that transports the board 20 from an upstream mounting board production apparatus to a downstream mounting board production apparatus, and produces a mounting board 20a in which components such as electronic components are mounted on the board 20.
  • the mounting board production system 10 includes two component mounting apparatuses 200, a printing apparatus 300, three inspection apparatuses 400, an adhesive application apparatus 500, and a reflow furnace 600 as mounting board production apparatuses. ing.
  • the configuration of the mounting board production system 10 is an example, and is not limited to the configuration shown in FIG.
  • the component mounting apparatus 200 is an apparatus for mounting components on the board 20.
  • the printing apparatus 300 is a screen printing machine that screen-prints a solder paste, which is a paste solder, on the surface of the substrate 20.
  • the adhesive application device 500 is a device that applies an adhesive onto the substrate 20.
  • the reflow furnace 600 is a device that fixes the component on the substrate 20 after melting the solder or the like by heating the substrate 20 on which the component is mounted.
  • the inspection device 400 is a device for inspecting the state on the substrate 20.
  • the three inspection apparatuses 400 include an inspection apparatus 400 that inspects the appearance of the soldering state by the printing apparatus 300, and an inspection apparatus 400 that inspects the mounting state of components on the board 20 by the component mounting apparatus 200. And an inspection apparatus 400 for inspecting the mounting state of the components on the substrate 20 after the heat treatment by the reflow furnace 600.
  • the inspection device 400 includes a shape recognition device 100 that recognizes the shape of a component on the substrate 20 in order to inspect the mounting state of the component on the substrate 20.
  • FIG. 2 is a diagram showing a configuration of the shape recognition device 100 included in the inspection device 400 according to Embodiment 1 of the present invention.
  • the shape recognition device 100 is a device that recognizes the shape of an object 30 such as a component on a board.
  • the shape recognition apparatus 100 includes a projection unit 130 and an imaging unit 140.
  • the object 30 moves relative to the shape recognition apparatus 100 in the X-axis direction in FIG. That is, the shape recognition device 100 may move with respect to the object 30, or the object 30 may move with respect to the shape recognition device 100.
  • the movement of the object 30 is performed by placing the object 30 on a belt conveyor and transporting it, or moving a component that is sucked and held by a tool of a mounting head that mounts the component on a substrate. It is done by letting.
  • the positional relationship between the object 30 and the shape recognizing device 100 is arranged upside down from that shown in FIG.
  • the imaging unit is arranged below the component held by the tool
  • the projection unit 130 is arranged obliquely below the component held by the tool (not shown).
  • the projection unit 130 has the same luminance distribution in the line-shaped imaging regions 41 to 44 arranged in parallel to each other on the reference plane 40, and the luminance periodically varies.
  • This is a light source that projects luminance change light that changes in the arrangement direction of the plurality of line-shaped imaging regions 41 to 44 from an oblique direction relative to the reference plane 40 in the relative movement direction of the object 30.
  • This light source is composed of a projection optical system such as a projector, and can be realized by DMD (Digital Mirror Device) or liquid crystal. Note that the luminance change light is light having a sinusoidal fringe pattern.
  • the object 30 arranged on the reference plane 40 is directed to the reference plane 40 in the X-axis direction of FIG.
  • the projecting unit 130 projects the luminance change light on the relatively moving object surface 30 on the reference plane 40 from the oblique direction in the X-axis direction.
  • the imaging unit 140 moves the object 30 that moves relatively on the reference plane 40 in the arrangement direction (X-axis direction) of the plurality of line-shaped imaging regions 41 to 44 extending in the Y-axis direction. Take an image when passing. It is assumed that the X coordinates of the line-shaped imaging areas 41, 42, 43, and 44 are 0, x1, x2, and x3, respectively.
  • the imaging unit 140 includes line sensors 141 to 144, and the line-shaped imaging areas 41 to 44 correspond to the imaging areas of the line sensors 141 to 144 on the reference plane 40, respectively. Each of the line sensors 141 to 144 is arranged extending in the Y-axis direction in the figure.
  • the line sensor 144, 143, 142, and 141 has the line-shaped imaging regions 44, 43, 42, and 141 that move the object 30 that moves on the reference plane 40 from the right direction to the left direction in the X-axis direction of FIG. Images are sequentially taken at 41 positions (X coordinates x3, x2, x1, 0 positions).
  • FIG. 3 is a view of the shape recognition apparatus 100 shown in FIG. 2 as viewed along the Y-axis direction.
  • the projection unit 130 projects the luminance change light onto the reference plane 40 from the diagonally upper right side in the X-axis direction in FIG.
  • This luminance change light is light (light having a sinusoidal fringe pattern) in which the change in position of the luminance distribution can be indicated by a sine wave.
  • the luminance distribution of the luminance change light is a luminance distribution on the reference plane 40 in a plurality of line-shaped imaging areas, a luminance curve indicated by the X coordinate on the horizontal axis and the luminance on the vertical axis.
  • the waveform of the luminance distribution is indicated by a sine wave.
  • phase of the sine wave is 0 radians, ( ⁇ / 2) radians, and ⁇ radians. And (3 ⁇ / 2) radians.
  • the number of line-shaped imaging regions is N
  • the phase of the luminance distribution of the luminance change light is (2 ⁇ / N) between adjacent line-shaped imaging regions. Different radians.
  • FIG. 5 is a diagram illustrating an example of the luminance change light projected onto the reference plane 40 in the absence of the object 30.
  • the light is the brightest in the line-shaped imaging region 42 with the X coordinate x1, and the X coordinate is x3. It becomes the darkest in the line-shaped imaging region 44.
  • the luminance change light is projected obliquely from above in the X-axis direction with respect to the reference plane 40.
  • the luminance change light has a luminance distribution indicated by a sine wave in a direction perpendicular to the reference plane 40 (Z-axis direction), and an arrangement direction (X-axis) of the plurality of line-shaped imaging regions 41 to 44.
  • (Direction) has a luminance distribution indicated by a sine wave.
  • the luminance change light has the same (uniform) luminance distribution in the line-shaped imaging region.
  • FIG. 6 is a block diagram showing a functional configuration of the shape recognition apparatus 100 according to Embodiment 1 of the present invention.
  • the shape recognition apparatus 100 includes a shape recognition control unit 101 that controls each unit in addition to the projection unit 130 and the imaging unit 140 shown in FIG.
  • the shape recognition control unit 101 is a computer that controls each unit incorporated in the inspection apparatus 400, but may be realized by a general-purpose computer system such as a personal computer executing a program.
  • the shape recognition control unit 101 includes a projection processing unit 102, an imaging processing unit 103, and a recognition unit 104.
  • the projection processing unit 102 controls the projection unit 130. Specifically, the projection processing unit 102 causes the projection unit 130 to project luminance change light onto the reference plane 40.
  • the imaging processing unit 103 controls the imaging unit 140. Specifically, the imaging processing unit 103 moves relatively in the imaging unit 140 in the arrangement direction (X direction) of the plurality of linear imaging regions 41 to 44 arranged in parallel with each other on the reference plane 40. At least the same measurement position in the object 30 to be imaged is sequentially imaged when passing through each linear imaging region on the reference plane 40. Note that the imaging processing unit 103 controls the imaging timing of the object 30 by the line sensors 141 to 144 so that each of the line sensors 141 to 144 images the same position of the object 30.
  • the recognition unit 104 recognizes the shape of the object 30 according to the phase shift method using the image data of the object 30 captured by the imaging unit 140. Specifically, the recognition unit 104 recognizes the shape of the object 30 by detecting the height of the object 30 from the image data.
  • the shape recognition control unit 101 may include a display unit such as a CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display), an input unit such as a keyboard or a mouse, and the like.
  • a display unit such as a CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display)
  • LCD Liquid Crystal Display
  • FIG. 7 is a flowchart showing an example of the operation of the shape recognition apparatus 100 according to Embodiment 1 of the present invention.
  • the projection unit 130 projects the luminance change light onto the reference plane 40 according to the instruction from the projection processing unit 102 (S102). That is, as shown in FIG. 3, the projection unit 130 projects the luminance change light from the right oblique side in the X axis direction on the object 30 that moves relatively on the reference plane 40 in the X axis direction.
  • imaging unit 140 is relative to the arrangement direction (X direction) of a plurality of linear imaging regions 41 to 44 arranged in parallel with each other on reference surface 40.
  • the moving object 30 is imaged as it passes through each line-shaped imaging region on the reference plane 40 (S104). That is, for example, as shown in FIG. 3, a point P that is the height of the object 30 that moves relative to the left direction from the illustrated right direction in the X-axis direction in the X-axis direction in FIG. 143, 142, and 141 sequentially capture images at positions of X coordinates x3, x2, x1, and 0.
  • the line sensor 144 when the point P on the object 30 is at the position of the X coordinate x3, the light reflected on the object 30 as the position 34 is received by the line sensor 144.
  • the line sensor 141 at the position of the X coordinate 0, the light reflected on the object 30 as the position 31 is received by the line sensor 141.
  • the phase of the luminance change light projected at the position of the X coordinate x3 on the reference plane 40 is (3 ⁇ / 2) radians.
  • the phase of the luminance change light projected as the position 31 on the point P on the object 30 having the same X coordinate x3 is not (3 ⁇ / 2) radians, but approaches ⁇ radians.
  • a sine wave 81 indicating a change in position of the luminance distribution of the luminance change light on the reference plane 40
  • a sine wave 82 indicating a change in position of the luminance distribution of the luminance change light at the point P on the object 30.
  • the vertical axis and horizontal axis of the graph are the same as the graph shown in FIG.
  • the sine wave 81 and the sine wave 82 are shifted in phase by ⁇ . If the height of the object 30 is 0, the phase difference ⁇ is 0, but the value of the phase difference ⁇ increases as the height of the object 30 increases. In the phase shift method, the height of the object 30 is obtained from this phase difference ⁇ .
  • the recognition unit 104 recognizes the shape of the object 30 according to the phase shift method using the image data of the point P of the object 30 captured by the imaging unit 140 (S106). Specifically, when the luminance of the image data of the point P of the object 30 located at the X coordinates 0, x1, x2, and x3 is set to a, b, c, and d, respectively, the recognition unit 104 performs a sine wave.
  • the phase ⁇ of 82 is calculated according to Equation 1 below.
  • the recognition unit 104 recognizes the shape of the object 30 by calculating the phase difference ⁇ from the calculated phase ⁇ and calculating the height of the point P of the object 30 from the phase difference ⁇ . Furthermore, the more detailed the shape of the object 30 can be recognized as a plurality of measurement points on the object 30 are measured.
  • the method for calculating the height of the object 30 from the phase difference ⁇ is a known technique as a phase shift method, and is not the main point of the present invention, so a detailed description thereof will be omitted.
  • the process of recognizing the shape of the object by the shape recognition apparatus 100 ends.
  • the luminance change light is generated while moving the object relative to the arrangement direction (X-axis direction) of the plurality of line-shaped imaging regions.
  • the shape of the object is recognized by imaging the object when passing through each line-shaped imaging region projected obliquely with respect to the reference plane 40.
  • the luminance change light is light having the same luminance distribution in the line-shaped imaging region and periodically changing the luminance in the arrangement direction (X-axis direction) of the plurality of line-shaped imaging regions.
  • the imaging is performed in a linear imaging region, that is, the imaging of each linear imaging region only needs to be performed for one line, so the processing load for imaging is small. For this reason, it is possible to image an object that moves at high speed.
  • the luminance change light has the same luminance distribution in each line-shaped imaging region. For this reason, when adjusting the position of the imaging unit that performs imaging and the projection unit that performs projection, luminance change light is projected onto a reference plane where no object exists, and the reference plane is captured by the imaging unit. At this time, the position adjustment is performed so that the image data obtained by imaging has the same luminance in the linear imaging region. Position adjustment so as to have the same luminance is easier than position adjustment so that image data obtained by imaging has a desired pattern. Therefore, the shape of the object can be recognized at high speed, and the position adjustment between the imaging unit and the projection unit can be easily performed.
  • the phase of the luminance distribution of the luminance change light changes by 2 ⁇ radians during one period. For this reason, by determining the phase of the luminance distribution of the luminance change light as described above, the phase shift method is used to determine the position change of the luminance distribution from the luminance of the object in the plurality of line-shaped imaging regions. Can be estimated with high accuracy. Therefore, the shape of the object can be recognized with high accuracy.
  • FIG. 9 is a diagram showing a configuration of the shape recognition apparatus 110 according to Embodiment 2 of the present invention.
  • the shape recognition apparatus 110 includes a first projection unit 130a and a second projection unit 130b instead of the projection unit 130 in the first embodiment shown in FIG.
  • the first imaging unit 140a and the second imaging unit 140b are provided.
  • the configuration of the first projection unit 130a and the second projection unit 130b is the same as that of the projection unit 130, and the configuration of the first imaging unit 140a and the second imaging unit 140b is the same as that of the imaging unit 140. Absent.
  • the first projecting unit 130a projects the first brightness change light, which is the brightness change light, from the right oblique direction in the X-axis direction on the reference plane 40.
  • the second projection unit 130b is a second luminance change light that is the above-described luminance change light in a direction different from the projection direction of the first luminance change light by the first projection unit 130a from the left oblique direction with respect to the reference plane 40 in the X-axis direction. Project light.
  • the first projection unit 130 a projects the first luminance change light in the X-axis direction in the diagonally lower left direction
  • the second projection unit 130 b is in the X-axis direction in the diagonally lower right direction.
  • the second luminance change light is projected onto the screen.
  • the first projection unit 130a and the second projection unit 130b are configured to change the first luminance change so that the first luminance change light and the second luminance change light do not overlap in the imaging regions on the plurality of lines on the reference plane 40.
  • the light and the second luminance change light are respectively projected.
  • the luminance distribution of the second luminance change light of the second projection unit 130b is the luminance distribution on the reference plane 40 in a plurality of line-shaped imaging regions
  • the horizontal axis is the X coordinate
  • the vertical axis is In the case of a luminance curve indicated by luminance, the waveform of the luminance distribution is indicated by a sine wave.
  • the phase of the sine wave is (3 ⁇ / 2) radians, ⁇ radians, and ( ⁇ / 2) radians. And 0 radians.
  • the luminance distribution of the first luminance change light of the first projection unit 130a has the same luminance distribution as the luminance change light in Embodiment 1 shown in FIG.
  • the first luminance change light and the second luminance change light have a relationship in which the phases are inverted with respect to each other in the arrangement direction (X-axis direction) of the plurality of line-shaped imaging regions.
  • the phase need not be inverted, and the first luminance change light and the second luminance change light may be in-phase light.
  • the first imaging unit 140a is composed of line sensors 141a to 144a
  • the second imaging unit 140b is composed of line sensors 141b to 144b.
  • the line sensors 141a to 144a and the line sensors 141b to 144b have the same configuration as the line sensors 141 to 144 shown in FIGS.
  • the line sensors 141a, 142a, 143a, and 144a of the first imaging unit 140a are line-shaped regions that are located at X coordinates 0, x1, x2, and x3 in the X-axis direction on the reference plane 40 and extend in the Y-axis direction, respectively. Let it be an imaging region.
  • the line sensors 141b, 142b, 143b, and 144b of the second imaging unit 140b are located at X coordinates x5, x6, x7, and x8 on the reference plane 40 in the X-axis direction, and are linear regions extending in the Y-axis direction, respectively. Let it be an imaging region.
  • the first imaging unit 140a includes a first plurality of line-shaped imaging regions that are a plurality of line-shaped imaging regions arranged on the reference surface 40 on a region where the first luminance change light of the reference surface 40 is projected. At least the same measurement position in the object 30 that moves relatively in the arrangement direction of the regions (X-axis direction) is imaged. That is, the first imaging unit 140a sequentially captures the same measurement position of the object 30 when each of the first plurality of line-shaped imaging regions on which the luminance change light is projected obliquely with respect to the reference plane 40. .
  • the luminance change light is light that has the same luminance distribution in the line-shaped imaging region and periodically changes in luminance in the arrangement direction of the plurality of line-shaped imaging regions (X-axis direction). It is.
  • the second imaging unit 140b has a second plurality of line-like shapes that are a plurality of line-shaped imaging regions arranged on the reference surface 40 on the region where the second luminance change light of the reference surface 40 is projected.
  • the at least the same measurement position in the object 30 that moves relatively in the arrangement direction of the imaging regions (X-axis direction) is imaged. That is, the second imaging unit 140b sequentially captures the same measurement position of the object 30 when each of the second plurality of line-shaped imaging regions on which the luminance change light is projected obliquely with respect to the reference plane 40. .
  • the other configuration of the shape recognition device 110 is the same as that of the shape recognition device 100 shown in FIG. 6, but the projection processing unit 102 controls both the first projection unit 130 a and the second projection unit 130 b to perform imaging. The difference is that the processing unit 103 controls both the first imaging unit 140a and the second imaging unit 140b.
  • the recognition unit 104 recognizes the shape of the object 30 according to the phase shift method using the image data of the object 30 imaged in each of the first imaging unit 140a and the second imaging unit 140b. That is, the recognition unit 104 recognizes the shape of the object 30 according to the phase shift method using the image data of the object 30 captured by the first imaging unit 140a, and the image of the object 30 captured by the second imaging unit 140b. Using the data, the phase difference is obtained according to the phase shift method, the height is calculated, and the shape of the object 30 is recognized. Furthermore, the more detailed the shape of the object 30 can be recognized as a plurality of measurement points on the object 30 are measured. Since the recognition processing of the shape of each object 30 is the same as that shown in the first embodiment, description thereof will not be repeated.
  • the projection direction of the first luminance change light of the first projection unit 130a is an obliquely lower left direction in the illustrated X-axis direction
  • the projection direction of the second luminance change light of the second projection unit 130b is an obliquely lower right direction of the illustrated X-axis direction.
  • a blind spot is likely to occur on the left side of the object 30 in the X-axis direction according to the first brightness change light, and a blind spot on the right side of the object 30 in the X-axis direction according to the second brightness change light. Is likely to occur. Therefore, when recognizing the shape of the left side of the object 30 in the X-axis direction, a recognition result obtained from the image data of the object 30 captured by the second imaging unit 140b is output, and the object 30 in the X-axis direction is output. When recognizing the shape on the right side of the figure, a recognition result obtained from the image data of the object 30 imaged by the first imaging unit 140a is output.
  • the first luminance change light and the second luminance change light that are parallel to each other on the reference plane from both sides of the object and whose luminance periodically changes in the arrangement direction of the plurality of line-shaped imaging regions are projected.
  • the luminance change light may be blocked by a part of the object and not projected onto the object. Therefore, by projecting the luminance change light from both sides of the object, the luminance change light can be projected onto the object without being blocked by a part of the object.
  • the first luminance change light and the second luminance change light are not overlapped in the imaging regions on a plurality of lines on the reference plane 40 of the first imaging unit 140a and the second imaging unit 140b, which are imaging units. Project.
  • the luminance change light for recognizing the shape of the object can be effectively used, the object shape recognition range can be expanded.
  • FIG. 11 is a diagram showing a configuration of a shape recognition device 120 according to Embodiment 3 of the present invention.
  • the shape recognition apparatus 120 includes a first projection unit 130c and a second projection unit 130d instead of the projection unit 130 in the first embodiment shown in FIG.
  • the imaging unit 150 is provided.
  • the first projection unit 130c projects the first luminance change light, which is the luminance change light, from the oblique direction shown in the X-axis direction on the reference plane 40.
  • the second projection unit 130d is a second luminance change that is the luminance change light in a direction different from the projection direction of the first luminance change light by the first projection unit 130c from the oblique direction in the X-axis direction with respect to the reference plane 40. Project light.
  • the first projection unit 130 c projects the first luminance change light in the illustrated diagonally lower left direction in the X axis direction
  • the second projection unit 130 d is illustrated in the diagonally right direction in the X axis direction.
  • the second luminance change light is projected downward.
  • the first projecting unit 130c and the second projecting unit 130d are arranged on both sides of the object 30, and are parallel to each other on the reference plane 40 with respect to the object 30 from each of the both sides, and periodically have a plurality of luminances.
  • the first luminance change light and the second luminance change light that change in the arrangement direction of the line-shaped imaging regions are projected obliquely.
  • the first projection unit 130c and the second projection unit 130d project the first luminance change light and the second luminance change light so that the first luminance change light and the second luminance change light overlap on the reference plane 40, respectively.
  • the projection ranges of the first luminance change light and the second luminance change light on the reference plane 40 are both in the range where the X coordinate is between ⁇ x1 and x4.
  • the projection range of the first luminance change light and the second luminance change light on the reference plane 40 extends in the Y-axis direction and is in the Y-axis direction imaging region having the same luminance distribution in the linear imaging region. Is also common.
  • the first luminance change light and the second luminance change light have a relationship in which the phases are inverted with respect to each other in the arrangement direction of the plurality of line-shaped imaging regions.
  • FIG. 12A is a diagram illustrating an example of the first luminance change light projected on the reference plane 40 in a state where the object 30 is not present
  • FIG. 12B is a diagram illustrating the reference plane in a state where the object 30 is not present. It is a figure which shows an example of the 2nd brightness change light projected on 40.
  • the first luminance change light of the first projection unit 130c is brightest in the line-shaped imaging region where the X coordinate is x1, and is darkest in the line-shaped imaging region where the X coordinate is x3.
  • the second luminance change light of the second projection unit 130d is brightest in the line-shaped imaging region where the X coordinate is x2, and is darkest in the line-shaped imaging region where the X coordinate is 0.
  • the first luminance change light shown in FIG. 12A and the second luminance change light shown in FIG. 12B are overlapped.
  • first brightness change light and the second brightness change light do not necessarily have the phases inverted, and the first brightness change light and the second brightness change light may be in the same phase.
  • the first luminance change light and the second luminance change light have different wavelengths.
  • the first luminance change light is light having a red wavelength
  • the second luminance change light is light having a blue wavelength.
  • FIG. 13 is a diagram illustrating a configuration of the line sensor 151 of the imaging unit 150. Since the line sensors 152 to 154 have the same configuration, description thereof is omitted.
  • the line sensor 151 is a sensor that separates brightness-changing light having different wavelengths for each wavelength and images each light. Generally, a color line sensor is used, and the casing 151a and the lens unit 151c are mainly used. Consists of In FIG. 13, for convenience of explanation, the casing 151a is indicated by a broken line, but the casing 151a accommodates the line sensor unit 151b.
  • the line sensor unit 151b of the color line sensor is generally roughly divided into two methods, and FIGS. 14 and 15 are diagrams showing them.
  • FIG. 14 shows a configuration generally called a three-line system, in which sensor elements are arranged in parallel.
  • the line sensor unit 151b is composed of element arrays corresponding to a plurality of wavelengths, and the element arrays 151d, 151e, and 151f are composed of elements corresponding to red (R), green (G), and blue (B) light, respectively. Is done.
  • FIG. 15 shows a configuration generally called a 3CCD system, in which sensor elements are arranged in a triangular arrangement rather than in parallel.
  • the line sensor unit 151b is configured by an element array corresponding to a plurality of wavelengths, and the element arrays 151d, 151e, and 151f are elements corresponding to red (R), green (G), and blue (B) light, respectively.
  • the prism 151h can separate light according to wavelength.
  • light from the linear imaging region of the reference surface 40 passes through the lens portion 151c, is separated into R, G, and B by the prism 151h, and is divided into element rows 151d, 151e, and 151f. Led.
  • the light separating portion is not limited to the prism 151h, and may be a light separating portion such as a polarizing plate or a filter.
  • the configuration of the line sensor 151 of the color line sensor has been described with respect to the three element columns. However, in addition to the above R, G, and B, there are also four columns including black and white.
  • the other configuration of the shape recognition device 120 shown in FIG. 11 is the same as the configuration of the shape recognition device 100 shown in FIG. 6, except that the projection processing unit 102 uses both the first projection unit 130c and the second projection unit 130d.
  • the imaging processing unit 103 controls the imaging unit 150.
  • the recognition unit 104 recognizes the shape of the object 30 according to the phase shift method using the image data of the red component of the object 30 captured by the element array 151d of the line sensor 151 corresponding to the red (R) light of the imaging unit 150. To do.
  • the recognition unit 104 uses the image data of the blue component of the object 30 captured by the element array 151f of the line sensor 151 corresponding to the blue (B) light of the imaging unit 150, and uses the phase shift method to determine the shape of the object 30. Recognize Since the recognition processing of the shape of each object 30 is the same as that shown in the first embodiment, description thereof will not be repeated.
  • the projection direction of the first luminance change light of the first projection unit 130c is an obliquely lower left direction in the X axis direction
  • the projection direction of the second luminance change light of the second projection unit 130d is an oblique lower right direction of the X axis direction. is there.
  • a blind spot is likely to be generated on the left side of the object 30 in the X-axis direction according to the first luminance change light, and a blind spot is generated on the right side of the object 30 in the X-axis direction according to the second luminance change light.
  • the line-shaped imaging region of the imaging unit 150 has the same luminance distribution and periodically has a plurality of line shapes.
  • the second luminance change light that changes in the direction in which the imaging areas are arranged is projected onto the reference plane 40 in the X-axis direction and the obliquely downward projection direction shown in the X-axis direction.
  • a recognition result obtained from the image data of the blue component of the object 30 captured by the element array 151f of the line sensor 151 corresponding to the blue (B) light of the imaging unit 150 is output.
  • the linear imaging region of the imaging unit 150 has the same luminance distribution and periodically has a plurality of linear imaging regions.
  • the first luminance change light that changes in the arrangement direction (X-axis direction) is projected onto the reference plane 40 in the X-axis direction in the obliquely lower left projection direction in the X-axis direction.
  • a recognition result obtained from the image data of the red component of the object 30 captured by the element array 151d of the line sensor 151 corresponding to the red (R) light of the imaging unit 150 is output.
  • the object 30 colored red corresponds to blue (B) light.
  • the recognition result obtained from the image data of the blue component of the object 30 captured by the element array 151f of the line sensor 151 is output.
  • the recognition result obtained from the image data of the red component of the object 30 imaged by the element array 151d of the line sensor 151 corresponding to red (R) light is output.
  • the shape recognition apparatus 120 according to the third embodiment in addition to the functions and effects of the shape recognition apparatus 100 according to the first embodiment, the following functions and effects are achieved.
  • the luminance change light having the same luminance distribution in the line-shaped imaging region of the imaging unit and periodically changing in the arrangement direction (X-axis direction) of the plurality of line-shaped imaging regions, Projecting from both sides of the reference plane 40 with the object sandwiched obliquely.
  • the luminance change light may be blocked by a part of the object and not projected onto the object. Therefore, by projecting the luminance change light from both sides of the object, the luminance change light can be projected onto the object without being blocked by a part of the object.
  • the line-shaped imaging region of the imaging unit 150 has the same luminance distribution, and the luminance change light whose luminance periodically changes in the arrangement direction (X-axis direction) of the plurality of line-shaped imaging regions. , And projecting the light on the reference plane as light having the wavelength of the first luminance change light and the wavelength of the second luminance change light having different wavelengths from both sides of the object (the luminance in the X-axis direction at this time)
  • Each distribution waveform is a sine wave.
  • the line sensors 151 to 154 of the color line sensors of the imaging unit 150 respectively detect the object on which the brightness change light is projected from both sides of the object, the light having the wavelength of the first brightness change light and the wavelength of the first brightness change light.
  • Imaging is performed by separating light from light having the wavelength of the second luminance change light having a different wavelength. Therefore, the first luminance change light and the second luminance change light having different wavelengths are respectively projected onto the object from both sides of the object, and the reflected light and the first luminance of the light having the wavelength of the first luminance change light on the object.
  • the reflected light of the light of the second luminance change light having a wavelength different from that of the light of the change light can be simultaneously imaged using one image pickup unit corresponding to the color. Therefore, the number of line sensors can be reduced as compared with the case where line sensors are provided for each wavelength.
  • FIG. 16 shows a configuration when the first luminance change light and the second luminance change light are light having the same wavelength and the same phase in the shape recognition device 120 according to the third embodiment.
  • Each of the first luminance change light and the second luminance change light has the same luminance distribution in the linear imaging region of the imaging unit, and the arrangement direction of the linear imaging regions having a plurality of periodic luminances Luminance change light that changes in the (X-axis direction), and is projected from both sides of the object obliquely with respect to the reference plane 40.
  • the first luminance change light and the second luminance change light have the same phase
  • the first luminance change light and the second luminance change light have the first phase in all imaging regions on the reference plane 40 where the first luminance change light and the second luminance change light overlap.
  • the phases of the brightness change light and the second brightness change light can be made equal.
  • the phase of the first luminance change light and the phase of the second luminance change light are both ⁇ .
  • the phase of the first luminance change light is ⁇ / 2
  • the phase of the two luminance change light is 3 ⁇ / 2.
  • the reflected light is the color line of the imaging unit 150. It enters the line sensor 153 of the sensor.
  • the first brightness change light and the second brightness change light have the same wavelength, the reflected light of the two brightness change lights cannot be separated.
  • the phase ⁇ of the sine wave that is the waveform of the luminance distribution in the X-axis direction cannot be calculated from the image data of the object 30 imaged by the imaging unit 150.
  • a similar problem occurs even when the phases of the first luminance change light and the second luminance change light are inverted.
  • the first luminance change light and the second luminance change light projected from both sides sandwiching the object have different wavelengths, and the first luminance change light and the second luminance change light are obtained by one imaging unit. It was made possible to separate the brightness change light.
  • the configuration of the projection unit 130 is that of a projection optical system such as a projector.
  • a linear or planar parallel light source may be used instead of the projection optical system.
  • a pattern generator such as a lattice pattern, DMD or LCD (liquid crystal) in the light beam, the light passing through the pattern generator has a sinusoidal fringe pattern. It is converted into light and projected onto the reference plane 40 as luminance change light.
  • the luminance change light can be generated using the surface light source.
  • the number of line sensors included in the imaging unit 140 is four.
  • the number of line sensors is not limited to this, and may be three or five. It may be more than that.
  • the luminance distribution on the reference plane 40 in a plurality of line-shaped imaging regions is a luminance curve indicated by the X coordinate on the horizontal axis and the luminance on the vertical axis
  • the waveform is shown as a sine wave.
  • the phase of the sine wave is 0 radians, ( ⁇ / 2) radians, ⁇ radians, and (3 ⁇ / 2) radians.
  • the waveform of the luminance distribution is indicated by a sine wave.
  • the number of line-shaped imaging regions is N
  • the phase of the luminance distribution of the luminance change light is (2 ⁇ / N) radians between adjacent line-shaped imaging regions. Different.
  • the number of line sensors in the imaging unit is four.
  • the luminance of each line sensor is set to that of a line sensor having a small X coordinate.
  • the recognition unit 104 sets the phase ⁇ of the sine wave 82 indicating the positional change of the luminance distribution of the luminance changing light on the object 30 described in the first embodiment. The calculation is performed according to the following formula 2.
  • the recognition unit 104 determines that the brightness of each line sensor is a, b, c, d, and e in order from the brightness of the line sensor with the smallest X coordinate.
  • the phase ⁇ is calculated according to Equation 3 below.
  • the recognition unit 104 calculates the phase ⁇ according to the following equation (4).
  • the accuracy of the phase ⁇ improves as the number of line sensors increases.
  • the manufacturing cost of the shape recognition device can be reduced as the number of line sensors is reduced.
  • Such a configuration of the line sensor of the imaging unit is also applicable to the first imaging unit 140a and the second imaging unit 140b of the second embodiment and the imaging unit 150 of the third embodiment.
  • the shape recognition device is provided in the inspection device and is used to inspect the components mounted on the board.
  • the shape recognition device is provided in the component mounting device, and is a component arranged in a component supply unit that supplies a component (object), or a component of the tool before the component is held by the tool of the mounting head that mounts the component on the board. It may be used for recognizing components mounted on a substrate, such as a holding surface, a component held by a tool of a mounting head for mounting the component on the substrate, or a component mounted on the substrate.
  • the imaging unit is a plurality of line sensors that capture an image of an object that moves relatively in each linear imaging region.
  • the imaging unit may be a plurality of line camera groups including a line sensor and an optical system such as a lens or a prism.
  • the imaging unit may be an area camera that includes an area sensor and an optical system such as a lens or a prism.
  • an area image sensor the shape of the object is recognized by the phase shift method by using predetermined line-shaped image data among the obtained two-dimensional image data.
  • a plurality of line-shaped imaging areas may be set in the imaging area of the area image sensor in which imaging elements are arranged in a matrix.
  • each line-shaped imaging region can be constituted by the area image image sensor.
  • the area image sensors include a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, a CCD (Charge Coupled Device) image sensor, and the like.
  • the luminance change light is light having a sinusoidal fringe pattern.
  • the line-shaped imaging region of the imaging unit has the same luminance distribution and has a period.
  • other light may be used as long as the brightness changes in a plurality of line-shaped arrangement directions (X-axis directions).
  • it may be light that can represent a change in luminance with a triangular wave or a sawtooth wave. Even with such light, if the phase of the wave can be calculated, the phase difference can be calculated, and the height and shape of the object can be calculated from the phase difference.
  • the present invention can be realized not only as such a shape recognition method and shape recognition device, but also as a program for causing a computer to execute characteristic processing included in the shape recognition method and an integrated circuit including the processing unit. It can also be realized. Needless to say, such a program can be distributed via a recording medium such as a CD-ROM and a transmission medium such as the Internet.
  • the present invention can be applied to an inspection apparatus, a component mounting apparatus, or the like provided with a shape recognition device that can accurately recognize the shape of the object even when the object is moving at high speed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　物体（３０）の形状を認識する形状認識装置（１００）は、基準面（４０）上に互いに平行に配置された複数のライン状の撮像領域において同一の輝度分布を有し、かつ、周期的に輝度が複数のライン状の撮像領域の並び方向に変化する輝度変化光を、基準面（４０）に対して斜めから投影する投影部（１３０）と、基準面（４０）上を、複数のライン状の撮像領域の並び方向に相対的に移動する物体（３０）を、各ライン状の撮像領域の通過時に撮像する撮像部（１４０）と、撮像部（１４０）で撮像された物体（３０）の画像データを用いて、位相シフト法に従い物体（３０）の形状を認識する認識部とを備える。

Description

形状認識方法、形状認識装置及び実装基板生産装置
　本発明は、物体の形状を認識する形状認識方法、形状認識装置及び当該形状認識装置によって部品の形状を認識する実装基板生産装置に関する。
　部品が実装された実装基板を生産するための実装基板生産システムは、基板に部品を実装する部品実装装置又は基板に実装された部品を検査する検査装置などの実装基板生産装置を備えている。部品実装装置では、部品の実装精度を向上するために、部品を実装する前に、ノズルに吸着した部品の形状を認識する。また、検査装置では、基板への部品の実装状態を検査するために、基板上の部品の形状を認識する。このため、精度良く実装基板を生産するためには、これらの部品の形状認識を精度良く行う必要がある。
　そこで、第１の従来技術として、互いに位相が異なる複数の正弦波縞パターン光を物体に投影し、当該物体をカメラで撮像して、当該物体の形状認識を行う位相シフト法が提案されている（例えば、特許文献１及び２、非特許文献１参照。）。位相シフト法では、輝度変化を正弦波で表すことのできる正弦波縞パターン光を、正弦波の位相をずらしながら複数回物体に投影し、正弦波縞パターン光が投影されるごとに物体を撮像する。このようにして撮像された複数枚の物体の画像データから、座標ごとに、物体が存在しない場合に観測されるであろう輝度の変化パターンが示す正弦波と、実際に観測された物体の画像データにおける輝度の変化パターンが示す正弦波との位相のずれを算出する。座標ごとに算出された位相のずれ量から、物体の形状が認識される。
　また、第２の従来技術として、正弦波縞パターン光を投影した基準面上を物体を移動させながら、複数のラインセンサからなる撮像部で物体を撮像することにより、物体の形状を認識する位相シフト法も提案されている（例えば、特許文献３参照。）。
特許第３９２１５４７号公報 特開２００２－２５７５２８号公報 特許第３６２９５３２号公報
三高、濱田、「位相シフト法による高速高精度３次元計測技術」、パナソニック電工技報、パナソニック電工株式会社、２００２年８月、Ｐ．１０－１５
　しかしながら、第１の従来技術では、物体の形状を認識するために正弦波縞パターン光の正弦波の位相をずらしながら、物体を複数回撮像しなければならない。これは、物体の画像データにおける輝度の変化パターンが示す正弦波を推定するためには、複数の輝度が必要とされるためである。このため、この方法では、物体の形状を認識するために時間を要するという課題がある。特に、部品実装装置では、ノズルに吸着された部品を高速移動中に、当該部品の形状を認識する必要がある。このため、物体の形状を認識するために長時間を要する第１の従来技術に係る位相シフト法を利用して物体の形状を認識することは困難である。
　また、第２の従来技術では、物体を移動させながら物体の形状を認識することができる。しかし、特許文献３に記載の方法では、正弦波縞パターン光の輝度の変化方向と複数のラインセンサの並び方向とが異なる。このため、形状の認識処理の前に行う撮像部と正弦波縞パターン光を投影する投影部との位置調整が困難であるという課題がある。つまり、位置調整においては、物体が存在しない基準面上に正弦波縞パターン光を投影し、基準面を撮像部で撮像する。撮像により得られる画像データが所望のパターンとなるように撮像部又は投影部の位置を変化させることにより位置調整を行う。このような位置調整においては、撮像部又は投影部の位置を少し変化させただけで、各ラインセンサ上の複数の画素の輝度が変化してしまう。よって、撮像部と投影部との位置調整が煩雑で困難である。
　本発明は、上述の課題を解決するためになされたものであり、高速に物体の形状を認識することができ、かつ、容易に撮像部と投影部との位置調整を行うことができる形状認識方法、形状認識装置及び実装基板生産装置を提供することを目的とする。
　上記目的を達成するために、本発明のある局面に係る形状認識方法は、物体の形状を認識する形状認識方法であって、物体の撮像の基準面上に互いに平行に配置された複数のライン状の撮像領域において、ライン状の撮像領域内は同一の輝度分布を有し、かつ、周期的に輝度が前記複数のライン状の撮像領域の並び方向に変化する輝度変化光を、前記基準面に対して斜めから投影する投影ステップと、前記基準面上を、前記複数のライン状の撮像領域の並び方向に相対的に移動する前記物体を、各ライン状の撮像領域の通過時に撮像する撮像ステップと、前記撮像ステップで撮像された前記物体の画像データを用いて、位相シフト法に従い前記物体の形状を認識する認識ステップとを含む。
　この方法によると、複数のライン状の撮像領域の並び方向に相対的に、物体を移動させながら、ライン状の撮像領域内は同一の輝度分布を有し、かつ、周期的に輝度が複数のライン状の撮像領域の並び方向に変化する輝度変化光が基準面に対して斜めから投影された各ライン状の撮像領域の通過時に、物体を撮像することにより、物体の形状を認識する。ここで、撮像はライン状の撮像領域で行われる、つまり、各ライン状の撮像領域の撮像は、１ライン分の撮像しか行わなくてよいため、撮像のための処理負荷が小さい。このため、高速に移動する物体を撮像可能である。また、輝度変化光は、各ライン状の撮像領域において、ライン状の撮像領域内は同一の輝度分布を有する。このため、撮像を行う撮像部と投影を行う投影部との位置調整を行う際には、物体が存在しない基準面上に輝度変化光を投影し、基準面を撮像部で撮像する。このとき、撮像により得られる画像データが各ライン状の撮像領域において、ライン状の撮像領域内は同一の輝度を有するように位置調整を行う。同一の輝度を有するように位置調整するのは、所望のパターンとなるように位置調整をするのに比べて容易である。このため、高速に物体の形状を認識することができ、かつ、容易に撮像部と投影部との位置調整を行うことができる。
　好ましくは、前記投影ステップでは、前記基準面に対して、互いに異なる斜め方向から、各々が前記輝度変化光であり、前記基準面上で互いに平行で、周期的に輝度が前記複数のライン状の撮像領域の並び方向に変化する第１輝度変化光及び第２輝度変化光を投影する。
　この方法によると、物体を挟む両側から輝度変化光を投影する。ここで、物体の形状によっては、輝度変化光が、物体の一部に遮られて、物体上に投影されない場合がある。このため、物体の両側から輝度変化光を投影することで、輝度変化光が物体の一部に遮られることなく、当該輝度変化光を物体上に投影することができる。
　さらに好ましくは、前記投影ステップでは、前記基準面において、前記第１輝度変化光及び前記第２輝度変化光が重ならないように、前記第１輝度変化光及び前記第２輝度変化光を投影する。
　具体的には、前記撮像ステップは、前記基準面上を、前記基準面の前記第１輝度変化光が投影される領域上に配置された前記複数のライン状の撮像領域である第１の複数のライン状の撮像領域の並び方向に相対的に移動する前記物体を、前記第１の複数のライン状の撮像領域の各々の通過時に撮像する第１撮像ステップと、前記基準面上を、前記基準面の前記第２輝度変化光が投影される領域上に配置された前記複数のライン状の撮像領域である第２の複数のライン状の撮像領域の並び方向に相対的に移動する前記物体を、前記第２の複数のライン状の撮像領域の各々の通過時に撮像する第２撮像ステップとを含み、前記認識ステップは、前記第１撮像ステップ及び前記第２撮像ステップのそれぞれにおいて撮像された前記物体の画像データを用いて、位相シフト法に従い前記物体の形状を認識する。
　この方法によると、基準面において、第１輝度変化光と第２輝度変化光とを、重ならないように投影する。これにより、物体の形状を認識するための輝度変化光を有効に活用することができるので、物体の形状認識範囲を広げることができる。
　また、前記第１輝度変化光と前記第２輝度変化光とは、異なる波長を有していても良い。
　この方法によると、波長が異なる複数の輝度変化光を投影する。例えば、赤色に着色されている物体と青色に着色されている物体とを形状認識する必要がある場合には、赤色に着色されている物体には青色の輝度変化光を投影し、青色に着色されている物体には赤色の輝度変化光を投影することで、当該２つの物体の形状を認識することができる。このように、波長が異なる複数の輝度変化光を、物体の状態に応じて使い分けて投影することで、様々な物体の形状を認識することができる。
　好ましくは、前記投影ステップでは、前記基準面において、前記第１輝度変化光及び前記第２輝度変化光が重なるように、前記第１輝度変化光及び前記第２輝度変化光を投影し、前記撮像ステップでは、前記第１輝度変化光の波長の光と前記第２輝度変化光の波長の光とを分離して、それぞれの波長における前記物体での反射波を撮像することにより、前記物体を撮像し、前記認識ステップでは、前記第１の輝度変化光及び前記第２の輝度変化光のそれぞれ波長における前記物体の画像データを用いて、位相シフト法に従い前記物体の形状を認識する。
　この方法によると、第１輝度変化光の波長の光と第２輝度変化光の波長の光とを分離して、物体を撮像している。このため、同一の撮像部を用いて、第１輝度変化光の波長の反射光と第２輝度変化光の波長の反射光を同時に撮像することができる。よって、波長ごとに撮像部を設ける場合に比べて、撮像部の数を減らすことができる。
　好ましくは、前記輝度変化光は、前記基準面に対して垂直な方向に正弦波で示される輝度分布を有し、かつ、前記複数のライン状の撮像領域の並び方向に正弦波で示される輝度分布を有し、前記ライン状の撮像領域の数がＮであるとした場合に、投影される前記輝度変化光の輝度分布の位相は、隣接する前記ライン状の撮像領域間で（２π／Ｎ）ラジアン異なる。
　輝度変化光の輝度分布の位相は１周期の間に２πラジアン変化する。このため、上述のように輝度変化光の輝度分布の位相を決定することによって、位相シフト法を用いて、複数のライン状の撮像領域における物体の輝度から、輝度分布の位置変化を示す正弦波を推定する際に、精度良く正弦波を推定することができる。よって、高精度に物体の形状を認識することができる。
　具体的には、前記認識ステップは、前記撮像ステップで撮像された前記複数のライン状の撮像領域における物体の輝度から、輝度分布の位置変化を示す正弦波を推定する正弦波推定ステップと、前記基準面において前記複数のライン状の撮像領域の並び方向の輝度分布の位置変化を示す正弦波と、前記正弦波推定ステップが推定した前記正弦波との位相差から前記物体の高さを算出することにより、前記物体の形状を認識する高さ算出ステップとを含む。
　また、本発明の他の局面に係る形状認識装置は、物体の形状を認識する形状認識装置であって、物体の撮像の基準面上に互いに平行に配置された複数のライン状の撮像領域において、ライン状の撮像領域内は同一の輝度分布を有し、かつ、周期的に輝度が前記複数のライン状の撮像領域の並び方向に変化する輝度変化光を、前記基準面に対して斜めから投影する投影部と、前記基準面上を、前記複数のライン状の撮像領域の並び方向に相対的に移動する前記物体を、各ライン状の撮像領域の通過時に撮像する撮像部と、前記撮像部で撮像された前記物体の画像データを用いて、位相シフト法に従い前記物体の形状を認識する認識部とを備える。
　この構成によると、複数のライン状の撮像領域の並び方向に相対的に、物体を移動させながら、ライン状の撮像領域内は同一の輝度分布を有し、かつ、周期的に輝度が複数のライン状の撮像領域の並び方向に変化する輝度変化光が基準面に対して斜めから投影された各ライン状の撮像領域の通過時に、物体を撮像することにより、物体の形状を認識する。ここで、撮像はライン状の撮像領域で行われる、つまり、各ライン状の撮像領域の撮像は、１ライン分の撮像しか行わなくてよいため、撮像のための処理負荷が小さい。このため、高速に移動する物体を撮像可能である。また、輝度変化光は、各ライン状の撮像領域において、ライン状の撮像領域内は同一の輝度分布を有する。このため、撮像を行う撮像部と投影を行う投影部との位置調整を行う際には、物体が存在しない基準面上に輝度変化光を投影し、基準面を撮像部で撮像する。このとき、撮像により得られる画像データが各ライン状の撮像領域において、ライン状の撮像領域内は同一の輝度を有するように位置調整を行う。同一の輝度を有するように位置調整するのは、所望のパターンとなるように位置調整をするのに比べて容易である。このため、高速に物体の形状を認識することができ、かつ、容易に撮像部と投影部との位置調整を行うことができる。
　好ましくは、前記投影部は、前記輝度変化光である第１輝度変化光を、前記基準面に対して斜めから投影する第１投影部と、前記基準面に対して斜めから、前記第１投影部による前記第１輝度変化光の投影方向とは異なる方向に前記輝度変化光である第２輝度変化光を投影する第２投影部とを含み、前記第１輝度変化光及び前記第２輝度変化光は、前記基準面上で互いに平行で、周期的に輝度が前記複数のライン状の撮像領域の並び方向に変化する。
　この構成によると、物体を挟む両側から基準面上で互いに平行で、周期的に輝度が複数のライン状の撮像領域の並び方向に変化する第１輝度変化光及び第２輝度変化光を投影する。ここで、物体の形状によっては、輝度変化光が、物体の一部に遮られて、物体上に投影されない場合がある。このため、物体の両側から輝度変化光を投影することで、輝度変化光が物体の一部に遮られることなく、当該輝度変化光を物体上に投影することができる。
　さらに好ましくは、前記第１投影部及び前記第２投影部は、前記基準面において、前記第１輝度変化光及び前記第２輝度変化光が重ならないように、前記第１輝度変化光及び前記第２輝度変化光をそれぞれ投影する。
　具体的には、前記撮像部は、前記基準面上を、前記基準面の前記第１輝度変化光が投影される領域上に配置された前記複数のライン状の撮像領域である第１の複数のライン状の撮像領域の並び方向に相対的に移動する前記物体を、前記第１の複数のライン状の撮像領域の各々の通過時に撮像する第１撮像部と、前記基準面上を、前記基準面の前記第２輝度変化光が投影される領域上に配置された前記複数のライン状の撮像領域である第２の複数のライン状の撮像領域の並び方向に相対的に移動する前記物体を、前記第２の複数のライン状の撮像領域の各々の通過時に撮像する第２撮像部とを含み、前記認識部は、前記第１撮像部及び前記第２撮像部のそれぞれにおいて撮像された前記物体の画像データを用いて、位相シフト法に従い前記物体の形状を認識する。
　この構成によると、基準面において、第１輝度変化光と第２輝度変化光とを、重ならないように投影する。これにより、物体の形状を認識するための輝度変化光を有効に活用することができるので、物体の形状認識範囲を広げることができる。
　また、前記第１輝度変化光と前記第２輝度変化光とは、異なる波長を有していても良い。
　この構成によると、波長が異なる複数の輝度変化光を投影する。例えば、赤色に着色されている物体と青色に着色されている物体とを形状認識する必要がある場合には、赤色に着色されている物体には青色の輝度変化光を投影し、青色に着色されている物体には赤色の輝度変化光を投影することで、当該２つの物体の形状を認識することができる。このように、波長が異なる複数の輝度変化光を、物体の状態に応じて使い分けて投影することで、様々な物体の形状を認識することができる。
　なお、本発明は、このような形状認識方法及び形状認識装置として実現することができるだけでなく、基板に実装される部品を認識する、または基板に実装された部品を検査するための形状認識装置を備える実装基板生産装置としても実現することができる。また、形状認識方法に含まれる特徴的な処理をコンピュータに実行させるプログラムや当該処理部を備える集積回路として実現したりすることもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　本発明によると、高速に物体の形状を認識することができ、かつ、容易に撮像部と投影部との位置調整を行うことができる形状認識方法、形状認識装置及び実装基板生産装置を提供することができる。
図１は、本発明の実施の形態１における実装基板生産システムの構成を示す外観図である。 図２は、本発明の実施の形態１における検査装置が備える形状認識装置の構成を示す図である。 図３は、図２に示した形状認識装置をＹ軸方向に沿って見た図である。 図４は、輝度変化光の輝度分布を示す図である。 図５は、物体が存在しない状態で基準面に投影された輝度変化光の一例を示す図である。 図６は、本発明の実施の形態１における形状認識装置の機能構成を示すブロック図である。 図７は、本発明の実施の形態１における形状認識装置の動作の一例を示すフローチャートである。 図８は、位相差を説明するための図である。 図９は、本発明の実施の形態２に係る形状認識装置の構成を示す図である。 図１０は、物体が存在しない状態で基準面に投影された第２輝度変化光の一例を示す図である。 図１１は、本発明の実施の形態３に係る形状認識装置の構成を示す図である。 図１２の（ａ）は、物体が存在しない状態で基準面に投影された第１輝度変化光の一例を示す図であり、（ｂ）は、物体が存在しない状態で基準面に投影された第２輝度変化光の一例を示す図である。 図１３は、カラーラインセンサの構成を示す図である。 図１４は、ラインセンサ部の構成を示す図である。 図１５は、カラーラインセンサによる撮像方法を説明するための図である。 図１６は、第１輝度変化光と第２輝度変化光とが同一の波長及び同一の位相を有する場合の問題点を説明するための図である。
　以下、図面を参照しながら、本発明の実施の形態に係る実装基板生産システムが備える実装基板生産装置、及び実装基板生産装置が備える形状認識装置について、説明する。
　（実施の形態１）
　図１は、本発明の実施の形態１における実装基板生産システム１０の構成を示す外観図である。
　実装基板生産システム１０は、上流側の実装基板生産装置から下流側の実装基板生産装置に基板２０を搬送し、基板２０に電子部品などの部品が実装された実装基板２０ａを生産するシステムである。同図に示すように、実装基板生産システム１０は、実装基板生産装置として、２台の部品実装装置２００、印刷装置３００、３台の検査装置４００、接着剤塗布装置５００及びリフロー炉６００を備えている。なお、実装基板生産システム１０の構成は一例であり、図１に示す構成に限定されるものではない。
　部品実装装置２００は、部品を基板２０に実装する装置である。印刷装置３００は、ペースト状のはんだであるソルダーペーストを基板２０の表面にスクリーン印刷するスクリーン印刷機である。接着剤塗布装置５００は、基板２０上に接着剤を塗布する装置である。リフロー炉６００は、部品が実装された基板２０を熱することにより、はんだ等を溶かした後、部品を基板２０上に固定させる装置である。
　検査装置４００は、基板２０上の状態を検査する装置である。具体的には、３台の検査装置４００は、印刷装置３００によるはんだ付け状態の外観を検査する検査装置４００と、部品実装装置２００による基板２０上の部品の装着状態を検査する検査装置４００と、リフロー炉６００による熱処理後の基板２０上の部品の装着状態を検査する検査装置４００とを含む。
　検査装置４００は、基板２０上の部品の装着状態を検査するために、基板２０上の部品の形状を認識する形状認識装置１００を備えている。
　図２は、本発明の実施の形態１における検査装置４００が備える形状認識装置１００の構成を示す図である。
　形状認識装置１００は、基板上の部品などの物体３０の形状を認識する装置である。同図に示すように、形状認識装置１００は、投影部１３０及び撮像部１４０を備えている。ここでは、説明の簡単化のために、物体３０の形状を認識するために、物体３０が形状認識装置１００に対して同図のＸ軸方向に相対的に移動することとする。つまり、形状認識装置１００が物体３０に対して移動することにしてもよいし、物体３０が形状認識装置１００に対して移動することにしてもよい。なお、一例として、物体３０の移動は、ベルトコンベア上に物体３０を載置して搬送することにより行われたり、基板に部品を実装する装着ヘッドのツールに吸着保持された状態の部品を移動させることにより行われたりする。この場合は、物体３０と形状認識装置１００との位置関係は図２に示すものと上下が逆の状態で配置されることとなる。つまり、ツールに保持された部品の下方側に撮像部を配置し、ツールに保持された部品の斜め下方に投影部１３０を配置する構成となる（図示せず）。
　投影部１３０は、基準面４０上に互いに平行に配置された複数のライン状の撮像領域４１～４４において、ライン状の撮像領域内は同一の輝度分布を有し、かつ、周期的に輝度が複数のライン状の撮像領域４１～４４の並び方向に変化する輝度変化光を、基準面４０に対して、物体３０の相対移動方向の斜め方向から投影する光源である。この光源は、プロジェクタのような投影光学系で構成され、ＤＭＤ（Ｄｉｇｉｔａｌ　Ｍｉｒｒｏｒ　Ｄｅｖｉｃｅ）や液晶により実現することができる。なお、輝度変化光は、正弦波縞パターンを有する光である。
　具体的には、投影部１３０がＸ軸方向図示斜め下方向に輝度変化光を照射しながら、基準面４０上に配置された物体３０が、基準面４０に対して同図のＸ軸方向に相対的に移動することで、投影部１３０は、相対的に移動する基準面４０上の物体３０に対して輝度変化光をＸ軸方向図示斜めから投影する。
　撮像部１４０は、基準面４０上を、Ｙ軸方向に延びる複数のライン状の撮像領域４１～４４の並び方向（Ｘ軸方向）に相対的に移動する物体３０を、各ライン状の撮像領域の通過時に撮像する。ライン状の撮像領域４１、４２、４３、４４のＸ座標は、それぞれ、０、ｘ１、ｘ２、ｘ３であるとする。撮像部１４０は、ラインセンサ１４１～１４４で構成され、ライン状の撮像領域４１～４４は、それぞれ、基準面４０上でのラインセンサ１４１～１４４の撮像領域に相当する。ラインセンサ１４１～１４４の各々は、同図のＹ軸方向に延びて配置される。
　つまり、基準面４０上を、同図のＸ軸方向の図示右方向から左方向に移動する物体３０を、ラインセンサ１４４、１４３、１４２及び１４１が、ライン状の撮像領域４４、４３、４２及び４１の位置（Ｘ座標ｘ３、ｘ２、ｘ１、０の位置）で、順次撮像する。
　次に、投影部１３０が投影する輝度変化光について、詳細に説明する。
　図３は、図２に示した形状認識装置１００をＹ軸方向に沿って見た図である。投影部１３０は、図３においてＸ軸方向の図示右斜め上方から、基準面４０に対して輝度変化光を投影する。この輝度変化光は、輝度分布の位置変化が正弦波で示すことのできる光（正弦波縞パターンを有する光）である。例えば、輝度変化光の輝度分布は、図４に示すように、複数のライン状の撮像領域における基準面４０上の輝度分布を、横軸をＸ座標、縦軸を輝度で示される輝度曲線とした場合に、その輝度分布の波形は正弦波で示される。Ｘ座標が０、ｘ１、ｘ２及びｘ３のライン状の撮像領域（ライン状の撮像領域４１、４２、４３及び４４）において、正弦波の位相は、０ラジアン、（π／２）ラジアン、πラジアン及び（３π／２）ラジアンとなる。このように、ライン状の撮像領域の数（ラインセンサの数）がＮであるとした場合に、輝度変化光の輝度分布の位相は、隣接するライン状の撮像領域間で（２π／Ｎ）ラジアン異なる。
　図５は、物体３０が存在しない状態で基準面４０に投影された輝度変化光の一例を示す図であり、Ｘ座標がｘ１のライン状の撮像領域４２において最も明るくなり、Ｘ座標がｘ３のライン状の撮像領域４４において最も暗くなる。
　なお、輝度変化光は、基準面４０に対してＸ軸方向の斜め上方から投影している。このため、輝度変化光は、基準面４０に対して垂直な方向（Ｚ軸方向）に正弦波で示される輝度分布を有するとともに、複数のライン状の撮像領域４１～４４の並び方向（Ｘ軸方向）に正弦波で示される輝度分布を有する。また、輝度変化光は、ライン状の撮像領域内においてそれぞれ同一（一様な）の輝度分布を有する。
　次に、形状認識装置１００が、図２に示した各部を制御する機能構成について、詳細に説明する。
　図６は、本発明の実施の形態１における形状認識装置１００の機能構成を示すブロック図である。
　同図に示すように、形状認識装置１００は、図２に示した投影部１３０及び撮像部１４０の他に、各部を制御する形状認識制御部１０１を備えている。なお、この形状認識制御部１０１は、検査装置４００に組み込まれた各部を制御するコンピュータであるが、パーソナルコンピュータ等の汎用のコンピュータシステムがプログラムを実行することによって実現されることにしてもよい。
　形状認識制御部１０１は、投影処理部１０２、撮像処理部１０３及び認識部１０４を備えている。
　投影処理部１０２は、投影部１３０を制御する。具体的には、投影処理部１０２は、投影部１３０により基準面４０に対して、輝度変化光を投影させる。
　撮像処理部１０３は、撮像部１４０を制御する。具体的には、撮像処理部１０３は、撮像部１４０にて、基準面４０上に互いに平行に配置された複数のライン状の撮像領域４１～４４の並び方向（Ｘ方向）に相対的に移動する物体３０内の少なくとも同一の測定位置を、基準面４０上の各ライン状の撮像領域の通過時に順次撮像させる。なお、撮像処理部１０３は、ラインセンサ１４１～１４４の各々が物体３０の同一位置を撮像するように、ラインセンサ１４１～１４４による物体３０の撮像タイミングを制御する。
　認識部１０４は、撮像部１４０で撮像された物体３０の画像データを用いて、位相シフト法に従い物体３０の形状を認識する。具体的には、認識部１０４は、画像データから物体３０の高さを検出することで、物体３０の形状を認識する。
　なお、形状認識制御部１０１は、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）等の表示部や、キーボードやマウス等の入力部等を備えていてもよい。
　次に、形状認識装置１００が物体の形状を認識する処理について、説明する。
　図７は、本発明の実施の形態１における形状認識装置１００の動作の一例を示すフローチャートである。
　投影部１３０は、投影処理部１０２の指示に従って、輝度変化光を、基準面４０に対して投影する（Ｓ１０２）。つまり、図３に示すように、投影部１３０は、基準面４０上をＸ軸方向に相対的に移動する物体３０に対して輝度変化光をＸ軸方向の図示右斜めから投影する。
　図７を参照して、撮像部１４０は、撮像処理部１０３の指示に従って、基準面４０上に互いに平行に配置された複数のライン状の撮像領域４１～４４の並び方向（Ｘ方向）に相対的に移動する物体３０を、基準面４０上の各ライン状の撮像領域の通過時に撮像する（Ｓ１０４）。つまり、例えば図３に示すように、基準面４０上を、同図のＸ軸方向の図示右方向から左方向に相対的に移動する物体３０の高さである点Ｐを、ラインセンサ１４４、１４３、１４２及び１４１が、Ｘ座標ｘ３、ｘ２、ｘ１、０の位置で、順次撮像する。例えば、物体３０上の点ＰはＸ座標ｘ３の位置においては、位置３４として物体３０上で反射された光がラインセンサ１４４によって受光される。また、Ｘ座標０の位置においては、位置３１として物体３０上で反射された光がラインセンサ１４１によって受光される。例えば、基準面４０上のＸ座標ｘ３の位置に投影された輝度変化光の位相は（３π／２）ラジアンである。しかし、同じＸ座標ｘ３の物体３０上の点Ｐに位置３１として投影される輝度変化光の位相は（３π／２）ラジアンではなく、πラジアンに近付いている。図８に、例えば基準面４０上での輝度変化光の輝度分布の位置変化を示す正弦波８１と、物体３０上の点Ｐでの輝度変化光の輝度分布の位置変化を示す正弦波８２とを示す。なお、グラフの縦軸及び横軸は図４に示したグラフと同じである。図８から分かるように、正弦波８１と正弦波８２とでは位相がΔφだけシフトしていることが分かる。物体３０の高さが０であれば、位相差Δφは０であるが、物体３０の高さが高くなるにつれ、位相差Δφの値が大きくなる。位相シフト法では、この位相差Δφから物体３０の高さを求めるものである。
　再度図７を参照して、認識部１０４は、撮像部１４０で撮像された物体３０の点Ｐの画像データを用いて、位相シフト法に従い物体３０の形状を認識する（Ｓ１０６）。具体的には、Ｘ座標０、ｘ１、ｘ２及びｘ３に位置する物体３０の点Ｐの画像データの輝度を、それぞれ、ａ、ｂ、ｃ及びｄとした場合に、認識部１０４は、正弦波８２の位相φを、以下の式１に従い算出する。
　　　φ＝ｔａｎ－１（（ｂ－ｄ）／（ｃ－ａ））　　　…（式１）
　認識部１０４は、算出した位相φから位相差Δφを算出し、位相差Δφから物体３０の点Ｐの高さを算出することにより、物体３０の形状を認識する。さらに物体３０上の測定点を複数個所測定するほどより詳細な物体３０の形状を認識することが可能である。位相差Δφから物体３０の高さを算出する方法については、位相シフト法として公知の技術であり、本願発明の主眼ではないため、その詳細な説明を省略する。
　以上により、形状認識装置１００が物体の形状を認識する処理は終了する。
　以上説明したように、実施の形態１に係る形状認識装置１００によれば、複数のライン状の撮像領域の並び方向（Ｘ軸方向）に相対的に、物体を移動させながら、輝度変化光が基準面４０に対して斜めから投影された各ライン状の撮像領域の通過時に、物体を撮像することにより、物体の形状を認識する。輝度変化光は、ライン状の撮像領域内は同一の輝度分布を有し、かつ、周期的に輝度が複数のライン状の撮像領域の並び方向（Ｘ軸方向）に変化する光である。ここで、撮像はライン状の撮像領域で行われる、つまり、各ライン状の撮像領域の撮像は、１ライン分の撮像しか行わなくてよいため、撮像のための処理負荷が小さい。このため、高速に移動する物体を撮像可能である。また、輝度変化光は、各ライン状の撮像領域内においてそれぞれ同一の輝度分布を有する。このため、撮像を行う撮像部と投影を行う投影部との位置調整を行う際には、物体が存在しない基準面上に輝度変化光を投影し、基準面を撮像部で撮像する。このとき、撮像により得られる画像データがライン状の撮像領域内において同一の輝度を有するように位置調整を行う。同一の輝度を有するように位置調整するのは、撮像により得られる画像データが所望のパターンとなるように位置調整をするのに比べて容易である。このため、高速に物体の形状を認識することができ、かつ、容易に撮像部と投影部との位置調整を行うことができる。
　また、輝度変化光の輝度分布の位相は１周期の間に２πラジアン変化する。このため、上述のように輝度変化光の輝度分布の位相を決定することによって、位相シフト法を用いて、複数のライン状の撮像領域における物体の輝度から、輝度分布の位置変化を示す正弦波を推定する際に、精度良く正弦波を推定することができる。よって、高精度に物体の形状を認識することができる。
　（実施の形態２）
　次に、本発明の実施の形態２について説明する。図９は、本発明の実施の形態２に係る形状認識装置１１０の構成を示す図である。
　同図に示すように、形状認識装置１１０は、図２に示された実施の形態１における投影部１３０に代えて、第１投影部１３０ａ及び第２投影部１３０ｂを備え、撮像部１４０に代えて、第１撮像部１４０ａ及び第２撮像部１４０ｂを備える。
　第１投影部１３０ａ及び第２投影部１３０ｂの構成は、投影部１３０と同じであり、第１撮像部１４０ａ及び第２撮像部１４０ｂの構成は、撮像部１４０と同じであるため、説明を繰り返さない。
　第１投影部１３０ａは、上記輝度変化光である第１輝度変化光を、基準面４０に対してＸ軸方向図示右斜めから投影する。第２投影部１３０ｂは、基準面４０に対してＸ軸方向図示左斜めから、第１投影部１３０ａによる第１輝度変化光の投影方向とは異なる方向に上記輝度変化光である第２輝度変化光を投影する。一例として、図９に示すように、第１投影部１３０ａは、Ｘ軸方向図示左斜め下方向に第１輝度変化光を投影し、第２投影部１３０ｂは、Ｘ軸方向図示右斜め下方向に第２輝度変化光を投影する。
　なお、第１投影部１３０ａ及び第２投影部１３０ｂは、基準面４０上の複数のライン上の撮像領域において、第１輝度変化光及び第２輝度変化光が重ならないように、第１輝度変化光及び第２輝度変化光をそれぞれ投影する。例えば、第２投影部１３０ｂの第２輝度変化光の輝度分布は、図１０に示すよう、複数のライン状の撮像領域における基準面４０上の輝度分布を、横軸をＸ座標、縦軸を輝度で示される輝度曲線とした場合に、その輝度分布の波形は正弦波で示される。Ｘ座標がｘ５、ｘ６、ｘ７及びｘ８のＹ軸方向に延びるライン状の撮像領域において（図９参照）、正弦波の位相は、（３π／２）ラジアン、πラジアン、（π／２）ラジアン及び０ラジアンとなる。なお、第１投影部１３０ａの第１輝度変化光の輝度分布は、図４に示した実施の形態１における輝度変化光と同じ輝度分布を有する。
　また、図９に示すように、第１輝度変化光と第２輝度変化光とは、複数のライン状の撮像領域の並び方向（Ｘ軸方向）に互いに位相が反転した関係を有するが、必ずしも位相が反転している必要はなく、第１輝度変化光と第２輝度変化光が同位相の光であっても良い。
　第１撮像部１４０ａは、ラインセンサ１４１ａ～１４４ａで構成され、第２撮像部１４０ｂは、ラインセンサ１４１ｂ～１４４ｂで構成される。ラインセンサ１４１ａ～１４４ａ及びラインセンサ１４１ｂ～１４４ｂは、図２、図３に示すラインセンサ１４１～１４４と同様の構成を有する。第１撮像部１４０ａのラインセンサ１４１ａ、１４２ａ、１４３ａ及び１４４ａは、基準面４０上のＸ軸方向のＸ座標０、ｘ１、ｘ２及びｘ３の位置し、Ｙ軸方向にそれぞれ延びるライン状の領域を撮像領域とする。第２撮像部１４０ｂのラインセンサ１４１ｂ、１４２ｂ、１４３ｂ及び１４４ｂは、Ｘ軸方向の基準面４０上のＸ座標ｘ５、ｘ６、ｘ７及びｘ８の位置し、Ｙ軸方向にそれぞれ延びるライン状の領域を撮像領域とする。
　第１撮像部１４０ａは、基準面４０上を、基準面４０の第１輝度変化光が投影される領域上に配置された複数のライン状の撮像領域である第１の複数のライン状の撮像領域の並び方向（Ｘ軸方向）に相対的に移動する物体３０内の少なくとも同一の測定位置を撮像する。つまり、第１撮像部１４０ａは、輝度変化光が基準面４０に対して斜めから投影された第１の複数のライン状の撮像領域の各々の通過時に、物体３０の同一測定位置を順次撮像する。ここで、輝度変化光とは、ライン状の撮像領域内で同一の輝度分布を有し、かつ、周期的に輝度が複数のライン状の撮像領域の並び方向（Ｘ軸方向）に変化する光である。また、第２撮像部１４０ｂは、基準面４０上を、基準面４０の第２輝度変化光が投影される領域上に配置された複数のライン状の撮像領域である第２の複数のライン状の撮像領域の並び方向（Ｘ軸方向）に相対的に移動する物体３０内の少なくとも同一の測定位置を撮像する。つまり、第２撮像部１４０ｂは、輝度変化光が基準面４０に対して斜めから投影された第２の複数のライン状の撮像領域の各々の通過時に、物体３０の同一測定位置を順次撮像する。
　形状認識装置１１０のその他の構成は、図６に示した形状認識装置１００の構成と同様であるが、投影処理部１０２が第１投影部１３０ａ及び第２投影部１３０ｂの双方を制御し、撮像処理部１０３が、第１撮像部１４０ａ及び第２撮像部１４０ｂの双方を制御する点が異なる。
　認識部１０４は、第１撮像部１４０ａ及び第２撮像部１４０ｂのそれぞれにおいて撮像された物体３０の画像データを用いて、位相シフト法に従い物体３０の形状を認識する。つまり、認識部１０４は、第１撮像部１４０ａにおいて撮像された物体３０の画像データを用いて、位相シフト法に従い物体３０の形状を認識し、第２撮像部１４０ｂにおいて撮像された物体３０の画像データを用いて、位相シフト法に従い位相差を求め、その高さを算出し、物体３０の形状を認識する。さらに物体３０上の測定点を複数個所測定するほどより詳細な物体３０の形状を認識することが可能である。それぞれの物体３０の形状の認識処理は、実施の形態１に示したものと同様であるため、説明は繰り返さない。このように１つの物体３０について２つの認識結果が得られることとなるが、認識部１０４は、２つの認識結果をそのまま出力しても良いし、２つの認識結果のいずれかを出力しても良い。ここで、後者の例を説明する。第１投影部１３０ａの第１輝度変化光の投影方向は図示Ｘ軸方向の左斜め下方向であり、第２投影部１３０ｂの第２輝度変化光の投影方向は図示Ｘ軸方向の右斜め下方向である。このため、物体３０の形状によっては、第１輝度変化光によると物体３０のＸ軸方向の図示左側で死角が生じやすく、第２輝度変化光によると物体３０のＸ軸方向の図示右側で死角が生じやすい。よって、物体３０のＸ軸方向の図示左側の形状を認識する際には、第２撮像部１４０ｂで撮像された物体３０の画像データから得られる認識結果を出力し、物体３０のＸ軸方向の図示右側の形状を認識する際には、第１撮像部１４０ａで撮像された物体３０の画像データから得られる認識結果を出力する。
　以上説明したように、実施の形態２に係る形状認識装置１１０によれば、実施の形態１に係る形状認識装置１００の作用効果に加えて、以下の作用効果を奏する。
　つまり、物体を挟む両側から基準面上で互いに平行で、周期的に輝度が複数のライン状の撮像領域の並び方向に変化する第１輝度変化光及び第２輝度変化光を投影する。ここで、物体の形状によっては、輝度変化光が、物体の一部に遮られて、物体上に投影されない場合がある。このため、物体の両側から輝度変化光を投影することで、輝度変化光が物体の一部に遮られることなく、当該輝度変化光を物体上に投影することができる。
　また、撮像部である第１撮像部１４０ａや第２撮像部１４０ｂの基準面４０上の複数のライン上の撮像領域において、第１輝度変化光と第２輝度変化光とを、重ならないように投影する。これにより、物体の形状を認識するための輝度変化光を有効に活用することができるので、物体の形状認識範囲を広げることができる。
　（実施の形態３）
　次に、本発明の実施の形態３について説明する。図１１は、本発明の実施の形態３に係る形状認識装置１２０の構成を示す図である。
　同図に示すように、形状認識装置１２０は、図２に示された実施の形態１における投影部１３０に代えて、第１投影部１３０ｃ及び第２投影部１３０ｄを備え、撮像部１４０に代えて撮像部１５０を備える。
　第１投影部１３０ｃ及び第２投影部１３０ｄの構成は、投影部１３０と同じであるため、その詳細な説明は繰り返さない。
　第１投影部１３０ｃは、上記輝度変化光である第１輝度変化光を、基準面４０に対してＸ軸方向の図示斜めから投影する。第２投影部１３０ｄは、基準面４０に対してＸ軸方向の図示斜めから、第１投影部１３０ｃによる第１輝度変化光の投影方向とは異なる方向に上記輝度変化光である第２輝度変化光を投影する。一例として、図１１に示すように、第１投影部１３０ｃは、Ｘ軸方向の図示左斜め下方向に第１輝度変化光を投影し、第２投影部１３０ｄは、Ｘ軸方向の図示右斜め下方向に第２輝度変化光を投影する。つまり、第１投影部１３０ｃ及び第２投影部１３０ｄは、物体３０を挟む両側に配置され、当該両側のそれぞれから物体３０に対して基準面４０上で互いに平行で、周期的に輝度が複数のライン状の撮像領域の並び方向に変化する第１輝度変化光及び第２輝度変化光を斜めから投影する。
　なお、第１投影部１３０ｃ及び第２投影部１３０ｄは、基準面４０において、第１輝度変化光及び第２輝度変化光が重なるように、第１輝度変化光及び第２輝度変化光をそれぞれ投影する。例えば、図１１に示すように、第１輝度変化光及び第２輝度変化光の基準面４０上での投影範囲は、共にＸ座標が－ｘ１～ｘ４の間の範囲である。同様に、第１輝度変化光及び第２輝度変化光の基準面４０上での投影範囲は、Ｙ軸方向に延びライン状の撮像領域内は同一の輝度分布を有するＹ軸方向の撮像領域にも共通する。
　また、図１１に示すように、第１輝度変化光と第２輝度変化光とは、複数のライン状の撮像領域の並び方向に互いに位相が反転した関係を有する。図１２（ａ）は、物体３０が存在しない状態で基準面４０に投影された第１輝度変化光の一例を示す図であり、図１２（ｂ）は、物体３０が存在しない状態で基準面４０に投影された第２輝度変化光の一例を示す図である。第１投影部１３０ｃの第１輝度変化光は、Ｘ座標がｘ１のライン状の撮像領域において最も明るくなり、Ｘ座標がｘ３のライン状の撮像領域において最も暗くなる。また、第２投影部１３０ｄの第２輝度変化光は、Ｘ座標がｘ２のライン状の撮像領域において最も明るくなり、Ｘ座標が０のライン状の撮像領域において最も暗くなる。なお、上述したように、図１２（ａ）に示す第１輝度変化光と図１２（ｂ）に示す第２輝度変化光とは、重なり合いを有する。
　ただし、第１輝度変化光と第２輝度変化光とは、必ずしも位相が反転している必要はなく、第１輝度変化光と第２輝度変化光が同位相の光であっても良い。
　また、第１輝度変化光と第２輝度変化光とは、異なる波長を有する。例えば、第１輝度変化光を赤色の波長を有する光とし、第２輝度変化光を青色の波長を有する光とする。
　図１３は、撮像部１５０のラインセンサ１５１の構成を示す図である。なおラインセンサ１５２～１５４も同様の構成を有するため、説明を省略する。ラインセンサ１５１は異なる波長を有する輝度変化光を各々の波長ごとに分離してそれぞれの光を撮像するセンサであり、一般的にはカラーラインセンサが用いられ、主に筐体１５１ａとレンズ部１５１ｃから構成される。図１３では、説明の都合上、筐体１５１ａを破線で示しているが、筐体１５１ａはラインセンサ部１５１ｂを収納する。ここで主にカラーラインセンサのラインセンサ部１５１ｂは一般的に大きく２つの方式に分かれるが、図１４及び図１５はそれらを示した図である。
　図１４は一般的に３ライン方式と呼ばれる構成であり、センサの素子が並列に並んだものである。ラインセンサ部１５１ｂは複数の波長に対応した素子列で構成されており、素子列１５１ｄ、１５１ｅ、１５１ｆはそれぞれ赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光に対応した素子で構成される。
　図１５は一般的に３ＣＣＤ方式と呼ばれる構成であり、センサの素子が並列ではなく三角配置のように設置されたものである。ラインセンサ部１５１ｂは複数の波長に対応した素子列で構成されており、素子列１５１ｄ、１５１ｅ、１５１ｆはそれぞれ赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光に対応した素子と、光を波長によって分離可能なプリズム１５１ｈで構成される。一般的な３ＣＣＤ方式の特性として、基準面４０のライン状の撮像領域からの光はレンズ部１５１ｃを通り、プリズム１５１ｈにてＲ、Ｇ、Ｂに分離され、素子列１５１ｄ、１５１ｅ、１５１ｆへと導かれる。なお光を分離する分離部としてはプリズム１５１ｈに限定されるものではなく、例えば偏光板やフィルタなどにより光を分離するものであってもよい。また、カラーラインセンサのラインセンサ１５１の構成として素子列が３つのものについて説明したが、上記Ｒ、Ｇ、Ｂに加え白黒を含む４列で構成されるものもある。
　図１４及び図１５を用いてラインセンサ部１５１ｂの一般的な構成を説明したが、本発明を実施する構成はどちらであっても良い。
　図１１に示す形状認識装置１２０のその他の構成は、図６に示した形状認識装置１００の構成と同様であるが、投影処理部１０２が第１投影部１３０ｃ及び第２投影部１３０ｄの双方を制御し、撮像処理部１０３が、撮像部１５０を制御する点が異なる。
　認識部１０４は、撮像部１５０の赤（Ｒ）の光に対応するラインセンサ１５１の素子列１５１ｄが撮像した物体３０の赤色成分の画像データを用いて、位相シフト法に従い物体３０の形状を認識する。また、認識部１０４は、撮像部１５０の青（Ｂ）の光に対応するラインセンサ１５１の素子列１５１ｆが撮像した物体３０の青色成分の画像データを用いて、位相シフト法に従い物体３０の形状を認識する。それぞれの物体３０の形状の認識処理は、実施の形態１に示したものと同様であるため、説明は繰り返さない。このように１つの物体３０について２つの認識結果が得られることとなるが、認識部１０４は、２つの認識結果をそのまま出力しても良いし、２つの認識結果のいずれかを出力しても良い。ここで、後者の例を説明する。第１投影部１３０ｃの第１輝度変化光の投影方向はＸ軸方向図示左斜め下方向であり、第２投影部１３０ｄの第２輝度変化光の投影方向はＸ軸方向図示右斜め下方向である。このため、物体３０の形状によっては、第１輝度変化光によると物体３０のＸ軸方向図示左側で死角が生じやすく、第２輝度変化光によると物体３０のＸ軸方向図示右側で死角が生じやすい。よって、例えば物体３０のＸ軸方向図示左側の形状を認識する際には、撮像部１５０のライン状の撮像領域内は同一の輝度分布を有し、かつ、周期的に輝度が複数のライン状の撮像領域の並び方向（Ｘ軸方向）に変化する第２輝度変化光を、基準面４０に対して、第２投影部１３０ｄにてＸ軸方向図示右斜め下方向の投影方向へ投影する。また、撮像部１５０の青（Ｂ）の光に対応するラインセンサ１５１の素子列１５１ｆで撮像された物体３０の青色成分の画像データから得られる認識結果が出力される。物体３０のＸ軸方向図示右側の形状を認識する際には、撮像部１５０のライン状の撮像領域内は同一の輝度分布を有し、かつ、周期的に輝度が複数のライン状の撮像領域の並び方向（Ｘ軸方向）に変化する第１輝度変化光を、基準面４０に対して、第１投影部１３０ｃにてＸ軸方向図示左斜め下方向の投影方向へ投影する。撮像部１５０の赤（Ｒ）の光に対応するラインセンサ１５１の素子列１５１ｄで撮像された物体３０の赤色成分の画像データから得られる認識結果が出力される。または、赤色に着色されている物体３０と青色に着色されている物体３０とを形状認識する必要がある場合には、赤色に着色されている物体３０については、青（Ｂ）の光に対応するラインセンサ１５１の素子列１５１ｆで撮像された物体３０の青色成分の画像データから得られる認識結果が出力される。青色に着色されている物体３０については、赤（Ｒ）の光に対応するラインセンサ１５１の素子列１５１ｄで撮像された物体３０の赤色成分の画像データから得られる認識結果が出力される。
　以上説明したように、実施の形態３に係る形状認識装置１２０によると、実施の形態１に係る形状認識装置１００の作用効果に加えて、以下の作用効果を奏する。
　つまり、撮像部のライン状の撮像領域内は同一の輝度分布を有し、かつ、周期的に輝度が複数のライン状の撮像領域の並び方向（Ｘ軸方向）に変化する輝度変化光を、基準面４０に対して、斜めに物体を挟む両側から投影する。ここで、物体の形状によっては、輝度変化光が、物体の一部に遮られて、物体上に投影されない場合がある。このため、物体の両側から輝度変化光を投影することで、輝度変化光が物体の一部に遮られることなく、当該輝度変化光を物体上に投影することができる。
　また、波長が異なる複数の輝度変化光を、物体を挟む両側から物体の状態に応じて使い分けて投影することで、様々な物体の形状を認識することができる。
　また、撮像部１５０のライン状の撮像領域内は同一の輝度分布を有し、かつ、周期的に輝度が複数のライン状の撮像領域の並び方向（Ｘ軸方向）に変化する輝度変化光を、物体を挟む両側から互いに波長が異なる第１輝度変化光の波長の光と第２輝度変化光の波長の光として基準面上の物体に対してそれぞれ投影する（この時のＸ軸方向の輝度分布の波形はそれぞれ正弦波である。）。撮像部１５０の各カラーラインセンサのラインセンサ１５１～１５４は、それぞれ物体を挟む両側から輝度変化光が投影される物体を、第１輝度変化光の波長の光と第１輝度変化光の波長の光とは波長の異なる第２輝度変化光の波長の光とを分離して、撮像している。このため、物体を挟む両側から物体に対し、波長の異なる第１輝度変化光及び第２輝度変化光がそれぞれ投影され、物体上の第１輝度変化光の波長の光の反射光と第１輝度変化光の波長の光とは波長の異なる第２輝度変化光の波長の光の反射光を、カラ―に対応する１つの撮像部を用いて同時に撮像することができる。よって、波長ごとにラインセンサを設ける場合に比べて、ラインセンサの数を減らすことができる。
　ここで、物体を挟む両側から物体に対し投影する第１輝度変化光と第２輝度変化光とは、一つの撮像部１５０で物体を撮像する場合、同一の波長とすることができない理由について説明する。図１６は、実施の形態３に係る形状認識装置１２０において、第１輝度変化光と第２輝度変化光とが同一の波長及び同一の位相を有する光とした場合の構成を示す。第１輝度変化光と第２輝度変化光の各々は、撮像部のライン状の撮像領域内で同一の輝度分布を有し、かつ、周期的に輝度が複数のライン状の撮像領域の並び方向（Ｘ軸方向）に変化する輝度変化光であり、基準面４０に対して、斜めに物体を挟む両側から投影される。第１輝度変化光と第２輝度変化光とは同一の位相を有するとしていることより、第１輝度変化光と第２輝度変化光とが重なり合う基準面４０上の全ての撮像領域において、第１輝度変化光と第２輝度変化光との位相を等しくすることができる。例えば、ｘ座標がｘ２のライン状の撮像領域においては、第１輝度変化光の位相と第２輝度変化光の位相は共にπである。しかし、その基準面４０上のライン状の撮像領域から高さＨだけ上方にずれたｘ座標がｘ２の撮像領域においては、第１輝度変化光の位相はπ／２であるのに対して第２輝度変化光の位相は３π／２となる。つまり、その高さＨのｘ座標がｘ２の撮像領域においては、明るさの異なる光が混合され、撮像する物体の高さを高さＨとした場合、その反射光が撮像部１５０のカラーラインセンサのラインセンサ１５３に入射する。ここで、第１輝度変化光と第２輝度変化光とを同一の波長としていることより、２つの輝度変化光の反射光を分離することができない。このため、撮像部１５０で撮像された物体３０の画像データから、Ｘ軸方向の輝度分布の波形である正弦波の位相φを算出することができないという問題がある。なお、第１輝度変化光と第２輝度変化光との位相を反転させた場合であっても、同様の問題が生じる。このため、実施の形態３では、物体を挟む両側から投影される第１輝度変化光と第２輝度変化光とは異なる波長を有することとし、一つ撮像部で第１輝度変化光と第２輝度変化光とを分離可能とした。
　以下に上述の実施の形態の変形例を示す。
　（変形例１）
　上述の実施の形態１では、投影部１３０の構成をプロジェクタのような投影光学系のものとした。これに対して、投影光学系の代わりにライン状又は面状の平行光束光源を用いる構成としても良い。ライン状又は面光源を用いた場合でも、光束中に格子状のパターン、ＤＭＤ又はＬＣＤ（液晶）等のパターン発生器を配置することで、パターン発生器を通過した光は正弦波縞パターンを有する光に変換され、基準面４０上に輝度変化光として投影される。
　変形例１によると、面光源を利用して輝度変化光を発生させることができる。
　（変形例２）
　上述の実施の形態１に係る形状認識装置では、撮像部１４０が備えるラインセンサの数を４つとしたが、ラインセンサの数はこれに限定されるものではなく、３つでも良いし、５つ以上であっても良い。
　また、図４に示すように、複数のライン状の撮像領域における基準面４０上の輝度分布を、横軸をＸ座標、縦軸を輝度で示される輝度曲線とした場合に、その輝度分布の波形は正弦波で示される。Ｘ座標が０、ｘ１、ｘ２及びｘ３のライン状の撮像領域において、正弦波の位相は、０ラジアン、（π／２）ラジアン、πラジアン及び（３π／２）ラジアンとなる。複数のライン状の撮像領域における基準面４０上の輝度分布を、横軸をＸ座標、縦軸を輝度で示される輝度曲線とした場合に、その輝度分布の波形は正弦波で示される。ライン状の撮像領域の数（撮像部のラインセンサの数）がＮであるとした場合に、輝度変化光の輝度分布の位相は、隣接するライン状の撮像領域間で（２π／Ｎ）ラジアン異なる。
　このため、例えば、図４では撮像部のラインセンサの数を４つとしているが、撮像部のラインセンサの数が３つとした場合には、各ラインセンサの輝度をＸ座標の小さいラインセンサの輝度から順に、ａ、ｂ及びｃとした場合に、認識部１０４は、実施の形態１に示した、物体３０上での輝度変化光の輝度分布の位置変化を示す正弦波８２の位相φを、以下の式２に従い算出する。
　　　φ＝ｔａｎ－１（（－ａ＋２ｂ－ｃ）／（ｃ－ａ））　　　…（式２）
　また、ラインセンサの数が５つの場合には、各ラインセンサの輝度をＸ座標の小さいラインセンサの輝度から順に、ａ、ｂ、ｃ、ｄ及びｅとした場合に、認識部１０４は、上記位相φを、以下の式３に従い算出する。
　　　φ＝ｔａｎ－１（２（ｂ－ｄ）／（－ａ＋２ｃ－ｅ））　　…（式３）
　また、ラインセンサの数が７つの場合には、各ラインセンサの輝度をＸ座標の小さいラインセンサの輝度から順に、ａ、ｂ、ｃ、ｄ、ｅ、ｆ及びｇとした場合に、認識部１０４は、上記位相φを、以下の式４に従い算出する。
　　　φ＝ｔａｎ－１（（－ａ＋３ｃ－３ｅ＋ｇ）／（２（－ｂ＋２ｄ－ｆ）））…（式４）
　ラインセンサの数を増やすほど位相φの精度が向上する。一方、ラインセンサの数を減らすほど形状認識装置の製造コストを下げることができる。
　このような撮像部のラインセンサの構成は、実施の形態２の第１撮像部１４０ａ及び第２撮像部１４０ｂ、並びに実施の形態３の撮像部１５０にも適用可能である。
　以上、本発明に係る形状認識装置について、上記実施の形態及び変形例を用いて説明したが、本発明は、これに限定されるものではない。
　つまり、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　例えば、上述の実施の形態及び変形例では、形状認識装置は、検査装置に備えられており、基板に実装された部品を検査するために使用されることとした。しかし、形状認識装置は、部品実装装置に備えられ、部品（物体）を供給する部品供給部に配置された部品、基板に部品を実装する実装ヘッドのツールに部品を保持する前のツールの部品保持面、基板に部品を実装する実装ヘッドのツールに保持された部品、基板に実装された部品等、基板に実装される部品を認識するために使用されることにしてもよい。
　また、上述の実施の形態及び変形例では、撮像部は、各ライン状の撮像領域を相対的に移動する物体を撮像する複数のラインセンサであることとした。しかし、撮像部は、ラインセンサとレンズやプリズム等の光学系とで構成される複数のラインカメラ群であってもよい。また、撮像部は、エリアセンサとレンズやプリズム等の光学系とで構成されるエリアカメラであってもよい。エリアイメージセンサの場合には、得られた２次元画像データのうち、予め定められたライン状の画像データを用いることにより、位相シフト法により物体の形状を認識する。撮像部として、エリアイメージセンサを用いる場合、撮像素子が行列状に並ぶエリアイメージセンサの撮像領域に、複数のライン状の撮像領域を設定すれば良い。これにより、エリアイメージイメージセンサにより各ライン状の撮像領域を構成させることができる。なお、エリアイメージセンサには、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサや、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ等が含まれる。
　また、上述の実施の形態及び変形例では、輝度変化光を正弦波縞パターンを有する光であるとしたが、撮像部のライン状の撮像領域内は同一の輝度分布を有し、かつ、周期的に輝度が複数のライン状の並び方向（Ｘ軸方向）に変化する光であれば他の光であっても良い。例えば、輝度の変化を三角波またはのこぎり波で表すことのできる光であっても良い。このような光であっても、波の位相を算出することができるのであれば、位相差を算出することができ、位相差から物体の高さ及び形状を算出することができる。
　また、本発明は、このような形状認識方法及び形状認識装置として実現することができるだけでなく、形状認識方法に含まれる特徴的な処理をコンピュータに実行させるプログラムや当該処理部を備える集積回路として実現したりすることもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　本発明は、物体が高速で移動している場合でも、当該物体の形状認識を精度良く行うことができる形状認識装置を備える検査装置や部品実装装置等に適用できる。
１０　実装基板生産システム
２０　基板
２０ａ　実装基板
３０　物体
３１～３４　位置
４０　基準面
４１～４４　撮像領域
８１、８２　正弦波
１００、１１０、１２０　形状認識装置
１０１　形状認識制御部
１０２　投影処理部
１０３　撮像処理部
１０４　認識部
１３０　投影部
１３０ａ、１３０ｃ　第１投影部
１３０ｂ、１３０ｄ　第２投影部
１４０、１５０　撮像部
１４０ａ　第１撮像部
１４０ｂ　第２撮像部
１４１～１４４、１４１ａ～１４４ａ、１４１ｂ～１４４ｂ、１５１～１５４　ラインセンサ
１５１ａ　筐体
１５１ｂ　ラインセンサ部
１５１ｃ　レンズ部
１５１ｄ～１５１ｆ　素子列
１５１ｈ　プリズム
２００　部品実装装置
３００　印刷装置
４００　検査装置
５００　接着剤塗布装置
６００　リフロー炉

Claims (16)

  1. 　物体の形状を認識する形状認識方法であって、
    　物体の撮像の基準面上に互いに平行に配置された複数のライン状の撮像領域において、ライン状の撮像領域内は同一の輝度分布を有し、かつ、周期的に輝度が前記複数のライン状の撮像領域の並び方向に変化する輝度変化光を、前記基準面に対して斜めから投影する投影ステップと、
    　前記基準面上を、前記複数のライン状の撮像領域の並び方向に相対的に移動する前記物体を、各ライン状の撮像領域の通過時に撮像する撮像ステップと、
    　前記撮像ステップで撮像された前記物体の画像データを用いて、位相シフト法に従い前記物体の形状を認識する認識ステップとを含む
    　形状認識方法。
  2. 　前記投影ステップでは、前記基準面に対して、互いに異なる斜め方向から、各々が前記輝度変化光であり、前記基準面上で互いに平行で、周期的に輝度が前記複数のライン状の撮像領域の並び方向に変化する第１輝度変化光及び第２輝度変化光を投影する
    　請求項１に記載の形状認識方法。
  3. 　前記投影ステップでは、前記基準面において、前記第１輝度変化光及び前記第２輝度変化光が重ならないように、前記第１輝度変化光及び前記第２輝度変化光を投影する
    　請求項２に記載の形状認識方法。
  4. 　前記撮像ステップは、
    　前記基準面上を、前記基準面の前記第１輝度変化光が投影される領域上に配置された前記複数のライン状の撮像領域である第１の複数のライン状の撮像領域の並び方向に相対的に移動する前記物体を、前記第１の複数のライン状の撮像領域の各々の通過時に撮像する第１撮像ステップと、
    　前記基準面上を、前記基準面の前記第２輝度変化光が投影される領域上に配置された前記複数のライン状の撮像領域である第２の複数のライン状の撮像領域の並び方向に相対的に移動する前記物体を、前記第２の複数のライン状の撮像領域の各々の通過時に撮像する第２撮像ステップとを含み、
    　前記認識ステップは、前記第１撮像ステップ及び前記第２撮像ステップのそれぞれにおいて撮像された前記物体の画像データを用いて、位相シフト法に従い前記物体の形状を認識する
    　請求項３に記載の形状認識方法。
  5. 　前記第１輝度変化光と前記第２輝度変化光とは、異なる波長を有する
    　請求項２に記載の形状認識方法。
  6. 　前記投影ステップでは、前記基準面において、前記第１輝度変化光及び前記第２輝度変化光が重なるように、前記第１輝度変化光及び前記第２輝度変化光を投影し、
    　前記撮像ステップでは、前記第１輝度変化光の波長の光と前記第２輝度変化光の波長の光とを分離して、それぞれの波長における前記物体での反射波を撮像することにより、前記物体を撮像し、
    　前記認識ステップでは、前記第１の輝度変化光及び前記第２の輝度変化光のそれぞれ波長における前記物体の画像データを用いて、位相シフト法に従い前記物体の形状を認識する
    　請求項５に記載の形状認識方法。
  7. 　前記輝度変化光は、前記基準面に対して垂直な方向に正弦波で示される輝度分布を有し、かつ、前記複数のライン状の撮像領域の並び方向に正弦波で示される輝度分布を有し、
    　前記ライン状の撮像領域の数がＮであるとした場合に、投影される前記輝度変化光の輝度分布の位相は、隣接する前記ライン状の撮像領域間で（２π／Ｎ）ラジアン異なる
    　請求項１～６のいずれか１項に記載の形状認識方法。
  8. 　前記認識ステップは、
    　前記撮像ステップで撮像された前記複数のライン状の撮像領域における物体の輝度から、輝度分布の位置変化を示す正弦波を推定する正弦波推定ステップと、
    　前記基準面において前記複数のライン状の撮像領域の並び方向の輝度分布の位置変化を示す正弦波と、前記正弦波推定ステップが推定した前記正弦波との位相差から前記物体の高さを算出することにより、前記物体の形状を認識する高さ算出ステップとを含む
    　請求項７に記載の形状認識方法。
  9. 　物体の形状を認識する形状認識装置であって、
    　物体の撮像の基準面上に互いに平行に配置された複数のライン状の撮像領域において、ライン状の撮像領域内は同一の輝度分布を有し、かつ、周期的に輝度が前記複数のライン状の撮像領域の並び方向に変化する輝度変化光を、前記基準面に対して斜めから投影する投影部と、
    　前記基準面上を、前記複数のライン状の撮像領域の並び方向に相対的に移動する前記物体を、各ライン状の撮像領域の通過時に撮像する撮像部と、
    　前記撮像部で撮像された前記物体の画像データを用いて、位相シフト法に従い前記物体の形状を認識する認識部とを備える
    　形状認識装置。
  10. 　前記投影部は、
    　前記輝度変化光である第１輝度変化光を、前記基準面に対して斜めから投影する第１投影部と、
    　前記基準面に対して斜めから、前記第１投影部による前記第１輝度変化光の投影方向とは異なる方向に前記輝度変化光である第２輝度変化光を投影する第２投影部とを含み、
    　前記第１輝度変化光及び前記第２輝度変化光は、前記基準面上で互いに平行で、周期的に輝度が前記複数のライン状の撮像領域の並び方向に変化する
    　請求項９に記載の形状認識装置。
  11. 　前記第１投影部及び前記第２投影部は、前記基準面において、前記第１輝度変化光及び前記第２輝度変化光が重ならないように、前記第１輝度変化光及び前記第２輝度変化光をそれぞれ投影する
    　請求項１０に記載の形状認識装置。
  12. 　前記撮像部は、
    　前記基準面上を、前記基準面の前記第１輝度変化光が投影される領域上に配置された前記複数のライン状の撮像領域である第１の複数のライン状の撮像領域の並び方向に相対的に移動する前記物体を、前記第１の複数のライン状の撮像領域の各々の通過時に撮像する第１撮像部と、
    　前記基準面上を、前記基準面の前記第２輝度変化光が投影される領域上に配置された前記複数のライン状の撮像領域である第２の複数のライン状の撮像領域の並び方向に相対的に移動する前記物体を、前記第２の複数のライン状の撮像領域の各々の通過時に撮像する第２撮像部とを含み、
    　前記認識部は、前記第１撮像部及び前記第２撮像部のそれぞれにおいて撮像された前記物体の画像データを用いて、位相シフト法に従い前記物体の形状を認識する
    　請求項１１に記載の形状認識装置。
  13. 　前記第１輝度変化光と前記第２輝度変化光とは、異なる波長を有する
    　請求項１０に記載の形状認識装置。
  14. 　前記第１投影部及び前記第２投影部は、前記基準面において、前記第１輝度変化光及び前記第２輝度変化光が重なるように、前記第１輝度変化光及び前記第２輝度変化光をそれぞれ投影し、
    　前記撮像部は、前記第１輝度変化光の波長の光と前記第２輝度変化光の波長の光を分離する分離部を有し、前記分離部で分離されたそれぞれの波長における前記物体での反射波を撮像することにより、前記物体を撮像し、
    　前記認識部は、前記第１の輝度変化光及び前記第２の輝度変化光のそれぞれ波長における前記物体の画像データを用いて、位相シフト法に従い前記物体の形状を認識する
    　請求項１３に記載の形状認識装置。
  15. 　基板に部品を実装して実装基板を生産するための実装基板生産装置であって、
    　前記基板に実装される部品を認識する、または前記基板に実装された部品を検査するための請求項９～１４のいずれか１項に記載の形状認識装置を備える
    　実装基板生産装置。
  16. 　請求項１～８のいずれか１項に記載の形状認識方法に含まれる全てのステップをコンピュータに実行させるためのプログラム。
PCT/JP2012/002867 2011-05-02 2012-04-26 形状認識方法、形状認識装置及び実装基板生産装置 WO2012150659A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011103021 2011-05-02
JP2011-103021 2011-05-02

Publications (1)

Publication Number Publication Date
WO2012150659A1 true WO2012150659A1 (ja) 2012-11-08

Family

ID=47107850

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/002867 WO2012150659A1 (ja) 2011-05-02 2012-04-26 形状認識方法、形状認識装置及び実装基板生産装置

Country Status (1)

Country Link
WO (1) WO2012150659A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0921620A (ja) * 1995-07-05 1997-01-21 Fuji Facom Corp 物体の三次元形状計測方法
JP2003121115A (ja) * 2001-10-16 2003-04-23 Nikke Kikai Seisakusho:Kk 外観検査装置および外観検査方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0921620A (ja) * 1995-07-05 1997-01-21 Fuji Facom Corp 物体の三次元形状計測方法
JP2003121115A (ja) * 2001-10-16 2003-04-23 Nikke Kikai Seisakusho:Kk 外観検査装置および外観検査方法

Similar Documents

Publication Publication Date Title
JP4744610B2 (ja) 三次元計測装置
JP5443303B2 (ja) 外観検査装置及び外観検査方法
EP2813808B1 (en) Three-dimensional optical shape measuring apparatus
JP5162702B2 (ja) 表面形状測定装置
US10563977B2 (en) Three-dimensional measuring device
KR101121691B1 (ko) 삼차원 계측 장치
JP5709009B2 (ja) 三次元計測装置
KR101241175B1 (ko) 실장기판 검사장치 및 검사방법
KR20150107822A (ko) 회로 기판의 삼차원 이미징을 위한 멀티 카메라 센서
JP5847568B2 (ja) 三次元計測装置
JP5612969B2 (ja) 外観検査装置及び外観検査方法
JP6027220B1 (ja) 三次元計測装置
JP5957575B1 (ja) 三次元計測装置
WO2020065850A1 (ja) ３次元測定装置
WO2018158983A1 (ja) 三次元計測装置
WO2012150659A1 (ja) 形状認識方法、形状認識装置及び実装基板生産装置
JP2012233782A (ja) 形状認識方法、形状認識装置及び実装基板生産装置
JP6847088B2 (ja) 投影装置及び三次元計測装置
JP6062523B1 (ja) 三次元計測装置
JP2020091203A (ja) 投影装置及び三次元計測装置
WO2019077797A1 (ja) 投影装置及び三次元計測装置
JP2013157360A (ja) 実装基板生産装置および実装基板生産方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12779427

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12779427

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP