WO2019102734A1 - 検出装置、及び電子機器の製造方法 - Google Patents
検出装置、及び電子機器の製造方法 Download PDFInfo
- Publication number
- WO2019102734A1 WO2019102734A1 PCT/JP2018/037921 JP2018037921W WO2019102734A1 WO 2019102734 A1 WO2019102734 A1 WO 2019102734A1 JP 2018037921 W JP2018037921 W JP 2018037921W WO 2019102734 A1 WO2019102734 A1 WO 2019102734A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- polarization
- degree
- detection device
- detection
- linear polarization
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 150
- 238000004519 manufacturing process Methods 0.000 title claims description 15
- 230000010287 polarization Effects 0.000 claims abstract description 315
- 238000003384 imaging method Methods 0.000 claims abstract description 51
- 238000005286 illumination Methods 0.000 claims abstract description 13
- 239000000284 extract Substances 0.000 claims description 19
- 230000007246 mechanism Effects 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 16
- 238000009792 diffusion process Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 12
- 230000000737 periodic effect Effects 0.000 claims description 8
- 235000019557 luminance Nutrition 0.000 description 64
- 230000006870 function Effects 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 20
- 238000007689 inspection Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 7
- 239000011347 resin Substances 0.000 description 6
- 229920005989 resin Polymers 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007723 transport mechanism Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/21—Polarisation-affecting properties
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/2433—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures for measuring outlines by shadow casting
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
- G01B5/0002—Arrangements for supporting, fixing or guiding the measuring instrument or the object to be measured
- G01B5/0004—Supports
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J4/00—Measuring polarisation of light
- G01J4/04—Polarimeters using electric detection means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
Definitions
- the present technology relates to a detection device applicable to, for example, assembly and inspection of an electronic device, and a method of manufacturing the electronic device.
- Patent Document 1 describes a visual inspection apparatus for the purpose of accurately inspecting the outer shape of a film-like transparent plate or the like.
- the first and second polarizers are arranged in a crossed Nicol relationship on the light path between the light source and the imaging device.
- An inspection object is disposed between the first and second polarizing plates.
- an object of the present technology is to provide a detection device capable of detecting an outer shape and the like with high accuracy even if it is an object having transparency, and a method of manufacturing an electronic device.
- a detection device includes an imaging unit, an illumination unit, a polarization control unit, and a generation unit.
- the imaging unit generates image data based on incident light.
- the illumination unit illuminates the object with linearly polarized light.
- the polarization control unit controls the polarization state of detection target light traveling toward the imaging unit.
- the generation unit generates information on the degree of linear polarization of the detection target light based on the image data of the detection target light whose polarization state is controlled, which is generated by the imaging unit.
- the object is illuminated with linearly polarized light, and the polarization state of the detection target light traveling toward the imaging unit is controlled. Further, based on the image data of the detection target light whose polarization state is controlled, information on the degree of linear polarization of the detection target light is generated. By using the information on the degree of linear polarization, it is possible to detect the outer shape and the like with high accuracy even if it is an object having transparency.
- the information on the degree of linear polarization includes at least one of the maximum value of the intensity of the linear polarization component included in the detection target light, the minimum value of the intensity of the linear polarization component included in the detection target light, and the linear polarization degree May be.
- the imaging unit may have a plurality of pixels each generating pixel data.
- the polarization control unit divides the plurality of pixels into a plurality of groups each including a predetermined number of pixels, and controls the polarization state of the detection target light for each of the divided groups.
- the generation unit may generate information on the degree of linear polarization for each of the divided groups.
- the polarization control unit is disposed corresponding to the predetermined number of pixels for each of the divided groups, and controls a polarization state of the detection target light traveling toward each of the predetermined number of pixels. It may have a polarization element of
- the plurality of polarizing elements may respectively extract linearly polarized light components having different polarization directions with respect to incident light.
- the predetermined number of pixels may be first to fourth pixels arranged two by two in directions orthogonal to each other.
- the plurality of polarizing elements may be first to fourth polarizing elements disposed corresponding to the first to fourth pixels.
- the first polarization element may extract a linear polarization component in a first polarization direction from the detection target light.
- the second polarizing element may extract, from the detection target light, a linearly polarized light component of a second polarization direction in which the first polarization direction is rotated approximately 45 ° in a predetermined direction.
- the third polarization element may extract a linearly polarized light component of a third polarization direction, in which the first polarization direction is rotated approximately 90 ° in the predetermined direction, from the detection target light.
- the fourth polarization element may extract a linearly polarized light component of a fourth polarization direction, in which the first polarization direction is rotated approximately 135 ° in the predetermined direction, from the detection target light.
- the generation unit may generate information on the degree of linear polarization for each of the groups based on first to fourth pixel data generated by the first to fourth pixels.
- the generation unit may generate information on the degree of linear polarization by performing fitting processing using a predetermined periodic function based on the first to fourth pixel data.
- the polarization control unit includes: a polarization element disposed on the optical axis of the imaging unit; and a rotation mechanism unit capable of relatively rotating the polarization element with respect to the imaging unit with reference to the optical axis of the imaging unit May be included.
- the rotation mechanism unit may relatively rotate the polarizing element to rotational positions of approximately 0 °, approximately 45 °, approximately 90 °, and approximately 135 ° with reference to a predetermined rotational position.
- the generation unit may generate the information on the degree of linear polarization based on a plurality of image data generated according to the rotation of the polarizing element.
- the generation unit may generate information on the degree of linear polarization by performing fitting processing using a predetermined periodic function based on the plurality of image data.
- the rotation mechanism unit may rotate the polarizing element relative to the imaging unit by at least 180 ° or more with reference to a predetermined rotation position.
- the generation unit may generate the information on the degree of linear polarization based on a plurality of image data generated according to the rotation of the polarizing element.
- the detection device may further include an image generation unit that generates an image of the object based on the generated information on the degree of linear polarization.
- the detection apparatus may further include a detection unit that detects the outer shape of the object based on the generated information on the degree of linear polarization.
- the detection device may further include a determination unit that determines the state of the object based on the generated information on the degree of linear polarization.
- the illumination unit includes a back side polarizing element disposed on the back side of the arrangement surface on which the object is disposed, and a diffusion plate disposed on the opposite side to the arrangement side of the back surface polarizing element May be included.
- a method of manufacturing an electronic device includes illuminating an object to be at least a part of the electronic device with linearly polarized light.
- the polarization state of the detection target light traveling toward the imaging unit is controlled.
- Information on the degree of linear polarization of the detection target light is generated based on the image data of the detection target light whose control of the polarization state is generated by the imaging unit.
- the outer shape of the object is detected based on the generated information on the degree of linear polarization, and the object is picked up and moved to a predetermined position based on the detection result.
- an object to be at least a part of the electronic device is illuminated by linearly polarized light, and the polarization state of detection target light traveling toward the imaging unit is controlled. Further, based on the image data of the detection target light whose polarization state is controlled, information on the degree of linear polarization of the detection target light is generated. By using the information on the degree of linear polarization, it is possible to detect the outer shape of the object with high accuracy even for an object having transparency. As a result, it is possible to improve the manufacturing accuracy of the electronic device.
- the present technology it is possible to detect the outer shape and the like with high accuracy even if it is an object having transparency.
- the effect described here is not necessarily limited, and may be any effect described in the present disclosure.
- FIG. 1 is a schematic view showing a configuration example of a pickup device according to a first embodiment of the present technology.
- the pickup device 100 is configured as an industrial robot applicable to, for example, a transfer process and an assembly process of parts in a manufacturing line of an electronic device. As described in detail later, the pickup device 100 is a device using machine vision, and automation of the process is realized.
- the pickup device 100 has a robot arm 10 and a stage 20.
- the work W is disposed on the placement surface 21 of the stage 20 by, for example, another pick-up device or an arbitrary transport mechanism.
- the pickup device 100 picks up the workpiece W disposed on the placement surface 21 and moves the workpiece W to a predetermined position P on the adjacent conveyance mechanism 5 in a predetermined posture.
- the work W corresponds to an object.
- the work W is made of a resin material having transparency. Having transparency includes both transparency and translucency, and also includes colored forms.
- the present technology is also applicable to any material without being limited to the resin material.
- the robot arm 10 includes a support 11, a drive unit 12, an articulated arm 13, a hand unit 14, a polarization camera 15, and a controller 16.
- the controller 16 is disposed, for example, inside the drive unit 12.
- the support 11 is disposed on the ground or the like and supports the drive unit 12.
- the drive unit 12 drives the articulated arm 13 and the hand unit 14 based on a control command transmitted from the controller 16.
- the drive unit 12 executes expansion and contraction of the articulated arm 13, rotation around the vertical axis (Z axis), rotation of the hand portion 14, and the like.
- the articulated arm 13 is formed of, for example, a vertical articulated arm, but is not limited to this, and other types such as horizontal articulated type, SCARA (Selective Compliance Assembly Robot Arm) type, frog leg type, parallel link type, etc. It may consist of an articulated arm of the form of.
- SCARA Selective Compliance Assembly Robot Arm
- the hand portion 14 has a support portion 17 and two fingers 18 a and 18 b connected to the support portion 17.
- the two fingers 18 a and 18 b are configured such that the distance between them can be varied, and the control command from the controller 16 can sandwich and hold the work W.
- the specific configuration of the hand unit 14 is not limited, and the number of fingers, the configuration for sandwiching the workpiece W, and the like may be arbitrarily designed. In addition, other configurations and methods for holding the workpiece W may be adopted, and for example, vacuum suction or adhesion may be performed.
- the polarization camera 15 is connected to the support 17 of the hand 14.
- the polarization camera 15 is disposed such that the hand portion 14 extends downward along the vertical direction, and the optical axis O extends in the vertical direction.
- the polarization camera 15 can generate image data (image signal) of the imaging region R configured around the optical axis O.
- the position, orientation, etc. in which the polarization camera 15 is disposed are not limited, and may be designed arbitrarily.
- FIG. 2 is a view schematically showing the stage 20 and the polarization camera 15.
- the stage 20 includes a support 22, a diffusion plate 23, and a polarizer 24.
- the support 22 is disposed on the ground or the like.
- the diffuser plate 23 has a function of reflecting and diffusing light, and is disposed on the support 22. Although any white diffusion plate is typically used as the diffusion plate 23, other members may be used as the diffusion plate 23.
- the polarizer 24 extracts a linearly polarized light component having a polarization direction substantially equal to the polarization axis direction of the polarizer 24 from incident light entering the polarizer 24. That is, when light is incident on one surface of the polarizer 24, a linear polarization component of the incident light in the polarization direction substantially equal to the polarization axis direction is emitted from the other surface.
- the specific configuration of the polarizer 24 is not limited, and any configuration such as a polarization element using a crystal material or a wire grid type polarization element may be adopted.
- the surface of the polarizer 24 functions as the arrangement surface 21 of the stage 20.
- the present invention is not limited to this.
- a transparent member or the like capable of maintaining the polarization state may be disposed on the surface of the polarizer 24, and the surface of the transparent member may function as the disposition surface 21.
- ambient light in a space where the pickup device 100 is disposed for example, an indoor light (fluorescent light) is reflected and diffused by the diffusion plate 23.
- the ambient light reflected and diffused by the diffusion plate 23 enters the polarizer 24 and the linearly polarized light component is extracted.
- Linearly polarized light is emitted from the polarizer 24 toward the arrangement surface 21.
- the light transmitted through the work W is disturbed in its polarization state by the birefringence characteristic in the resin, and travels toward the polarization camera 15.
- linear polarization is converted to elliptical polarization.
- the light which does not pass through the workpiece W substantially maintains its polarization state and travels toward the polarization camera 15. That is, substantially linearly polarized light enters the polarization camera 15.
- the light traveling toward the polarization camera 15 from the arrangement surface 21 on which the work W is arranged becomes the detection target light L.
- the detection target light L includes both light passing through the work W and light not passing through the work W.
- the diffusion plate 23 and the polarizer 24 realize an illumination unit that illuminates the object with linearly polarized light.
- the polarizer 24 corresponds to a back side polarization element disposed on the back side of the disposition surface on which the object is disposed.
- the diffuser plate 23 corresponds to a diffuser plate disposed on the opposite side to the side of the rear surface where the polarizing element is disposed.
- FIG. 3 is a view schematically showing a configuration example of the polarization camera 15. As shown in FIG.
- the polarization camera 15 has an image sensor (imaging element) 30 and a polarization control plate 31.
- the image sensor 30 generates image data based on incident light. As shown in FIG. 3, the image sensor 30 has a plurality of pixels 32 each of which generates pixel data. Image data is configured by a plurality of pixel data generated by the plurality of pixels 32.
- the number of the plurality of pixels 32 is not limited, and an image sensor 30 having any number of pixels 32 may be used. In FIG. 3, only a part of the pixels 32 located near the upper left end of the image sensor 30 is shown.
- the image sensor 30 for example, a CMOS (Complementary etal-Oxide Semiconductor) sensor, a CCD (Charge Coupled Device) sensor, or the like is used. Other image sensors may be used. In the present embodiment, the image sensor 30 functions as an imaging unit.
- CMOS Complementary etal-Oxide Semiconductor
- CCD Charge Coupled Device
- the polarization control plate 31 is disposed on the front side of the image sensor 30. Therefore, the polarization control plate 31 controls the polarization state of the detection target light L traveling toward the image sensor 30.
- the polarization control plate 31 functions as a polarization control unit that controls the polarization state of detection target light traveling toward the imaging unit.
- the polarization control plate 31 has a plurality of polarizers 33 of a size substantially equal to the pixel size of the pixels 32 of the image sensor 30.
- the plurality of polarizers 33 are arranged corresponding to the plurality of pixels 32. That is, the polarization control plate 31 is configured such that one polarizer 33 is disposed on the front side of one pixel 32. Therefore, the number of the plurality of pixels 32 and the number of the plurality of polarizers 33 are equal to each other.
- the plurality of polarizers 33 can also be referred to as polarizer pixels.
- the plurality of pixels 32 of the image sensor 30 are divided into a plurality of groups 35 each including a predetermined number of pixels 32. Then, polarization control of the detection target light L is controlled for each of the divided groups 35.
- first to fourth pixels 32a to 32d arranged two by two in the horizontal direction (x direction) and the vertical direction (y direction) which are orthogonal to each other are selected. Be done. These first to fourth pixels 32a to 32d constitute one group 35. In FIG. 3, the group 35 is expressed by using a chain line.
- the upper left pixel 32 is a first pixel 32a
- the upper right pixel 32 is a second pixel 32b
- the lower left pixel 32 is a third pixel 32 c
- the lower right pixel 32 is a fourth pixel 32 d.
- the present invention is not limited to this relationship, and for example, the lower left pixel 32 can be used as the first pixel 32a.
- first to fourth polarizers 33a to 33d are disposed corresponding to the first to fourth pixels 32a to 32d.
- a first polarizer 33a whose polarization axis direction is set in the lateral direction (x direction) is disposed.
- the first polarizer 33a extracts a linearly polarized light component in a polarization direction parallel to the lateral direction (hereinafter referred to as a first polarization direction) from the detection target light L traveling toward the first pixel 32a. . Therefore, linearly polarized light having the first polarization direction is incident on the first pixel 32a.
- a second polarizer 33b whose polarization axis direction is set in a direction in which the horizontal direction is rotated approximately 45 degrees in the left rotation direction is disposed. Therefore, the second polarizer 33 b has a polarization direction parallel to a direction rotated about 45 ° in the left rotation direction from the detection target light L traveling toward the second pixel 32 b (hereinafter, the second polarizer 33 b The linear polarization component of the polarization direction is extracted. As a result, linearly polarized light having the second polarization direction is incident on the second pixel 32 b.
- the second polarization direction corresponds to the polarization direction in which the first polarization direction is rotated approximately 45 degrees in the left rotation direction.
- the left rotation direction corresponds to a predetermined direction.
- a third polarizer 33c whose polarization axis direction is set in a direction in which the horizontal direction is rotated approximately 90 degrees in the left rotation direction is disposed. Therefore, the polarization direction parallel to the direction in which the lateral direction is rotated by about 90 ° in the left rotation direction (hereinafter referred to as the third polarizer 33c), from the detection target light L traveling toward the third pixel 32c. The linear polarization component of the polarization direction is extracted. As a result, linearly polarized light having the third polarization direction is incident on the third pixel 32c.
- a fourth polarizer 33 d whose polarization axis direction is set in a direction in which the lateral direction is rotated approximately 135 ° in the left rotation direction is disposed. Therefore, the fourth polarizer 33 d has a polarization direction parallel to a direction rotated by approximately 135 ° in the left rotation direction from the detection target light L traveling toward the fourth pixel 32 d (hereinafter referred to as the fourth polarization).
- the linear polarization component of the polarization direction is extracted.
- linearly polarized light having the fourth polarization direction is incident on the fourth pixel 32d.
- the plurality of pixels 32 of the image sensor 30 are divided into the plurality of groups 35, and the first to fourth polarizers 33a to 33d are disposed for each group.
- the first to fourth polarizers 33a to 33d extract linearly polarized light components having different polarization directions with respect to the detection target light L, and the linearly polarized light components are guided to the first to fourth pixels 32a to 32d included in the group 35. It is eaten. As a result, it is possible to measure the polarization state of the detection target light L, that is, the polarization state of the imaging region P in which the work W is disposed.
- the first to fourth polarizers 33a to 33d are disposed corresponding to a predetermined number of pixels in each of the divided groups, and the detection target light traveling to each of the predetermined number of pixels is It corresponds to a plurality of polarizing elements that control the polarization state.
- the method of forming the group 35 is not limited, and the group 35 may be formed of any number and any positional relationship of pixels 32. Further, the direction in which the above first to fourth polarization directions are set is not limited, and may be set arbitrarily. The specific configuration of the polarization control plate 31 in which the first to fourth polarizers 33a to 33d are periodically arranged is not limited, and may be designed arbitrarily.
- the controller 16 comprehensively controls the operation of the robot arm 10.
- the controller 16 has a hardware configuration necessary for a computer such as a CPU and a memory (RAM, ROM). Various processes are executed by the CPU loading a control program or the like stored in a memory or the like into the RAM and executing it.
- PLD programmable logic device
- FPGA field programmable gate array
- ASIC application specific integrated circuit
- FIG. 4 is a block diagram showing a functional configuration example of the controller 16.
- the CPU of the controller 16 executes a program according to the present embodiment to obtain an image data acquisition unit 40, a polarization degree information generation unit 41, a work analysis unit 42, an image generation unit 43, and arm control as functional blocks.
- the unit 44 and the camera control unit 45 are realized.
- the detection method according to the present embodiment is executed by these functional blocks.
- dedicated hardware such as an IC (integrated circuit) may be used as appropriate to realize each functional block.
- the program is installed on the robot arm 10 via, for example, various recording media.
- the program may be installed via the Internet or the like.
- FIG. 5 is a flowchart showing an example of processing for picking up the workpiece W and moving it to a predetermined position P.
- an imaging operation of the polarization camera 15 is controlled by the camera control unit 45. For example, imaging conditions such as zoom and exposure time are set, and an imaging operation is performed.
- the image data acquisition unit 40 acquires the image data generated by the polarization camera 15 (step 101).
- the polarization degree information generation unit 41 generates polarization degree information.
- polarization degree information is generated for each of the groups 35 including the first to fourth pixels 32a to 32d.
- maximum brightness Imax and minimum brightness Imin are generated as polarization degree information.
- FIG. 6 is a graph for explaining the maximum luminance Imax and the minimum luminance Imin.
- a polarizer is disposed so as to be perpendicular to the optical axis of incident light (also referred to as the optical axis of a pixel), and the polarizer is rotated about the optical axis.
- the luminance (intensity) of the incident light input to the pixel is expressed by the equation shown below, and becomes a graph as exemplified in FIG.
- the maximum luminance Imax is the maximum value of luminance values acquired as pixel data when the polarizer is rotated.
- the minimum luminance Imin is the minimum value of luminance values acquired as pixel data when the polarizer is rotated.
- (phi) shown to (Formula 1) is an angle of the polarization axis of the polarizer in case a luminance value becomes the largest luminance Imax.
- the maximum luminance Imax corresponds to the maximum value of the intensity of each of the linear polarization components contained in the incident light.
- the minimum luminance Imin corresponds to the minimum value of the intensity of each linear polarization component contained in the incident light.
- Imax and Imin can also be referred to as polarization maxima and polarization minima.
- the angle ⁇ of the polarization axis of the polarizer when the luminance value is the maximum luminance Imax can be said to be the initial phase.
- the shape of the graph changes depending on which direction is used to set the angle of the polarization axis.
- the luminance value of the linear polarization component in the first polarization direction incident on the first pixel 32a is first pixel data based on the light incident on the first pixel 32a.
- the luminance value of the linearly polarized light component in the second polarization direction incident on the second pixel 32 b is second pixel data based on the light incident on the second pixel 32 b.
- the luminance value of the linear polarization component in the third polarization direction incident on the third pixel 32c is the third pixel data based on the light incident on the third pixel 32c.
- the luminance value of the linearly polarized light component in the fourth polarization direction incident on the fourth pixel 32d is the fourth pixel data based on the light incident on the fourth pixel 32d.
- the degree-of-polarization information generating unit 41 performs fitting processing using a cosine function shown in (Expression 1) based on the first to fourth pixel data. Then, the maximum luminance value Imax and the minimum luminance value Imin are generated.
- the angle ⁇ is set with reference to the lateral direction which is the polarization axis direction of the first polarizer 33a shown in FIG. That is, assuming that the lateral direction is 0 °, the angle ⁇ increases along the left rotation direction.
- the luminance value of 0 ° shown in FIG. 6 corresponds to the first pixel data
- the luminance value of 45 ° corresponds to the second pixel data
- a luminance value of 90 ° corresponds to the third pixel data
- a luminance value of 135 ° corresponds to the fourth pixel data.
- the cosine function of (Expression 1) corresponds to a predetermined periodic function.
- Other periodic functions such as trigonometric functions may be used.
- the degree of linear polarization ⁇ is generated as the degree of polarization information (step 103).
- the degree of linear polarization ⁇ approaches 1 as the polarization state of the detection target light L approaches full polarization.
- the degree of polarization information corresponds to information on the degree of linear polarization of the detection target light L. Both the maximum brightness Imax and the minimum brightness Imin and the degree of linear polarization ⁇ are included in the information regarding the degree of linear polarization.
- the polarization degree information generation unit 41 functions as a generation unit.
- a work image which is an image of the work W, is generated by the image generation unit 43 shown in FIG. 4 (step 104).
- the degree of polarization image of the work W is generated based on the degree of linear polarization ⁇ generated in step 103.
- FIG. 7 is a schematic view for explaining a configuration example of the degree of polarization image.
- the image generation unit 43 generates the degree of linear polarization ⁇ for each group 35. Then, the display luminance value is calculated based on the generated linear polarization degree ⁇ . Typically, the display luminance value corresponding to the linear polarization degree ⁇ is calculated by linearly correlating the display luminance value range (gradation range) with the linear polarization degree 0 0 to 1 range. Ru.
- the display luminance value is set larger as the linear polarization degree ⁇ is larger.
- the method of calculating the display luminance value based on the linear polarization degree ⁇ is not limited.
- table information indicating the relationship between the degree of linear polarization ⁇ and the display luminance value may be used.
- a threshold value regarding the degree of linear polarization ⁇ may be set. For example, when the linear polarization degree ⁇ is larger than a predetermined first threshold value, a high display luminance value (for example, a maximum luminance value) is assigned. If the degree of linear polarization ⁇ is smaller than a predetermined second threshold, a low display luminance value (for example, a minimum luminance value) is assigned. This makes it possible to detect the outer shape or the like of the workpiece W with high accuracy.
- the linear polarization degree ⁇ is generated for each of the groups 35 including the first to fourth pixels 32a to 32d, and the same display luminance value corresponding to the linear polarization degree ⁇ is calculated for each of the groups 35 as well. Therefore, as shown in FIG. 7, in the polarization degree image I1, four pixels 50a to 50d corresponding to the first to fourth pixels 32a to 32d have the same display luminance value.
- the display luminance value of each of the four pixels 50a to 50d may be corrected based on the display luminance value of the adjacent group 35 (four pixels 50a to 50d). That is, gradation correction or the like may be performed such that the four pixels 50a to 50d are different from one another.
- FIG. 8 is a photograph for explaining an example of a work image.
- the workpiece W a container made of a cylindrical transparent resin (the lid is white) and a container made of a thin plate-shaped transparent resin were imaged.
- FIG. 8A is a photograph showing a color image I2 of the work W.
- FIG. 8B is a photograph showing a monochrome image I3 of the work W.
- the reflection / transmission amount of the illumination light is at substantially the same level for the background and the work W. Therefore, it is difficult to obtain clear contrast between the background and the work W, and it is difficult to detect the outer shape of the work W.
- FIG. 8C is a photograph showing the polarization degree image I1 of the work W.
- the background is expressed by the detection target light L which does not pass through the work W. That is, since the linear polarization degree ⁇ is expressed by a high light, it is displayed by a high display luminance value. As a result, the background is displayed in a bright color close to white. Of course, when the maximum luminance value can be applied, it is displayed in white.
- the workpiece W is represented by light whose polarization state is disturbed by the birefringence in the resin. That is, since the linear polarization degree ⁇ is expressed by a low light, it is displayed by a low display luminance value. As a result, the workpiece W is displayed in gray to black colors.
- the portion with low transparency in the work W (for example, the lid of a cylindrical container) is represented by non-polarized ambient light reflected by that portion. Therefore, the degree of linear polarization ⁇ becomes approximately 0, and is expressed in approximately black.
- the degree of polarization image I1 is also included in the information related to the degree of linear polarization.
- the outer shape of the workpiece W is detected by the workpiece analysis unit 42 based on the polarization degree image I1 (step 105).
- the method of detecting the outer shape is not limited, and any outer shape detection algorithm such as detection of a contrast edge including, for example, a binarization process may be used.
- a machine learning algorithm or the like using DNN (Deep Neural Network) may be used.
- AI Artificial Intelligence
- deep learning deep learning
- a pickup operation is performed based on the detected outer shape information (step 106). For example, a control command is transmitted by the arm control unit 44 such that the fingers 8a and 8b shown in FIG. 1 can sandwich the predetermined position of the workpiece W. In addition, a control command for moving the work W at a predetermined position P in an appropriate posture is transmitted. Since the outer shape of the workpiece W is detected with high accuracy based on the polarization degree image I1, it is possible to execute the pickup operation with very high accuracy.
- information such as the posture, center of gravity, orientation, position, and the like of the work W may be calculated based on the information of the outer shape, and the pickup operation of the work W may be performed based on the information. It is also possible to directly detect the outer shape by, for example, a machine learning algorithm or the like based on the degree of linear polarization ⁇ for each group 35 calculated in step 103.
- the work analysis unit 42 can calculate the retardation (also referred to as a retardation amount) of the work W based on the polarization degree information.
- the retardation is a parameter defined by the product of the birefringence and the thickness of the work W, and can be calculated by the following equation using the maximum luminance Imax and the minimum luminance Imin.
- the retardation is correlated with the internal stress (strain) of the workpiece W. Therefore, by calculating the retardation, it is possible to detect the distribution of internal stress (strain) and the like. As a result, the state of the workpiece W can be determined, and the workpiece W can be inspected. For example, when the distribution of the internal stress (strain) is different from that of the other work W, it can be judged as a defective product. In addition, when the internal stress (strain) is continuously in an abnormal state, it may be determined that a defect has occurred on the manufacturing line.
- the work analysis unit 42 functions as a detection unit and a determination unit.
- the workpiece W is illuminated by linearly polarized light, and the polarization state of the detection target light L traveling toward the image sensor 30 is controlled. Further, based on the image data of the detection target light L whose polarization state is controlled, information on the linear polarization degree of the detection target light L is generated. By using the information on the degree of linear polarization, it is possible to detect the outer shape, the retardation, and the like with high accuracy, even for the work W having transparency.
- the polarization camera 15 including the image sensor 30 and the polarization control plate 31 is used.
- information on the polarization state of the detection target light L can be acquired in one imaging, and the polarization degree information can be acquired. It is possible to shorten processing time by this.
- the diffusion plate 23 and the polarizer 24 are disposed on the back side of the disposition surface 21, and the function of the backlight is realized. Thereby, it is possible to observe the work W only by the ambient light. Further, a portion which does not transmit light from the back surface like the lid portion of the cylindrical container shown in FIG. 8C is also displayed distinguishably from the background based on the non-polarized environmental light emitted from the front surface. This makes it possible to detect the outer shape or the like of the workpiece W with high accuracy.
- a monochrome image can be captured by using a camera capable of capturing a monochrome image. Then, it is possible to observe the state of the portion (from the camera side) from which the light from the back side is not transmitted. For example, when a label or the like is attached to the front of the work W, the front of the label is displayed black in the polarization degree image, but it is possible to confirm the content etc. written on the label in the monochrome image. In FIG. 8B, the entire image is dark, but it is possible to sufficiently observe the front state of the work W by setting the state of ambient light, the exposure state, and the like.
- the configuration of the illumination unit that illuminates the object with linearly polarized light is not limited.
- a light source such as a lamp may be disposed on the back side of the disposition surface 21, and the polarizer 24 may be disposed on the optical axis of the light source.
- a laser light source or the like capable of emitting linearly polarized laser light it is possible to omit the polarizing element such as the polarizer 24 to constitute the illumination unit.
- the first and second polarizing plates are arranged in an orthogonal Nicol relationship on the light path between the light source and the imaging device.
- An inspection object is disposed between the first and second polarizing plates.
- a degree of polarization image is generated based on the degree of linear polarization. Therefore, an image is displayed on the basis of non-polarization (ambient light) for a portion with low transparency or a partially opaque portion. Therefore, a large difference occurs in the display luminance from the background displayed based on the light having a high degree of linear polarization, and the display is sufficiently distinguished from the background. As a result, the outer shape or the like of the work W can be detected sufficiently.
- the pickup device 100 is configured as one embodiment of a detection device according to the present technology.
- the present technology is applied as a workpiece W to be at least a part of an electronic device, for example, a part in a manufacturing line of the electronic device.
- the work W held by the pickup device 100 and moved to the predetermined position P of the transport mechanism 5 travels along the manufacturing line, and the electronic device is finally manufactured. That is, the pickup operation by the pickup device 100 described with reference to FIG. 5 and the like can be regarded as a process included in the method of manufacturing an electronic device. As described above, since it is possible to execute the pickup operation with high accuracy, it is possible to improve the manufacturing accuracy of the electronic device.
- a process, a field, etc. which can apply a detection device concerning this art are not limited. That is, the present invention is not limited to the case where the workpiece W or the like is picked up and moved, and the present invention is also applicable to detection of the outer shape of the workpiece W, determination of various states, and the like.
- the detection device according to the present technology can be used in any other field, not limited to the field of manufacturing electronic devices. That is, the present technology can be applied to devices other than industrial robots such as robot arms.
- the target to be detected is not limited to a part or the like that is a part of the electronic device, and the present technology can be applied to any other target.
- FIG. 9 is a schematic view showing a configuration example of the pickup device 200 according to the present embodiment.
- the pickup device 200 includes a stage 220, a camera 260, a polarizer 261, and a rotation mechanism portion 262.
- the stage 220 has substantially the same configuration as the stage 20 described in the first embodiment, and includes a support 222, a diffusion plate 223, and a polarizer 224.
- the camera 260 is a monochrome camera, and any monochrome camera having an image sensor such as a CMOS sensor or a CCD sensor may be used.
- the image sensor functions as an imaging unit.
- the polarizer 261 is disposed on the optical axis of the camera 260 and extracts a linearly polarized light component having a polarization direction substantially equal to the polarization axis direction from the detection target light L traveling toward the camera 260.
- the polarizer 261 corresponds to a polarizing element, and any configuration may be employed.
- the rotation mechanism portion 262 can rotate the polarizer 261 relative to the camera 260 with reference to the optical axis O of the camera 260.
- the polarizer 261 is rotated with respect to the camera 260.
- the camera 260 may be rotated about the optical axis O.
- the specific configuration of the rotation mechanism unit 262 is not limited.
- the rotation mechanism portion 262 can be realized by any actuator mechanism including a stepping motor, a gear mechanism, and the like. Of course any other configuration may be employed.
- the polarizer 261 and the rotation mechanism unit 262 function as a polarization control unit that controls the polarization state of detection target light traveling toward the imaging unit.
- the polarizer 261 is rotated by the rotation mechanism portion 262. Then, based on a plurality of image data generated according to the rotation of the polarizer 261, polarization degree information is generated for each pixel.
- the polarizing element is rotated to rotational positions of about 0 °, about 45 °, about 90 °, and about 135 ° with reference to a predetermined rotational position. Then, in each pixel, pixel data at rotational positions of about 0 °, about 45 °, about 90 °, and about 135 ° is acquired. Based on these four pixel data, as described with reference to FIG. 6, the fitting process using the cosine function shown in (Expression 1) is performed.
- the polarization element 261 may be rotated by at least 180 ° or more with respect to the camera 260 based on a predetermined rotation position, and polarization degree information may be generated based on a plurality of image data generated according to the rotation. .
- the maximum value of the luminance values detected according to the rotation of 180 ° or more is the maximum luminance value Imax.
- the minimum value of the luminance values detected according to the rotation of 180 ° or more is the minimum luminance value Imin.
- the degree of linear polarization ⁇ and retardation can be calculated for each pixel based on the maximum luminance value Imax and the minimum luminance value Imin. Since the degree of polarization information can be calculated without performing the fitting process, it is possible to reduce the processing load and the like.
- the intensities of linearly polarized light components at four angles such as 0 °, 45 °, 90 °, and 135 °.
- the invention is not limited to this, and the intensities of other numbers of linearly polarized components such as two, three, or five may be calculated.
- the interval of the angles when a plurality of angles are set may be arbitrarily set.
- the controller 16 as illustrated in FIGS. 1 and 4 is configured and disposed inside the robot arm 10 or the like has been exemplified.
- the controller 16 may be disposed in a polarization camera 15 or a monochrome camera that generates image data of the workpiece W.
- a computer such as a PC may be separately used, and the function of the controller 16 may be provided.
- the PC or the like is connected to the robot arm 10.
- the functions of the blocks included in the controller 16 may be divided and provided in a plurality of devices or computers. For example, generation of polarization degree information is performed by the polarization camera 15, and analysis of the workpiece W is performed by the robot arm 10, PC, or the like. Such a configuration may be employed.
- each block included in the controller 16 may be executed by the cloud server.
- the detection method according to the present technology may be executed by interlocking a plurality of computers that can communicate with each other.
- the detection method according to the present technology can also be applied to a cloud computing configuration in which one function is shared and processed by a plurality of devices via a network.
- the present technology can also adopt the following configuration.
- an imaging unit that generates image data based on incident light;
- An illumination unit for illuminating the object with linearly polarized light;
- a polarization control unit that controls a polarization state of detection target light traveling toward the imaging unit;
- a generation unit configured to generate information on the degree of linear polarization of the detection target light based on the image data of the detection target light whose polarization state has been controlled, which is generated by the imaging unit.
- the detection device includes at least one of the maximum value of the intensity of the linear polarization component contained in the detection target light, the minimum value of the intensity of the linear polarization component contained in the detection target light, and the linear polarization degree Detection device.
- the imaging unit includes a plurality of pixels, each of which generates pixel data.
- the polarization control unit divides the plurality of pixels into a plurality of groups each including a predetermined number of pixels, and controls the polarization state of the detection target light for each of the divided groups.
- the generation unit generates information on the degree of linear polarization for each of the divided groups.
- the detection device (4) The detection device according to (3), wherein The polarization control unit is disposed corresponding to the predetermined number of pixels for each of the divided groups, and controls a polarization state of the detection target light traveling toward each of the predetermined number of pixels.
- the detection device (5) The detection device according to (4), wherein The plurality of polarization elements respectively extract linearly polarized light components in polarization directions different from each other with respect to incident light.
- the detection device (6) The detection device according to (5), wherein The predetermined number of pixels are first to fourth pixels arranged two by two in two directions orthogonal to each other, The plurality of polarization elements are first to fourth polarization elements disposed corresponding to the first to fourth pixels.
- the detection device wherein The first polarization element extracts a linear polarization component in a first polarization direction from the detection target light,
- the second polarization element extracts a linearly polarized light component of a second polarization direction in which the first polarization direction is rotated approximately 45 ° in a predetermined direction from the detection target light,
- the third polarizing element extracts, from the detection target light, a linearly polarized light component of a third polarization direction in which the first polarization direction is rotated by approximately 90 degrees in the predetermined direction,
- the fourth polarization element extracts a linearly polarized light component of a fourth polarization direction in which the first polarization direction is rotated approximately 135 ° in the predetermined direction from the detection target light.
- the detection apparatus according to (6) or (7), wherein The generation unit generates information on the degree of linear polarization for each group based on first to fourth pixel data generated by the first to fourth pixels.
- the detection device (9) The detection device according to (8), wherein The generation unit generates information on the degree of linear polarization by performing fitting processing using a predetermined periodic function based on the first to fourth pixel data.
- the polarization control unit includes: a polarization element disposed on the optical axis of the imaging unit; and a rotation mechanism unit capable of relatively rotating the polarization element with respect to the imaging unit with reference to the optical axis of the imaging unit Detection device.
- the detection device relatively rotates the polarizing element to rotational positions of about 0 °, about 45 °, about 90 °, and about 135 ° with reference to a predetermined rotational position.
- the generation unit generates information on the degree of linear polarization based on a plurality of image data generated according to rotation of the polarizing element.
- the detection device (12)
- the detection device 11), wherein The detection unit generates information on the degree of linear polarization by performing fitting processing using a predetermined periodic function based on the plurality of image data.
- the rotation mechanism unit rotates the polarizing element relative to the imaging unit by at least 180 ° or more with reference to a predetermined rotation position.
- the generation unit generates information on the degree of linear polarization based on a plurality of image data generated according to rotation of the polarizing element.
- the detection apparatus according to any one of (1) to (13), further comprising: A detection device comprising an image generation unit that generates an image of the object based on the generated information on the degree of linear polarization.
- a detection unit comprising a determination unit that determines the state of the object based on the generated information on the degree of linear polarization.
- the detection device includes a back side polarizing element disposed on the back side of the arrangement surface on which the object is disposed, and a diffusion plate disposed on the opposite side to the arrangement side of the back surface polarizing element Detection device.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Biochemistry (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Engineering & Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本技術の一形態に係る検出装置は撮像部と、照明部と、偏光制御部と、生成部とを具備する。前記撮像部は、入射光に基づいて画像データを生成する。前記照明部は、対象物を直線偏光により照明する。前記偏光制御部は、前記撮像部に向けて進行する検出対象光の偏光状態を制御する。前記生成部は、前記撮像部により生成される前記偏光状態が制御された前記検出対象光の画像データに基づいて、前記検出対象光の直線偏光度に関する情報を生成する。
Description
本技術は、例えば電子機器の組み立て、検査等に適用可能な検出装置、及び電子機器の製造方法に関する。
特許文献１には、フィルム状の透明板等の外形を正確に検査することを目的とした視覚検査装置が記載されている。この視覚検査装置では、光源と撮像装置との間の光路上に、第１及び第２の偏光板が直交ニコルの関係となるように配置される。そして第１及び第２の偏光板の間に検査対象が配置される。これにより検査対象を透過しない光の光量と、検査対象を透過する光の光量とに差が生じ、背景部分は暗く検査対象は明るい濃淡画像が生成される。この濃淡画像を２値化することで、検査対象の正確な外形検査が可能とされている（特許文献１の明細書段落［０００９］～［００１４］図１～図３等）。
このように透明性を有する対象物に対して、外形等を高精度に検出することが可能な技術が求められている。
以上のような事情に鑑み、本技術の目的は、透明性を有する対象物であっても、外形等を高精度に検出可能な検出装置、及び電子機器の製造方法を提供することにある。
上記目的を達成するため、本技術の一形態に係る検出装置は撮像部と、照明部と、偏光制御部と、生成部とを具備する。
前記撮像部は、入射光に基づいて画像データを生成する。
前記照明部は、対象物を直線偏光により照明する。
前記偏光制御部は、前記撮像部に向けて進行する検出対象光の偏光状態を制御する。
前記生成部は、前記撮像部により生成される前記偏光状態が制御された前記検出対象光の画像データに基づいて、前記検出対象光の直線偏光度に関する情報を生成する。
前記撮像部は、入射光に基づいて画像データを生成する。
前記照明部は、対象物を直線偏光により照明する。
前記偏光制御部は、前記撮像部に向けて進行する検出対象光の偏光状態を制御する。
前記生成部は、前記撮像部により生成される前記偏光状態が制御された前記検出対象光の画像データに基づいて、前記検出対象光の直線偏光度に関する情報を生成する。
この検出装置では、対象物が直線偏光により照明され、撮像部に向けて進行する検出対象光の偏光状態が制御される。また偏光状態が制御された検出対象光の画像データに基づいて、検出対象光の直線偏光度に関する情報が生成される。この直線偏光度に関する情報を用いることで、透明性を有する対象物であっても、外形等を高精度に検出することが可能となる。
前記直線偏光度に関する情報は、前記検出対象光に含まれる直線偏光成分の強度の最大値、前記検出対象光に含まれる直線偏光成分の強度の最小値、及び直線偏光度の少なくとも１つを含んでもよい。
前記撮像部は、各々が画素データを生成する複数の画素を有してもよい。この場合、前記偏光制御部は、前記複数の画素を、各々が所定の数の画素を含む複数のグループに分割し、前記分割されたグループごとに前記検出対象光の偏光状態を制御してもよい。また前記生成部は、前記分割されたグループごとに前記直線偏光度に関する情報を生成してもよい。
前記偏光制御部は、前記分割されたグループごとに前記所定の数の画素に対応して配置され、前記所定の数の画素の各々に向けて進行する前記検出対象光の偏光状態を制御する複数の偏光素子を有してもよい。
前記複数の偏光素子は、入射光に対して互いに異なる偏光方向の直線偏光成分をそれぞれ抽出してもよい。
前記所定の数の画素は、互いに直交する２方向に２つずつ並ぶ第１～第４の画素であってもよい。この場合、前記複数の偏光素子は、前記第１～第４の画素に対応して配置される第１～第４の偏光素子であってもよい。
前記第１の偏光素子は、前記検出対象光から第１の偏光方向の直線偏光成分を抽出してもよい。この場合、前記第２の偏光素子は、前記検出対象光から前記第１の偏光方向が所定方向へ略４５°回転された第２の偏光方向の直線偏光成分を抽出してもよい。また前記第３の偏光素子は、前記検出対象光から前記第１の偏光方向が前記所定方向へ略９０°回転された第３の偏光方向の直線偏光成分を抽出してもよい。また前記第４の偏光素子は、前記検出対象光から前記第１の偏光方向が前記所定方向へ略１３５°回転された第４の偏光方向の直線偏光成分を抽出してもよい。
前記生成部は、前記第１～第４の画素により生成される第１～第４の画素データに基づいて、前記グループごとにの前記直線偏光度に関する情報を生成してもよい。
前記生成部は、前記第１～第４の画素データに基づいて、所定の周期関数を用いたフィッティング処理を実行することで、前記直線偏光度に関する情報を生成してもよい。
前記偏光制御部は、前記撮像部の光軸上に配置される偏光素子と、前記撮像部の光軸を基準に前記撮像部に対して前記偏光素子を相対的に回転可能な回転機構部とを有してもよい。
前記回転機構部は、所定の回転位置を基準として、略０°、略４５°、略９０°、及び略１３５°の回転位置に、前記偏光素子を相対的に回転させてもよい。この場合、前記生成部は、前記偏光素子の回転に応じて生成される複数の画像データに基づいて、前記直線偏光度に関する情報を生成してもよい。
前記生成部は、前記複数の画像データに基づいて、所定の周期関数を用いたフィッティング処理を実行することで、前記直線偏光度に関する情報を生成してもよい。
前記回転機構部は、所定の回転位置を基準として、前記撮像部に対して前記偏光素子を相対的に少なくとも１８０°以上回転させてもよい。この場合、前記生成部は、前記偏光素子の回転に応じて生成される複数の画像データに基づいて、前記直線偏光度に関する情報を生成してもよい。
前記検出装置は、さらに、前記生成された直線偏光度に関する情報に基づいて、前記対象物の画像を生成する画像生成部を具備してもよい。
検出装置は、さらに、前記生成された直線偏光度に関する情報に基づいて、前記対象物の外形を検出する検出部を具備してもよい。
前記検出装置は、さらに、前記生成された直線偏光度に関する情報に基づいて、前記対象物の状態を判定する判定部を具備してもよい。
前記照明部は、前記対象物が配置される配置面の背面側に配置される背面側の偏光素子と、前記背面側の偏光素子の前記配置面側とは反対側に配置される拡散板とを有してもよい。
本技術の一形態に係る電子機器の製造方法は、電子機器の少なくとも一部となる対象物を直線偏光により照明することを含む。
撮像部に向けて進行する検出対象光の偏光状態が制御される。
前記撮像部により生成される前記偏光状態が制御された前記検出対象光の画像データに基づいて、前記検出対象光の直線偏光度に関する情報が生成される。
前記生成された直線偏光度に関する情報に基づいて前記対象物の外形が検出され、その検出結果に基づいて前記対象物がピックアップされて所定の位置に移動される。
撮像部に向けて進行する検出対象光の偏光状態が制御される。
前記撮像部により生成される前記偏光状態が制御された前記検出対象光の画像データに基づいて、前記検出対象光の直線偏光度に関する情報が生成される。
前記生成された直線偏光度に関する情報に基づいて前記対象物の外形が検出され、その検出結果に基づいて前記対象物がピックアップされて所定の位置に移動される。
この電子機器の製造方法では、電子機器の少なくとも一部となる対象物が直線偏光により照明され、撮像部に向けて進行する検出対象光の偏光状態が制御される。また偏光状態が制御された検出対象光の画像データに基づいて、検出対象光の直線偏光度に関する情報が生成される。この直線偏光度に関する情報を用いることで、透明性を有する対象物であっても、対象物の外形を高精度に検出することが可能となる。この結果、電子機器の製造精度を向上させることが可能となる。
以上のように、本技術によれば、透明性を有する対象物であっても、外形等を高精度に検出することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
［ピックアップ装置の構成］
図１は、本技術の第１の実施形態に係るピックアップ装置の構成例を示す概略図である。ピックアップ装置１００は、例えば電子機器の製造ラインにおける部品の搬送工程や組み立て工程に適用可能な産業用ロボットとして構成される。後に詳しく説明するように、ピックアップ装置１００はマシンビジョンを利用した装置であり、工程の自動化が実現されている。
［ピックアップ装置の構成］
図１は、本技術の第１の実施形態に係るピックアップ装置の構成例を示す概略図である。ピックアップ装置１００は、例えば電子機器の製造ラインにおける部品の搬送工程や組み立て工程に適用可能な産業用ロボットとして構成される。後に詳しく説明するように、ピックアップ装置１００はマシンビジョンを利用した装置であり、工程の自動化が実現されている。
ピックアップ装置１００は、ロボットアーム１０と、ステージ２０とを有する。本実施形態では、ステージ２０の配置面２１に、例えば他のピックアップ装置や任意の搬送機構等により、ワークＷが配置される。ピックアップ装置１００は、配置面２１に配置されたワークＷをピックアップして、隣接する搬送機構５上の所定の位置Ｐに所定の姿勢でワークＷを移動させる。本実施形態においてワークＷは、対象物に相当する。
本実施形態では、ワークＷは、透明性を有する樹脂材料により構成される。透明性を有するとは、透明及び半透明の両方を含み、色が付された形態も含まれる。もちろん樹脂材料に限定されず、任意の材料に対しても本技術は適用可能である。
図１に示すように、ロボットアーム１０は、支持台１１と、駆動ユニット１２と、多関節アーム１３と、ハンド部１４と、偏光カメラ１５と、コントローラ１６とを有する。コントローラ１６は、例えば駆動ユニット１２の内部に配置される。
支持台１１は、地面等に配置され、駆動ユニット１２を支持する。駆動ユニット１２は、コントローラ１６から送信される制御指令に基づいて、多関節アーム１３及びハンド部１４を駆動する。駆動ユニット１２により、多関節アーム１３の伸縮、垂直軸（Ｚ軸）まわりの旋回、及びハンド部１４の回転等が実行される。
多関節アーム１３は、例えば垂直多関節アームで構成されるが、これに限られず、水平多関節型、ＳＣＡＲＡ（Selective Compliance Assembly Robot Arm）型、フログレグ（frog leg）型、パラレルリンク型等の他の形式の多関節アームで構成されてもよい。
ハンド部１４は、支持部１７と、支持部１７に連結された２本のフィンガー１８ａ及び１８ｂとを有する。２本のフィンガー１８ａ及び１８ｂは、互いの距離を変動可能に構成されており、コントローラ１６からの制御指令により、ワークＷを挟み込んで保持することが可能である。
ハンド部１４の具体的な構成は限定されず、フィンガーの数やワークＷを挟み込むための構成等は、任意に設計されてよい。またワークＷを保持するための他の構成や方法が採用されてもよく、例えば真空吸着や接着等が実行されてもよい。
偏光カメラ１５は、ハンド部１４の支持部１７に接続される。偏光カメラ１５は、ハンド部１４が鉛直方向に沿って下向きに、光軸Ｏが鉛直方向に延在するように配置される。偏光カメラ１５は、光軸Ｏを中心として構成される撮像領域Ｒの画像データ（画像信号）を生成することが可能である。偏光カメラ１５が配置される位置や向き等は限定されず、任意に設計されてよい。
図２は、ステージ２０、及び偏光カメラ１５を模式的に示す図である。ステージ２０は、支持台２２と、拡散板２３と、偏光子２４とを有する。支持台２２は地面等に配置される。拡散板２３は、光を反射・拡散する機能を有し、支持台２２上に配置される。拡散板２３としては、典型的には任意の白色拡散板が用いられるが、他の部材が拡散板２３として用いられてもよい。
偏光子２４は、偏光子２４に入射する入射光から、偏光子２４の偏光軸方向と略等しい偏光方向の直線偏光成分を抽出する。すなわち偏光子２４の一方の面に光が入射すると、その入射光の、偏光軸方向と略等しい偏光方向の直線偏光成分が、他方の面から出射される。偏光子２４の具体的な構成は限定されず、結晶材料を用いた偏光素子やワイヤグリッド型の偏光素子等、任意の構成が採用されてよい。
本実施形態では、偏光子２４の表面が、ステージ２０の配置面２１として機能する。もちろんこれに限定されず、偏光子２４の表面に偏光状態を維持することが可能な透明部材等が配置され、その透明部材の表面が配置面２１として機能してもよい。
本実施形態では、ピックアップ装置１００が配置される空間の環境光、例えば室内灯（蛍光灯）が拡散板２３により反射・拡散される。拡散板２３により反射・拡散された環境光は、偏光子２４に入射し直線偏光成分が抽出される。偏光子２４からは、配置面２１に向かって直線偏光が出射される。偏光子２４の偏光軸方向を適宜設定することで、配置面２１に出射される直線偏光の偏光方向を適宜制御することが可能である。
配置面２１に出射される直線偏光のうちワークＷを透過する光は、樹脂内の複屈折特性により偏光状態が乱されて、偏光カメラ１５に向けて進行する。典型的には、直線偏光が楕円偏光に変換される。ワークＷを透過しない光は偏光状態が略維持され、偏光カメラ１５に向けて進行する。すなわち略直線偏光が偏光カメラ１５に入射する。
本実施形態では図２に示すように、ワークＷが配置された配置面２１から偏光カメラ１５に向けて進行する光が、検出対象光Ｌとなる。検出対象光Ｌは、ワークＷを透過する光、及びワークＷを透過しない光の両方を含む。
本実施形態では、拡散板２３及び偏光子２４により、対象物を直線偏光により照明する照明部が実現される。また偏光子２４は、対象物が配置される配置面の背面側に配置される背面側の偏光素子に相当する。拡散板２３は、背面側の偏光素子の配置面側とは反対側に配置される拡散板に相当する。
図３は、偏光カメラ１５の構成例を模式的に示す図である。偏光カメラ１５は、イメージセンサ（撮像素子）３０と、偏光制御板３１とを有する。
イメージセンサ３０は、入射光に基づいて画像データを生成する。図３に示すようにイメージセンサ３０は、各々が画素データを生成する複数の画素３２を有する。複数の画素３２により生成される複数の画素データにより、画像データが構成される。
複数の画素３２の数は限定されず、任意の数の画素３２を有するイメージセンサ３０が用いられてよい。なお図３では、イメージセンサ３０の左上端部の付近に位置する一部の画素３２のみが図示されている。
イメージセンサ３０としては、例えばＣＭＯＳ（Complementary etal-Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等が用いられる。その他のイメージセンサが用いられてもよい。本実施形態において、イメージセンサ３０は、撮像部として機能する。
偏光制御板３１は、イメージセンサ３０の前方側に配置される。従ってイメージセンサ３０に向けて進行する検出対象光Ｌは、偏光制御板３１により偏光状態が制御される。本実施形態において、偏光制御板３１は、撮像部に向けて進行する検出対象光の偏光状態を制御する偏光制御部として機能する。
図３に示すように、偏光制御板３１は、イメージセンサ３０が有する画素３２のピクセルサイズと略等しいサイズの複数の偏光子３３を有する。複数の偏光子３３は、複数の画素３２に対応して配置される。すなわち１つの偏光子３３が１つの画素３２の前方側に配置されるように、偏光制御板３１が構成されている。従って複数の画素３２の数と、複数の偏光子３３の数は、互いに等しくなる。複数の偏光子３３ことを、偏光子ピクセルということもできる。
図３では、複数の画素３２と複数の偏光子３３との関係を分かりやすくするために、左上端部の近傍に位置する１６個の画素３２の前方側に配置された１６個の偏光子３３が図示されている。そしてその他の画素３２の前方に配置された偏光子３３の図示は省略されている。もちろん実際には、全ての画素３２の前方側に、偏光子３３が配置される。
本実施形態では、イメージセンサ３０の複数の画素３２が、各々が所定の数の画素３２を含む複数のグループ３５に分割される。そして分割されたグループ３５ごとに検出対象光Ｌの偏光制御が制御される。
具体的には、所定の数の画素３２として、互いに直交する２方向である横方向（ｘ方向）及び縦方向（ｙ方向）に２つずつ並ぶ第１～第４の画素３２ａ～３２ｄが選択される。これら第１～第４の画素３２ａ～３２ｄにより１つのグループ３５が構成される。なお図３では、鎖線を用いてグループ３５が表現されている。
各グループ３５において、左上の画素３２を第１の画素３２ａとし、右上の画素３２を第２の画素３２ｂとする。また左下の画素３２を第３の画素３２ｃとし、右下の画素３２を第４の画素３２ｄとする。もちろんこの関係に限定される訳ではなく、例えば左下の画素３２を第１の画素３２ａとすることも可能である。
図３に示すように、グループ３５ごとに、第１～第４の画素３２ａ～３２ｄに対応して、第１～第４の偏光子３３ａ～３３ｄが配置される。左上の第１の画素３２ａの前方側には、偏光軸方向が横方向（ｘ方向）に設定された第１の偏光子３３ａが配置される。
第１の偏光子３３ａは、第１の画素３２ａに向けて進行する検出対象光Ｌから、横方向に平行な偏光方向（以下、第１の偏光方向と記載する）の直線偏光成分を抽出する。従って第１の画素３２ａには、第１の偏光方向を有する直線偏光が入射する。
右上の第２の画素３２ｂには、横方向が左回転方向に略４５°回転された方向に偏光軸方向が設定された第２の偏光子３３ｂが配置される。従って第２の偏光子３３ｂは、第２の画素３２ｂに向けて進行する検出対象光Ｌから、横方向が左回転方向に略４５°回転された方向に平行な偏光方向（以下、第２の偏光方向と記載する）の直線偏光成分を抽出する。この結果、第２の画素３２ｂは、第２の偏光方向を有する直線偏光が入射する。
なお第２の偏光方向は、第１の偏光方向が左回転方向に略４５°回転された偏光方向に相当する。また左回転方向は、所定方向に相当する。
右下の第３の画素３２ｃには、横方向が左回転方向に略９０°回転された方向に偏光軸方向が設定された第３の偏光子３３ｃが配置される。従って第３の偏光子３３ｃは、第３の画素３２ｃに向けて進行する検出対象光Ｌから、横方向が左回転方向に略９０°回転された方向に平行な偏光方向（以下、第３の偏光方向と記載する）の直線偏光成分を抽出する。この結果、第３の画素３２ｃは、第３の偏光方向を有する直線偏光が入射する。
左下の第４の画素３２ｄには、横方向が左回転方向に略１３５°回転された方向に偏光軸方向が設定された第４の偏光子３３ｄが配置される。従って第４の偏光子３３ｄは、第４の画素３２ｄに向けて進行する検出対象光Ｌから、横方向が左回転方向に略１３５°回転された方向に平行な偏光方向（以下、第４の偏光方向と記載する）の直線偏光成分を抽出する。この結果、第４の画素３２ｄは、第４の偏光方向を有する直線偏光が入射する。
このように本実施形態では、イメージセンサ３０の複数の画素３２が複数のグループ３５に分割され、グループごとに第１～第４の偏光子３３ａ～３３ｄが配置される。そして第１～第４の偏光子３３ａ～３３ｄにより、検出対象光Ｌに対して互いに異なる偏光方向の直線偏光成分が抽出され、グループ３５に含まれる第１～第４の画素３２ａ～３２ｄに導かれる。これにより検出対象光Ｌの偏光状態、すなわちワークＷが配置される撮像領域Ｐの偏光状態を測定することが可能となる。
本実施形態において、第１～第４の偏光子３３ａ～３３ｄは、分割されたグループごとに所定の数の画素に対応して配置され、所定の数の画素の各々に進行する検出対象光の偏光状態を制御する複数の偏光素子に相当する。
グループ３５を構成する方法は限定されず、任意の数及び任意の位置関係の画素３２によりグループ３５が構成されてよい。また上記した第１～第４の偏光方向をどの方向に設定するかも限定されず、任意に設定されてよい。また第１～第４の偏光子３３ａ～３３ｄが周期的に配置された偏光制御板３１の具体的な構成は限定されず、任意に設計されてよい。
コントローラ１６は、ロボットアーム１０の動作を包括的に制御する。コントローラ１６は、例えばＣＰＵやメモリ（ＲＡＭ、ＲＯＭ）等のコンピュータに必要なハードウェア構成を有する。ＣＰＵがメモリ等に記憶されている制御プログラム等をＲＡＭにロードして実行することにより、種々の処理が実行される。
コントローラ１６として、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific IntegratedCircuit）等のデバイスが用いられてもよい。
図４は、コントローラ１６の機能的な構成例を示すブロック図である。本実施形態では、コントローラ１６のＣＰＵが本実施形態に係るプログラムを実行することで、機能ブロックとして画像データ取得部４０、偏光度情報生成部４１、ワーク解析部４２、画像生成部４３、アーム制御部４４、及びカメラ制御部４５が実現される。そしてこれらの機能ブロックにより、本実施形態に係る検出方法が実行される。なお各機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが適宜用いられてもよい。
プログラムは、例えば種々の記録媒体を介してロボットアーム１０にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
［ワークのピックアップ方法］
図５は、ワークＷをピックアップして所定の位置Ｐに移動させるまでの処理例を示すフローチャートである。まずカメラ制御部４５により偏光カメラ１５の撮像動作が制御される。例えばズームや露光時間等の撮像条件が設定され、撮像動作が実行される。そして画像データ取得部４０により、偏光カメラ１５にて生成された画像データが取得される（ステップ１０１）。
図５は、ワークＷをピックアップして所定の位置Ｐに移動させるまでの処理例を示すフローチャートである。まずカメラ制御部４５により偏光カメラ１５の撮像動作が制御される。例えばズームや露光時間等の撮像条件が設定され、撮像動作が実行される。そして画像データ取得部４０により、偏光カメラ１５にて生成された画像データが取得される（ステップ１０１）。
偏光度情報生成部４１により、偏光度情報が生成される。本実施形態では、第１～第４の画素３２ａ～３２ｄを含むグループ３５ごとに偏光度情報が生成される。まずステップ１０２にて、偏光度情報として、最大輝度Ｉｍａｘ及び最小輝度Ｉｍｉｎが生成される。
図６は、最大輝度Ｉｍａｘ及び最小輝度Ｉｍｉｎを説明するためのグラフである。例えば直線偏光と無偏光とが合成された部分偏光がイメージセンサの１つの画素に入射するとする。この場合入射光の光軸（画素の光軸ともいえる）に垂直となるように偏光子を配置し、光軸を中心に偏光子を回転させる。そうすると画素に入力する入射光の輝度（強度）は、以下に示す式で表され、図６に例示するようなグラフとなる。
図６に例示すように、最大輝度Ｉｍａｘは、偏光子を回転させた場合に画素データとして取得される輝度値の最大値である。最小輝度Ｉｍｉｎは、偏光子を回転させた場合に画素データとして取得される輝度値の最小値である。なお（式１）に示すφは、輝度値が最大輝度Ｉｍａｘとなる場合の偏光子の偏光軸の角度である。
最大輝度Ｉｍａｘは、入射光に含まれる直線偏光成分の各々の強度の最大値に相当する。また最小輝度Ｉｍｉｎは、入射光に含まれる直線偏光成分の各々の強度の最小値に相当する。Ｉｍａｘ及びＩｍｉｎを、偏光最大値及び偏光最小値ということもできる。また輝度値が最大輝度Ｉｍａｘとなる場合の偏光子の偏光軸の角度φは、初期位相ともいえる。もちろん偏光軸の角度を、どの方向を基準として設定するかによって、グラフの形は変わってくる。
本実施形態では、第１の画素３２ａに入射する第１の偏光方向の直線偏光成分の輝度値が、第１の画素３２ａに入射する光に基づいた第１の画素データとなる。第２の画素３２ｂに入射する第２の偏光方向の直線偏光成分の輝度値が、第２の画素３２ｂに入射する光に基づいた第２の画素データとなる。
第３の画素３２ｃに入射する第３の偏光方向の直線偏光成分の輝度値が、第３の画素３２ｃに入射する光に基づいた第３の画素データとなる。第４の画素３２ｄに入射する第４の偏光方向の直線偏光成分の輝度値が、第４の画素３２ｄに入射する光に基づいた第４の画素データとなる。
偏光度情報生成部４１により、第１～第４の画素データに基づいて、（式１）に示すコサイン関数を用いたフィッティング処理が実行される。そして最大輝度値Ｉｍａｘ及び最小輝度値Ｉｍｉｎが生成される。
例えば図３に示す第１の偏光子３３ａの偏光軸方向である横方向を基準にして、角度θを設定する。すなわち横方向を０°として、左回転方向に沿って角度θが増加するとする。この場合、図６に示す０°の輝度値が第１の画素データに相当し、４５°の輝度値が第２の画素データに相当する。また９０°の輝度値が第３の画素データに相当し、１３５°の輝度値が第４の画素データに相当する。これらの画素データに基づいてフィッティング処理を実行することで、グループ３５に関する偏光度情報として、最大輝度値Ｉｍａｘ及び最小輝度値Ｉｍｉｎを生成することが可能である。
本実施形態において、（式１）のコサイン関数は、所定の周期関数に相当する。他の三角関数等の周期関数が用いられてもよい。
ステップ１０３では、偏光度情報として、直線偏光度ρが生成される（ステップ１０３）。直線偏光度ρは、以下の式で算出されるパラメータであり、検出対象光Ｌの偏光状態に応じた評価値である。検出対象光Ｌが完全偏光の場合は１（Ｉｍｉｎ＝０）となり、無偏光の場合は０（Ｉｍａｘ＝Ｉｍｉｎ）となる。検出対象光Ｌの偏光状態が完全偏光に近いほど、直線偏光度ρは１に近づく。
本実施形態において、偏光度情報は、検出対象光Ｌの直線偏光度に関する情報に相当する。最大輝度Ｉｍａｘ及び最小輝度Ｉｍｉｎと、直線偏光度ρとの両方が、直線偏光度に関する情報に含まれる。また偏光度情報生成部４１は、生成部として機能する。
図４に示す画像生成部４３により、ワークＷの画像であるワーク画像が生成される（ステップ１０４）。本実施形態では、ステップ１０３にて生成された直線偏光度ρに基づいて、ワークＷの偏光度画像が生成される。
図７は、偏光度画像の構成例を説明するための模式図である。画像生成部４３は、グループ３５ごとに直線偏光度ρを生成する。そして生成された直線偏光度ρに基づいて表示輝度値を算出する。典型的には、表示輝度値の範囲（階調範囲）と、直線偏光度ρの０～１の範囲とを線形的に対応させることで、直線偏光度ρに対応する表示輝度値が算出される。
例えば階調範囲が０～２５５である場合、直線偏光度＝０に対しては表示輝度値として０が当てはめられる。直線偏光度１に対しては、表示輝度値として２５５が当てはめられる。直線偏光度０～１の間の値には、その値に応じて表示輝度０～２５５の間の値が当てはめられる。すなわち直線偏光度ρが大きいほど表示輝度値が大きく設定される。
直線偏光度ρに基づいて表示輝度値を算出する方法は限定されない。例えば直線偏光度ρと表示輝度値との関係を示すテーブル情報が用いられてもよい。また直線偏光度ρに関する閾値が設定されてもよい。例えば直線偏光度ρが所定の第１の閾値よりも大きい場合には、高い表示輝度値（例えば最大輝度値）が割り当てられる。直線偏光度ρが所定の第２の閾値よりも小さい場合には、低い表示輝度値（例えば最小輝度値）が割り当てられる。これによりワークＷの外形等を高い精度で検出することが可能となる。
もちろん直線偏光度ρと表示輝度値との関係が逆となるように設定されてもよい。すなわち直線偏光度＝０に対しては表示輝度値として２５５が当てはめられる。直線偏光度１に対しては、表示輝度値として０が当てはめられる。このような場合でも、ワークＷのエッジを強調することが可能であり、外形等を高い精度で検出することが可能となる。
本実施形態では、第１～第４の画素３２ａ～３２ｄを含むグループ３５ごとに直線偏光度ρが生成され、同じくグループ３５ごとに直線偏光度ρに対応する同じ表示輝度値が算出される。従って図７に示すように、偏光度画像Ｉ１では、第１～第４の画素３２ａ～３２ｄに対応する４つの画素５０ａ～５０ｄが同じ表示輝度値となる。もちろん隣接するグループ３５（４つの画素５０ａ～５０ｄ）の表示輝度値に基づいて、４つの画素５０ａ～５０ｄの各々の表示輝度値が補正されてもよい。すなわち４つの画素５０ａ～５０ｄが互いに異なるように、階調補正等が実行されてもよい。
図８は、ワーク画像の一例を説明するための写真である。ここではワークＷとして、円柱形上の透明樹脂からなる容器（蓋部は白色）、及び薄板形状の透明樹脂からなる容器を撮像した。
図８Ａは、ワークＷのカラー画像Ｉ２を示す写真である。図８Ｂは、ワークＷのモノクロ画像Ｉ３を示す写真である。カラー画像Ｉ２及びモノクロ画像Ｉ３のいずれも、照明光の反射・透過量が背景とワークＷとで略同等のレベルとなっている。従って、背景とワークＷとの間で明瞭なコントラストを得ることが難しく、ワークＷの外形を検出することが困難となっている。
図８Ｃは、ワークＷの偏光度画像Ｉ１を示す写真である。偏光度画像Ｉ１において、背景は、ワークＷを透過しない検出対象光Ｌにより表現される。すなわち直線偏光度ρが高い光により表現されるので、高い表示輝度値により表示される。この結果、背景は、白に近い明るい色で表示される。もちろん最大輝度値を当てはめられる場合には、白色で表示される。
ワークＷは、樹脂内の複屈折特性により偏光状態が乱された光により表現される。すなわち直線偏光度ρが低い光により表現されるので、低い表示輝度値により表示される。この結果、ワークＷは、グレー～黒色までの色で表示される。
ワークＷ内の透明性が低い部分（例えば円柱形状の容器の蓋部）は、その部分にて反射する無偏光の環境光により表現される。従って直線偏光度ρは略０となり、略黒色で表現される。
このように検出対象光Ｌの直線偏光度ρに基づいた偏光度画像Ｉ１を生成することで、背景とワークＷとの間で明瞭なコントラスト得ることが可能となり、エッジの鮮鋭化・強調化を実現することが可能となる。この結果、ワークＷの外形を高精度に検出することが可能となる。なお偏光度画像Ｉ１も、直線偏光度に関する情報に含まれる。
ワーク解析部４２により、偏光度画像Ｉ１に基づいて、ワークＷの外形が検出される（ステップ１０５）。外形を検出する方法は限定されず、例えば２値化処理等を含むコントラストエッジの検出等、任意の外形検出アルゴリズムが用いられてよい。またＤＮＮ（Deep NeuralNetwork：深層ニューラルネットワーク）を用いた機械学習アルゴリズム等が用いられてもよい。例えばディープラーニング（深層学習）を行うＡＩ（人工知能）等を用いることで、検出精度を向上させることが可能となる。
検出された外形の情報に基づいて、ピックアップ動作が実行される（ステップ１０６）。例えばアーム制御部４４により、図１に示すフィンガー８ａ及び８ｂにてワークＷの所定の位置を挟み込むことが可能なように、制御指令が送信される。また所定の位置ＰにワークＷを適切な姿勢で移動させるための制御指令が送信される。偏光度画像Ｉ１に基づいてワークＷの外形が高精度に検出されているので、非常に高い精度でピックアップ動作を実行させることが可能となる。
もちろん外形の情報に基づいて、ワークＷの姿勢、重心、向き、位置等の情報が算出され、それらの情報に基づいてワークＷのピックアップ動作が実行されてもよい。なおステップ１０３に算出されるグループ３５ごとの直線偏光度ρに基づいて、例えば機械学習アルゴリズム等により、直接的に外形の検出を実行することも可能である。
また本実施形態ではワーク解析部４２により、偏光度情報に基づいてワークＷのリタデーション（リタデーション量ともいう）を算出することが可能である。リタデーションは、ワークＷの複屈折と厚みとの積により定義されるパラメータであり、最大輝度Ｉｍａｘ及び最小輝度Ｉｍｉｎを用いて以下の式で算出することが可能である。
リタデーションは、ワークＷの内部応力（歪み）と相関がある。従ってリタデーションを算出することで、内部応力（歪み）の分布等を検出することが可能となる。この結果、ワークＷの状態を判定することが可能となり、ワークＷの検査を行うことが可能となる。例えば内部応力（歪み）の分布が他のワークＷと異なる場合には、不良品であると判断することが可能である。また内部応力（歪み）が連続的に異常な状態となる場合には、製造ライン上に不具合が発生していると判断する、といったことも可能である。
このように本実施形態では、ワーク解析部４２により、ワークＷの外形検出、及びワークＷの状態判定の両方を実行することが可能である。ワーク解析部４２は、検出部及び判定部として機能する。
以上、本実施形態に係るピックアップ装置１００では、ワークＷが直線偏光により照明され、イメージセンサ３０に向けて進行する検出対象光Ｌの偏光状態が制御される。また偏光状態が制御された検出対象光Ｌの画像データに基づいて、検出対象光Ｌの直線偏光度に関する情報が生成される。この直線偏光度に関する情報を用いることで、透明性を有するワークＷであっても、外形やリタデーション等を高精度に検出することが可能となる。
また本実施形態では、イメージセンサ３０と偏光制御板３１とを含む偏光カメラ１５が用いられる。これにより、例えば１回の撮像にて、検出対象光Ｌの偏光状態に関する情報を取得することが可能であり、偏光度情報を取得することが可能である。これにより処理時間の短縮を図ることが可能である。
また本実施形態では、配置面２１の背面側に拡散板２３及び偏光子２４が配置され、バックライトの機能が実現される。これにより環境光のみでワークＷの観察を行うことが可能である。また図８Ｃに示す円柱形状の容器の蓋部のように背面からの光を透過しない部分も、前面から照射される無偏光の環境光に基づいて背景と区別可能に表示される。これによりワークＷの外形等を高精度に検出することが可能となる。
例えばモノクロ画像を撮像可能なカメラを併用して、モノクロ画像も撮像可能とする。そうすると、背面からの光を透過しない部分の正面から（カメラ側から）の状態を観察することが可能である。例えばワークＷの正面にラベル等が貼られている場合には、偏光度画像ではラベル前面が黒く表示されるが、モノクロ画像ではラベルに記載されている内容等を確認することが可能となる。なお図８Ｂでは、画像全体が暗くなっているが、環境光の状態や露光状態等を設定することで、ワークＷの正面の状態を十分に観察することが可能である。
もちろん、対象物を直線偏光により照明する照明部の構成は限定されない。配置面２１の背面側にランプ等の光源が配置され、その光軸上に偏光子２４が配置されてもよい。また直線偏光のレーザ光を出射可能なレーザ光源等が用いられる場合には、偏光子２４等の偏光素子を省略して照明部を構成することも可能である。
特許文献１に記載の視覚検査装置では、光源と撮像装置との間の光路上に、第１及び第２の偏光板が直交ニコルの関係となるように配置される。そして第１及び第２の偏光板の間に検査対象が配置される。これにより検査対象を透過しない光の光量と、検査対象を透過する光の光量とに差が生じ、背景部分は暗く検査対象は明るい濃淡画像が生成される。この濃淡画像を２値化することで、検査対象の正確な外形検査が可能とされている。
ここで検査対象の透明度が低い場合や、部分的に不透明な部分がある場合には、光源からの光が遮られてしまうので、第２の偏光板を通って撮像装置に入射する光の量が低下する。この結果、背景も検査対象も暗く表示され正確な外形検査が難しくなってしまう。
本技術では、直線偏光度に基づいて偏光度画像が生成される。従って透明度が低い部分や、部分的に不透明な部分については、無偏光（環境光）に基づいて画像が表示される。従って直線偏光度が高い光に基づいて表示される背景とは表示輝度に大きな差異が発生し、背景とは十分に区別して表示される。この結果、ワークＷの外形等を十分に検出することが可能となる。
本実施形態において、ピックアップ装置１００は、本技術に係る検出装置の一実施形態として構成される。ここでワークＷを電子機器の少なくとも一部となる対象物、例えば電子機器の製造ラインにおける部品として、本技術を適用させる。この場合、ピックアップ装置１００により保持され、搬送機構５の所定の位置Ｐに移動されたワークＷは、製造ラインを進み、最終的に電子機器が製造される。すなわち図５等を参照して説明したピックアップ装置１００によるピックアップ動作は、電子機器の製造方法に含まれる工程とみなすことが可能である。上記したように高い精度でピックアップ動作を実行させることが可能であるので、電子機器の製造精度を向上させることが可能となる。
なお本技術に係る検出装置を適用可能な工程や分野等は限定されない。すなわちワークＷ等をピックアップして移動させる場合に限定されるわけではなく、ワークＷの外形の検出や、種々の状態の判定等にも適用可能である。また電子機器の製造分野に限定されず、他の任意の分野にも、本技術に係る検出装置を使用することが可能である。すなわちロボットアーム等の産業用ロボット以外の装置等に、本技術を適用することが可能である。検出対象となる対象物も、電子機器の一部となる部品等に限定されず、他の任意の対象物に対して本技術を適用することが可能である。
＜第２の実施形態＞
本技術に係る第２の実施形態のピックアップ装置について説明する。これ以降の説明では、上記の実施形態で説明したピックアップ装置１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
本技術に係る第２の実施形態のピックアップ装置について説明する。これ以降の説明では、上記の実施形態で説明したピックアップ装置１００における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
図９は、本実施形態に係るピックアップ装置２００の構成例を示す概略図である。ピックアップ装置２００は、ステージ２２０と、カメラ２６０と、偏光子２６１と、回転機構部２６２を有する。ステージ２２０は、第１の実施形態で説明したステージ２０と略等しい構成を有し、支持台２２２と、拡散板２２３と、偏光子２２４とを有する。
カメラ２６０は、モノクロカメラであり、例えばＣＭＯＳセンサやＣＣＤセンサ等のイメージセンサを有する、任意のモノクロカメラが用いられてよい。イメージセンサは、撮像部として機能する。
偏光子２６１は、カメラ２６０の光軸上に配置され、カメラ２６０に向けて進行する検出対象光Ｌから、偏光軸方向と略等しい偏光方向の直線偏光成分を抽出する。偏光子２６１は偏光素子に相当し、任意の構成が採用されてよい。
回転機構部２６２は、カメラ２６０の光軸Ｏを基準にしてカメラ２６０に対して偏光子２６１を相対的に回転させることが可能である。本実施形態では、カメラ２６０に対して偏光子２６１が回転される。もちろん偏光子２６１に対して、カメラ２６０が光軸Ｏを中心に回転されてもよい。
回転機構部２６２の具体的に構成は限定されない。例えばステッピングモータやギア機構等を含む任意のアクチュエータ機構により、回転機構部２６２を実現可能である。もちろん他の任意の構成が採用されてよい。
本実施形態において、偏光子２６１及び回転機構部２６２は、撮像部に向けて進行する検出対象光の偏光状態を制御する偏光制御部として機能する。
ワークＷの観察時には、回転機構部２６２により、偏光子２６１が回転される。そして偏光子２６１の回転に応じて生成される複数の画像データに基づいて、画素ごとに偏光度情報が生成される。
例えば所定の回転位置を基準として、略０°、略４５°、略９０°、及び略１３５°の回転位置に、偏光素子が回転される。そして各画素において、略０°、略４５°、略９０°、及び略１３５°の回転位置における画素データが取得される。これら４つの画素データに基づいて、図６を参照して説明したように、（式１）に示すコサイン関数を用いたフィッティング処理が実行される。
この結果、画素ごとに、最大輝度値Ｉｍａｘ、最小輝度値Ｉｍｉｎ、直線偏光度ρ、及びリタデーションを算出することが可能となる。従って画素ごとに直線偏光度ρに対応する表示輝度を当てはめることが可能となり、解像度の高い偏光度画像Ｉ１を生成することが可能となる。この結果、高い精度でワークＷの外形検出や、状態判定等を実行することが可能となる。
また所定の回転位置を基準として、カメラ２６０に対して偏光素子２６１を少なくとも１８０°以上回転させ、当該回転に応じて生成される複数の画像データに基づいて、偏光度情報が生成されてもよい。
例えば各画素において、１８０°以上の回転に応じて検出される輝度値の最大値が、最大輝度値Ｉｍａｘとなる。また１８０°以上の回転に応じて検出される輝度値の最小値が、最小輝度値Ｉｍｉｎとなる。これら最大輝度値Ｉｍａｘ及び最小輝度値Ｉｍｉｎに基づいて、画素ごとに、直線偏光度ρ及びリタデーションを算出することが可能である。フィッティング処理を実行することなく偏光度情報を算出することが可能となるので、処理負荷の軽減等を図ることが可能となる。
＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
上記では、フィッティング処理により最大輝度値Ｉｍａｘ、最小輝度値Ｉｍｉｎを算出するために、０°、４５°、９０°、１３５°等の、４つの角度（４つの偏光方向）における直線偏光成分の強度が算出された。これに限定されず、２つ、３つ、又は５つ等の他の数の直線偏光成分の強度が算出されてもよい。また複数の角度が設定される場合の角度の間隔も任意に設定されてよい。
上記では、図１及び図４に例示するようなコントローラ１６が構成され、ロボットアーム１０の内部等に配置される場合を例に挙げた。これに限定されず、例えばワークＷの画像データを生成する偏光カメラ１５やモノクロカメラ等に、コントローラ１６が配置されてもよい。またＰＣ等のコンピュータが別個用いられ、コントローラ１６の機能が備えられてもよい。この場合、当該ＰＣ等がロボットアーム１０に接続される。
またコントローラ１６が有する各ブロックの機能が分割されて、複数のデバイスやコンピュータに備えられてもよい。例えば偏光度情報の生成まで偏光カメラ１５により実行され、ワークＷの解析はロボットアーム１０やＰＣ等により実行される。このような構成が採用されてもよい。
またコントローラ１６が有する各ブロックの機能の全部又は一部が、クラウドサーバにより実行されてもよい。また互いに通信可能な複数のコンピュータが連動することで、本技術に係る検出方法が実行されてもよい。
本技術に係る検出方法は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
なお、本技術は以下のような構成も採ることができる。
（１）入射光に基づいて画像データを生成する撮像部と、
対象物を直線偏光により照明する照明部と、
前記撮像部に向けて進行する検出対象光の偏光状態を制御する偏光制御部と、
前記撮像部により生成される前記偏光状態が制御された前記検出対象光の画像データに基づいて、前記検出対象光の直線偏光度に関する情報を生成する生成部と
を具備する検出装置。
（２）（１）に記載の検出装置であって、
前記直線偏光度に関する情報は、前記検出対象光に含まれる直線偏光成分の強度の最大値、前記検出対象光に含まれる直線偏光成分の強度の最小値、及び直線偏光度の少なくとも１つを含む
検出装置。
（３）（１）又は（２）に記載の検出装置であって、
前記撮像部は、各々が画素データを生成する複数の画素を有し、
前記偏光制御部は、前記複数の画素を、各々が所定の数の画素を含む複数のグループに分割し、前記分割されたグループごとに前記検出対象光の偏光状態を制御し、
前記生成部は、前記分割されたグループごとに前記直線偏光度に関する情報を生成する
検出装置。
（４）（３）に記載の検出装置であって、
前記偏光制御部は、前記分割されたグループごとに前記所定の数の画素に対応して配置され、前記所定の数の画素の各々に向けて進行する前記検出対象光の偏光状態を制御する複数の偏光素子を有する
検出装置。
（５）（４）に記載の検出装置であって、
前記複数の偏光素子は、入射光に対して互いに異なる偏光方向の直線偏光成分をそれぞれ抽出する
検出装置。
（６）（５）に記載の検出装置であって、
前記所定の数の画素は、互いに直交する２方向に２つずつ並ぶ第１～第４の画素であり、
前記複数の偏光素子は、前記第１～第４の画素に対応して配置される第１～第４の偏光素子である
検出装置。
（７）（６）に記載の検出装置であって、
前記第１の偏光素子は、前記検出対象光から第１の偏光方向の直線偏光成分を抽出し、
前記第２の偏光素子は、前記検出対象光から前記第１の偏光方向が所定方向へ略４５°回転された第２の偏光方向の直線偏光成分を抽出し、
前記第３の偏光素子は、前記検出対象光から前記第１の偏光方向が前記所定方向へ略９０°回転された第３の偏光方向の直線偏光成分を抽出し、
前記第４の偏光素子は、前記検出対象光から前記第１の偏光方向が前記所定方向へ略１３５°回転された第４の偏光方向の直線偏光成分を抽出する
検出装置。
（８）（６）又は（７）に記載の検出装置であって、
前記生成部は、前記第１～第４の画素により生成される第１～第４の画素データに基づいて、前記グループごとにの前記直線偏光度に関する情報を生成する
検出装置。
（９）（８）に記載の検出装置であって、
前記生成部は、前記第１～第４の画素データに基づいて、所定の周期関数を用いたフィッティング処理を実行することで、前記直線偏光度に関する情報を生成する
検出装置。
（１０）（１）又は（２）に記載の検出装置であって、
前記偏光制御部は、前記撮像部の光軸上に配置される偏光素子と、前記撮像部の光軸を基準に前記撮像部に対して前記偏光素子を相対的に回転可能な回転機構部とを有する
検出装置。
（１１）（１０）に記載の検出装置であって、
前記回転機構部は、所定の回転位置を基準として、略０°、略４５°、略９０°、及び略１３５°の回転位置に、前記偏光素子を相対的に回転させ、
前記生成部は、前記偏光素子の回転に応じて生成される複数の画像データに基づいて、前記直線偏光度に関する情報を生成する
検出装置。
（１２）（１１）に記載の検出装置であって、
前記生成部は、前記複数の画像データに基づいて、所定の周期関数を用いたフィッティング処理を実行することで、前記直線偏光度に関する情報を生成する
検出装置。
（１３）（１０）に記載の検出装置であって、
前記回転機構部は、所定の回転位置を基準として、前記撮像部に対して前記偏光素子を相対的に少なくとも１８０°以上回転させ、
前記生成部は、前記偏光素子の回転に応じて生成される複数の画像データに基づいて、前記直線偏光度に関する情報を生成する
検出装置。
（１４）（１）から（１３）のうちいずれか１つに記載の検出装置であって、さらに、
前記生成された直線偏光度に関する情報に基づいて、前記対象物の画像を生成する画像生成部を具備する
検出装置。
（１５）（１）から（１４）のうちいずれか１つに記載の検出装置であって、さらに、
前記生成された直線偏光度に関する情報に基づいて、前記対象物の外形を検出する検出部を具備する
検出装置。
（１６）（１）から（１５）のうちいずれか１つに記載の検出装置であって、さらに、
前記生成された直線偏光度に関する情報に基づいて、前記対象物の状態を判定する判定部を具備する
検出装置。
（１７）（１）から（１６）のうちいずれか１つに記載の検出装置であって、
前記照明部は、前記対象物が配置される配置面の背面側に配置される背面側の偏光素子と、前記背面側の偏光素子の前記配置面側とは反対側に配置される拡散板とを有する
検出装置。
（１８）電子機器の少なくとも一部となる対象物を直線偏光により照明し、
撮像部に向けて進行する検出対象光の偏光状態を制御し、
前記撮像部により生成される前記偏光状態が制御された前記検出対象光の画像データに基づいて、前記検出対象光の直線偏光度に関する情報を生成し、
前記生成された直線偏光度に関する情報に基づいて前記対象物の外形を検出し、その検出結果に基づいて前記対象物をピックアップして所定の位置に移動させる
電子機器の製造方法。
（１）入射光に基づいて画像データを生成する撮像部と、
対象物を直線偏光により照明する照明部と、
前記撮像部に向けて進行する検出対象光の偏光状態を制御する偏光制御部と、
前記撮像部により生成される前記偏光状態が制御された前記検出対象光の画像データに基づいて、前記検出対象光の直線偏光度に関する情報を生成する生成部と
を具備する検出装置。
（２）（１）に記載の検出装置であって、
前記直線偏光度に関する情報は、前記検出対象光に含まれる直線偏光成分の強度の最大値、前記検出対象光に含まれる直線偏光成分の強度の最小値、及び直線偏光度の少なくとも１つを含む
検出装置。
（３）（１）又は（２）に記載の検出装置であって、
前記撮像部は、各々が画素データを生成する複数の画素を有し、
前記偏光制御部は、前記複数の画素を、各々が所定の数の画素を含む複数のグループに分割し、前記分割されたグループごとに前記検出対象光の偏光状態を制御し、
前記生成部は、前記分割されたグループごとに前記直線偏光度に関する情報を生成する
検出装置。
（４）（３）に記載の検出装置であって、
前記偏光制御部は、前記分割されたグループごとに前記所定の数の画素に対応して配置され、前記所定の数の画素の各々に向けて進行する前記検出対象光の偏光状態を制御する複数の偏光素子を有する
検出装置。
（５）（４）に記載の検出装置であって、
前記複数の偏光素子は、入射光に対して互いに異なる偏光方向の直線偏光成分をそれぞれ抽出する
検出装置。
（６）（５）に記載の検出装置であって、
前記所定の数の画素は、互いに直交する２方向に２つずつ並ぶ第１～第４の画素であり、
前記複数の偏光素子は、前記第１～第４の画素に対応して配置される第１～第４の偏光素子である
検出装置。
（７）（６）に記載の検出装置であって、
前記第１の偏光素子は、前記検出対象光から第１の偏光方向の直線偏光成分を抽出し、
前記第２の偏光素子は、前記検出対象光から前記第１の偏光方向が所定方向へ略４５°回転された第２の偏光方向の直線偏光成分を抽出し、
前記第３の偏光素子は、前記検出対象光から前記第１の偏光方向が前記所定方向へ略９０°回転された第３の偏光方向の直線偏光成分を抽出し、
前記第４の偏光素子は、前記検出対象光から前記第１の偏光方向が前記所定方向へ略１３５°回転された第４の偏光方向の直線偏光成分を抽出する
検出装置。
（８）（６）又は（７）に記載の検出装置であって、
前記生成部は、前記第１～第４の画素により生成される第１～第４の画素データに基づいて、前記グループごとにの前記直線偏光度に関する情報を生成する
検出装置。
（９）（８）に記載の検出装置であって、
前記生成部は、前記第１～第４の画素データに基づいて、所定の周期関数を用いたフィッティング処理を実行することで、前記直線偏光度に関する情報を生成する
検出装置。
（１０）（１）又は（２）に記載の検出装置であって、
前記偏光制御部は、前記撮像部の光軸上に配置される偏光素子と、前記撮像部の光軸を基準に前記撮像部に対して前記偏光素子を相対的に回転可能な回転機構部とを有する
検出装置。
（１１）（１０）に記載の検出装置であって、
前記回転機構部は、所定の回転位置を基準として、略０°、略４５°、略９０°、及び略１３５°の回転位置に、前記偏光素子を相対的に回転させ、
前記生成部は、前記偏光素子の回転に応じて生成される複数の画像データに基づいて、前記直線偏光度に関する情報を生成する
検出装置。
（１２）（１１）に記載の検出装置であって、
前記生成部は、前記複数の画像データに基づいて、所定の周期関数を用いたフィッティング処理を実行することで、前記直線偏光度に関する情報を生成する
検出装置。
（１３）（１０）に記載の検出装置であって、
前記回転機構部は、所定の回転位置を基準として、前記撮像部に対して前記偏光素子を相対的に少なくとも１８０°以上回転させ、
前記生成部は、前記偏光素子の回転に応じて生成される複数の画像データに基づいて、前記直線偏光度に関する情報を生成する
検出装置。
（１４）（１）から（１３）のうちいずれか１つに記載の検出装置であって、さらに、
前記生成された直線偏光度に関する情報に基づいて、前記対象物の画像を生成する画像生成部を具備する
検出装置。
（１５）（１）から（１４）のうちいずれか１つに記載の検出装置であって、さらに、
前記生成された直線偏光度に関する情報に基づいて、前記対象物の外形を検出する検出部を具備する
検出装置。
（１６）（１）から（１５）のうちいずれか１つに記載の検出装置であって、さらに、
前記生成された直線偏光度に関する情報に基づいて、前記対象物の状態を判定する判定部を具備する
検出装置。
（１７）（１）から（１６）のうちいずれか１つに記載の検出装置であって、
前記照明部は、前記対象物が配置される配置面の背面側に配置される背面側の偏光素子と、前記背面側の偏光素子の前記配置面側とは反対側に配置される拡散板とを有する
検出装置。
（１８）電子機器の少なくとも一部となる対象物を直線偏光により照明し、
撮像部に向けて進行する検出対象光の偏光状態を制御し、
前記撮像部により生成される前記偏光状態が制御された前記検出対象光の画像データに基づいて、前記検出対象光の直線偏光度に関する情報を生成し、
前記生成された直線偏光度に関する情報に基づいて前記対象物の外形を検出し、その検出結果に基づいて前記対象物をピックアップして所定の位置に移動させる
電子機器の製造方法。
Ｌ…検出対象光
Ｏ…光軸
Ｗ…ワーク
１０…ロボットアーム
１５…偏光カメラ
１６…コントローラ
２０、２２０…ステージ
２１…配置面
２３、２２３…拡散板
２４、２２４…偏光子
３０…イメージセンサ
３１…偏光制御板
３２…画素
３３…偏光子
３５…グループ
４０…画像データ取得部
４１…偏光度情報生成部
４２…ワーク解析部
４３…画像生成部
１００、２００…ピックアップ装置
２６０…カメラ
２６１…偏光素子
２６２…回転機構部
Ｏ…光軸
Ｗ…ワーク
１０…ロボットアーム
１５…偏光カメラ
１６…コントローラ
２０、２２０…ステージ
２１…配置面
２３、２２３…拡散板
２４、２２４…偏光子
３０…イメージセンサ
３１…偏光制御板
３２…画素
３３…偏光子
３５…グループ
４０…画像データ取得部
４１…偏光度情報生成部
４２…ワーク解析部
４３…画像生成部
１００、２００…ピックアップ装置
２６０…カメラ
２６１…偏光素子
２６２…回転機構部
Claims (18)
- 入射光に基づいて画像データを生成する撮像部と、
対象物を直線偏光により照明する照明部と、
前記撮像部に向けて進行する検出対象光の偏光状態を制御する偏光制御部と、
前記撮像部により生成される前記偏光状態が制御された前記検出対象光の画像データに基づいて、前記検出対象光の直線偏光度に関する情報を生成する生成部と
を具備する検出装置。 - 請求項１に記載の検出装置であって、
前記直線偏光度に関する情報は、前記検出対象光に含まれる直線偏光成分の強度の最大値、前記検出対象光に含まれる直線偏光成分の強度の最小値、及び直線偏光度の少なくとも１つを含む
検出装置。 - 請求項１に記載の検出装置であって、
前記撮像部は、各々が画素データを生成する複数の画素を有し、
前記偏光制御部は、前記複数の画素を、各々が所定の数の画素を含む複数のグループに分割し、前記分割されたグループごとに前記検出対象光の偏光状態を制御し、
前記生成部は、前記分割されたグループごとに前記直線偏光度に関する情報を生成する
検出装置。 - 請求項３に記載の検出装置であって、
前記偏光制御部は、前記分割されたグループごとに前記所定の数の画素に対応して配置され、前記所定の数の画素の各々に向けて進行する前記検出対象光の偏光状態を制御する複数の偏光素子を有する
検出装置。 - 請求項４に記載の検出装置であって、
前記複数の偏光素子は、入射光に対して互いに異なる偏光方向の直線偏光成分をそれぞれ抽出する
検出装置。 - 請求項５に記載の検出装置であって、
前記所定の数の画素は、互いに直交する２方向に２つずつ並ぶ第１～第４の画素であり、
前記複数の偏光素子は、前記第１～第４の画素に対応して配置される第１～第４の偏光素子である
検出装置。 - 請求項６に記載の検出装置であって、
前記第１の偏光素子は、前記検出対象光から第１の偏光方向の直線偏光成分を抽出し、
前記第２の偏光素子は、前記検出対象光から前記第１の偏光方向が所定方向へ略４５°回転された第２の偏光方向の直線偏光成分を抽出し、
前記第３の偏光素子は、前記検出対象光から前記第１の偏光方向が前記所定方向へ略９０°回転された第３の偏光方向の直線偏光成分を抽出し、
前記第４の偏光素子は、前記検出対象光から前記第１の偏光方向が前記所定方向へ略１３５°回転された第４の偏光方向の直線偏光成分を抽出する
検出装置。 - 請求項６に記載の検出装置であって、
前記生成部は、前記第１～第４の画素により生成される第１～第４の画素データに基づいて、前記グループごとにの前記直線偏光度に関する情報を生成する
検出装置。 - 請求項８に記載の検出装置であって、
前記生成部は、前記第１～第４の画素データに基づいて、所定の周期関数を用いたフィッティング処理を実行することで、前記直線偏光度に関する情報を生成する
検出装置。 - 請求項１に記載の検出装置であって、
前記偏光制御部は、前記撮像部の光軸上に配置される偏光素子と、前記撮像部の光軸を基準に前記撮像部に対して前記偏光素子を相対的に回転可能な回転機構部とを有する
検出装置。 - 請求項１０に記載の検出装置であって、
前記回転機構部は、所定の回転位置を基準として、略０°、略４５°、略９０°、及び略１３５°の回転位置に、前記偏光素子を相対的に回転させ、
前記生成部は、前記偏光素子の回転に応じて生成される複数の画像データに基づいて、前記直線偏光度に関する情報を生成する
検出装置。 - 請求項１１に記載の検出装置であって、
前記生成部は、前記複数の画像データに基づいて、所定の周期関数を用いたフィッティング処理を実行することで、前記直線偏光度に関する情報を生成する
検出装置。 - 請求項１０に記載の検出装置であって、
前記回転機構部は、所定の回転位置を基準として、前記撮像部に対して前記偏光素子を相対的に少なくとも１８０°以上回転させ、
前記生成部は、前記偏光素子の回転に応じて生成される複数の画像データに基づいて、前記直線偏光度に関する情報を生成する
検出装置。 - 請求項１に記載の検出装置であって、さらに、
前記生成された直線偏光度に関する情報に基づいて、前記対象物の画像を生成する画像生成部を具備する
検出装置。 - 請求項１に記載の検出装置であって、さらに、
前記生成された直線偏光度に関する情報に基づいて、前記対象物の外形を検出する検出部を具備する
検出装置。 - 請求項１に記載の検出装置であって、さらに、
前記生成された直線偏光度に関する情報に基づいて、前記対象物の状態を判定する判定部を具備する
検出装置。 - 請求項１に記載の検出装置であって、
前記照明部は、前記対象物が配置される配置面の背面側に配置される背面側の偏光素子と、前記背面側の偏光素子の前記配置面側とは反対側に配置される拡散板とを有する
検出装置。 - 電子機器の少なくとも一部となる対象物を直線偏光により照明し、
撮像部に向けて進行する検出対象光の偏光状態を制御し、
前記撮像部により生成される前記偏光状態が制御された前記検出対象光の画像データに基づいて、前記検出対象光の直線偏光度に関する情報を生成し、
前記生成された直線偏光度に関する情報に基づいて前記対象物の外形を検出し、その検出結果に基づいて前記対象物をピックアップして所定の位置に移動させる
電子機器の製造方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/764,793 US11598715B2 (en) | 2017-11-24 | 2018-10-11 | Detection apparatus and method of producing electronic apparatus |
| CN201880074043.0A CN111356895A (zh) | 2017-11-24 | 2018-10-11 | 检测装置以及生产电子装置的方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-225918 | 2017-11-24 | ||
| JP2017225918 | 2017-11-24 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019102734A1 true WO2019102734A1 (ja) | 2019-05-31 |
Family
ID=66630543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2018/037921 WO2019102734A1 (ja) | 2017-11-24 | 2018-10-11 | 検出装置、及び電子機器の製造方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11598715B2 (ja) |
| CN (1) | CN111356895A (ja) |
| WO (1) | WO2019102734A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2022091686A1 (ja) * | 2020-10-30 | 2022-05-05 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7435464B2 (ja) * | 2018-11-21 | 2024-02-21 | ソニーグループ株式会社 | ワーク判別システム、ワーク判別装置及びワーク判別方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63132143A (ja) * | 1986-11-21 | 1988-06-04 | Hitachi Ltd | 異物検査装置 |
| US5243185A (en) * | 1992-07-31 | 1993-09-07 | Loral Aerospace Corp. | Apparatus and method for ice detection |
| JPH07294663A (ja) * | 1994-04-27 | 1995-11-10 | Astecs Kk | 偏光を有する透明体の検出装置 |
| JP2002098650A (ja) * | 2000-09-26 | 2002-04-05 | Matsushita Electric Works Ltd | 透明体検出方法およびそのシステム |
| JP4435865B2 (ja) * | 2008-06-26 | 2010-03-24 | パナソニック株式会社 | 画像処理装置、画像分割プログラムおよび画像合成方法 |
| JP2010107475A (ja) * | 2008-10-31 | 2010-05-13 | Sunx Ltd | 光電センサ |
| JP2011164061A (ja) * | 2010-02-15 | 2011-08-25 | Ricoh Co Ltd | 透明体検出システム |
| JP2011196741A (ja) * | 2010-03-18 | 2011-10-06 | Bridgestone Corp | タイヤの外観検査方法および外観検査装置 |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3543632A1 (de) * | 1985-12-11 | 1987-06-19 | Hoechst Ag | Verfahren und vorrichtung zur bestimmung von dicken- und/oder orientierungsaenderungen innerhalb einer optisch aktiven materialbahn |
| JPS63132142A (ja) | 1986-11-21 | 1988-06-04 | Toshiba Corp | テレビカメラ案内装置 |
| JPH04236344A (ja) | 1991-01-18 | 1992-08-25 | Omron Corp | 視覚検査装置 |
| US5305090A (en) * | 1991-12-11 | 1994-04-19 | Gmi Engineering And Management Institute | Birefringent inspection polarscope |
| US5828500A (en) * | 1995-10-11 | 1998-10-27 | Asahi Kogaku Kogyo Kabushiki Kaisha | Optical element inspecting apparatus |
| US6067155A (en) * | 1997-12-24 | 2000-05-23 | Owens-Brockway Glass Container Inc. | Optical inspection of transparent containers using infrared and polarized visible light |
| KR100326302B1 (ko) * | 2000-03-13 | 2002-03-08 | 윤종용 | 광섬유의 잔여 응력 및 포토일래스틱 효과 측정을 위한측정장치 및 그 방법 |
| US6810141B2 (en) * | 2001-05-04 | 2004-10-26 | Photon-X, Inc. | Method for processing spatial-phase characteristics of electromagnetic energy and information conveyed therein |
| DE10135766B4 (de) * | 2001-07-23 | 2006-02-16 | Nexpress Solutions Llc | Verfahren zum Erfassen eines transparenten Gegenstandes und Detektoreinrichtung |
| US7420675B2 (en) * | 2003-06-25 | 2008-09-02 | The University Of Akron | Multi-wavelength imaging system |
| US7061612B2 (en) * | 2004-09-28 | 2006-06-13 | Osram Sylvania Inc. | LED Polarimeter |
| GB0500570D0 (en) * | 2005-01-12 | 2005-02-16 | Enfis Ltd | Sensing in meat products and the like |
| AU2006210845B2 (en) * | 2005-02-02 | 2011-08-11 | Intergraph Software Technologies Company | Real-time image detection using polarization data |
| US7164145B2 (en) * | 2005-05-12 | 2007-01-16 | Honeywell International Inc. | Measuring fiber orientation by detecting dispersion of polarized light |
| TWI295369B (en) * | 2005-09-13 | 2008-04-01 | Applied Res Lab | Inspection method and device for deformation of lens |
| US7760256B2 (en) * | 2007-05-31 | 2010-07-20 | Panasonic Corporation | Image processing apparatus that obtains color and polarization information |
| JP4469021B2 (ja) * | 2008-07-08 | 2010-05-26 | パナソニック株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置 |
| CN102203700B (zh) * | 2008-11-04 | 2014-01-15 | 夏普株式会社 | 区域传感器和带区域传感器的显示装置 |
| WO2010132467A2 (en) * | 2009-05-11 | 2010-11-18 | Emergentviews, Inc. | Method for aligning pixilated micro-grid polarizer to an image sensor |
| CN102753933B (zh) | 2010-02-15 | 2015-06-10 | 株式会社理光 | 透明物体检测系统和透明平板检测系统 |
| US9213227B2 (en) * | 2011-08-18 | 2015-12-15 | Nikon Corporation | Custom color or polarization sensitive CCD for separating multiple signals in autofocus projection system |
| JP5990905B2 (ja) * | 2011-12-19 | 2016-09-14 | ソニー株式会社 | 測定装置、測定方法、プログラム及び記録媒体 |
| US8842216B2 (en) * | 2012-08-30 | 2014-09-23 | Raytheon Company | Movable pixelated filter array |
| JP2015115041A (ja) * | 2013-12-16 | 2015-06-22 | ソニー株式会社 | 画像処理装置と画像処理方法 |
| JP2015148572A (ja) * | 2014-02-07 | 2015-08-20 | 株式会社ルケオ | 歪検査器 |
| WO2016136085A1 (ja) * | 2015-02-27 | 2016-09-01 | ソニー株式会社 | 画像処理装置と画像処理方法および撮像素子 |
| US10444617B2 (en) * | 2015-04-30 | 2019-10-15 | Sony Corporation | Image processing apparatus and image processing method |
| CN107533763B (zh) * | 2015-05-14 | 2021-09-28 | 索尼公司 | 图像处理装置、图像处理方法及程序 |
| JP7031664B2 (ja) * | 2017-05-24 | 2022-03-08 | ソニーグループ株式会社 | 物体検出装置、および物体検出方法、並びにプログラム |
-
2018
- 2018-10-11 CN CN201880074043.0A patent/CN111356895A/zh active Pending
- 2018-10-11 WO PCT/JP2018/037921 patent/WO2019102734A1/ja active Application Filing
- 2018-10-11 US US16/764,793 patent/US11598715B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63132143A (ja) * | 1986-11-21 | 1988-06-04 | Hitachi Ltd | 異物検査装置 |
| US5243185A (en) * | 1992-07-31 | 1993-09-07 | Loral Aerospace Corp. | Apparatus and method for ice detection |
| JPH07294663A (ja) * | 1994-04-27 | 1995-11-10 | Astecs Kk | 偏光を有する透明体の検出装置 |
| JP2002098650A (ja) * | 2000-09-26 | 2002-04-05 | Matsushita Electric Works Ltd | 透明体検出方法およびそのシステム |
| JP4435865B2 (ja) * | 2008-06-26 | 2010-03-24 | パナソニック株式会社 | 画像処理装置、画像分割プログラムおよび画像合成方法 |
| JP2010107475A (ja) * | 2008-10-31 | 2010-05-13 | Sunx Ltd | 光電センサ |
| JP2011164061A (ja) * | 2010-02-15 | 2011-08-25 | Ricoh Co Ltd | 透明体検出システム |
| JP2011196741A (ja) * | 2010-03-18 | 2011-10-06 | Bridgestone Corp | タイヤの外観検査方法および外観検査装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2022091686A1 (ja) * | 2020-10-30 | 2022-05-05 | ||
| JP7193196B2 (ja) | 2020-10-30 | 2022-12-20 | フェニックス電機株式会社 | 配向膜露光装置用の測定機構、および配向膜露光装置の調整方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11598715B2 (en) | 2023-03-07 |
| US20210372778A1 (en) | 2021-12-02 |
| CN111356895A (zh) | 2020-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8878929B2 (en) | Three dimensional shape measurement apparatus and method | |
| TWI558996B (zh) | 捕捉從多重方向反射之光線的系統與方法 | |
| CN106556603A (zh) | 检查装置和物品制造方法 | |
| TWI484164B (zh) | Optical re - inspection system and its detection method | |
| EP3531116B1 (en) | Image inspection apparatus and image inspection method | |
| WO2019102734A1 (ja) | 検出装置、及び電子機器の製造方法 | |
| WO2017202114A1 (zh) | 确定用于检测的光照强度的方法和装置、及光学检测方法和装置 | |
| JP2017040510A (ja) | 検査装置、検査方法および物体製造方法 | |
| JP4910128B2 (ja) | 対象物表面の欠陥検査方法 | |
| US20200211156A1 (en) | Imaging apparatus and driving method of the same | |
| JP2015068779A (ja) | ３次元測定装置、３次元測定方法および基板の製造方法 | |
| JP2014240766A (ja) | 表面検査方法および表面検査装置 | |
| US11003072B2 (en) | Mask substrate inspection system | |
| JP2007003376A (ja) | 周期性パターンムラ検査装置および周期性パターン撮像方法 | |
| Dechow | The Fundamentals of Machine Vision | |
| JP2023109897A (ja) | 学習装置、検査装置、アライメント装置および学習方法 | |
| JP2007212939A (ja) | 位置ずれ検査方法、プログラム及び位置ずれ検査装置 | |
| JP4743395B2 (ja) | ピッチムラ検査方法およびピッチムラ検査装置 | |
| WO2020184567A1 (ja) | 画像検査装置及び画像検査方法 | |
| TWI672493B (zh) | 用於檢測面板斑紋的光學檢測系統及其方法 | |
| TW202113344A (zh) | 外觀檢查裝置及其校正方法、及電腦可讀取的記錄媒體 | |
| JP2016080517A (ja) | 表面検査装置 | |
| US11442022B2 (en) | Method for reading an image sensor | |
| WO2022137579A1 (ja) | 検査システムおよび検査方法 | |
| KR20150022359A (ko) | 표면 굴곡을 가진 디펙을 검사하는 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18881459 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18881459 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |