JP5620807B2 - Three-dimensional shape measuring device, component transfer device, and three-dimensional shape measuring method - Google Patents
Three-dimensional shape measuring device, component transfer device, and three-dimensional shape measuring method Download PDFInfo
- Publication number
- JP5620807B2 JP5620807B2 JP2010286437A JP2010286437A JP5620807B2 JP 5620807 B2 JP5620807 B2 JP 5620807B2 JP 2010286437 A JP2010286437 A JP 2010286437A JP 2010286437 A JP2010286437 A JP 2010286437A JP 5620807 B2 JP5620807 B2 JP 5620807B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- component
- line
- measurement object
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000012546 transfer Methods 0.000 title claims description 16
- 238000003384 imaging method Methods 0.000 claims description 386
- 238000005259 measurement Methods 0.000 claims description 84
- 238000005286 illumination Methods 0.000 claims description 73
- 230000010354 integration Effects 0.000 claims description 65
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 15
- 230000000694 effects Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 238000000691 measurement method Methods 0.000 description 6
- 238000011144 upstream manufacturing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
Description
本発明は、三次元形状計測装置、部品移載装置および三次元形状計測方法に関し、特に、移動する計測対象物に対して正弦波状の光強度分布を有するパターン光を投影する照明部を備えた三次元形状計測装置、部品移載装置および三次元形状計測方法に関する。 The present invention relates to a three-dimensional shape measurement device, a component transfer device, and a three-dimensional shape measurement method, and more particularly, includes an illumination unit that projects pattern light having a sinusoidal light intensity distribution onto a moving measurement object. The present invention relates to a three-dimensional shape measuring device, a component transfer device, and a three-dimensional shape measuring method.
従来、移動する計測対象物に対して正弦波状の光強度分布を有するパターン光を投影する照明部を備えた三次元形状計測方法が知られている(たとえば、特許文献1参照)。 2. Description of the Related Art Conventionally, a three-dimensional shape measuring method including an illumination unit that projects pattern light having a sinusoidal light intensity distribution on a moving measurement object is known (see, for example, Patent Document 1).
上記特許文献1には、格子投影装置とラインセンサとを用いて、移動する物体の形状を計測する連続移動物体形状計測方法が開示されている。この連続移動物体形状計測方法では、移動する計測対象物に対して光強度分布(明暗のパターン)が余弦波状に調整された照明光を投影した状態で、計測対象物の移動方向に沿って配置された4本のラインセンサを介して計測対象物を順次撮像した後、撮像されたライン画像(線状の画像)に基づいた位相解析を行うことにより、計測対象物の形状(高さ情報)を得ている。
しかしながら、上記特許文献1に記載の連続移動物体形状計測方法では、ラインセンサ(ライン状の撮像領域)を用いて移動する計測対象物を撮像するため、個々のライン画像は濃度値が十分に得られずに取得される虞がある。つまり、移動する計測対象物を撮像する場合に、N画素×M列の平面的に広がる二次元センサーカメラが受ける光量(N×M)と比較して、N画素の1本のラインセンサが受ける光量(N)は、二次元センサーカメラの露光面積(N×M)に対するラインセンサの露光面積(N)の割合に比例して少なくなる(1/M倍になる)。したがって、移動する計測対象物を1本のラインセンサ(ライン状の撮像領域)で撮像した画像データが、二次元センサーカメラで撮像した画像データと同程度の濃度値(画素の明るさ)を有するためには、照明光をより高輝度(M倍)に設定する必要がある。このため、従来用いられてきた照明光よりも高輝度な照明光が必要になるという問題点がある。
However, in the continuously moving object shape measuring method described in
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、ライン状(線状)の撮像領域を用いて移動する計測対象物の撮像を行う際にも、高輝度な照明光を用いることなく明るい画像を取得することが可能な三次元形状計測装置、部品移載装置および三次元形状計測方法を提供することである。 The present invention has been made to solve the above-described problems, and one object of the present invention is to perform imaging of a moving measurement object using a linear (linear) imaging region. Another object is to provide a three-dimensional shape measuring device, a component transfer device, and a three-dimensional shape measuring method capable of acquiring a bright image without using high-intensity illumination light.
上記目的を達成するために、この発明の第1の局面における三次元形状計測装置は、各々が第1方向に並べられるとともに第1方向と直交する第2方向にライン状に延びる複数の撮像領域を含み、計測対象物を撮像する撮像部と、撮像部に対して第1方向に相対的に移動する計測対象物に向けて正弦波状の光強度分布を有する照明光を投影する照明部と、撮像部が、各々のライン状の撮像領域を用いて第1方向に移動する計測対象物の同一部分を順次撮像する場合に、計測対象物の同一部分の画像信号を、照明光が有する周期の2分の1以下の範囲で積算する制御を行う制御部とを備える。 In order to achieve the above object, a three-dimensional shape measuring apparatus according to a first aspect of the present invention includes a plurality of imaging regions that are arranged in a first direction and extend in a line shape in a second direction orthogonal to the first direction. An imaging unit that images the measurement object, and an illumination unit that projects illumination light having a sinusoidal light intensity distribution toward the measurement object that moves relative to the imaging unit in the first direction; When the imaging unit sequentially captures the same part of the measurement object moving in the first direction using each line-shaped imaging region, the image signal of the same part of the measurement object has a cycle of the illumination light. And a control unit that performs control for integration within a range of ½ or less.
この発明の第1の局面による三次元形状計測装置では、上記のように、ライン状に延びる複数の撮像領域を含む撮像部と、撮像部が各々の撮像領域を用いて撮像部に対して第1方向に相対的に移動する計測対象物の同一部分を順次撮像する場合に、計測対象物の同一部分の画像信号を積算する制御を行う制御部とを備えることによって、積算終了後の画像データは、個々のライン状の撮像領域が受光した同一部分の画像信号がライン状の撮像領域の数だけ積算された画像データの状態となる。これにより、積算された画像データが有する濃度値(明るさ)は、1つのライン状の撮像領域のみが受光した画像データが有する濃度値(明るさ)と比較して、積算(加算)される分、より大きな値を有することができる。つまり、受光不足に起因して十分な濃度値(明るさ)を有さない画像データが取得されることが回避される。この結果、ライン状(線状)の撮像領域を用いて移動する計測対象物の撮像を行う際にも、高輝度な照明光を用いることなく明るい画像を取得することができる。また、第1方向に移動する速度を大きくしたとしても、積算処理により画像データが有する明るさが低下するのが抑制されるので、同一の輝度を有する照明光を用いる場合に、計測装置に対してより高速度で第1方向に移動する計測対象物の三次元形状計測を行うことができる。 In the three-dimensional shape measuring apparatus according to the first aspect of the present invention, as described above, the imaging unit including a plurality of imaging regions extending in a line shape, and the imaging unit uses the respective imaging regions to When the same part of the measurement object that moves relatively in one direction is sequentially imaged, the image data after completion of the integration is provided by a control unit that performs control to integrate image signals of the same part of the measurement object. Is a state of image data in which the image signals of the same part received by the individual line-shaped imaging areas are integrated by the number of line-shaped imaging areas. Thereby, the density value (brightness) of the integrated image data is integrated (added) compared to the density value (brightness) of the image data received by only one line-shaped imaging region. Minutes can have larger values. That is, it is possible to avoid acquiring image data that does not have a sufficient density value (brightness) due to insufficient light reception. As a result, a bright image can be acquired without using high-intensity illumination light when imaging a measurement object that moves using a linear (linear) imaging region. In addition, even if the speed of moving in the first direction is increased, the brightness of the image data is suppressed from decreasing due to the integration process, so when using illumination light having the same luminance, Thus, the three-dimensional shape measurement of the measurement object moving in the first direction at a higher speed can be performed.
また、第1の局面による三次元形状計測装置では、撮像部が各々のライン状の撮像領域を用いて撮像部に対して第1方向に相対的に移動する計測対象物の同一部分を順次撮像する場合に、計測対象物の同一部分の画像信号を、照明光が有する周期の2分の1以下の範囲で積算する制御を行う制御部を備えることによって、個々のライン状の撮像領域が受光した画像信号の積算処理の効果を適切に得ることができる。ここで、計測対象物に照射された正弦波状の照明光を受光した個々の画像信号を積算する場合、積算開始から積算終了までの積算範囲が、照明光が有する周期の2分の1となる場合が、最も大きな濃度値(明るさ)を得ることができる。つまり、正弦波を任意の積分開始点からπラジアン(2分の1周期)の積分区間で積分した積分値(濃度値)が最も大きい値であることを意味する。したがって、積算区間を照明光の周期の2分の1として画像信号を順次積算することにより、積算の効果を最大限に得ることができる。なお、積算区間が照明光の周期の2分の1よりも短い(πラジアン未満)場合であっても、積算されることにより、十分な濃度値となった画像を容易に得ることができる。 In the three-dimensional shape measuring apparatus according to the first aspect, the imaging unit sequentially captures the same portion of the measurement object that moves relative to the imaging unit in the first direction using each linear imaging region. In this case, by providing a control unit that performs control to integrate the image signal of the same part of the measurement object in a range of ½ or less of the period of the illumination light, each linear imaging region receives light. The effect of the integrated image signal processing can be appropriately obtained. Here, when integrating individual image signals that have received sinusoidal illumination light applied to the measurement object, the integration range from the start of integration to the end of integration is one-half of the period of the illumination light. In some cases, the largest density value (brightness) can be obtained. That is, it means that the integral value (concentration value) obtained by integrating the sine wave in an integration interval of π radians (1/2 cycle) from an arbitrary integration start point is the largest value. Therefore, the integration effect can be maximized by sequentially integrating the image signals by setting the integration interval to one half of the cycle of the illumination light. Even when the integration interval is shorter than half the illumination light cycle (less than π radians), an image having a sufficient density value can be easily obtained by integration.
上記第1の局面による三次元形状計測装置において、好ましくは、制御部は、撮像部に対する計測対象物の相対的な第1方向への移動速度に同期して、撮像部が有する各々のライン状の撮像領域を用いて計測対象物の同一部分を第1方向に沿って順次撮像するとともに、計測対象物の同一部分の画像信号を、照明光が有する周期の2分の1以下の範囲で積算する制御を行うように構成されている。このように構成すれば、ライン状の各撮像領域の略同じ位置の画素領域に、計測対象物の同一部分を確実に受光させることができる。これにより、照明光が有する周期の2分の1以下の範囲での積算後には、十分な濃度値(明るさ)を有する画像を確実に取得することができる。 In the three-dimensional shape measurement apparatus according to the first aspect described above, preferably, the control unit synchronizes with the moving speed of the measurement object relative to the imaging unit in the first direction, and each line shape of the imaging unit is included. The same part of the measurement object is sequentially imaged along the first direction using the imaging region of the image, and the image signal of the same part of the measurement object is integrated within a range of ½ or less of the period of the illumination light. It is configured to perform control. If comprised in this way, the same part of a measurement object can be reliably light-received to the pixel area of the substantially same position of each line-shaped imaging area. Thereby, an image having a sufficient density value (brightness) can be reliably acquired after integration in a range of ½ or less of the period of illumination light.
上記第1の局面による三次元形状計測装置において、好ましくは、撮像部は、複数のライン状の撮像領域を有する複数の撮像部分を含み、撮像部分は、各々が、照明光が有する周期を撮像部分の個数で除した間隔毎に第1方向に沿って配置されており、制御部は、各々の撮像部分において照明光が有する周期の2分の1以下の範囲で画像信号を積算して得られた画像データに基づいて位相解析を行うことにより、計測対象物の高さ情報を取得する制御を行うように構成されている。このように構成すれば、各撮像部分において濃度値(明るさ)が適切に得られた画像データを使用して位相解析を行うことができる。これにより、計測対象物の高さ情報を精度よく得ることができる。 In the three-dimensional shape measuring apparatus according to the first aspect described above, preferably, the imaging unit includes a plurality of imaging parts having a plurality of line-shaped imaging regions, and each imaging part images a period of illumination light. Arranged along the first direction for each interval divided by the number of portions, the control unit obtains the image signals by integrating the image signals in a range of half or less of the period of the illumination light in each imaging portion. By performing phase analysis based on the obtained image data, it is configured to perform control for acquiring height information of the measurement object. If comprised in this way, a phase analysis can be performed using the image data from which the density value (brightness) was appropriately obtained in each imaging part. Thereby, the height information of the measurement object can be obtained with high accuracy.
上記第1の局面による三次元形状計測装置において、好ましくは、撮像部は、ライン状の撮像領域毎に対応する画像信号を切り出し可能に構成された二次元イメージセンサであり、制御部は、二次元イメージセンサを用いて計測対象物の同一部分を順次撮像した後、計測対象物の同一部分が撮像された画像信号を切り出して、画像信号を照明光が有する周期の2分の1以下の範囲で積算する制御を行うように構成されている。このように、平面的に広がりを有する二次元イメージセンサを用いる場合においても、二次元イメージセンサに対する撮像動作を適切に制御して画像信号の積算処理を行うことができる。したがって、たとえば、照明部に光量不足が生じた場合であっても、十分な濃度値(明るさ)を有する画像データを取得することができる。 In the three-dimensional shape measuring apparatus according to the first aspect, preferably, the imaging unit is a two-dimensional image sensor configured to be able to cut out an image signal corresponding to each linear imaging region, and the control unit After sequentially capturing the same part of the measurement object using a two-dimensional image sensor, an image signal in which the same part of the measurement object is imaged is cut out, and the image signal is within a half or less of the period of the illumination light It is comprised so that the control which integrates by may be performed. As described above, even when a two-dimensional image sensor having a two-dimensional spread is used, an image signal integration process can be performed by appropriately controlling an imaging operation for the two-dimensional image sensor. Therefore, for example, even when the light intensity is insufficient in the illumination unit, it is possible to acquire image data having a sufficient density value (brightness).
上記第1の局面による三次元形状計測装置において、好ましくは、撮像部は、複数のライン状の撮像領域を有するTDI方式のセンサであり、制御部は、TDI方式のセンサの各々のライン状の撮像領域を用いて計測対象物の同一部分を順次撮像するとともに、個々のライン状の撮像領域が受光した同一部分の画像信号を照明光が有する周期の2分の1以下の範囲で順次積算する制御を行うように構成されている。このように、TDI方式のラインセンサを用いる場合においても、複数のライン状の撮像領域の撮像動作を適切に制御して画像信号の積算処理を容易に行うことができる。 In the three-dimensional shape measuring apparatus according to the first aspect, preferably, the imaging unit is a TDI type sensor having a plurality of line-shaped imaging regions, and the control unit is a line-shaped sensor for each of the TDI type sensors. The same part of the measurement object is sequentially imaged using the imaging area, and the image signals of the same part received by the individual line-shaped imaging areas are sequentially integrated within a range of ½ or less of the period of the illumination light. It is configured to perform control. As described above, even when a TDI line sensor is used, the image signal integration processing can be easily performed by appropriately controlling the imaging operation of the plurality of line-shaped imaging regions.
上記第1の局面による三次元形状計測装置において、好ましくは、照明光は、正弦波状の光強度分布が第2方向から所定角度だけ傾けられた状態で計測対象物に投影されるように構成されており、制御部は、撮像部が、各々の撮像領域を用いて第1方向に相対的に移動する計測対象物の同一部分を順次撮像する場合に、所定角度だけ傾けられて投影された照明光が有する周期の2分の1以下の範囲で画像信号を積算する制御を行うように構成されている。このように構成すれば、所定角度を有さずに照明光を第2方向に沿って投影する場合と比較して、照明光が第2方向から所定角度だけ傾けられる分、計測対象物に投影された照明光の周期(輝度の明・暗・明のパターン)を計測対象物の移動する第1方向に引き伸ばすことができる。これにより、輝度変化の周期が長くなる分、積算を行う範囲に対して多くの個数のライン状の撮像領域を割り当てることができるので、積算する画像信号が増える分、形状計測(計測対象物の高さ検出)の精度をより向上させることができる。 In the three-dimensional shape measuring apparatus according to the first aspect, the illumination light is preferably configured to be projected onto the measurement object in a state where the sinusoidal light intensity distribution is inclined by a predetermined angle from the second direction. The control unit illuminates the image projected at a predetermined angle when the imaging unit sequentially images the same part of the measurement object that moves relatively in the first direction using each imaging region. It is configured to perform control for integrating the image signals within a range of half or less of the period of light. If comprised in this way, compared with the case where illumination light is projected along a 2nd direction without having a predetermined angle, it will project on a measurement object by the part in which illumination light is inclined only a predetermined angle from a 2nd direction. The period of the illumination light (brightness / darkness / brightness pattern) can be extended in the first direction in which the measurement object moves. As a result, a large number of line-shaped imaging regions can be allocated to the range to be integrated as the luminance change period becomes longer, so the shape measurement (measurement target object) The accuracy of height detection can be further improved.
この発明の第2の局面における部品移載装置は、部品を移載するためのヘッドユニットと、各々が第1方向に並べられるとともに第1方向と直交する第2方向にライン状に延びる複数の撮像領域を含み、部品を撮像する撮像部と、撮像部に対してヘッドユニットにより第1方向に相対的に移動する部品に向けて正弦波状の光強度分布を有する照明光を投影する照明部と、撮像部が、各々のライン状の撮像領域を用いて第1方向に相対的に移動する部品の同一部分を順次撮像する場合に、部品の同一部分の画像信号を、照明光が有する周期の2分の1以下の範囲で積算する制御を行う制御部とを備える。 A component transfer apparatus according to a second aspect of the present invention includes a head unit for transferring components, and a plurality of components arranged in a first direction and extending in a line in a second direction orthogonal to the first direction. An imaging unit including an imaging region and imaging a component; and an illumination unit that projects illumination light having a sinusoidal light intensity distribution toward a component that moves relative to the imaging unit in the first direction by the head unit; When the imaging unit sequentially captures the same part of the component that moves relatively in the first direction using each line-shaped imaging region, the image signal of the same part of the component has a cycle of the illumination light. And a control unit that performs control for integration within a range of ½ or less.
この発明の第2の局面による部品移載装置では、上記のように、ライン状に延びる複数の撮像領域を含む撮像部と、撮像部が各々の撮像領域を用いて撮像部に対して第1方向に相対的に移動する計測対象物の同一部分を順次撮像する場合に、計測対象物の同一部分の画像信号を積算する制御を行う制御部とを備えることによって、積算終了後の画像データは、個々のライン状の撮像領域が受光した同一部分の画像信号がライン状の撮像領域の数だけ積算された画像データの状態となる。これにより、積算された画像データが有する濃度値(明るさ)は、1つのライン状の撮像領域のみが受光した画像データが有する濃度値(明るさ)と比較して、積算(加算)される分、より大きな値を有することができる。つまり、受光不足に起因して十分な濃度値(明るさ)を有さない画像データが取得されることが回避される。この結果、ライン状(線状)の撮像領域を用いて移動する計測対象物の撮像を行う際にも、高輝度な照明光を用いることなく明るい画像を取得することが可能な部品移載装置を実現することができる。また、第1方向に移動する速度を大きくしたとしても、積算処理により画像データが有する明るさが低下するのが抑制されるので、同一の輝度を有する照明光を用いる場合には、部品移載装置に対してより高速度で第1方向に移動する部品の三次元形状計測を行うことができる。 In the component transfer apparatus according to the second aspect of the present invention, as described above, the imaging unit including a plurality of imaging regions extending in a line shape, and the imaging unit is first with respect to the imaging unit using each imaging region. When the same part of the measurement object that moves relative to the direction is sequentially imaged, the image data after the completion of the integration is provided with a control unit that performs control to integrate image signals of the same part of the measurement object. The image data of the same portion received by each line-shaped imaging region is in a state of image data obtained by integrating the number of the line-shaped imaging regions. Thereby, the density value (brightness) of the integrated image data is integrated (added) compared to the density value (brightness) of the image data received by only one line-shaped imaging region. Minutes can have larger values. That is, it is possible to avoid acquiring image data that does not have a sufficient density value (brightness) due to insufficient light reception. As a result, a component transfer apparatus capable of acquiring a bright image without using high-intensity illumination light even when imaging a measurement object that moves using a linear (linear) imaging region. Can be realized. Further, even if the speed of moving in the first direction is increased, the brightness of the image data is suppressed from decreasing due to the integration process. Therefore, when illumination light having the same luminance is used, component transfer is performed. It is possible to measure a three-dimensional shape of a part moving in the first direction at a higher speed than the apparatus.
また、第2の局面による部品移載装置では、撮像部が各々のライン状の撮像領域を用いて撮像部に対して第1方向に相対的に移動する計測対象物の同一部分を順次撮像する場合に、計測対象物の同一部分の画像信号を、照明光が有する周期の2分の1以下の範囲で積算する制御を行う制御部を備えることによって、個々のライン状の撮像領域が受光した画像信号の積算処理の効果を適切に得ることができる。 In the component transfer apparatus according to the second aspect, the imaging unit sequentially images the same portion of the measurement object that moves relative to the imaging unit in the first direction using each linear imaging region. In some cases, each line-shaped imaging region receives light by including a control unit that performs control to integrate the image signal of the same part of the measurement object in a range of ½ or less of the period of the illumination light. The effect of the image signal integration process can be obtained appropriately.
この発明の第3の局面における三次元形状計測方法は、計測対象物に向けて正弦波状の光強度分布を有する照明光を投影するステップと、ライン状に延びる複数の撮像領域の各々を用いて撮像領域に対して所定方向に相対的に移動する計測対象物の同一部分を順次撮像する場合に、計測対象物の同一部分の画像信号を、照明光が有する周期の2分の1以下の範囲で積算するステップとを備える。 A three-dimensional shape measurement method according to a third aspect of the present invention uses a step of projecting illumination light having a sinusoidal light intensity distribution toward a measurement object, and each of a plurality of imaging regions extending in a line shape. When sequentially imaging the same part of the measurement object that moves relative to the imaging region in a predetermined direction, the image signal of the same part of the measurement object is a range that is less than or equal to one-half of the period of the illumination light. And a step of accumulating.
この発明の第3の局面による三次元形状計測方法では、上記のように、ライン状に延びる複数の撮像領域の各々を用いて撮像領域に対して所定方向に相対的に移動する計測対象物の同一部分を順次撮像する場合に、計測対象物の同一部分の画像信号を積算するステップを備えることによって、積算終了後の画像データは、個々のライン状の撮像領域が受光した同一部分の画像信号がライン状の撮像領域の数だけ積算された画像データの状態となる。これにより、積算された画像データが有する濃度値(明るさ)は、1つのライン状の撮像領域のみが受光した画像データが有する濃度値(明るさ)と比較して、積算(加算)される分、より大きな値を有することができる。つまり、受光不足に起因して十分な濃度値(明るさ)を有さない画像データが取得されることが回避される。この結果、ライン状(線状)の撮像領域を用いて移動する計測対象物の撮像を行う際にも、高輝度な照明光を用いることなく明るい画像を取得することが可能な三次元形状計測方法を実現することができる。また、所定方向に移動する速度を大きくしたとしても、積算処理により画像データが有する明るさが低下するのが抑制されるので、同一の輝度を有する照明光を用いる場合には、より高速度で移動する計測対象物の三次元形状計測を行うことができる。また、計測対象物の同一部分の画像信号を、照明光が有する周期の2分の1以下の範囲で積算するステップを備えることによって、個々のライン状の撮像領域が受光した画像信号の積算処理の効果を適切に得ることができる。 In the three-dimensional shape measurement method according to the third aspect of the present invention, as described above, the measurement object that moves relative to the imaging region in a predetermined direction using each of the plurality of imaging regions extending in a line shape. When sequentially imaging the same portion, the image data of the same portion of the measurement object is integrated, so that the image data after the integration is the image signal of the same portion received by each linear imaging region Is the state of the image data integrated by the number of line-shaped imaging regions. Thereby, the density value (brightness) of the integrated image data is integrated (added) compared to the density value (brightness) of the image data received by only one line-shaped imaging region. Minutes can have larger values. That is, it is possible to avoid acquiring image data that does not have a sufficient density value (brightness) due to insufficient light reception. As a result, three-dimensional shape measurement that can acquire a bright image without using high-intensity illumination light even when imaging a measurement object that moves using a linear (linear) imaging region A method can be realized. Even if the speed of movement in a predetermined direction is increased, the brightness of the image data is suppressed from decreasing due to the integration process. Therefore, when using illumination light having the same luminance, the speed is higher. The three-dimensional shape measurement of the moving measurement object can be performed. Also, by integrating the image signal of the same portion of the measurement object within a range of ½ or less of the period of the illumination light, the integration process of the image signals received by the individual line-shaped imaging regions is provided. The effect of can be acquired appropriately.
以下、本発明の実施形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(第1実施形態)
まず、図1〜図8および図10を参照して、本発明の第1実施形態による表面実装機100の構造について説明する。なお、表面実装機100は、本発明の「部品移載装置」の一例である。
(First embodiment)
First, the structure of the
表面実装機100は、図1および図2に示すように、プリント基板(配線基板)110に部品120を実装する装置である。表面実装機100は、図1に示すように、基台1と、基台1上(紙面手前側)に設けられた一対のコンベア10と、一対のコンベア10の上方をX−Y平面(紙面)に沿って移動可能なヘッドユニット20とを備えている。また、コンベア10の両側(Y1側、Y2側)には、部品120を供給するための複数のテープフィーダ130が配置されている。ヘッドユニット20は、テープフィーダ130から部品120を取得するとともに、コンベア10上のプリント基板110に部品120を実装する機能を有する。なお、部品120は、本発明の「計測対象物」の一例である。
The
また、図3に示すように、表面実装機100には、以下に説明する各部の動作制御を行うために、CPUと基板回路とにより構成された制御装置70が内蔵されている。制御装置70は、主制御部71、軸制御部72、撮像制御部73、画像処理部74および照明制御部75によって主に構成されている。なお、撮像制御部73は、本発明の「制御部」の一例である。
As shown in FIG. 3, the
一対のコンベア10は、プリント基板110を水平方向(X方向)に搬送する機能を有する。また、コンベア10は、搬送中のプリント基板110を実装作業位置で停止させた状態で保持することが可能なように構成されている。
The pair of
テープフィーダ130は、複数の部品120を所定の間隔を隔てて保持したテープが巻き回されたリール(図示せず)を保持している。テープフィーダ130は、リールを回転させて部品120を保持するテープを送出することにより、テープフィーダ130の先端から部品120を供給するように構成されている。ここで、部品120は、たとえば、IC、トランジスタ、コンデンサおよび抵抗などの小型の電子部品である。
The
ヘッドユニット20は、支持部30に沿ってX方向に移動可能に構成されている。具体的には、支持部30は、ボールネジ軸31とボールネジ軸31を回転させるサーボモータ32とX方向に延びるガイドレール(図示せず)とを有している。これにより、ヘッドユニット20は、ボールネジ軸31が螺合されるボールナット21とともにX方向に移動される。
The
また、支持部30は、基台1上に固定された一対のレール部40に沿ってX方向と直交するY方向に移動可能に構成されている。具体的には、レール部40は、支持部30の両端部(X方向)をY方向に移動可能に支持するガイドレール41と、Y方向に延びるボールネジ軸42(図1参照)と、ボールネジ軸42を回転させるサーボモータ43(図1参照)とを有している。また、支持部30には、ボールネジ軸42が螺合されるボールナット33(図1参照)が設けられている。これにより、ヘッドユニット20は、基台1上をX−Y面に沿って任意の位置に移動することが可能である。
Further, the
また、ヘッドユニット20の下面側(図2のZ1側)には、X方向に沿って列状に配置された6本の吸着ノズル22が、先端部を下方に向けて配置されている。各々の吸着ノズル22は、負圧発生機(図示せず)によりノズル先端部に発生された負圧によって、テープフィーダ130から供給される部品120を吸着して保持することが可能に構成されている。
Further, on the lower surface side (Z1 side in FIG. 2) of the
また、図2に示すように、各々の吸着ノズル22は、サーボモータ23(図3参照)および図示しない昇降機構によって、ヘッドユニット20に対して上下方向(Z方向)に移動可能に構成されている。表面実装機100は、吸着ノズル22が上昇位置に移動した状態で部品120を搬送するとともに、吸着ノズル22が下降位置に移動した状態で部品120をテープフィーダ130から吸着する動作と、部品120をプリント基板110に実装する動作とを行うように構成されている。吸着ノズル22は、サーボモータ24(図3参照)および図示しない回転機構によって、吸着ノズル22自体がノズル軸(Z軸)を中心としてX−Y面内で回転可能に構成されている。これにより、吸着ノズル22の先端部に保持された部品120の姿勢(X−Y面内での向き)が詳細に調整される。
As shown in FIG. 2, each
また、基台1の上面上には、部品撮像装置50および部品撮像装置60が固定的に設置されている。部品撮像装置60は、吸着ノズル22に吸着された部品120の下面側を下方から撮像する機能を有している。これにより、基台1に対してヘッドユニット20と共に部品120がX−Y面内におけるX1方向に移動する際に、部品撮像装置60によって撮像された部品120の下面の形状から部品120の高さ情報が得られるように構成されている。なお、ヘッドユニット20とは別に、ヘッド検知センサ(図示せず)が基台1の上面上に固定的に設けられている。ヘッド検知センサは、ヘッドユニット20の移動経路(X方向)上に配置されており、このヘッド検知センサがヘッドユニット20の移動状況を検知した結果に基づいて、部品撮像装置60による部品120の撮像動作(画像取り込み)の開始タイミングが図られるように構成されている。表面実装機100では、部品撮像装置60により得られた高さ情報に基づいて部品120の形状の良否が判定されたり、吸着ノズル22の部品120に対する吸着位置の良否が判定される。なお、部品撮像装置60は、本発明の「三次元形状計測装置」の一例である。また、X1方向は、本発明の「第1方向」の一例である。
In addition, the
部品撮像装置60は、図4に示すように、部品120に照明光を照射する照明部61と、部品120による照明光の反射光を受光して部品120を撮像する二次元イメージセンサ(エリアセンサ)63とを備えている。この二次元イメージセンサ63は、たとえば、任意の撮像部分の画像の切り出しが可能なCMOSイメージセンサからなる。
As shown in FIG. 4, the
ここで、第1実施形態では、照明部61は、正弦波状の光強度分布を有する照明光を照射することが可能に構成されている。具体的には、照明部61は、LEDによる点光源61aと、点光源61aからの出射光が平行光に変換された後に平行光に正弦波状の縞模様を付与するためのフィルム61cと、縞模様となった平行光を集光して部品120に照射するシリンドリカルレンズ61dとを含んでいる。これにより、所定の周期Lで光強度が変化する正弦波状(縞状)のパターン光Gが部品120に対して投影される。ここで、パターン光Gの周期Lとは、図5に示すように、縞の1つの明部から暗部を隔てて隣り合う明部までのX方向の距離を示す。また、このパターン光Gは、光学系を調整することにより、部品120の移動方向(X方向)には広がりを持たない平行光(常に縞模様の周期がL)である一方、移動方向とは直交する方向(Y方向)には広がりを持つように構成されている。また、照明部61は、図4に示すように、二次元イメージセンサ(エリアセンサ)63の光軸65と平面的に重なることを避けるために、部品120の測定面(下面)に対して斜め下方からパターン光Gを投影するように構成されている。
Here, in the first embodiment, the
また、第1実施形態では、図5に示すように、照明部61が照射するパターン光Gは、平面的に見て、Y方向から角度αだけ傾けられて部品120に投影されるように構成されている。つまり、Y方向から角度αだけ傾けられて投影されたパターン光Gの周期Lと、図5に「比較例」として示したパターン光GがY方向に沿って投影される場合(角度α=0度)の周期L0とを比較した場合、L>L0の関係を得ることが可能とされている。したがって、パターン光Gは、Y方向から角度αだけ傾けられることにより、周期L0から周期Lに引き伸ばされた状態で部品120の下面に投影される。なお、図5では、部品120の下面にパターン光Gが投影されている様子を模式的に示している。ここで、角度αは45度以下の範囲であるのが好ましい。なお、角度αは、本発明の「所定角度」の一例である。
Further, in the first embodiment, as shown in FIG. 5, the pattern light G irradiated by the
二次元イメージセンサ63は、図6に示すように、個々の撮像画素が互いに直交する方向にマトリクス状に配置されており、撮像領域が矩形形状に形成されたエリアセンサである。また、二次元イメージセンサ63は、矩形形状の一辺が部品120の移動する方向(X1方向)に平行な状態で部品撮像装置60(図4参照)内に配置されている。これにより、二次元イメージセンサ63は、辺々が、部品120の移動方向(X1方向)および移動方向と直交する方向(Y2(Y)方向)に沿って平面的に広がるように構成されている。なお、Y2(Y)方向は、本発明の「第2方向」の一例である。
As shown in FIG. 6, the two-
また、図3に示すように、部品撮像装置60では、制御装置70内に設けられた撮像制御部73により、二次元イメージセンサ63を複数の撮像部分に分割して個々の撮像部分毎に画像の切り出しを行うことが可能に構成されている。具体的には、図6に示すように、二次元イメージセンサ63は、画像を取得する3つの撮像部分A、BおよびCと、制御上の動作によって画像を取得しない2つの撮像部分Dとが設けられており、個別に画像の切り出しを行うことが可能である。また、二次元イメージセンサ63は、X2側(上流側)からX1側(下流側)に向かって、撮像部分A、撮像部分D、撮像部分B、撮像部分Dおよび撮像部分Cの順に繋げられて各部分が配置されている。また、二次元イメージセンサ63における撮像部分A〜Cは、パターン光G(図5参照)が有する周期(ピッチ)Lを撮像領域の個数(3個)で除した間隔(=L/3)を有してX1方向(部品120の移動方向)に沿って配置されている。なお、二次元イメージセンサ63は、本発明の「撮像部」の一例である。
As shown in FIG. 3, in the
したがって、X1方向に移動する部品120を撮像する際、まず、部品120が最も上流側(X2側)に配置された撮像部分A上を通過する際に、撮像部分Aにより部品120の領域P1が撮像される。その後、部品120が撮像部分B上および撮像部分C上をこの順に通過するたびに部品120の同じ領域P1が繰り返し撮像される。ここで、領域P1とは、部品120をX方向に沿って短冊状に等分割した場合の1つの撮像領域のことを示す。領域P1は、X1方向に1画素を有してY2(Y)方向に延びた領域であり、後述するライン状撮像領域が撮像可能とする領域に相当する。また、領域P1の隣(X2側)に順に並ぶ領域P2、P3、P4〜領域PMについても領域P1と同様に順次撮像される。これにより、撮像部分A〜Cの各々において取得された画像データA0(B0およびC0(図10参照))に基づいて位相演算部74a(図3参照)が位相解析を行うことが可能となり、部品120の領域P1〜PM等が有する高さ情報を取得することが可能とされている。たとえば、図10に示す一例のように、画像データA0は、1ライン毎に撮像された画像データA1〜AM(この場合、AM=A4)が繋ぎ合わされて構成されている。また、図示はしていないが、画像データB0およびC0についても、1ライン毎に撮像された画像データB1〜BMおよびC1〜CMが各々繋ぎ合わされて構成される。つまり、画像データA1(B1、C1)は、各々が所定のタイミングで撮像された部品120の領域P1に対応する画像信号であり、画像データA2(B2、C2)は、画像データA1とは異なる所定のタイミングで撮像された領域P2に対応する画像信号である。そして、領域PMに対応する画像データAM(BM、CM)の各々が、同様に構成されている。なお、領域P1〜PMの各々は、本発明の「計測対象物の同一部分」の一例である。
Therefore, when imaging the
また、第1実施形態では、二次元イメージセンサ63が有する撮像部分A、BおよびCでは、各々の撮像動作がさらに細かく制御されるように構成されている。撮像制御部73による具体的な制御内容について、部品120のうちの領域P1を代表例として、この領域P1がどのようにして撮像されるかを、撮像部分Aを例にとって説明する。
In the first embodiment, the imaging portions A, B, and C included in the two-
図6に示すように、撮像部分Aは、6本のライン状撮像領域63a〜63fによって構成されている。各々の撮像領域は、X1方向に1画素かつY2方向にN画素を有してY方向にライン状(直線状)に延びた領域である。X1方向に移動する部品120を撮像する際、部品120(領域P1)の速度に同期して、撮像部分A内の最も上流側(X2側)に配置されたライン状撮像領域63aから撮像部分A内の最も下流側(X1側)に配置されたライン状撮像領域63fまでの各々のライン状撮像領域に、移動中の領域P1を順次撮像させることが可能に構成されている。第1実施形態では、領域P1がライン状撮像領域63aからライン状撮像領域63fの各々の直上を通過するタイミングで、ライン状撮像領域63a〜63f(撮像部分A)が一斉に撮像を行う。そして、その都度、撮像部分Aが受光した画像信号(画像データ)が二次元イメージセンサ63から切り出されて、主制御部71内の後述するRAM78内の所定のメモリ領域(図10参照)に加算される処理が行われるように構成されている。なお、ライン状撮像領域63a〜63fは、本発明の「ライン状の撮像領域」の一例である。
As shown in FIG. 6, the imaging part A is configured by six line-shaped
撮像制御部73により、RAM78においてライン状撮像領域63a〜63fが個々に取得した領域P1の画像信号(画像データ)が順次積算される(第1実施形態では6回加算)データ処理が行われることにより、領域P1の1つの画像データA1(図10参照)が生成されるように構成されている。なお、このデータ処理は、一般的にTDI(Time Delay Integration)方式と称される処理方法を応用して、TDIの効果を得ることを目的としている。また、この場合、積算回数が6回なので、TDIにおける段数は「6段」とみなされる。
Data processing is performed by the
第1実施形態では、二次元イメージセンサ63によって得られた画像信号(ライン状撮像領域63a〜63fが各々のタイミングで個々に撮像した領域P1の画像データ)に対してTDI方式を適用して領域P1の1つの画像データA1を取得するように構成されている。これにより、ライン状撮像領域63a〜63fの各々が受光した画像の濃度値(輝度データ(明るさ))が十分に得られていない場合であっても、個々の画像を足し合わせることによって、十分な濃度値(明るさ)を有する画像データA1を得ることが可能となる。ここで、画像データA1は位相値φが0πである。
In the first embodiment, an area obtained by applying the TDI method to an image signal obtained by the two-dimensional image sensor 63 (image data of the area P1 captured by the line-shaped
また、第1実施形態では、撮像制御部73により、TDIの積算範囲を適切に設定することが可能に構成されている。この場合、撮像制御部73は、部品120の領域P1の画像信号を、パターン光Gが有する周期Lの2分の1以下の積分範囲d(図8参照)で順次積算することが可能に構成されている。
In the first embodiment, the
図7を参照して、より具体的に説明すると、領域P1がX1方向に移動する際、撮像制御部73は、領域P1の移動に同期して6本のライン状撮像領域(たとえば、撮像部分A)の撮像動作を6回繰り返す。この際、領域P1が各々のライン状撮像領域63a〜63f上をX1方向に通過するタイミングで順次画像信号(画像データ)を取り込む制御を行うことにより、移動中の領域P1が個々のライン状撮像領域を用いて順次撮像されるように構成されている。
More specifically, with reference to FIG. 7, when the region P1 moves in the X1 direction, the
ここで、図8に示すように、正弦波の式で記述される輝度f(x)を積分した積分値(TDIによる画像出力信号I(x)の式を参照)からも明らかなように、積分範囲dがパターン光Gの周期L(2π)の1/2であるとき(d=πのとき)、積分値が最大(極大)となる。また、積分範囲dが周期Lの1/2未満であれば、積分結果である画像データA1は、6本のライン状撮像領域が積算されることにより十分な濃度値(明るさ)が得られる。一方、積分範囲dが周期Lの1/2よりも大きく周期L以下(d≦2πのとき)の範囲となる場合には、積算の効果が小さい。このように、第1実施形態では、パターン光Gの周期Lに基づいて積分範囲dを適切に設定することにより、TDI方式による画像信号の積算処理の効果を最大限に得る計測方法(撮像方法)を適用している。なお、上記では領域P1の撮像に関して説明したが、撮像部分Aが領域P2〜領域PMの各々を撮像する動作に関しても同様の処理が行われるように構成されている。 Here, as shown in FIG. 8, as is apparent from an integral value obtained by integrating the luminance f (x) described by the sine wave equation (see the equation of the image output signal I (x) by TDI), When the integration range d is ½ of the cycle L (2π) of the pattern light G (when d = π), the integration value becomes maximum (maximum). If the integration range d is less than ½ of the period L, the image data A1, which is the integration result, can obtain a sufficient density value (brightness) by integrating the six line-shaped imaging regions. . On the other hand, when the integration range d is a range larger than ½ of the cycle L and less than or equal to the cycle L (when d ≦ 2π), the integration effect is small. As described above, in the first embodiment, by appropriately setting the integration range d based on the period L of the pattern light G, a measurement method (imaging method) that maximizes the effect of the image signal integration processing by the TDI method. ) Is applied. In the above description, the imaging of the region P1 has been described. However, the same processing is performed for the operation in which the imaging part A images each of the regions P2 to PM.
また、上記では、撮像部分Aに関する撮像時の制御内容について示したが、撮像部分BおよびC(図7参照)についても、撮像部分Aと同様の手法(TDI方式による画像信号の積算処理)を適用している。ただし、撮像部分Bでは、撮像部分Aよりも3分の1周期(2/3π)だけ後のタイミングで、ライン状撮像領域63hからライン状撮像領域63mまでの各々のライン状撮像領域に、移動中の部品120の領域P1を順次撮像させるように構成されている。また、撮像部分Cについては、撮像部分Bよりもさらに3分の1周期(2/3π)だけ後のタイミングで、ライン状撮像領域63oからライン状撮像領域63tまでの各々のライン状撮像領域に、移動中の部品120の領域P1を順次撮像させるように構成されている。すなわち、撮像部分Bに関しては、領域P1がライン状撮像領域63hからライン状撮像領域63mの各々の直上を通過するタイミングで、ライン状撮像領域63h〜63mが一斉に撮像を行い、その都度、撮像部分B全体の画像信号が二次元イメージセンサ63から切り出されてRAM78内の所定のメモリ領域に加算される処理が行われる。また、撮像部分Cに関しては、領域P1がライン状撮像領域63oからライン状撮像領域63tの各々の直上を通過するタイミングで、ライン状撮像領域63o〜63tが一斉に撮像を行い、その都度、撮像部分C全体の画像信号が二次元イメージセンサ63から切り出されてRAM78内の所定のメモリ領域に加算される処理が行われる。これにより、撮像部分Bによる画像データB1、および、撮像部分Cによる画像データC1が、各位相条件下において取得される。なお、ライン状撮像領域63h〜63m、および、ライン状撮像領域63o〜63tは、本発明の「ライン状の撮像領域」の一例である。
In the above description, the control contents during imaging related to the imaging part A have been described. However, the same technique as the imaging part A (image signal integration processing by the TDI method) is applied to the imaging parts B and C (see FIG. 7). Applicable. However, the imaging part B moves to each linear imaging area from the
また、図3に示すように、表面実装機100の動作は、制御装置70によって制御されている。主制御部71は、CPU76、ROM77(Read Only Memory)およびRAM78(Random Access Memory)などから構成されている。CPU76は、論理演算を実行する機能を有する。ROM77には、CPU76を制御するプログラムなどが記憶されている。また、RAM78には、表面実装機100の動作中に生成される種々のデータが一時的に記憶されている。主制御部71は、ROM77に記憶されたプログラムに基づいて、軸制御部72および撮像制御部73を介して、照明部61、二次元イメージセンサ63および以下の各サーボモータの駆動を制御するように構成されている。
Further, as shown in FIG. 3, the operation of the
軸制御部72は、主制御部71から出力される制御信号に基づいて、表面実装機100の各サーボモータ(支持部30をY方向に移動させるサーボモータ43(図1参照)、ヘッドユニット20をX方向に移動させるサーボモータ32(図1参照)、吸着ノズル22を上下方向に移動させるサーボモータ23、および、吸着ノズル22をノズル軸を中心に回転させるサーボモータ24など)を制御するように構成されている。また、軸制御部72は、各サーボモータのエンコーダ32a、43a、23aおよび24aからの信号に基づいてヘッドユニット20のX−Y面内の位置、吸着ノズル22の高さ位置および回転位置などが認識可能に構成されている。
The
撮像制御部73は、主制御部71から出力される制御信号に基づいて、照明部61に設けられたLEDなどの発光素子62を所定のタイミングで点灯させるべく照明制御部75に制御信号を出力するように構成されている。
Based on the control signal output from the main control unit 71, the
画像処理部74は、主制御部71から出力される制御信号に基づいて、二次元イメージセンサ63から所定のタイミングで画像信号(画像データ)の読み出しを行うとともに、読み出した画像信号に所定の画像処理を施すことにより、部品120を認識するのに適した画像データを生成するように構成されている。また、ROM77には、パターン光Gが有する位相値φと空間座標(X、YおよびZの位置)とを対応付けるテーブル(図示せず)が予め準備された状態で記憶されている。これにより、画像処理部74は、撮像された部品120の画像データに基づいた位相解析結果とテーブルとを照合することに基づいて、部品120の各部分の高さ情報(高さ位置)を取得することが可能に構成されている。
The
照明制御部75は、撮像制御部73から出力される制御信号に基づいて、照明部61を点灯させる制御を行うように構成されている。このようにして、表面実装機100は構成されている。
The
次に、図1および図3、図5、図7〜図10を参照して、表面実装機100における部品撮像装置60が行う撮像動作に関する制御フローについて説明する。なお、以下の説明では、部品120が吸着ノズル22に吸着された状態で部品撮像装置60の上方をX1方向に通過する際を想定して説明を行う。また、説明を簡単にするために、計測対象物の検査領域(部品120の撮像サイズ)が、図10に示されるように、M画素(=6画素:X方向)×N画素(Y方向)として設定されているもののする。また、RAM78には、撮像部分Aに関するデータ処理に使用される格納領域として、ダミー領域310および320と、加算領域350とが予め確保されているものとする。したがって、部品120の領域P1〜P4までの4つの領域を撮像して、画像データA0(位相値0π)、B0(位相値2/3π)およびC0(位相値4/3π)を取得する場合についての説明を行う。
Next, a control flow related to an imaging operation performed by the
図9に示すように、まず、ステップS1では、撮像制御部73(図3参照)により、RAM78(図3参照)内に残されている不要な画像データが消去される。これにより、RAM78内の画像データを取り込む際に使用される格納領域(図10のダミー領域310および320、および、加算領域350)が空の状態とされる。
As shown in FIG. 9, first, in step S1, unnecessary image data remaining in the RAM 78 (see FIG. 3) is erased by the imaging control unit 73 (see FIG. 3). As a result, the storage areas (
次に、ステップS2において、「部品画像取り込み開始信号」が検出されたか否かが判断されるととともに、「部品画像取り込み開始信号」が検出されるまでこの判断が繰り返される。詳細には、まず、部品120を吸着した状態のヘッドユニット20がX1方向に移動した際、基台1の上面上に設けられたヘッド検知センサ(図示せず)が、部品撮像装置60の直前まで移動してきたヘッドユニット20を検知する。そして、このヘッド検知センサによるヘッドユニット20の検出をトリガとして、主制御部71から上記した「部品画像取り込み開始信号」が出力される。ステップS2において、撮像制御部73により、この「部品画像取り込み開始信号」が検出されたと判断された場合、ステップS3では、照明部61によるパターン光Gの照射が開始される。これにより、図5に示すような光強度分布が正弦波状に調整されたパターン光Gが、部品120の移動経路に向けて照射された状態となる。
Next, in step S2, it is determined whether or not a “component image capture start signal” is detected, and this determination is repeated until a “component image capture start signal” is detected. Specifically, first, when the
その後、ステップS4において、1回分の撮像ルーチンを実行するためのタイミングに関する「取り込みタイミング信号」が発生したか否かが判断されるとともに、この「取り込みタイミング信号」が発生されるまで判断が繰り返される。この「取り込みタイミング信号」は、X1方向に移動する部品120の速度とパターン光Gの周期Lとに基づいて予め決定されている。
Thereafter, in step S4, it is determined whether or not a “capture timing signal” relating to the timing for executing one imaging routine is generated, and the determination is repeated until this “capture timing signal” is generated. . This “take-in timing signal” is determined in advance based on the speed of the
ステップS4において、第1回目の撮像ルーチンを実行するための「取り込みタイミング信号」が発生されたと判断された場合、ステップS5では、撮像制御部73により現在の撮像回数Wが判断される。ステップS5の判断において、現在の撮像回数Wが所定回数に達していない場合には、次のステップS6以降の処理に進む。ここで、撮像回数Wとは、1つの「取り込みタイミング信号」に基づいて以下に説明するステップS6およびステップS7の一連の処理(撮像ルーチン)が何回実行されたかをカウントした回数のことを示している。
If it is determined in step S4 that the “capture timing signal” for executing the first imaging routine has been generated, the current imaging count W is determined by the
また、ステップS5の判断において、撮像回数Wが所定の回数(本例では11回)に達したと判断された場合、ステップS6以降の処理(撮像ルーチン)を抜けて、後述する位相解析処理(ステップS9)を行った後、本制御フローを終了する。 When it is determined in step S5 that the number of times of imaging W has reached a predetermined number (11 in this example), the process (imaging routine) after step S6 is skipped and a phase analysis process (described later) ( After performing step S9), this control flow is terminated.
ステップS5の判断において、現在の撮像回数Wが所定の回数(11回)以下の場合、ステップS6では、二次元イメージセンサ63による部品120の撮像が実行される。第1実施形態では、部品120のX1方向への移動とともに、二次元イメージセンサ63の撮像部分A、BおよびCをこの順に順次駆動して撮像動作を行う。
If it is determined in step S5 that the current number of times of imaging W is equal to or less than a predetermined number (11 times), in step S6, the two-
この際、撮像部分Aに関しては、図7に示すように、「取り込みタイミング信号」が検出されたタイミングにおいて撮像部分Aを構成するライン状撮像領域63a〜63fが一斉に撮像を行う。そして、ステップS7では、撮像部分Aが受光した画像信号(画像データ)が二次元イメージセンサ63から切り出されて、RAM78内の所定のメモリ領域に即座に転送される。その後、ステップS4に戻り、次の「取り込みタイミング信号」が検出されるまで待機する。そして、検出された次の「取り込みタイミング信号」に基づいて、ステップS5〜S7までの判断および動作が繰り返し行われる。以下に、第1実施形態におけるステップS6の撮像動作とステップS7における画像信号のRAM78への転送動作とを詳細に説明する。
At this time, with respect to the imaging portion A, as shown in FIG. 7, the line-shaped
まず、図10に示すように、第1回目の撮像動作としてタイミングT1で撮像部分Aにより撮像された画像信号G1(ライン状撮像領域63a〜63fが有する画像データ)は、RAM78に設けられたメモリ領域301〜305および351に転送される。この際、ライン状撮像領域63aの画像信号がメモリ領域351に転送されるとともに、ライン状撮像領域63fの画像信号がメモリ領域301に転送される。また、画像信号G1は、部品120が全く写っていないデータである。
First, as shown in FIG. 10, the image signal G1 (image data included in the line-shaped
そして、第2回目の撮像動作として、積分範囲d(図8参照)に対応する時間ΔTの1/6の時間だけ経過した後のタイミングT2(部品120の領域P1がライン状撮像領域63bに対応する位置に移動したタイミング)に同期して撮像された画像信号G2は、画像信号G1よりも1つだけずらされたメモリ領域302〜305、351および352に転送される。そして、第3回目の撮像動作として、タイミングT1から起算して(ΔT/6)×2の時間だけ経過した後のタイミングT3(部品120の領域P1がライン状撮像領域63cに対応する位置に移動したタイミング)に同期して撮像された画像信号G3は、画像信号G2よりも1つだけずらされたメモリ領域303〜305および351〜353に転送される。この時点で、メモリ領域352には、領域P1を撮像した画像信号が2回分加算される。
Then, as the second imaging operation, the timing T2 after the time TT corresponding to the integration range d (see FIG. 8) has elapsed (the region P1 of the
その後、第4回目の撮像動作としてタイミングT3よりもΔT/6だけ後のタイミングT4で撮像された画像信号G4は、メモリ領域304、305および351〜354に転送される。これにより、メモリ領域352には、領域P1を撮像した画像信号が3回分加算される。また、メモリ領域353には、領域P2を撮像した画像信号が2回分加算される。そして、第5回目の撮像動作としてタイミングT4よりもΔT/6だけ後のタイミングT5で撮像された画像信号G5は、メモリ領域305および351〜355に転送される。これにより、メモリ領域352には、領域P1を撮像した画像信号が4回分加算され、メモリ領域353には、領域P2を撮像した画像信号が3回分加算され、メモリ領域354には、領域P3を撮像した画像信号が2回分加算される。
Thereafter, the image signal G4 captured at the timing T4 after ΔT / 6 as the fourth imaging operation is transferred to the
第1実施形態では、上記した撮像動作が逐次的に繰り返される。すなわち、タイミングT11での第11回目の撮像動作では、部品120の領域P1〜P4が撮像部分A上を完全に通り過ぎて何も写っていないデータが画像信号G11として取得される。この際、タイミングT1からT11までの各々の時間間隔(少なくともタイミングT2からT10までの各々の時間間隔)が、図8に示した積分範囲dに対応する時間ΔTの1/6の時間に設定されている。この結果、図10に示すように、メモリ領域352には領域P1を撮像して画像信号Gが6回分加算された画像データA1が蓄積される。メモリ領域353には領域P2を撮像して画像信号Gが6回分加算された画像データA2が蓄積される。メモリ領域354には領域P3を撮像して画像信号Gが6回分加算された画像データA3が蓄積される。メモリ領域355には領域P4を撮像して画像信号Gが6回分加算された画像データA4が蓄積される。また、メモリ領域351および356には、加算処理が行われるが画像データは存在しない。このようにして、加算領域350のメモリ領域352〜355に1つの繋げられた画像データA0が生成される。第1実施形態では、撮像制御部73によりRAM78のメモリ領域を適切に使用して画像信号の積算処理を行うことにより、一般的なTDI方式のラインセンサを用いた積算処理と同様な処理結果を得ることを行っている。
In the first embodiment, the above imaging operation is sequentially repeated. That is, in the eleventh imaging operation at timing T11, data in which the regions P1 to P4 of the
また、第1実施形態では、撮像部分Aに関してこのようなデータ処理を行うために、RAM78には、(M+(2×Z)−2)画素×N画素分のメモリ領域(ダミー領域310としてのメモリ領域301〜305、加算領域350としてのメモリ領域351〜356およびダミー領域320としてのメモリ領域321〜325)を使用している。なお、前述した式:M+(2×Z)−2におけるMは、計測対象物の検査領域が有するX方向の画素数であり、Zは、TDIの段数(撮像部分Aが有するライン状撮像領域の列数)を示す。
In the first embodiment, in order to perform such data processing on the imaging portion A, the
また、撮像部分Bに関しては、タイミングT1から起算して(L/V)/3の時間(ここで、Vは、部品120のX1方向への速度である)だけ経過した後のタイミング(部品120の領域P1がライン状撮像領域63hの一つ手前(上流側)のライン状撮像領域(撮像部分D)に対応する位置に移動したタイミング)を開始点として、上記詳述したステップS6およびS7の動作が実行される。つまり、撮像部分B(ライン状撮像領域63h〜63m)をΔT/6の間隔で繰り返し受光させて、その都度(W=11回)、画像信号が二次元イメージセンサ63から切り出されてRAM78内の所定のメモリ領域に加算される処理が行われる。さらに、撮像部分Cに関しては、タイミングT1から起算して((L/V)/3)×2の時間だけ経過した後のタイミング(部品120の領域P1がライン状撮像領域63o一つ手前(上流側)のライン状撮像領域(撮像部分D)に対応する位置に移動したタイミング)を開始点として、ステップS6およびS7の動作を実行させる。つまり、撮像部分C(ライン状撮像領域63o〜63t)をΔT/6の間隔で繰り返し受光させて、その都度(W=11回)、画像信号が二次元イメージセンサ63から切り出されてRAM78内の所定のメモリ領域に加算される処理が行われる。この結果、画像データA0の場合と同様に、撮像部分B用の加算領域350に対応するのメモリ領域に位相値φが2/3πを有する画像データB0が生成されるともに、撮像部分C用の加算領域350に対応するメモリ領域に位相値φが4/3πを有する画像データC0が生成される。このようにして、撮像サイズがM×N画素からなり、各々の画像データが位相値0π、2/3πおよび4/3πの条件下で撮像された画像データA0、B0およびC0(3種類)が、RAM78のメモリ領域(3箇所)にそれぞれ保持される。
For the imaging part B, the timing (component 120) after elapse of time (L / V) / 3 from the timing T1 (where V is the speed of the
ステップS5の判断において、撮像回数Wが所定回数(W=11回)に達したと判断された場合、ステップS8において、照明部61によるパターン光Gの照射が停止される。最後に、ステップS9では、画像処理部74により、3種類の画像データに基づいた位相解析処理が行われる。この結果、部品120全体の形状(高さ情報)が取得されて、部品撮像装置60による撮像動作が終了される。
If it is determined in step S5 that the number of times of imaging W has reached a predetermined number (W = 11), irradiation of the pattern light G by the
次に、図1および図4を参照して、表面実装機100によるプリント基板110への部品120の実装動作について説明する。
Next, the mounting operation of the
まず、図1に示すように、コンベア10上に載置されたプリント基板110が、基台1の中央部に設けられた装着作業位置までX1方向に搬送される。
First, as shown in FIG. 1, the printed
また、プリント基板110の搬入動作と並行して、実装される部品120がヘッドユニット20によりテープフィーダ130から取り出される。具体的には、ヘッドユニット20が所定のテープフィーダ130の上方に移動されることにより、テープフィーダ130に保持された部品120の上方にヘッドユニット20の吸着ノズル22が配置される。
In parallel with the loading operation of the printed
その後、吸着ノズル22を下降させるとともに、吸着ノズル22の先端に負圧が供給される。これにより、テープフィーダ130上の部品120が吸着ノズル22により吸着されて保持される。
Thereafter, the
この後、部品120を保持した状態で、ヘッドユニット20が部品撮像装置60の上方を通過する。この際、図4に示すように、ヘッドユニット20をX1方向に沿って移動させながら、部品撮像装置60によって吸着ノズル22に保持された部品120が撮像される。そして、撮像された画像に基づいて部品120の吸着位置が認識されるとともに、部品120の高さ情報を取得することにより、部品120の良否が判定される。具体的には、部品120の複数の電極部分120aの高さ位置が所定の範囲内に収まっていない場合には、プリント基板110と部品120との接続不良が生じる可能性があるので、不良品であると判定される。部品120の高さ情報に基づいて部品120が不良品であると判定された場合には、その部品120は破棄される。
Thereafter, the
また、部品120の画像に基づいて、部品120の吸着位置の正しい吸着位置に対するずれ量が算出される。そして、その算出したずれ量に基づいてヘッドユニット20が移動するとともに吸着ノズル22が回転して、部品120の装着位置の補正が行われる。上述した部品120の装着位置の補正処理は、ヘッドユニット20がテープフィーダ130上からプリント基板110の装着位置に移動する動作と並行して行われる。
Further, based on the image of the
そして、図1に示すように、ヘッドユニット20がプリント基板110内の所定の装着位置に移動された後、吸着ノズル22が下降されて部品120がプリント基板110に装着される。以上の動作が繰り返し行われることにより、複数の部品120のプリント基板110への実装が行われる。また、部品120の実装が完了したプリント基板110は、コンベア10上をX1方向に移動して基台1から搬出される。このようにして、表面実装機100による部品120の実装動作が終了する。
As shown in FIG. 1, after the
第1実施形態では、上記のように、ライン状撮像領域63a〜63fを含む二次元イメージセンサ63と、二次元イメージセンサ63を制御して撮像部分Aが有するライン状撮像領域63a〜63fの各々を用いて部品撮像装置60に対してX1方向に移動する部品120の領域P1を順次撮像した後に、RAM78に取り込まれた部品120の領域P1の画像信号(メモリ領域352(図10参照)に転送される画像信号)を順次積算する制御を行う撮像制御部73とを備えている。これにより、積算終了後の画像データA1は、ライン状撮像領域63a〜63fの各々が受光した領域P1の画像信号がライン状撮像領域の数(6本)だけ積算された画像データの状態となる。したがって、積算された画像データA1が有する濃度値(明るさ)は、1つのライン状撮像領域(たとえばライン状撮像領域63a)のみが受光した画像信号が有する濃度値(明るさ)と比較して、積算(加算)される分、より大きな値を有することができる。つまり、受光不足に起因して十分な濃度値(明るさ)を有さない画像データが取得されることが回避される。この結果、ライン状(線状)の撮像領域を用いてX1方向に移動する部品120の撮像を行う際にも、高輝度なパターン光Gを用いることなく明るい画像データA1を取得することができる。また、X1方向に移動する速度を大きくしたとしても、積算処理により画像データA1が有する明るさが低下するのが抑制されるので、同一の輝度を有するパターン光Gを用いる場合には、部品撮像装置60に対してより高速度でX1方向に移動する部品120の三次元形状計測を行うことができる。
In the first embodiment, as described above, each of the two-
また、第1実施形態では、撮像制御部73は、撮像部分Aに関して、X1方向に移動する領域P1を順次撮像する際に、パターン光Gが有する周期Lの2分の1の積分範囲dに対応する時間を6等分したタイミングでライン状撮像領域63aからライン状撮像領域63fまでを順次受光させる制御を行っている。そして、各タイミングで受光した画像信号(RAM78のメモリ領域352に取り込まれた個々の画像信号)を積算して画像データA1を取得する制御を行うように構成されている。また、撮像部分BおよびCに関しても同様の制御を行っている。これにより、各撮像部分における6本のライン状撮像領域の各々が受光した画像信号の積算処理の効果を適切に得ることができる。この場合、積算区間をパターン光Gの周期Lの2分の1として画像信号が積算される分、積算の効果を最大限に得ることができる。
In the first embodiment, when the
また、第1実施形態では、撮像制御部73は、部品120のX1方向への速度に同期して、ライン状撮像領域63a〜63fの各々を用いて部品120の領域P1をX1方向に沿って順次撮像するとともに、各ライン状撮像領域が取得した領域P1の画像信号をパターン光Gが有する周期Lの2分の1以下の積分範囲dで積算する制御を行うように構成されている。これにより、ライン状撮像領域63a〜63fの各々の略同じ位置の画素領域に、部品120の領域P1を確実に受光させることができる。その結果、パターン光Gが有する周期Lの2分の1以下の積分範囲dでの積算後には、十分な濃度値(明るさ)を有する画像データA1を確実に取得することができる。
In the first embodiment, the
また、第1実施形態では、二次元イメージセンサ63には、各々に6本ずつのライン状撮像領域を有する撮像部分A、BおよびCがそれぞれ設けられている。また、撮像部分A、BおよびCは、各々が、パターン光Gが有する周期Lを撮像領域の個数(=3)で除した間隔(=L/3)毎にX1方向に沿って配置されている。そして、撮像制御部73は、各々の二次元イメージセンサ63においてパターン光Gが有する周期Lの2分の1以下の積分範囲dで画像信号を順次積算して得られた画像データA1、B1およびC1に基づいて位相解析を行うことにより、部品120の領域P1が有する高さ情報を取得する制御を行うように構成されている。これにより、二次元イメージセンサ63内の撮像部分A、BおよびCの各々において濃度値(明るさ)の大きさが適切に得られた画像データA0、B0およびC0(図10参照)を使用して位相解析を行うことができる。これにより、部品120の高さ情報を精度よく得ることができる。
In the first embodiment, the two-
また、第1実施形態では、パターン光Gは、正弦波状の光強度分布がY方向から角度αだけ傾けられた状態で部品120に投影されるように構成されている。そして、角度αだけ傾けられて投影されたパターン光Gが有する周期Lを基準として、この周期Lの2分の1に対応する積分範囲dで画像信号を積算するように構成されている。これにより、角度αを有さずパターン光GをY2方向に沿って投影する場合(図5の比較例)と比較して、パターン光GがY2方向から角度αだけ傾けられる分、部品120に投影されたパターン光Gの周期L(輝度の明・暗・明のパターン)を部品120の移動するX1方向に引き伸ばすことができる。この結果、輝度変化の周期が長くなる分、積算を行う積分範囲dに対して多くの個数のライン状の撮像領域を割り当てることができるので、積算する画像信号が増える分、部品120における高さ検出の精度をより向上させることができる。
In the first embodiment, the pattern light G is configured to be projected onto the
(第2実施形態)
次に、図1、図3、図5、図8および図10〜図13を参照して、第2実施形態について説明する。この第2実施形態による表面実装機200では、上記第1実施形態における表面実装機100の部品撮像装置60に適用した二次元イメージセンサ63に代えて、各々が複数のラインセンサからなる3台のTDIセンサ264a〜264cによって構成された撮像部263を用いて、部品撮像装置260を構成している。また、図中において、上記第1実施形態と同様の構成には、上記第1実施形態と同じ符号を付して図示している。なお、表面実装機200は、本発明の「部品移載装置」の一例であり、部品撮像装置260は、本発明の「三次元形状計測装置」の一例である。また、TDIセンサ264a〜264cは、本発明の「撮像部」および「TDI方式のセンサ」の一例である。
(Second Embodiment)
Next, a second embodiment will be described with reference to FIGS. 1, 3, 5, 8 and 10 to 13. In the
撮像部263は、図11に示すように、6本のラインセンサ64a〜64fからなるTDIセンサ264aにより構成された1つの撮像部分Aと、別な6本のラインセンサ64h〜64mからなるTDIセンサ264bにより構成された1つの撮像部分Bと、さらに別な6本のラインセンサ64o〜64tからなるTDIセンサ264cにより構成された撮像部分Cとを備えている。この場合も、撮像制御部73(図3参照)は、部品120の移動に同期して、各々のTDIセンサ264a〜264c(撮像部分A〜C)内の最も上流側(X2側)に配置されたラインセンサ64a(64hおよび64o)から最も下流側(X1側)に配置されたラインセンサ64f(64mおよび64t)に向かって1列ずつ撮像を行う制御を実行することにより、部品120の領域P1を各々のラインセンサを用いて順次撮像することが可能である。なお、ラインセンサ64a〜64f、ラインセンサ64h〜64m、および、ラインセンサ64o〜64tは、本発明の「ライン状の撮像領域」の一例である。
As shown in FIG. 11, the
また、第2実施形態においても、TDIセンサ264a(撮像部分A)、TDIセンサ264b(撮像部分B)およびTDIセンサ264c(撮像部分C)が、パターン光G(図5参照)が有する周期(ピッチ)Lを撮像領域の個数(3個)で除した間隔(=L/3)を有してX1方向(部品120の移動方向)に沿って配置されている。
Also in the second embodiment, the
第2実施形態では、TDIセンサ264a(264bおよび264c)を用いて、領域P1の撮像(画像信号の取得)から画像データA1(B1およびC1)を生成するに至るまでのTDI処理については、以下のように行われる。ここでは、TDIセンサ264a(撮像部分A)を例にとって説明する。
In the second embodiment, using the
具体的には、図12に示すように、まず、撮像制御部73により、1段目のラインセンサ64aによりX1方向に移動する部品120の領域P1が撮像される。これにより、ラインセンサ64aには、画像信号となる電荷6aが保持される。そして、1段目の撮像のタイミングT1から積分範囲d(図8参照)に対応する時間ΔTの1/6の時間だけ経過した後のタイミング(部品120の領域P1がラインセンサ64bに対応する位置に移動したタイミング)に同期して、ラインセンサ64aが保持する電荷6aが、2段目のラインセンサ64bに転送されるとともに、ラインセンサ64bが電荷6aを保持した状態でラインセンサ64bにより領域P1の撮像が行われる。これにより、ラインセンサ64bには、電荷6aとラインセンサ64bが受光して得た電荷6bとが加算された電荷7bが、画像信号として保持される。
Specifically, as shown in FIG. 12, first, the
そして、1段目の撮像のタイミングT1から起算して(ΔT/6)×2の時間だけ経過した後のタイミング(部品120の領域P1がラインセンサ64cに対応する位置に移動したタイミング)に同期して、ラインセンサ64bが保持する電荷7bが、3段目のラインセンサ64cに転送されるとともに、ラインセンサ64cが電荷7bを保持した状態でラインセンサ64cにより領域P1の撮像が行われる。これにより、ラインセンサ64cには、電荷7bとラインセンサ64cが受光して得た電荷6cとが加算された電荷7cが、画像信号として保持される。TDIセンサ264aでは、この操作がラインセンサ64aから64fまで順次繰り返されることにより、受光後のラインセンサ64fには最終的に電荷7fが保持される。つまり、電荷7fは、電荷6aと電荷6bと電荷6cと電荷6dと電荷6eと電荷6fとが足し合わされた電荷量に等しい。
Then, it is synchronized with the timing after the time (ΔT / 6) × 2 has elapsed from the timing T1 of the first stage imaging (the timing when the region P1 of the
そして、図13に示すように、TDIセンサ264a(撮像部分A)における1回分の撮像動作とTDIとによって取得された画像データA1が、RAM78のメモリ領域521に格納される。同様に、2回目の撮像動作とTDIとによって取得された領域P2の画像データA2が、メモリ領域522に格納される。上記したTDIが所定のタイミングで複数回(たとえば、計測対象物の検査領域が、M画素(X方向)×N画素(Y方向)である場合には、M回)繰り返されることにより、画像データA1〜AMが、順次、メモリ領域520に格納されて1つの画像データA0(M×N画素)が取得される。なお、TDIセンサ264b(撮像部分B)およびTDIセンサ264c(撮像部分C)についても同様の動作処理が行われる。これにより、画像データB1〜BMがRAM78のメモリ領域620に格納されるとともに、画像データC1〜CMがメモリ領域720に格納されるように構成されている。
Then, as shown in FIG. 13, image data A1 acquired by one imaging operation and TDI in the
第2実施形態では、上記のように、撮像制御部73は、TDIセンサ264a〜264cを構成するラインセンサ64a〜64tの各々を用いて部品120の領域P1を順次撮像するとともに、個々のラインセンサ64a〜64fが受光した領域P1の画像信号(画像データ)をパターン光Gが有する周期Lの2分の1の積分範囲dで順次積算する制御を行うように構成されている。これにより、複数のラインセンサ64a〜64tの撮像動作を適切に制御して画像信号の積算処理(TDI)を容易に行うことができる。また、撮像部263において個々のラインセンサによる撮像撮像動作に同期して順次画像信号を加算する処理を行うので、RAM78には積算後の画像データA1〜AM(B1〜BMおよびC1〜CM)のみが格納される。したがって、上記第1実施形態のようにRAM78に画像信号の積算処理などを行うメモリ領域を確保する必要がない分、メモリ領域を節約する(図10示したダミー領域310および320が不要となる)ことができる。
In the second embodiment, as described above, the
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is shown not by the above description of the embodiments but by the scope of claims for patent, and further includes all modifications within the meaning and scope equivalent to the scope of claims for patent.
たとえば、上記第1および第2実施形態では、本発明の「三次元形状計測装置」を表面実装機100に適用した例を示したが、本発明はこれに限られない。たとえば、本発明の「三次元形状計測装置」を部品試験装置(ICハンドラー)にも適用することが可能である。また、本発明の「三次元形状計測装置」は表面実装機および部品試験装置以外の機器や装置にも広く適用することが可能である。なお、ICハンドラーは、本発明の「部品移載装置」の一例である。
For example, in the first and second embodiments, the “three-dimensional shape measuring apparatus” of the present invention is applied to the
また、上記第1および第2実施形態では、撮像制御部73は、X1方向に移動する部品120の領域P1を順次撮像する際に、各撮像部分ごとにパターン光Gが有する周期Lの2分の1の積分範囲dに対応する時間を6等分した撮像タイミングで6本のライン状撮像領域を順次撮像させる制御を行った例について示したが、本発明はこれに限られない。つまり、パターン光Gが有する周期Lの2分の1よりも小さい積分範囲に対応する時間で、6本のライン状撮像領域を順次受光させるようにしてもよい。このように、積算区間がパターン光Gの周期の2分の1よりも短い(πラジアン未満)場合であっても、積算されることにより、十分な濃度値となった画像データを容易に得ることができる。また、1つの撮像部分を構成するライン状撮像領域の本数は、6本以外であってもよい。
Further, in the first and second embodiments, when the
また、上記第1実施形態では、二次元イメージセンサ63の各撮像部分(A、BおよびC)においてライン状撮像領域6本分の画像信号Gをまとめて取得(図9のステップS6)した後に、合計11個の画像信号G1〜G11(図10参照)をRAM78に一括して取り込みながら積算(加算)処理を行った(図9のステップS7)が、本発明はこれに限られない。たとえば、上記第2実施形態で示したTDIセンサのように、各撮像部分における個々のライン状撮像領域が受光した画像信号のみを、ライン状撮像領域が受光した順に撮像部分から切り出して順次RAM78の所定のメモリ領域に転送して、領域毎(部品120の領域P1〜領域PM毎)に加算処理を行うように構成してもよい。
Moreover, in the said 1st Embodiment, after acquiring the image signal G for 6 linear imaging areas collectively in each imaging part (A, B, and C) of the two-dimensional image sensor 63 (step S6 of FIG. 9). The integration (addition) processing is performed while collectively taking in the 11 image signals G1 to G11 (see FIG. 10) into the RAM 78 (step S7 in FIG. 9), but the present invention is not limited to this. For example, like the TDI sensor shown in the second embodiment, only the image signals received by the individual line-shaped imaging regions in each imaging portion are cut out from the imaging portions in the order in which the line-shaped imaging regions receive light, and sequentially stored in the
また、上記第1および第2実施形態では、2/3πずつ位相をずらした3つの画像データA1、A2およびA3に基づいて位相解析を行って部品120の高さ情報を取得した例を示したが、本発明はこれに限られない。たとえば、1/2πずつ位相をずらした4つの画像に基づいて部品の高さ情報を取得してもよい。この場合、撮像部は、等しい間隔を隔てて配置された4つの撮像領域から構成される。また、同様に、5つ以上の画像に基づいて部品の高さ情報を取得してもよい。
In the first and second embodiments, the example in which the height information of the
また、上記第1および第2実施形態では、基台1に固定的に設けた部品撮像装置60に本発明を適用した例を示したが、本発明はこれに限られない。たとえば、吸着ノズル22に対して移動可能であるようにヘッドユニット20に取り付けられた部品撮像装置に本発明を適用してもよい。
In the first and second embodiments, the example in which the present invention is applied to the
また、上記第1および第2実施形態では、基台1に固定的に設けた部品撮像装置60の上方を部品120がX1方向に移動する際の三次元形状計測方法に本発明を適用した例について示したが、本発明はこれに限られない。たとえば、移動しない計測対象物に対して撮像部側が第1方向に移動するように構成された測定系に対しても、本発明を適用することが可能である。この場合、撮像部と照明部とが、共に、計測対象物に対して第1方向に移動するように構成される。
In the first and second embodiments, the present invention is applied to the three-dimensional shape measurement method when the
また、上記第1および第2実施形態では、いわゆるTDIの段数を6段(1つの撮像部分を構成するライン状の撮像領域の列数)として二次元イメージセンサ63またはTDIセンサ264a〜264cを構成した例について示したが、本発明はこれに限られない。TDI方式における段数は、6段以外であってもよい。また、各々の撮像部分におけるライン状の撮像領域の本数(段数)を同じ数(6段)として構成したが、本発明はこれに限られない。各々の撮像部分におけるライン状の撮像領域の本数(段数)を互いに異ならせてもよい。
In the first and second embodiments, the two-
また、上記第2実施形態では、3つのTDIセンサ264a、264bおよび264cを、パターン光Gが有する周期Lの3分の1の間隔(=L/3)でX1方向に沿って配置して構成した例について示したが、本発明はこれに限られない。つまり、TDIセンサの大きさ、あるいは、パターン光Gの周期Lの大きさ(小ささ)によっては、3つのTDIセンサを間隔L/3でX1方向に物理的に配置できない場合もあり得る。このような場合には、部品撮像装置60の光学系を工夫することによって、部品120から間隔L/3毎に反射された反射光を、各々のTDIセンサに受光させることが可能となるように構成してもよい。部品120からの反射光光路を適切に構成すれば、3つのTDIセンサをどのような順序でどのような方向に配置しても、部品120からの上記した反射光を受光させることができる。したがって、本構成においても本発明の効果を有効に得ることができる。
In the second embodiment, the three
20 ヘッドユニット
60、260 部品撮像装置(三次元形状計測装置)
61 照明部
63 二次元イメージセンサ(撮像部)
63a〜63f、63h〜63m、63o〜63t ライン状撮像領域(ライン状の撮像領域)
64a〜64f、64h〜64m、64o〜64t ラインセンサ(ライン状の撮像領域)
73 撮像制御部(制御部)
100、200 表面実装機(部品移載装置)
120 部品(計測対象物)
264a、264b、264c TDIセンサ(撮像部、TDI方式のセンサ)
20
61
63a to 63f, 63h to 63m, 63o to 63t Line-shaped imaging area (line-shaped imaging area)
64a to 64f, 64h to 64m, 64o to 64t Line sensor (line-shaped imaging region)
73 Imaging Control Unit (Control Unit)
100, 200 Surface mounter (component transfer equipment)
120 parts (objects to be measured)
H.264a, 264b, 264c TDI sensor (imaging unit, TDI type sensor)
Claims (8)
前記撮像部に対して第1方向に相対的に移動する計測対象物に向けて正弦波状の光強度分布を有する照明光を投影する照明部と、
前記撮像部が、各々のライン状の前記撮像領域を用いて前記第1方向に相対的に移動する前記計測対象物の同一部分を順次撮像する場合に、前記計測対象物の前記同一部分の画像信号を、前記照明光が有する周期の2分の1以下の範囲で積算する制御を行う制御部とを備える、三次元形状計測装置。 An imaging unit that includes a plurality of imaging regions that are arranged in a first direction and extend in a line in a second direction orthogonal to the first direction, and that images a measurement object;
An illumination unit that projects illumination light having a sinusoidal light intensity distribution toward a measurement object that moves relative to the imaging unit in a first direction;
When the imaging unit sequentially captures the same part of the measurement object that moves relative to the first direction using the linear imaging regions, the image of the same part of the measurement object A three-dimensional shape measuring apparatus comprising: a control unit that performs control to integrate signals within a range of ½ or less of the period of the illumination light.
前記撮像部分は、各々が、前記照明光が有する前記周期を前記撮像部分の個数で除した間隔毎に前記第1方向に沿って配置されており、
前記制御部は、各々の前記撮像部分において前記照明光が有する前記周期の2分の1以下の範囲で前記画像信号を積算して得られた画像データに基づいて位相解析を行うことにより、前記計測対象物の高さ情報を取得する制御を行うように構成されている、請求項1または2に記載の三次元形状計測装置。 The imaging unit includes a plurality of imaging parts having a plurality of linear imaging regions,
Each of the imaging parts is arranged along the first direction for each interval obtained by dividing the period of the illumination light by the number of the imaging parts.
The control unit performs the phase analysis based on the image data obtained by integrating the image signals in a range equal to or less than one half of the cycle of the illumination light in each of the imaging portions. The three-dimensional shape measurement apparatus according to claim 1, wherein the three-dimensional shape measurement apparatus is configured to perform control for acquiring height information of a measurement object.
前記制御部は、前記二次元イメージセンサを用いて前記計測対象物の同一部分を順次撮像した後、前記計測対象物の前記同一部分が撮像された前記画像信号を切り出して、前記画像信号を前記照明光が有する前記周期の2分の1以下の範囲で積算する制御を行うように構成されている、請求項1〜3のいずれか1項に記載の三次元形状計測装置。 The imaging unit is a two-dimensional image sensor configured to be able to cut out an image signal corresponding to each linear imaging region,
The control unit sequentially images the same portion of the measurement object using the two-dimensional image sensor, and then cuts out the image signal in which the same portion of the measurement object is imaged, and converts the image signal into the image signal. The three-dimensional shape measuring apparatus according to any one of claims 1 to 3, wherein the three-dimensional shape measuring apparatus is configured to perform control for integration within a range of ½ or less of the period of illumination light.
前記制御部は、前記TDI方式のセンサの各々の前記ライン状の撮像領域を用いて前記計測対象物の同一部分を順次撮像するとともに、個々の前記ライン状の撮像領域が受光した前記同一部分の前記画像信号を前記照明光が有する前記周期の2分の1以下の範囲で順次積算する制御を行うように構成されている、請求項1〜3のいずれか1項に記載の三次元形状計測装置。 The imaging unit is a TDI type sensor having a plurality of the linear imaging regions,
The control unit sequentially images the same portion of the measurement object using the line-shaped imaging region of each of the TDI type sensors, and each of the line-shaped imaging regions receives the same portion received by the line-shaped imaging region. The three-dimensional shape measurement according to any one of claims 1 to 3, wherein the three-dimensional shape measurement is configured to sequentially integrate the image signal within a range of ½ or less of the period of the illumination light. apparatus.
前記制御部は、前記撮像部が、各々の前記撮像領域を用いて前記第1方向に相対的に移動する前記計測対象物の同一部分を順次撮像する場合に、前記所定角度だけ傾けられて投影された前記照明光が有する周期の2分の1以下の範囲で前記画像信号を積算する制御を行うように構成されている、請求項1〜5のいずれか1項に記載の三次元形状計測装置。 The illumination light is configured to be projected onto the measurement object in a state where the light intensity distribution in a sine wave shape is inclined by a predetermined angle from the second direction,
The controller is inclined and projected by the predetermined angle when the imaging unit sequentially images the same part of the measurement object that moves relatively in the first direction using each of the imaging regions. The three-dimensional shape measurement according to any one of claims 1 to 5, wherein the three-dimensional shape measurement is configured to perform control for integrating the image signals in a range of ½ or less of a period of the illumination light. apparatus.
各々が第1方向に並べられるとともに前記第1方向と直交する第2方向にライン状に延びる複数の撮像領域を含み、部品を撮像する撮像部と、
前記撮像部に対して前記ヘッドユニットにより第1方向に相対的に移動する前記部品に向けて正弦波状の光強度分布を有する照明光を投影する照明部と、
前記撮像部が、各々のライン状の前記撮像領域を用いて前記第1方向に相対的に移動する前記部品の同一部分を順次撮像する場合に、前記部品の前記同一部分の画像信号を、前記照明光が有する周期の2分の1以下の範囲で積算する制御を行う制御部とを備える、部品移載装置。 A head unit for transferring parts;
An imaging unit that includes a plurality of imaging regions that are arranged in a first direction and extend in a line shape in a second direction orthogonal to the first direction, and that images a component;
An illumination unit that projects illumination light having a sinusoidal light intensity distribution toward the component that moves relative to the imaging unit in the first direction by the head unit;
When the imaging unit sequentially images the same part of the component that moves relatively in the first direction using the linear imaging regions, the image signal of the same part of the component is A component transfer apparatus comprising: a control unit that performs control for integration within a range of ½ or less of a period of illumination light.
ライン状に延びる複数の撮像領域の各々を用いて前記撮像領域に対して所定方向に相対的に移動する前記計測対象物の同一部分を順次撮像する場合に、前記計測対象物の前記同一部分の画像信号を、前記照明光が有する周期の2分の1以下の範囲で積算するステップとを備える、三次元形状計測方法。 Projecting illumination light having a sinusoidal light intensity distribution toward the measurement object;
When sequentially imaging the same portion of the measurement object that moves relative to the imaging region in a predetermined direction using each of a plurality of imaging regions extending in a line shape, the same portion of the measurement object A three-dimensional shape measuring method comprising: integrating an image signal in a range equal to or less than a half of a period of the illumination light.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010286437A JP5620807B2 (en) | 2010-12-22 | 2010-12-22 | Three-dimensional shape measuring device, component transfer device, and three-dimensional shape measuring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010286437A JP5620807B2 (en) | 2010-12-22 | 2010-12-22 | Three-dimensional shape measuring device, component transfer device, and three-dimensional shape measuring method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012132836A JP2012132836A (en) | 2012-07-12 |
JP5620807B2 true JP5620807B2 (en) | 2014-11-05 |
Family
ID=46648587
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010286437A Active JP5620807B2 (en) | 2010-12-22 | 2010-12-22 | Three-dimensional shape measuring device, component transfer device, and three-dimensional shape measuring method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5620807B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2998437B1 (en) * | 2012-11-16 | 2018-09-21 | Thales | METHOD AND SYSTEM FOR REAL-TIME DETERMINATION OF SIGNALS TO BE SQUARE AMONG A SET OF RECEIVED SIGNALS |
WO2016121878A1 (en) * | 2015-01-29 | 2016-08-04 | 株式会社デクシス | Optical appearance inspection device and optical appearance inspection system using same |
JP6259806B2 (en) * | 2015-12-24 | 2018-01-10 | Ckd株式会社 | 3D measuring device |
JP2017122641A (en) * | 2016-01-07 | 2017-07-13 | Ckd株式会社 | Three-dimensional measurement device |
WO2020136885A1 (en) * | 2018-12-28 | 2020-07-02 | ヤマハ発動機株式会社 | Three-dimensional measurement device and workpiece processing device |
JP7536591B2 (en) | 2020-10-20 | 2024-08-20 | タカノ株式会社 | Thickness unevenness inspection device and thickness unevenness inspection method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2988645B2 (en) * | 1991-12-24 | 1999-12-13 | 川崎製鉄株式会社 | Measurement method of sheet material distortion shape |
JP3629532B2 (en) * | 2001-03-27 | 2005-03-16 | 国立大学法人 和歌山大学 | Method and system for measuring real-time shape of continuously moving object |
US7545971B2 (en) * | 2005-08-22 | 2009-06-09 | Honeywell International Inc. | Method and apparatus for measuring the crepe of a moving sheet |
JP5347418B2 (en) * | 2008-10-10 | 2013-11-20 | 新日鐵住金株式会社 | Surface defect inspection system, method and program |
JP5478122B2 (en) * | 2009-06-04 | 2014-04-23 | ヤマハ発動機株式会社 | Phase shift image capturing apparatus, component transfer apparatus, and phase shift image capturing method |
-
2010
- 2010-12-22 JP JP2010286437A patent/JP5620807B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012132836A (en) | 2012-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5478122B2 (en) | Phase shift image capturing apparatus, component transfer apparatus, and phase shift image capturing method | |
JP5620807B2 (en) | Three-dimensional shape measuring device, component transfer device, and three-dimensional shape measuring method | |
JP5524495B2 (en) | Imaging system and electronic circuit component mounting machine | |
JP6014315B2 (en) | Measuring method of electronic component mounting device | |
KR101506519B1 (en) | Component mounting apparatus | |
US20100295935A1 (en) | On-head component alignment using multiple area array image detectors | |
JP6684792B2 (en) | Mounting device, imaging processing method, and imaging unit | |
JP6889778B2 (en) | Component mounting device | |
JP2003214824A (en) | Method and apparatus for recognizing object shape | |
JP6411663B2 (en) | Component mounting equipment | |
JP5562906B2 (en) | Component imaging method, component imaging apparatus, and component mounting apparatus including the same | |
US10869421B2 (en) | Mounting device and imaging processing method | |
JP2009212251A (en) | Component transfer equipment | |
JP5600705B2 (en) | Component mounting equipment | |
JP2005347412A (en) | Sucked state inspection apparatus, surface mounter, and part testing apparatus | |
JP7139215B2 (en) | Component mounter | |
CN106465581B (en) | Element fixing apparatus and tape feeder | |
JP5297913B2 (en) | Mounting machine | |
JP4473012B2 (en) | Transfer device, surface mounter, IC handler, illumination level determination method and threshold value determination method | |
JP2006073959A (en) | Component recognition device, surface mounting machine and component testing device | |
JP6033052B2 (en) | Parts transfer device | |
JP7015709B2 (en) | Board work equipment | |
JP6139833B2 (en) | Component mounting apparatus and method for assigning components to head in component mounting apparatus | |
JP4386425B2 (en) | Surface mount machine | |
JP4368709B2 (en) | Surface mount machine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140916 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140919 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5620807 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |