WO2015145687A1 - 部品実装機の部品認識システム - Google Patents

部品実装機の部品認識システム Download PDF

Info

Publication number
WO2015145687A1
WO2015145687A1 PCT/JP2014/058971 JP2014058971W WO2015145687A1 WO 2015145687 A1 WO2015145687 A1 WO 2015145687A1 JP 2014058971 W JP2014058971 W JP 2014058971W WO 2015145687 A1 WO2015145687 A1 WO 2015145687A1
Authority
WO
WIPO (PCT)
Prior art keywords
component
suction nozzle
dimensional shape
camera
light pattern
Prior art date
Application number
PCT/JP2014/058971
Other languages
English (en)
French (fr)
Inventor
弘健 江嵜
杉山　健二
Original Assignee
富士機械製造株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士機械製造株式会社 filed Critical 富士機械製造株式会社
Priority to PCT/JP2014/058971 priority Critical patent/WO2015145687A1/ja
Priority to JP2016509770A priority patent/JP6314210B2/ja
Publication of WO2015145687A1 publication Critical patent/WO2015145687A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95684—Patterns showing highly reflecting parts, e.g. metallic elements

Definitions

  • the present invention relates to a component recognition system for a component mounter including a camera that captures an image of a component sucked by a suction nozzle from below.
  • Recent component mounting machines are equipped with an image processing function that picks up the part sucked by the suction nozzle with a camera from below and processes the image to recognize the suction posture of the part and the shift of the suction position.
  • the height data cannot be acquired from the two-dimensional image of the component imaged by the camera, it is impossible to inspect defects in the height direction (Z direction) such as bending of the lead of the component or missing bumps.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 7-151522
  • two cameras that capture images of components sucked by the suction nozzle of the component mounting machine from two different directions obliquely below are installed.
  • Patent Document 1 requires two cameras in order to create a three-dimensional image of the component sucked by the suction nozzle, so that the configuration of the component recognition system is complicated and the cost is increased. However, it may be difficult to install two cameras depending on the model of the component mounting machine.
  • Patent Document 2 Japanese Patent Laid-Open No. 2005-164294 describes a technique for creating a three-dimensional image by synthesizing a plurality of images captured by one camera, although it is not a component mounter. .
  • an imaging object is placed on a rotary stage, a camera that images the imaging object from above, and light that projects a light pattern onto the imaging object from a direction different from the imaging direction of the camera.
  • a pattern projection device is arranged to project an optical pattern onto the imaging target on the rotary stage and process the image captured by the camera to measure the three-dimensional shape of the imaging target.
  • a plurality of three-dimensional shape measurement results are obtained by repeating the operation of measuring the three-dimensional shape while rotating and rotating the imaging object on the rotary stage by a predetermined angle, and combining the plurality of three-dimensional shape measurement results Thus, the three-dimensional shape data of the imaging object is created.
  • Patent Document 2 It is conceivable to apply the 3D shape data creation technique of Patent Document 2 to a component recognition system of a component mounter to create 3D shape data of a component sucked by a suction nozzle of the component mounter. The following problems were found.
  • Patent Document 2 When the 3D shape data creation technique of Patent Document 2 is applied to a component recognition system of a component mounter, a light pattern is projected onto the component sucked by the suction nozzle from a direction different from the imaging direction of the camera. Install the optical pattern projection device, project the optical pattern onto the component adsorbed to the adsorption nozzle, process the image captured by the camera, measure the three-dimensional shape of the component viewed from below, A plurality of three-dimensional shape measurement results are obtained by repeating the operation of measuring a three-dimensional shape while rotating a predetermined angle and rotating the component sucked to the suction nozzle by a predetermined angle. It is conceivable to create the three-dimensional shape data of the parts by synthesis.
  • the center of the component adsorbed by the adsorption nozzle does not necessarily coincide with the axis (rotation center) of the adsorption nozzle. Therefore, when the adsorption nozzle is rotated, the center of the component is shaken within the field of view of the camera. For this reason, when combining a plurality of three-dimensional shape measurement results measured at a plurality of rotation angles, it is necessary to perform complicated calculation processing for matching the centers of the components, which increases calculation load and slows down the calculation processing. As a result, the cycle time becomes longer and the productivity decreases.
  • the problem to be solved by the present invention is that the system configuration for creating the three-dimensional shape data of the parts sucked by the suction nozzle is simplified, the cost is reduced, the space is saved, the calculation load is reduced, and the processing speed is increased.
  • An object is to provide a component recognition system for a component mounter.
  • the present invention provides a component recognition system for a component mounter that adsorbs a component supplied from a component supply device to a suction nozzle and mounts the component on a circuit board.
  • a camera that captures an image from obliquely below
  • a nozzle rotation mechanism that rotates the suction nozzle to rotate a component that is suctioned by the suction nozzle about the axis of the suction nozzle, and an imaging direction of the camera.
  • An optical pattern projection device that projects a predetermined light pattern from different directions onto a component sucked by the suction nozzle, and an image processing device that processes an image captured by the camera, the image processing device comprising: 2 is processed to measure the positional relationship between the center of the component sucked by the suction nozzle and the rotation center (axis of the suction nozzle) 2
  • the original measurement means and the light pattern projection device project the light pattern onto the component sucked by the suction nozzle, process the image captured by the camera, recognize the light pattern on the component surface, and remove the component.
  • a three-dimensional measuring means for measuring a three-dimensional shape viewed from below or obliquely below, and measuring the three-dimensional shape by the three-dimensional measuring means and then rotating the suction nozzle by a predetermined angle by the nozzle rotating mechanism.
  • This configuration makes it possible to create three-dimensional shape data of the parts picked up by the pick-up nozzle from an image picked up by a single camera, so that the structure can be simplified, the cost can be reduced, and the space can be saved.
  • the positional relationship between the center of the component and the rotation center (the axis of the suction nozzle) required when combining a plurality of three-dimensional shape measurement results measured at a plurality of rotation angles is captured by a camera. Since the image is processed and measured, the positional relationship between the center of the component and the center of rotation can be accurately measured by a relatively simple process, and the calculation load can be reduced and high-speed processing can be realized.
  • the light pattern projection device may project the light pattern from one direction to the component sucked by the suction nozzle, or 90 ° or 180 ° in the rotation direction with respect to the component sucked by the suction nozzle.
  • the light pattern may be projected from two different directions.
  • the same three-dimensional shape can be measured as when the light pattern is projected from four directions of 0 °, 90 °, 180 °, and 270 ° with respect to the component sucked by the suction nozzle.
  • FIG. 1 is a plan view showing a configuration of a component recognition system for a component mounter and its peripheral portions in Embodiment 1 of the present invention.
  • FIG. 2 is a perspective view schematically illustrating the configuration of the component recognition system according to the first embodiment.
  • FIG. 3 is a block diagram schematically illustrating functions of the component recognition system according to the first embodiment.
  • FIG. 4 is a flowchart showing the flow of processing of the three-dimensional shape data creation program of the first embodiment.
  • FIG. 5 is a plan view showing a configuration of a component recognition system of a component mounter and its peripheral portion in the second embodiment.
  • FIG. 6 is a perspective view schematically showing the configuration of the component recognition system of the second embodiment.
  • FIG. 7 is a perspective view schematically showing the configuration of the component recognition system of the third embodiment.
  • a first embodiment of the present invention will be described with reference to FIGS. First, the configuration of the component recognition system of the component mounter according to the first embodiment will be described with reference to FIGS. 1 to 3.
  • the component mounter is supplied from a conveyor 13 that conveys the circuit board 12, a component feeder 14 such as a tape feeder that supplies a component 16 (see FIG. 2), and the component feeder 14.
  • a mounting head (not shown) that holds a suction nozzle 15 (see FIG. 2) that sucks the component 16 to be picked up, a head moving device (not shown) that moves the mounting head in the XY directions, and the like are provided.
  • the mounting head is provided with a nozzle rotating mechanism 18 (see FIG. 3) for rotating the suction nozzle 15.
  • one camera 17 is installed between the component supply device 14 and the conveyor 13 so as to image the component 16 adsorbed by the adsorption nozzle 15 from below.
  • one light pattern projection device 21 that projects a predetermined light pattern from a direction different from the imaging direction (directly upward direction) of the camera 17 onto the component 16 sucked by the suction nozzle 15. Is installed.
  • the signal of the image captured by the camera 17 is taken into the image processing device 23.
  • the image processing device 23 executes a three-dimensional shape data synthesis program shown in FIG. 4 to be described later, thereby projecting the light pattern onto the component 16 stopped above the camera 17 by the light pattern projection device 21.
  • An image captured by the camera 17 is processed to recognize a light pattern on the surface of the component 17 and measure a three-dimensional shape (height) when the component 16 is viewed from below;
  • the positional relationship between the center of the component 16 sucked by the suction nozzle 15 and the center of rotation (axis of the suction nozzle 16) is measured by processing a two-dimensional image captured by the camera 17 without projecting the light pattern by Two-dimensional measuring means 25 for performing image measurement mode switching means 26 for switching between a two-dimensional measuring mode using the two-dimensional measuring means 25 and a three-dimensional measuring mode using the three-dimensional measuring means 24. Functions in.
  • a normal illumination device 29 (see FIG. 3) is installed, and the illumination device 29 uniformly illuminates the entire part 16 and the camera 17 images the component 16.
  • the component 16 is picked up by the camera 17 while the light pattern is projected by the light pattern projection device 21, and the component 16 is picked up from the image.
  • a two-dimensional shape may be recognized. This is because the two-dimensional shape (the external shape of the part) can be recognized even using an image that recognizes the three-dimensional shape.
  • the component 17 When measuring the three-dimensional shape of the component 16 with the three-dimensional measuring means 24, the component 17 is imaged by the camera 17 while the light pattern projection device 21 projects the light pattern.
  • a three-dimensional shape recognition method for example, a phase shift method or a spatial encoding method may be used.
  • a predetermined light pattern (a pattern in which the intensity changes in a sine wave shape) from a direction different from the imaging direction of the camera 17 is projected onto the component 16 and imaged by the camera 17.
  • the image is taken a plurality of times while being changed, and a plurality of acquired images are combined to obtain three-dimensional image data.
  • a predetermined light pattern black and white bit pattern
  • the image is captured a plurality of times, and the acquired plurality of images are combined to obtain three-dimensional image data.
  • the three-dimensional shape recognition method is not limited to the phase shift method and the spatial encoding method, and other pattern projection methods (grid pattern projection method, moire method, interference method, etc.) may be used.
  • grid pattern projection method a fringe pattern is projected onto the component 16 and picked up.
  • moire method the grid pattern is arranged on each of the light pattern projection device 21 and the camera 17, and the moire pattern is observed to measure the depth.
  • the depth is measured by observing interference fringes generated by interference between reflected light and reference light.
  • the three-dimensional measuring unit 24 processes the image captured by the camera 17 by projecting the light pattern onto the part 16 sucked by the suction nozzle 15 by the light pattern projection device 21, recognizes the light pattern on the surface of the part 16, and recognizes the part 16. Is measured from below, and after measurement, the suction nozzle 15 is rotated 90 ° by the nozzle rotating mechanism 18 and the three-dimensional shape is measured with the component 16 sucked by the suction nozzle 15 rotated 90 °.
  • the three-dimensional shape measurement results are acquired by repeating the operation of performing.
  • the image processing device 23 uses the positional relationship between the center of the component 16 measured by the two-dimensional measuring means 25 and the rotation center (the axis of the suction nozzle 15) to obtain four three-dimensional shape measurement results at the center of the component 16. Are combined so as to coincide with each other, and a synthesizing unit 27 for generating three-dimensional shape data of the component 16 is provided. Using the created three-dimensional shape data, the bending of the lead of the component 16, the chipping of the bump, the diagonal suction of the component 16, and the like are inspected.
  • step 101 the program stands by until the component 16 is sucked to the suction nozzle 15. Thereafter, when the component 16 is attracted to the suction nozzle 15, the process proceeds to step 102, where the image measurement mode switching means 26 switches to the two-dimensional measurement mode using the two-dimensional measurement means 25, and the two-dimensional image captured by the camera 17.
  • a storage means such as a RAM.
  • step 104 it is determined whether or not the current rotation angle ⁇ of the suction nozzle 15 has reached 270 °. If the rotation angle ⁇ has not reached 270 °, the process proceeds to step 105, where the suction nozzle 15 15 is rotated by 90 °, and the component 16 sucked by the suction nozzle 15 is rotated by 90 ° (rotation angle ⁇ ⁇ ⁇ + 90 °). Thereafter, the processes of steps 106 and 107 are executed again to measure the three-dimensional shape of the component 16 as viewed from below at the current rotation angle ⁇ , and the measurement result is stored in a storage means such as a RAM.
  • a storage means such as a RAM.
  • step 104 it is determined as “No” in the above step 104, and the process proceeds to step 108, and the three-dimensional shape measurement result for each rotation angle ⁇ using the center position and angle of the component 16 measured in the above step 102. Are combined so that the centers of the parts 16 coincide with each other, and the three-dimensional shape data of the parts 16 is created.
  • the configuration is simplified, the cost is reduced, and the space is saved. Can be realized.
  • the positional relationship between the center of the component 16 and the rotation center (center position and angle of the component 16 with respect to the rotation center) required when combining a plurality of three-dimensional shape measurement results measured at a plurality of rotation angles ⁇ , Since the two-dimensional image picked up by the camera 17 is processed and measured, the positional relationship between the center of the component 16 and the center of rotation can be measured with a relatively simple process with high accuracy. Reduction and high-speed processing can be realized.
  • one light pattern projection device 21 that projects a light pattern from one direction to the component 16 sucked by the suction nozzle 15 is installed on the side of the camera 17.
  • two light pattern projectors 21 and 22 are installed on both sides of the camera 17, and from two directions different by 180 ° with respect to the component 16 sucked by the suction nozzle 15. A light pattern is projected.
  • the component 16 sucked by the suction nozzle 15 is rotated by 90 °, the three-dimensional shape of the component 16 viewed from below is measured, and the measurement result is stored in a storage means such as a RAM.
  • the three-dimensional shape measurement data of the part 16 is created by synthesizing the three-dimensional shape measurement results so that the centers of the parts 16 coincide. Other matters are the same as those in the first embodiment.
  • the two light pattern projectors 21 and 22 that project the light pattern from two directions different by 180 ° with respect to the component 16 sucked by the suction nozzle 15 are installed.
  • two light pattern projecting apparatuses 21 and 22 that project light patterns from two directions different by 90 ° with respect to the component 16 sucked by the suction nozzle 15 are installed.
  • the component 16 adsorbed by the adsorption nozzle 15 is rotated by 180 °, the three-dimensional shape of the component 16 viewed from below is measured, and the measurement result is stored in a storage means such as a RAM.
  • the three-dimensional shape measurement data of the part 16 is created by synthesizing the three-dimensional shape measurement results so that the centers of the parts 16 coincide. Other matters are the same as those in the first embodiment.
  • the same effect as in the first embodiment can be obtained.
  • the part 16 sucked by the suction nozzle 15 is imaged by the camera 17 from below, but the part 16 sucked by the suction nozzle 15 is imaged by the camera 17 from obliquely below.
  • a configuration may be adopted in which a light pattern projection device that projects a light pattern from below is installed on the component 16 sucked by the suction nozzle 15.
  • light is emitted from a direction different from the imaging direction of the camera 17. What is necessary is just to install an optical pattern projector so that a pattern may be projected on the component 16 adsorbed by the adsorption nozzle 15.
  • the present invention is not limited to the first to third embodiments described above, and departs from the gist such that the light pattern projection device may be arranged at three or more locations around the camera 17 or the position of the camera 17 may be changed. Various modifications can be made without departing from the scope.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　部品実装機の吸着ノズル１５に吸着した部品１６を下方から撮像するカメラ１７を上向きに設置すると共に、カメラ１７の側方に、カメラ１７の撮像方向とは異なる方向から予め決められた光パターンを部品１６に投影する１台の光パターン投影装置２１を設置する。カメラ１７で撮像した２次元の画像を処理して吸着ノズル１５に吸着した部品１６の中心と回転中心（吸着ノズル１５の軸心）との位置関係を計測し、計測後にノズル回転機構１８により吸着ノズル１５を所定角度回転させて該吸着ノズル１５に吸着した部品１６を所定角度回転させた状態で３次元形状を計測するという動作を繰り返して複数の３次元形状計測結果を取得し、部品１６の中心と回転中心との位置関係を用いて複数の３次元形状計測結果を部品１６の中心が一致するように合成して部品１６の３次元形状データを作成する。

Description

部品実装機の部品認識システム
　本発明は、吸着ノズルに吸着した部品を下方から撮像するカメラを備えた部品実装機の部品認識システムに関する発明である。
　近年の部品実装機は、吸着ノズルに吸着した部品を下方からカメラで撮像して、その画像を処理して部品の吸着姿勢や吸着位置のずれ等を認識する画像処理機能を搭載している。しかし、カメラで撮像した部品の２次元画像からは、高さデータを取得できないため、部品のリードの曲りやバンプ欠け等の高さ方向（Ｚ方向）の不良を検査することはできない。
　そこで、特許文献１（特開平７－１５１５２２号公報）に記載されているように、部品実装機の吸着ノズルに吸着した部品を斜め下方の異なる二方向から撮像する２台のカメラを設置し、２台のカメラで撮像した二方向の画像を画像処理装置で合成して３次元画像を作成し、この３次元画像から電子部品のリードの浮き等を検査するようにしたものがある。
特開平７－１５１５２２号公報 特開２００５－１６４２９４号公報
　しかし、上記特許文献１の構成では、吸着ノズルに吸着した部品の３次元画像を作成するために、２台のカメラを必要とするため、部品認識システムの構成が複雑化してコストアップするだけでなく、部品実装機の機種によっては２台のカメラを設置するのがスペース的に困難な場合がある。
　尚、特許文献２（特開２００５－１６４２９４号公報）には、部品実装機ではないが、１台のカメラで撮像した複数の画像を合成して３次元画像を作成する技術が記載されている。この特許文献２では、回転ステージ上に撮像対象物を載置し、その撮像対象物を上方から撮像するカメラと、このカメラの撮像方向とは異なる方向から光パターンを撮像対象物に投影する光パターン投影装置とを配置して、回転ステージ上の撮像対象物に光パターンを投影してカメラで撮像した画像を処理して撮像対象物の３次元形状を計測し、計測後に回転ステージを所定角度回転させて該回転ステージ上の撮像対象物を所定角度回転させた状態で３次元形状を計測するという動作を繰り返して複数の３次元形状計測結果を取得し、複数の３次元形状計測結果を合成して撮像対象物の３次元形状データを作成するようにしている。
　この特許文献２の３次元形状データ作成技術を部品実装機の部品認識システムに適用して、部品実装機の吸着ノズルに吸着した部品の３次元形状データを作成することが考えられるが、その際、次のような課題があることが判明した。
　この特許文献２の３次元形状データ作成技術を部品実装機の部品認識システムに適用した場合、部品実装機に、カメラの撮像方向とは異なる方向から光パターンを吸着ノズルに吸着した部品に投影する光パターン投影装置を設置して、吸着ノズルに吸着した部品に光パターンを投影してカメラで撮像した画像を処理して該部品を下方から見た３次元形状を計測し、計測後に吸着ノズルを所定角度回転させて該吸着ノズルに吸着した部品を所定角度回転させた状態で３次元形状を計測するという動作を繰り返して複数の３次元形状計測結果を取得し、複数の３次元形状計測結果を合成して部品の３次元形状データを作成することが考えられる。
　この場合、吸着ノズルに吸着した部品の中心は、必ずしも吸着ノズルの軸心（回転中心）と一致しないため、吸着ノズルを回転させると、カメラの視野内で部品の中心が振れる。このため、複数の回転角度で計測した複数の３次元形状計測結果を合成する際に、部品の中心を一致させる複雑な演算処理を行う必要があり、演算負荷が増大して演算処理が遅くなり、サイクルタイムが長くなって生産性が低下する。
　部品実装機では、吸着ノズルに部品を吸着する毎に吸着ノズルに対して部品の吸着位置がランダムにずれるため、吸着ノズルの軸心（回転中心）と部品の中心とのずれ量やずれ方向もランダムに変化する。従って、複数の回転角度で計測した複数の３次元形状計測結果を合成する前に、吸着ノズルに吸着した部品の中心と回転中心（吸着ノズルの軸心）との位置関係を計測しておく必要がある。
　そこで、本発明が解決しようとする課題は、吸着ノズルに吸着した部品の３次元形状データを作成するシステムの構成簡単化、低コスト化、省スペース化、演算負荷の軽減、高速処理化を実現できる部品実装機の部品認識システムを提供することにある。
　上記目的を達成するために、本発明は、部品供給装置から供給される部品を吸着ノズルに吸着して回路基板に実装する部品実装機の部品認識システムにおいて、前記吸着ノズルに吸着した部品を下方又は斜め下方から撮像するカメラと、前記吸着ノズルを回転させることで該吸着ノズルに吸着した部品を該吸着ノズルの軸心を回転中心にして回転させるノズル回転機構と、前記カメラの撮像方向とは異なる方向から予め決められた光パターンを前記吸着ノズルに吸着した部品に投影する光パターン投影装置と、前記カメラで撮像した画像を処理する画像処理装置とを備え、前記画像処理装置は、前記カメラで撮像した２次元の画像を処理して前記吸着ノズルに吸着した部品の中心と回転中心（吸着ノズルの軸心）との位置関係を計測する２次元計測手段と、前記光パターン投影装置により前記光パターンを前記吸着ノズルに吸着した部品に投影して前記カメラで撮像した画像を処理して前記部品表面の前記光パターンを認識して前記部品を下方又は斜め下方から見た３次元形状を計測する３次元計測手段と、前記３次元計測手段により前記３次元形状を計測した後に前記ノズル回転機構により前記吸着ノズルを所定角度回転させて該吸着ノズルに吸着した部品を所定角度回転させた状態で前記３次元形状を計測するという動作を繰り返して複数の３次元形状計測結果を取得する手段と、前記２次元計測手段により計測した前記部品の中心と回転中心との位置関係を用いて前記複数の３次元形状計測結果を前記部品の中心が一致するように合成して前記部品の３次元形状データを作成する手段とを有することを特徴とするものである。
　この構成では、１台のカメラで撮像した画像から、吸着ノズルに吸着した部品の３次元形状データを作成できるため、構成簡単化、低コスト化、省スペース化を実現できる。しかも、複数の回転角度で計測した複数の３次元形状計測結果を合成する際に必要となる部品の中心と回転中心（吸着ノズルの軸心）との位置関係を、カメラで撮像した２次元の画像を処理して計測するため、部品の中心と回転中心との位置関係を比較的簡単な処理で精度良く計測することができて、演算負荷の軽減、高速処理化も実現できる。
　この場合、光パターン投影装置は、吸着ノズルに吸着した部品に対して一方向から光パターンを投影するようにしても良いし、吸着ノズルに吸着した部品に対して回転方向に９０°又は１８０°異なる二方向から光パターンを投影するようにしても良い。
　吸着ノズルに吸着した部品に対して一方向から光パターンを投影する場合は、０°、９０°、１８０°、２７０°の回転角度でそれぞれ３次元形状を計測して４つの３次元形状計測結果を取得するようにすれば良い。
　また、吸着ノズルに吸着した部品に対して回転方向に９０°又は１８０°異なる二方向から光パターンを投影する場合は、０°と１８０°又は０°と９０°の回転角度でそれぞれ３次元形状を計測して２つの３次元形状計測結果を取得するようにすれば良い。
　上記いずれの構成でも、吸着ノズルに吸着した部品に対して０°、９０°、１８０°、２７０°の四方向から光パターンを投影した場合と同様の３次元形状を計測することができる。
図１は本発明の実施例１における部品実装機の部品認識システムとその周辺部分の構成を示す平面図である。 図２は実施例１の部品認識システムの構成を概略的に示す斜視図である。 図３は実施例１の部品認識システムの機能を概略的に示すブロック図である。 図４は実施例１の３次元形状データ作成プログラムの処理の流れを示すフローチャートである。 図５は実施例２における部品実装機の部品認識システムとその周辺部分の構成を示す平面図である。 図６は実施例２の部品認識システムの構成を概略的に示す斜視図である。 図７は実施例３の部品認識システムの構成を概略的に示す斜視図である。
　以下、本発明を実施するための形態を具体化した３つの実施例１～３を説明する。
　本発明の実施例１を図１乃至図４に基づいて説明する。
　まず、図１乃至図３を用いて本実施例１の部品実装機の部品認識システムの構成を説明する。
　図１に示すように、部品実装機には、回路基板１２を搬送するコンベア１３と、部品１６（図２参照）を供給するテープフィーダ等の部品供給装置１４と、この部品供給装置１４から供給される部品１６を吸着する吸着ノズル１５（図２参照）を保持する実装ヘッド（図示せず）と、この実装ヘッドをＸＹ方向に移動させるヘッド移動装置（図示せず）等が設けられている。また、実装ヘッドには、吸着ノズル１５を回転させるノズル回転機構１８（図３参照）が設けられている。
　部品供給装置１４とコンベア１３との間には、図２に示すように、吸着ノズル１５に吸着した部品１６を下方から撮像する１台のカメラ１７が上向きに設置されている。このカメラ１７の側方には、カメラ１７の撮像方向（真上方向）とは異なる方向から予め決められた光パターンを吸着ノズル１５に吸着した部品１６に投影する１台の光パターン投影装置２１が設置されている。
　図３に示すように、カメラ１７で撮像した画像の信号は、画像処理装置２３に取り込まれる。画像処理装置２３は、後述する図４の３次元形状データ合成プログラムを実行することで、カメラ１７の上方で停止させた部品１６に光パターン投影装置２１により光パターンを投影して該部品１６をカメラ１７で撮像した画像を処理して部品１７表面の光パターンを認識して該部品１６を下方から見た３次元形状（高さ）を計測する３次元計測手段２４と、光パターン投影装置２１による光パターンの投影を行わない状態でカメラ１７で撮像した２次元の画像を処理して吸着ノズル１５に吸着した部品１６の中心と回転中心（吸着ノズル１６の軸心）との位置関係を計測する２次元計測手段２５と、２次元計測手段２５を用いる２次元計測モードと３次元計測手段２４を用いる３次元計測モードとを切り替える画像計測モード切替手段２６として機能する。
　２次元計測手段２５で部品１６の２次元の画像を撮像する場合は、光パターン投影装置２１による光パターンの投影を行う必要がないため、吸着ノズル１５に吸着した部品１６全体を均一に照明する通常の照明装置２９（図３参照）を設置して、この照明装置２９で部品１６全体を均一に照明してカメラ１７で部品１６を撮像するようにしている。
　但し、２次元計測手段２５で部品１６の２次元の画像を撮像する場合でも、光パターン投影装置２１による光パターンの投影を行いながらカメラ１７で部品１６を撮像して、その画像から部品１６の２次元形状を認識するようにしても良い。３次元形状を認識する画像を用いても２次元形状（部品の外形形状）を認識できるためである。
　３次元計測手段２４で部品１６の３次元形状を計測する場合は、光パターン投影装置２１による光パターンの投影を行いながらカメラ１７で部品１６を撮像する。３次元形状の認識方法は、例えば、位相シフト法又は空間コード化法を用いれば良い。
　位相シフト法では、カメラ１７の撮像方向とは異なる方向から予め決められた光パターン（強度が正弦波状に変化するパターン）を部品１６に投影してカメラ１７で撮像することを、パターンの位相を変化させて複数回撮像し、取得した複数の画像を合成して３次元画像のデータを得る。
　空間コード化法では、カメラ１７の撮像方向とは異なる方向から予め決められた光パターン（白黒のビットパターン）を部品１６に投影してカメラ１７で撮像することを、パターンのピッチを細かく変化させて複数回撮像し、取得した複数の画像を合成して３次元画像のデータを得る。
　尚、３次元形状の認識方法は、位相シフト法、空間コード化法に限定されず、これ以外のパターン投影法（格子パターン投影法、モアレ法、干渉法等）を用いても良い。格子パターン投影法では、縞パターンを部品１６に投影して撮像し、モアレ法では、光パターン投影装置２１とカメラ１７にそれぞれ格子パターンを配置し、モアレパターンを観測して奥行きを計測する。干渉法では、反射光と参照光を干渉させて発生する干渉縞を観測して奥行きを計測する。
　３次元計測手段２４は、光パターン投影装置２１により光パターンを吸着ノズル１５に吸着した部品１６に投影してカメラ１７で撮像した画像を処理して部品１６表面の光パターンを認識して部品１６を下方から見た３次元形状を計測し、計測後にノズル回転機構１８により吸着ノズル１５を９０°回転させて該吸着ノズル１５に吸着した部品１６を９０°回転させた状態で３次元形状を計測するという動作を繰り返して４つの３次元形状計測結果を取得する。
　更に、画像処理装置２３は、２次元計測手段２５により計測した部品１６の中心と回転中心（吸着ノズル１５の軸心）との位置関係を用いて４つの３次元形状計測結果を部品１６の中心が一致するように合成して部品１６の３次元形状データを作成する合成手段２７を備えている。作成した３次元形状データを使用して、部品１６のリードの曲り、バンプの欠け、部品１６の斜め吸着等を検査する。
　以上説明した本実施例１の３次元形状データの合成は、部品実装機の稼働中（生産中）に画像処理装置２３によって図４の３次元形状データ合成プログラムに従って実行される。本プログラムが起動されると、まず、ステップ１０１で、吸着ノズル１５に部品１６を吸着するまで待機する。この後、吸着ノズル１５に部品１６を吸着した時点で、ステップ１０２に進み、画像計測モード切替手段２６により２次元計測手段２５を用いる２次元計測モードに切り替えて、カメラ１７で撮像した２次元の画像を処理して吸着ノズル１５に吸着した部品１６の中心と回転中心（吸着ノズル１６の軸心）との位置関係、具体的には、回転中心（吸着ノズル１６の軸心）に対する部品１６の中心位置と角度を計測する。
　この後、ステップ１０３に進み、吸着ノズル１５の回転角度θ＝０°（つまり吸着ノズル１５を回転させない状態）で３次元形状を計測したか否かを判定し、まだ３次元形状を計測していなければ、ステップ１０６に進み、上記ステップ１０２で計測した部品１６の中心位置と角度を元に画像上で部品１６を３次元形状計測位置に回転角度θ＝０°で配置した後、ステップ１０７に進み、位相シフト法等により部品１６を下方から見た３次元形状を計測してその計測結果をＲＡＭ等の記憶手段に記憶する。
　この後、ステップ１０４に戻り、現在の吸着ノズル１５の回転角度θが２７０°に達していないか否かを判定し、回転角度θが２７０°に達していなければ、ステップ１０５に進み、吸着ノズル１５を９０°回転させて該吸着ノズル１５に吸着した部品１６を９０°回転させる（回転角度θ←θ＋９０°）。この後、再び、ステップ１０６及び１０７の処理を実行して、現在の回転角度θで部品１６を下方から見た３次元形状を計測してその計測結果をＲＡＭ等の記憶手段に記憶する。以後、上記ステップ１０４～１０７の処理を繰り返すことで、吸着ノズル１５の回転角度θ＝０°、９０°、１８０°、２７０°で３次元形状を計測して、４つの３次元形状計測結果を取得する。
　この後は、上記ステップ１０４で、「Ｎｏ」と判定されて、ステップ１０８に進み、上記ステップ１０２で計測した部品１６の中心位置と角度を用いて、各回転角度θ毎の３次元形状計測結果を部品１６の中心が一致するように合成して部品１６の３次元形状データを作成する。
　以上説明した本実施例１によれば、１台のカメラ１７で撮像した画像から、吸着ノズル１５に吸着した部品１６の３次元形状データを作成できるため、構成簡単化、低コスト化、省スペース化を実現できる。しかも、複数の回転角度θで計測した複数の３次元形状計測結果を合成する際に必要となる部品１６の中心と回転中心との位置関係（回転中心に対する部品１６の中心位置と角度）を、カメラ１７で撮像した２次元の画像を処理して計測するようにしているため、部品１６の中心と回転中心との位置関係を比較的簡単な処理で精度良く計測することができて、演算負荷の軽減、高速処理化も実現できる。
　上記実施例１では、吸着ノズル１５に吸着した部品１６に対して一方向から光パターンを投影する１台の光パターン投影装置２１をカメラ１７の側方に設置するようにしたが、図５及び図６に示す本発明の実施例２では、カメラ１７の両側方に２台の光パターン投影装置２１，２２を設置して、吸着ノズル１５に吸着した部品１６に対して１８０°異なる２方向から光パターンを投影するようにしている。
　本実施例２では、回転角度θ＝０°で部品１６を下方から見た３次元形状を計測してその計測結果をＲＡＭ等の記憶手段に記憶した後、吸着ノズル１５を９０°回転させて該吸着ノズル１５に吸着した部品１６を９０°回転させて、部品１６を下方から見た３次元形状を計測してその計測結果をＲＡＭ等の記憶手段に記憶する。本実施例２のように、吸着ノズル１５に吸着した部品１６に対して１８０°異なる２方向から光パターンを投影する場合は、吸着ノズル１５の回転角度θ＝０°、９０°で３次元形状を計測すると、回転角度θ＝０°、９０°、１８０°、２７０°の四方向から光パターンを投影した場合と同様の３次元形状を計測することができる。
　この後、上記実施例１と同様の方法で２次元の画像を処理して計測した部品１６の中心と回転中心との位置関係（回転中心に対する部品１６の中心位置と角度）を用いて、２つの３次元形状計測結果を部品１６の中心が一致するように合成して部品１６の３次元形状データを作成する。その他の事項は、前記実施例１と同じである。
　以上説明した本実施例２でも、前記実施例１と同様の効果を得ることができる。
　上記実施例２では、吸着ノズル１５に吸着した部品１６に対して１８０°異なる２方向から光パターンを投影する２台の光パターン投影装置２１，２２を設置したが、図７に示す本発明の実施例３では、吸着ノズル１５に吸着した部品１６に対して９０°異なる２方向から光パターンを投影する２台の光パターン投影装置２１，２２を設置している。
　本実施例３では、回転角度θ＝０°で部品１６を下方から見た３次元形状を計測してその計測結果をＲＡＭ等の記憶手段に記憶した後、吸着ノズル１５を１８０°回転させて該吸着ノズル１５に吸着した部品１６を１８０°回転させて、部品１６を下方から見た３次元形状を計測してその計測結果をＲＡＭ等の記憶手段に記憶する。本実施例３のように、吸着ノズル１５に吸着した部品１６に対して９０°異なる２方向から光パターンを投影する場合は、吸着ノズル１５の回転角度θ＝０°、１８０°で３次元形状を計測すると、回転角度θ＝０°、９０°、１８０°、２７０°の四方向から光パターンを投影した場合と同様の３次元形状を計測することができる。
　この後、上記実施例１と同様の方法で２次元の画像を処理して計測した部品１６の中心と回転中心との位置関係（回転中心に対する部品１６の中心位置と角度）を用いて、２つの３次元形状計測結果を部品１６の中心が一致するように合成して部品１６の３次元形状データを作成する。その他の事項は、前記実施例１と同じである。
　以上説明した本実施例３でも、前記実施例１と同様の効果を得ることができる。
　尚、上記実施例１～３では、吸着ノズル１５に吸着した部品１６を下方からカメラ１７で撮像するようにしたが、吸着ノズル１５に吸着した部品１６を斜め下方からカメラ１７で撮像するようにしても良く、この場合は、吸着ノズル１５に吸着した部品１６に下方から光パターンを投影する光パターン投影装置を設置した構成としても良く、要は、カメラ１７の撮像方向とは異なる方向から光パターンを吸着ノズル１５に吸着した部品１６に投影するように光パターン投影装置を設置すれば良い。
　その他、本発明は、上記実施例１～３に限定されず、カメラ１７の周囲の３箇所以上に光パターン投影装置を配置したり、カメラ１７の位置を変更しても良い等、要旨を逸脱しない範囲内で種々変更して実施できる。
　１２…回路基板、１３…コンベア、１４…部品供給装置、１５…吸着ノズル、１６…部品、１７…カメラ、１８…ノズル回転機構、２１，２２…光パターン投影装置、２３…画像処理装置、２４…３次元計測手段、２５…２次元計測手段、２６…画像計測モード切替手段、２７…合成手段、２９…照明装置

Claims (3)

  1. 　部品供給装置から供給される部品を吸着ノズルに吸着して回路基板に実装する部品実装機の部品認識システムにおいて、
    　前記吸着ノズルに吸着した部品を下方又は斜め下方から撮像するカメラと、
    　前記吸着ノズルを回転させることで該吸着ノズルに吸着した部品を該吸着ノズルの軸心を回転中心にして回転させるノズル回転機構と、
    　前記カメラの撮像方向とは異なる方向から予め決められた光パターンを前記吸着ノズルに吸着した部品に投影する光パターン投影装置と、
    　前記カメラで撮像した画像を処理する画像処理装置とを備え、
    　前記画像処理装置は、前記カメラで撮像した２次元の画像を処理して前記吸着ノズルに吸着した部品の中心と回転中心との位置関係を計測する２次元計測手段と、前記光パターン投影装置により前記光パターンを前記吸着ノズルに吸着した部品に投影して前記カメラで撮像した画像を処理して前記部品表面の前記光パターンを認識して前記部品を下方又は斜め下方から見た３次元形状を計測する３次元計測手段と、前記３次元計測手段により前記３次元形状を計測した後に前記ノズル回転機構により前記吸着ノズルを所定角度回転させて該吸着ノズルに吸着した部品を所定角度回転させた状態で前記３次元形状を計測するという動作を繰り返して複数の３次元形状計測結果を取得する手段と、前記２次元計測手段により計測した前記部品の中心と回転中心との位置関係を用いて前記複数の３次元形状計測結果を前記部品の中心が一致するように合成して前記部品の３次元形状データを作成する手段とを有することを特徴とする部品実装機の部品認識システム。
  2. 　前記光パターン投影装置は、前記吸着ノズルに吸着した部品に対して一方向から光パターンを投影するように構成され、
    　前記画像処理装置は、０°、９０°、１８０°、２７０°の回転角度でそれぞれ前記３次元形状を計測して４つの３次元形状計測結果を取得することを特徴とする請求項１に記載の部品実装機の部品認識システム。
  3. 　前記光パターン投影装置は、前記吸着ノズルに吸着した部品に対して回転方向に９０°又は１８０°異なる二方向から光パターンを投影するように構成され、
    　前記画像処理装置は、０°と１８０°又は０°と９０°の回転角度でそれぞれ前記３次元形状を計測して２つの３次元形状計測結果を取得することを特徴とする請求項１に記載の部品実装機の部品認識システム。
PCT/JP2014/058971 2014-03-27 2014-03-27 部品実装機の部品認識システム WO2015145687A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2014/058971 WO2015145687A1 (ja) 2014-03-27 2014-03-27 部品実装機の部品認識システム
JP2016509770A JP6314210B2 (ja) 2014-03-27 2014-03-27 部品実装機の部品認識システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/058971 WO2015145687A1 (ja) 2014-03-27 2014-03-27 部品実装機の部品認識システム

Publications (1)

Publication Number Publication Date
WO2015145687A1 true WO2015145687A1 (ja) 2015-10-01

Family

ID=54194277

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/058971 WO2015145687A1 (ja) 2014-03-27 2014-03-27 部品実装機の部品認識システム

Country Status (2)

Country Link
JP (1) JP6314210B2 (ja)
WO (1) WO2015145687A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019215246A (ja) * 2018-06-13 2019-12-19 オムロン株式会社 三次元計測装置、三次元計測用のセンサデバイス、および三次元計測装置における制御方法
EP3580730A4 (en) * 2017-02-08 2020-12-23 Semiconductor Technologies & Instruments Pte Ltd. PROCESS AND SYSTEM FOR GENERATING COMPOSITE 3D IMAGES OF OBJECTS AND FOR DETERMINING OBJECT PROPERTIES BASED ON THEM
JP2021018993A (ja) * 2019-07-17 2021-02-15 パナソニックＩｐマネジメント株式会社 部品実装装置および立体形状計測装置ならびに立体形状計測方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09321498A (ja) * 1996-06-03 1997-12-12 Yamaha Motor Co Ltd 実装機の部品検査方法及び同装置
JP2001060800A (ja) * 1999-08-24 2001-03-06 Juki Corp 電子部品実装方法及び装置
JP2009094295A (ja) * 2007-10-09 2009-04-30 Juki Corp 電子部品の高さ測定装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003163494A (ja) * 2001-11-29 2003-06-06 Juki Corp 部品実装方法及び装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09321498A (ja) * 1996-06-03 1997-12-12 Yamaha Motor Co Ltd 実装機の部品検査方法及び同装置
JP2001060800A (ja) * 1999-08-24 2001-03-06 Juki Corp 電子部品実装方法及び装置
JP2009094295A (ja) * 2007-10-09 2009-04-30 Juki Corp 電子部品の高さ測定装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3580730A4 (en) * 2017-02-08 2020-12-23 Semiconductor Technologies & Instruments Pte Ltd. PROCESS AND SYSTEM FOR GENERATING COMPOSITE 3D IMAGES OF OBJECTS AND FOR DETERMINING OBJECT PROPERTIES BASED ON THEM
JP2019215246A (ja) * 2018-06-13 2019-12-19 オムロン株式会社 三次元計測装置、三次元計測用のセンサデバイス、および三次元計測装置における制御方法
WO2019239905A1 (ja) * 2018-06-13 2019-12-19 オムロン株式会社 三次元計測装置、三次元計測用のセンサデバイス、および三次元計測装置における制御方法
US11262193B2 (en) 2018-06-13 2022-03-01 Omron Corporation Three-dimensional measurement device, sensor device for three-dimensional measurement, and method for performing control in three-dimensional measurement device
JP7035831B2 (ja) 2018-06-13 2022-03-15 オムロン株式会社 三次元計測装置、コントローラ、および三次元計測装置における制御方法
JP2021018993A (ja) * 2019-07-17 2021-02-15 パナソニックＩｐマネジメント株式会社 部品実装装置および立体形状計測装置ならびに立体形状計測方法
JP7329727B2 (ja) 2019-07-17 2023-08-21 パナソニックＩｐマネジメント株式会社 部品実装装置および立体形状計測装置ならびに立体形状計測方法

Also Published As

Publication number Publication date
JP6314210B2 (ja) 2018-04-18
JPWO2015145687A1 (ja) 2017-04-13

Similar Documents

Publication Publication Date Title
JP5162702B2 (ja) 表面形状測定装置
JP5780659B2 (ja) ３次元形状測定装置
US20050276464A1 (en) Image analysis for pick and place machines with in situ component placement inspection
KR101241175B1 (ko) 실장기판 검사장치 및 검사방법
JP6684792B2 (ja) 実装装置、撮像処理方法及び撮像ユニット
JP6258295B2 (ja) 部品実装機の部品認識システム
WO2020065850A1 (ja) ３次元測定装置
WO2019131155A1 (ja) 外観検査装置、外観検査方法、プログラム及びワークの製造方法
JP6314210B2 (ja) 部品実装機の部品認識システム
JP6037580B2 (ja) 部品実装機
JP2004317126A (ja) はんだ印刷装置
JP6411663B2 (ja) 部品実装装置
WO2017126025A1 (ja) 実装装置および撮像処理方法
KR100969349B1 (ko) 에이오아이（ａｏｉ） 장치
JP2013191775A (ja) 部品実装装置、および、部品形状測定方法
KR101017300B1 (ko) 표면형상 측정장치
JP2020061492A (ja) 実装システム、実装方法、及び実装用プログラム
KR101405427B1 (ko) 단일주기격자를 이용한 멀티 모아레 비전검사장치
JP7182156B2 (ja) 実装システム、実装方法、及び実装用プログラム
KR20150037323A (ko) 부품 적재 장치
Wu et al. A parallel-structure solder paste inspection system
CN112314065B (zh) 安装机及安装系统
WO2023032095A1 (ja) ワーク高さ計測装置、及びこれを用いた実装基板検査装置
JP2023084391A (ja) 部品認識装置及び部品実装機
JP2013096832A (ja) 部品実装基板生産装置、および、三次元形状測定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14887447

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016509770

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14887447

Country of ref document: EP

Kind code of ref document: A1