WO2021166230A1 - 画像処理装置および実装装置、画像処理方法 - Google Patents

画像処理装置および実装装置、画像処理方法 Download PDF

Info

Publication number
WO2021166230A1
WO2021166230A1 PCT/JP2020/007121 JP2020007121W WO2021166230A1 WO 2021166230 A1 WO2021166230 A1 WO 2021166230A1 JP 2020007121 W JP2020007121 W JP 2020007121W WO 2021166230 A1 WO2021166230 A1 WO 2021166230A1
Authority
WO
WIPO (PCT)
Prior art keywords
pitch
image processing
cavity
image
tape
Prior art date
Application number
PCT/JP2020/007121
Other languages
English (en)
French (fr)
Inventor
秀一郎 鬼頭
貴紘 小林
一也 小谷
水谷　豊
Original Assignee
株式会社Ｆｕｊｉ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｆｕｊｉ filed Critical 株式会社Ｆｕｊｉ
Priority to EP20919743.3A priority Critical patent/EP4110031A4/en
Priority to CN202080094559.9A priority patent/CN115004877B/zh
Priority to JP2022501562A priority patent/JP7423741B2/ja
Priority to US17/904,493 priority patent/US20230108672A1/en
Priority to PCT/JP2020/007121 priority patent/WO2021166230A1/ja
Publication of WO2021166230A1 publication Critical patent/WO2021166230A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/04—Mounting of components, e.g. of leadless components
    • H05K13/0417—Feeding with belts or tapes
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/04—Mounting of components, e.g. of leadless components
    • H05K13/0417—Feeding with belts or tapes
    • H05K13/0419—Feeding with belts or tapes tape feeders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Definitions

  • This specification discloses an image processing device, a mounting device, and an image processing method.
  • Patent Document 1 a device for detecting the pitch of a cavity or the like of a tape provided with a cavity for storing parts has been proposed (see, for example, Patent Document 1).
  • this device light is transmitted through the tape, the amount of transmitted light is detected by a photo sensor, etc., and the detected amount of transmitted light is compared with the threshold value to create an empty cavity without parts or a tape part. Is supposed to be detected.
  • the change in the brightness of the detected transmitted light amount may be small. In that case, there is a risk of erroneous detection if the device that detects the amount of transmitted light simply by comparing it with the threshold value, such as the above-mentioned device.
  • the main purpose of the present disclosure is to accurately recognize the pitch of the cavity even if the tape has little change in brightness.
  • the first image processing apparatus of the present disclosure is An image processing device that processes an image of a tape provided with a plurality of cavity for storing parts along a predetermined feeding direction.
  • a generation unit that extracts the brightness of the pixels of the line along the feed direction from the image and generates a brightness waveform of the line.
  • a recognition unit that performs periodic analysis of the luminance change from the luminance waveform and recognizes the pitch of the cavity based on the wavelength obtained by the periodic analysis. The gist is to prepare.
  • the first image processing apparatus of the present disclosure extracts the brightness of the pixels of the line along the feeding direction from the image of the tape and generates the brightness waveform of the line. Then, periodic analysis of the luminance change is performed from the luminance waveform, and the pitch of the cavity is recognized based on the wavelength obtained by the periodic analysis. As a result, even if the tape has little change in the brightness of the image, the wavelength can be obtained with relatively high accuracy by periodic analysis, so that the pitch of the cavity can be recognized with high accuracy.
  • the perspective view which shows the outline of the feeder part 25 of the feeder 20.
  • the top view which shows the outline of the feeder part 25 of the feeder 20.
  • the block diagram which shows the structure concerning the control of the mounting apparatus 10 and the management apparatus 40.
  • the flowchart which shows an example of the tape feed related processing.
  • Explanatory drawing which shows an example of a plurality of lines L in image G.
  • Explanatory drawing which shows an example of the luminance waveform in line L.
  • Explanatory drawing which shows an example of the waveform calculated by the normalized square error function.
  • Explanatory drawing which shows an example of how to recognize the center of a cavity 24.
  • the flowchart which shows an example of the pitch recognition process of 2nd Embodiment.
  • Explanatory drawing which shows an example of line L of 2nd Embodiment.
  • Explanatory drawing which shows an example of pitch B of magnitude change of brightness
  • FIG. 1 is a configuration diagram showing an outline of the configuration of the mounting device 10.
  • FIG. 2 is a perspective view showing an outline of the feeder portion 25 of the feeder 20.
  • FIG. 3 is a top view showing an outline of the feeder portion 25 of the feeder 20.
  • FIG. 4 is a block diagram showing a configuration related to control of the mounting device 10.
  • the left-right direction in FIG. 1 is the X-axis direction
  • the front-back direction is the Y-axis direction
  • the up-down direction is the Z-axis direction.
  • the mounting apparatus 10 attracts the component P by the feeder 20 that supplies the component P housed in the tape, the substrate transfer device 12 that conveys the flat plate-shaped substrate S, and the suction nozzle 15.
  • a head 14 mounted on the substrate S and a moving mechanism 16 for moving the head 14 in the XY directions are provided.
  • the mounting device 10 includes a mark camera 18 capable of capturing various marks attached to the substrate S and the upper surface of the tape of the feeder 20, and a parts camera 19 capable of capturing the component P adsorbed on the suction nozzle 15 from below.
  • a control device 30 (see FIG. 4) that controls the entire mounting device 10 is provided.
  • the head 14 has one or a plurality of suction nozzles 15, and these suction nozzles 15 are moved up and down in the vertical direction by a Z-axis motor (not shown).
  • the feeder 20 includes a reel portion 21 around which the tape 22 (see FIG. 2) is wound, and a feeder portion 25 that pulls out the tape 22 from the reel portion 21 and sends it out, and is detachably attached to the mounting device 10.
  • the feeder unit 25 includes a feed motor 26 (see FIG. 4) such as a stepping motor for rotating a sprocket (not shown).
  • the tape 22 has a plurality of concave cavities 24 for accommodating the component P formed along the feeding direction (longitudinal direction) of the tape 22. Further, the tape 22 is formed with a feed hole 23 that engages with the sprocket teeth formed on the outer periphery of the sprocket of the feeder portion 25.
  • the feeder 20 drives the feed motor 26 of the feeder unit 25 to intermittently rotate the sprocket to intermittently feed the tape 22 in a predetermined amount backward in the Y direction (feed direction), and the head 14 (suction nozzle).
  • the component P is supplied to the component supply position where 15) can be picked up.
  • the feeder portion 25 includes a guide frame 27 that guides the movement of the tape 22.
  • the guide frame 27 extends along the front-rear direction on both the left and right sides of the feeder 20, and is provided so as to partially straddle the upper part of the tape 22.
  • a reference mark 28 as a reference position is formed on the guide frame 27.
  • the circular reference mark 28 is shown, but any shape can be used as long as the reference position can be grasped.
  • the mounting device 10 can determine the amount of misalignment of the feed of the tape 22 based on the positional relationship between the feed hole 23 of the tape 22 and the reference mark 28.
  • the feeder 20 includes a control unit including a CPU, a ROM, a RAM, and the like. When the feeder 20 is attached to the mounting device 10, the control unit is communicatively connected to the control device 30.
  • a plurality of cavities 24 of the tape 22 are formed along the feed direction at a constant pitch of the plurality of pitches.
  • the plurality of pitches include, for example, 1 mm, 2 mm, 4 mm, 8 mm, and the like, and are formed at any pitch according to the size of the component P to be accommodated.
  • the feeder 20 can sequentially supply the component P in the cavity 24 to the component supply position by intermittently feeding an amount corresponding to the pitch of the cavity 24 as a predetermined amount of the tape 22 to be fed.
  • the tape 22 is formed so that the cavity 24 of 1 is located on the side (right side in FIG. 3) of the center position of the feed hole 23.
  • the control device 30 includes a CPU, ROM, RAM, HDD, etc. (not shown). As shown in FIG. 3, the control device 30 includes a drive control unit 32 that drives each unit and an image processing unit 34 that processes an image captured by the mark camera 18 and the parts camera 19 as a functional block.
  • the drive control unit 32 outputs control signals to the feeder 20, the substrate transfer device 12, the head 14, the moving mechanism 16, the mark camera 18, the parts camera 19, and the like.
  • Various information about the component P from the control unit of the feeder 20, an image signal from the mark camera 18, an image signal from the parts camera 19, and the like are input to the drive control unit 32.
  • the image signals from the mark camera 18 and the parts camera 19 are processed by the image processing unit 34.
  • the image signal may be directly input to the image processing unit 34.
  • the control device 30 is connected to the management device 40 that manages information related to the mounting process so as to be capable of bidirectional communication via a communication network, and exchanges data and control signals with each other.
  • the management device 40 is a general-purpose computer, and as shown in FIG. 4, includes a management control unit 42, an input device 44 such as a keyboard and a mouse, a display 46, and a storage device 48 such as an HDD and an SSD. ..
  • the management control unit 42 is composed of a CPU, ROM, RAM, etc., inputs an input signal from the input device 44, and outputs an image signal to the display 46.
  • the storage device 48 stores the production plan of the substrate S.
  • the production plan for the board S is a plan that defines which component P is mounted in what order on the mounting surface of the board S in the mounting device 10, and how many boards S on which the component P is mounted are manufactured. be.
  • the management device 40 outputs a command signal to the control device 30 so that the component P is mounted according to the production plan.
  • FIG. 5 is a flowchart showing an example of tape feeding related processing. This process is executed by the functions of the drive control unit 32 and the image processing unit 34.
  • the control device 30 first determines whether or not it is the pitch recognition timing of the cavity 24 of the tape 22 (S100). The control device 30 determines, for example, that it is the pitch recognition timing when a new feeder 20 is attached to the mounting device 10. Further, the control device 30 also performs a splicing operation of connecting the start end of the new tape 22 to the end of the tape 22 which is close to being cut off, and when the new tape 22 is sent to the vicinity of the component supply position. It is determined that it is the pitch recognition timing. When the control device 30 determines that the pitch recognition timing is reached, the mark camera 18 captures an image G of the tape 22 from above (see S110, FIG. 2), processes the captured image G, and determines the pitch of the cavity 24. Pitch recognition processing for recognition is performed (S120). FIG. 6 is a flowchart showing an example of pitch recognition processing. The pitch recognition process is executed by the image processing unit 34.
  • the image processing unit 34 extracts the brightness of each pixel of the plurality of lines L along the feeding direction (front-back direction) of the tape 22 from the image G captured in S110 (S200).
  • FIG. 7 is an explanatory diagram showing an example of a plurality of lines L in the image G.
  • the plurality of lines L may be set in the left-right direction, for example, at intervals of a predetermined number of pixels.
  • the positions of the pixels in the image G are shown in UV coordinates.
  • the U-axis corresponds to the X-axis direction
  • the V-axis corresponds to the Y-axis direction.
  • FIG. 8 is an explanatory diagram showing an example of the luminance waveform in the line L.
  • the horizontal axis is the coordinates of the V-axis corresponding to the tape feeding direction
  • the vertical axis is the brightness.
  • a relatively large peak having a luminance value of about 255 occurs every about 1000 ⁇ m
  • a relatively small peak having a luminance value of about 160 to 170 occurs between the peaks.
  • the waveform of the brightness change in the line L differs depending on the type of the tape 22 and the component P. Become.
  • the image processing unit 34 performs periodic analysis of the luminance waveform (S220).
  • the cavities 24 are provided at any one of a plurality of constant pitches. Therefore, the change in the brightness of the line L overlapping the row of the cavities 24 becomes a periodic waveform having a length corresponding to the pitch of the cavities 24 as one wavelength.
  • the change in brightness of the line L that does not overlap the row of the cavities 24 does not form such a periodic waveform.
  • the periodic analysis of the luminance waveform is performed using a function or an analysis method for evaluating such periodicity.
  • the image processing unit 34 uses a normalized square error function (NSDF: Normalized Square Difference Function).
  • the normalized square error function is defined by Eq. (1).
  • n'( ⁇ ) is a normalized squared error function for the delay ⁇ , and the larger the value of n'( ⁇ ), the stronger the periodicity of the luminance change.
  • r'( ⁇ ) is an autocorrelation function (ACF: Autocorrelation Function) defined by the equation (2).
  • m'( ⁇ ) is a square error function (SDF) function defined by the equation (3).
  • W is the initial value of the size of the window for waveform analysis
  • V is the V direction of the image, that is, the Y direction of the tape feed direction.
  • the normalized square error function evaluates the periodicity by detecting peaks with high correlation while shifting the luminance waveform in the V direction.
  • the image processing unit 34 recognizes the peak pitch A (wavelength) obtained in the periodic analysis of S220 as the pitch of the cavity 24 (S230).
  • FIG. 9 is an explanatory diagram showing an example of a waveform calculated by the normalized square error function.
  • the normalized squared error function has a characteristic that the value is close to 1.0 at a wavelength with high correlation, and a plurality of peaks (see the circles in FIG. 9) appear near the value 1.0.
  • the image processing unit 34 can obtain the pitch A from the pixel value of each peak generation location and the resolution of the mark camera 18.
  • FIG. 9 illustrates a case where the pitch A is about 1000 ⁇ m. In this case, the image processing unit 34 recognizes the pitch of the cavity 24 as 0.1 mm in S230. Further, in FIG. 9, since the relatively small peaks and the like generated in FIG. 8 are excluded, the image processing unit 34 can accurately recognize the pitch of the cavity 24.
  • the image processing unit 34 selects a line L among the plurality of lines L whose analysis result of S220 matches the pitch recognized in S230 (S240). Then, the image processing unit 34 recognizes the center of the selected line L in the left-right direction (U-axis direction, X-axis direction) as the center of the cavity 24 (S250), and ends the pitch recognition process.
  • FIG. 10 is an explanatory diagram showing an example of recognizing the center of the cavity 24. As shown in the figure, for example, three lines L1 to L3 are selected from the plurality of lines L. Since the number of selected lines L is an odd number, the image processing unit 34 recognizes the central line L2 as the center of the cavity 24.
  • the center positions of the lines L at both ends in the U-axis direction are recognized as the center of the cavity 24, and if the number of selected lines L is a value 1, the line L is recognized. Is recognized as the center of the cavity 24.
  • control device 30 when the control device 30 performs the pitch recognition process of S120 (FIG. 6) or determines in S100 that it is not the pitch recognition timing, it determines whether or not it is the feed timing of the tape 22 ( S130). The control device 30 determines that it is the feed timing when the component suction operation by the suction nozzle 15 of the head 14 is not in progress and the next component P is ready to be sent to the component supply position. When the control device 30 determines that the feed timing is reached, the control device 30 executes a tape feed process for feeding the tape 22 based on the pitch recognized in S120 (S140), and returns to S100.
  • S140 pitch recognized in S120
  • control device 30 determines in S130 that the feed timing is not reached, the control device 30 skips S140 and returns to S100. Since the control device 30 executes the tape feeding process based on the pitch recognized in the pitch recognition process, each cavity 24 can be correctly moved to the component supply position to appropriately supply the component P. Further, the control device 30 can more stably suck the component P at the component supply position by finely adjusting the suction position of the suction nozzle 15 in the left-right direction based on the recognized center of the cavity 24.
  • the tape 22 when the tape feed process is executed based on the pitch input by the operator via, for example, the management device 40 or an operation panel (not shown), the tape 22 has an incorrect pitch due to the operator's erroneous recognition or erroneous input. May be sent. If the tape 22 is fed at a pitch smaller than the actual one, a suction error of the suction nozzle 15 may occur frequently. Further, if the tape 22 is fed at a pitch larger than the actual one, the component P may pass through the component supply position without being adsorbed and the component P may be discarded. In the present embodiment, since the pitch is correctly recognized by the pitch recognition process, it is possible to prevent such a suction error and the risk of discarding the component P.
  • the image processing unit 34 of the present embodiment corresponds to the image processing apparatus of the present disclosure
  • the cavity 24 corresponds to the cavity
  • the tape 22 corresponds to the tape
  • the unit 34 corresponds to the generation unit
  • the image processing unit 34 that executes the pitch recognition processes S220 and S230 corresponds to the recognition unit.
  • the feeder 20 corresponds to the feeder
  • the mounting device 10 corresponds to the mounting device
  • the mark camera 18 corresponds to the imaging device
  • the drive control unit 32 corresponds to the control device.
  • an example of the image processing method of the present disclosure is also clarified by explaining the operation of the mounting device 10.
  • the image processing unit 34 extracts the brightness of the pixels of the line L along the feeding direction of the tape 22 from the image G to generate a brightness waveform. Then, the pitch A (wavelength) of the peak obtained by the periodic analysis is recognized as the pitch of the cavity 24. Therefore, even if the tape 22 or the like has a poor change in the brightness of the image G, the pitch of the cavity 24 can be recognized with high accuracy. Further, since the mounting device 10 executes the tape feeding process based on the recognized pitch, each cavity 24 can be correctly moved to the component supply position to appropriately supply the component P.
  • the image processing unit 34 selects the line L corresponding to the pitch recognized by the result of the periodic analysis among the plurality of lines L, and recognizes the center of the selected line L as the center of the cavity 24. Therefore, even with the tape 22 having little change in the brightness of the image G, the center of the cavity 24 in the orthogonal direction orthogonal to the feeding direction can be accurately recognized.
  • the image processing unit 34 performs periodic analysis by the normalized square error function, it is easier to detect peaks with high correlation by suppressing the influence of noise as compared with those performing periodic analysis by Fourier transform or the like.
  • the pitch of the cavity 24 can be recognized more accurately.
  • the periodic analysis is performed by the normalized squared error function, but the present invention is not limited to this, and any analysis processing of the periodicity of the luminance change may be performed.
  • an average amplitude difference function a Fourier transform, or the like may be used.
  • the average amplitude difference function is described in the international application of the applicant of the present application (international application number PCT / JP2014 / 065043).
  • the present invention is not limited to this, and the pitch may be recognized without recognizing the center of the cavity 24.
  • the analysis is not limited to the one that analyzes a plurality of lines L, and the analysis of one line L may be performed.
  • FIG. 11 is a flowchart showing an example of the pitch recognition process of the second embodiment
  • FIG. 12 is an explanatory diagram showing an example of the line L of the second embodiment.
  • the image processing unit 34 first detects the feed hole 23 from the image G (S300). Next, the image processing unit 34 sets a position separated from the center position of the detected feed hole 23 in the left direction (U-axis direction) in the image G by a predetermined distance D as a predetermined reference position RP, and sets the line L from the reference position RP. Is set (S310).
  • the line L is along the feeding direction of the tape 22, as in the first embodiment. Further, the predetermined distance D corresponds to the distance between the center of the feed hole 23 and the center of the cavity 24. Subsequently, the image processing unit 34 extracts the brightness of each pixel of the line L with the minimum pitch MP of the plurality of types (S320). For example, as described above, when there are a plurality of pitches such as 1 mm, 2 mm, 4 mm, and 8 mm, the minimum pitch MP is 1 mm. In that case, the image processing unit 34 extracts the brightness at a pitch of 1 mm in S320. Further, since the cavity 24 is located on the side of the center position of the feed hole 23 as described above, the image processing unit 34 extracts the brightness at the minimum pitch MP with the position of the cavity 24 as the reference position RP. It will be.
  • the image processing unit 34 determines the magnitude of the luminance by comparing each luminance with a predetermined threshold value and calculates the pitch B of the magnitude change (S330).
  • FIG. 13 is an explanatory diagram showing an example of pitch B in which the magnitude of the brightness changes. As shown in the figure, each brightness is compared with a predetermined threshold value (for example, a value of 190), and the magnitude of the determined brightness changes alternately in small, large, small, large, and small. That is, in this example, the pitch B of the magnitude change of the brightness is twice the minimum pitch MP.
  • a predetermined threshold value for example, a value of 190
  • the image processing unit 34 recognizes the pitch B of the magnitude change among the plurality of types of pitches as the pitch of the cavity 24 (S340), and ends the pitch recognition process.
  • the image processing unit 34 determines that the pitch is 2 mm, which is twice the minimum pitch MP.
  • the pitch to be recognized may not be an integral multiple of the minimum pitch MP, for example, the minimum pitch MP is 2 mm and the recognition target pitch is 3 mm. Even in that case, since the pitch B appears at the common multiple of the minimum pitch MP and the pitch to be recognized, the image processing unit 34 can recognize the pitch of the cavity 24.
  • the image processing unit 34 obtains a pitch B in which the magnitude of the brightness changes based on the comparison between the brightness extracted from the line L at the minimum pitch MP and a predetermined threshold value, and a plurality of pitches.
  • the one corresponding to the obtained pitch B is recognized as the pitch of the cavity 24.
  • the pitch of the cavity 24 can be recognized more accurately than in the case of the tape 22 in which the pitch is simply recognized from the change in the magnitude of the brightness.
  • the control device 30 sends the tape 22 based on the recognized pitch, each cavity 24 can be correctly moved to the component supply position and the component P can be appropriately supplied as in the first embodiment.
  • the image processing unit 34 may be capable of executing both the pitch recognition process of the first embodiment and the pitch recognition process of the second embodiment. In such a case, the image processing unit 34 may perform both pitch recognition processes, may perform any pitch recognition process selected and instructed by an operator or the like, and may perform the tape 22 or the component P. More appropriate pitch recognition processing may be selectively performed according to the type of.
  • the image processing device of the present disclosure may be configured as follows.
  • the generation unit generates the luminance waveforms of the plurality of lines parallel to each other in the orthogonal direction orthogonal to the feed direction
  • the recognition unit generates a plurality of luminance waveforms.
  • the lines one or more of the lines corresponding to the recognized pitch by the result of the periodic analysis are selected, and the center of the selected line in the orthogonal direction is recognized as the center of the cavity in the orthogonal direction. May be good. In this way, the center of the cavity can be accurately recognized even with a tape having little change in the brightness of the image.
  • the recognition unit may perform the periodic analysis by the normalized square error function. By doing so, it becomes easier to detect peaks with high correlation by suppressing the influence of noise as compared with the case where periodic analysis is performed by Fourier transform or the like, so that the pitch of the cavity can be recognized more accurately.
  • the second image processing apparatus of the present disclosure is An image processing device that processes an image of a tape provided with a cavity for storing parts at a fixed pitch of a plurality of pitches along a predetermined feeding direction.
  • An extraction unit that extracts the brightness of pixels of a line along the feed direction from the image at the smallest pitch among the plurality of pitches from a predetermined reference position in the feed direction.
  • a recognition unit that obtains a pitch in which the magnitude of the brightness changes based on a comparison between the brightness and a predetermined threshold value, and recognizes a plurality of pitches corresponding to the obtained pitch as the pitch of the cavity.
  • the gist is to prepare.
  • the second image processing apparatus of the present disclosure extracts the brightness of the pixels of the line along the feed direction from the image of the tape at the smallest pitch among a plurality of pitches from a predetermined reference position in the feed direction. Then, the pitch at which the magnitude of the brightness changes is obtained based on the comparison between the brightness and the predetermined threshold value, and the pitch corresponding to the obtained pitch among the plurality of pitches is recognized as the pitch of the cavity.
  • the pitch of the cavity can be recognized more accurately than a tape that simply recognizes the pitch from the change in the magnitude of the brightness.
  • the mounting device of the present disclosure is A mounting device to which a feeder for feeding the tape is attached and for mounting the component supplied from the cavity of the tape.
  • An image pickup device that captures an image of the tape and With any of the image processing devices mentioned above, A control device that controls the feeder to feed the tape based on the pitch of the cavity recognized by the image processing device. The gist is to prepare.
  • the mounting device of the present disclosure controls the feeder so as to feed the tape based on the pitch of the cavity recognized by any of the above-mentioned image processing devices, the pitch of the cavity can be adjusted even if the tape has a poor brightness change. It can be recognized accurately and the tape can be sent correctly. Therefore, it is possible to prevent a supply error of parts due to an excess or deficiency of the feed amount of the tape, a collection error of the supplied parts, and the like, and it is possible to prevent a decrease in productivity.
  • the first image processing method of the present disclosure is An image processing method for processing an image of a tape provided with a plurality of cavity for storing parts along a predetermined feeding direction.
  • B A step of performing a periodic analysis of the luminance change of the luminance waveform and recognizing the pitch of the cavity based on the wavelength obtained by the periodic analysis.
  • the gist is to include.
  • the wavelength can be obtained relatively accurately by periodic analysis.
  • the pitch of the cavity can be recognized accurately.
  • various aspects of the above-mentioned first image processing device may be adopted, or a step for realizing each function of the above-mentioned first image processing device is added. You may.
  • the second image processing method of the present disclosure is An image processing method for processing an image of a tape provided with a cavity for storing parts at a fixed pitch among a plurality of pitches along a predetermined feeding direction.
  • B A step of obtaining a pitch in which the magnitude of the brightness changes based on a comparison between the brightness and a predetermined threshold value, and recognizing a plurality of pitches corresponding to the obtained pitch as the pitch of the cavity.
  • the gist is to include.
  • the pitch of the cavity is simply recognized from the change in the magnitude of the brightness. Therefore, the pitch of the cavity can be recognized accurately.
  • the present invention can be used in a feeder that sends parts contained in tape, a mounting device that mounts parts supplied from the feeder on a substrate, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

所定の送り方向に沿って部品収納用のキャビティが複数設けられたテープの画像を処理する画像処理装置は、画像から送り方向に沿ったラインの画素の輝度を抽出し、ラインの輝度波形を生成する生成部と、輝度波形から輝度変化の周期解析を行い、その周期解析で得られた波長に基づいてキャビティのピッチを認識する認識部と、を備えるものである。

Description

画像処理装置および実装装置、画像処理方法
　本明細書は、画像処理装置および実装装置、画像処理方法を開示する。
　従来、部品収納用のキャビティが設けられたテープについて、キャビティのピッチなどを検出する装置が提案されている（例えば、特許文献１参照）。この装置では、テープに対して光を透過させて、その透過光量をフォトセンサなどで検出し、検出した透過光量と閾値とを比較することで、部品のない空キャビティであるかテープ部分であるかを検出するものとしている。
特開２０１７－２２０６２３号公報
　ここで、テープの素材や色などによっては、検出した透過光量の輝度の変化が乏しいものとなる場合がある。その場合、上述した装置のように、単に透過光量を閾値と比較するだけで検出するものでは、誤検出のおそれがある。
　本開示は、輝度変化が乏しいテープであっても、キャビティのピッチを精度よく認識することを主目的とする。
　本開示は、上述の主目的を達成するために以下の手段を採った。
　本開示の第１の画像処理装置は、
　所定の送り方向に沿って部品収納用のキャビティが複数設けられたテープの画像を処理する画像処理装置であって、
　前記画像から前記送り方向に沿ったラインの画素の輝度を抽出し、前記ラインの輝度波形を生成する生成部と、
　前記輝度波形から輝度変化の周期解析を行い、該周期解析で得られた波長に基づいて前記キャビティのピッチを認識する認識部と、
　を備えることを要旨とする。
　本開示の第１の画像処理装置は、テープの画像から送り方向に沿ったラインの画素の輝度を抽出し、ラインの輝度波形を生成する。そして、輝度波形から輝度変化の周期解析を行い、周期解析で得られた波長に基づいてキャビティのピッチを認識する。これにより、画像の輝度変化が乏しいテープであっても、周期解析で波長を比較的精度よく求めることができるから、キャビティのピッチを精度よく認識することができる。
実装装置１０の構成の概略を示す構成図。 フィーダ２０のフィーダ部２５の概略を示す斜視図。 フィーダ２０のフィーダ部２５の概略を示す上面図。 実装装置１０と管理装置４０の制御に関する構成を示すブロック図。 テープ送り関連処理の一例を示すフローチャート。 ピッチ認識処理の一例を示すフローチャート。 画像Ｇにおける複数のラインＬの一例を示す説明図。 ラインＬにおける輝度波形の一例を示す説明図。 正規化自乗誤差関数で計算した波形の一例を示す説明図。 キャビティ２４の中心を認識する様子の一例を示す説明図。 第２実施形態のピッチ認識処理の一例を示すフローチャート。 第２実施形態のラインＬの一例を示す説明図。 輝度の大小変化のピッチＢの一例を示す説明図
　次に、発明を実施するための形態について図面を参照しながら説明する。
　［第１実施形態］
　図１は、実装装置１０の構成の概略を示す構成図である。図２は、フィーダ２０のフィーダ部２５の概略を示す斜視図である。図３は、フィーダ２０のフィーダ部２５の概略を示す上面図である。図４は、実装装置１０の制御に関する構成を示すブロック図である。なお、本実施形態は、図１の左右方向がＸ軸方向であり、前後方向がＹ軸方向であり、上下方向がＺ軸方向である。
　実装装置１０は、図１に示すように、テープに収容された部品Ｐを供給するフィーダ２０と、平板状の基板Ｓを搬送する基板搬送装置１２と、吸着ノズル１５で部品Ｐを吸着して基板Ｓ上に実装するヘッド１４と、ヘッド１４をＸＹ方向に移動させる移動機構１６とを備える。また、実装装置１０は、基板Ｓに付された各種マークやフィーダ２０のテープ上面などを撮像可能なマークカメラ１８と、吸着ノズル１５に吸着された部品Ｐを下方から撮像可能なパーツカメラ１９と、実装装置１０の全体の制御を司る制御装置３０（図４参照）とを備える。ヘッド１４は、吸着ノズル１５を１または複数有しており、これらの吸着ノズル１５は、図示しないＺ軸モータにより上下方向に昇降される。
　フィーダ２０は、テープ２２（図２参照）が巻回されたリール部２１と、リール部２１からテープ２２を引き出して送り出すフィーダ部２５とを備え、実装装置１０に着脱可能に取り付けられる。フィーダ部２５は、図示しないスプロケットを回転させるためのステッピングモータなどの送りモータ２６（図４参照）を備える。テープ２２は、部品Ｐを収容するための凹状のキャビティ２４が、テープ２２の送り方向（長手方向）に沿って複数形成されている。また、テープ２２は、フィーダ部２５のスプロケットの外周に形成されたスプロケット歯に係合する送り穴２３が形成されている。フィーダ２０は、フィーダ部２５の送りモータ２６を駆動してスプロケットを間欠的に回転させることにより、テープ２２を所定量ずつＹ方向後方（送り方向）に間欠的に送り出して、ヘッド１４（吸着ノズル１５）がピックアップ可能な部品供給位置に部品Ｐを供給する。また、フィーダ部２５は、テープ２２の移動をガイドするガイド枠２７を備える。ガイド枠２７は、前後方向に沿ってフィーダ２０の左右両側に延在すると共に一部がテープ２２の上方を跨ぐように設けられている。このガイド枠２７には、基準位置としての基準マーク２８が形成されている。ここでは、円形の基準マーク２８を示したが、基準位置を把握可能であれば、任意の形状を用いることができる。実装装置１０は、テープ２２の送り穴２３と基準マーク２８との位置関係に基づいて、テープ２２の送りの位置ずれ量などを求めることができる。また、フィーダ２０は、図示は省略するが、ＣＰＵやＲＯＭ，ＲＡＭなどからなる制御部を備える。フィーダ２０は、実装装置１０に取り付けられると、制御部が制御装置３０と通信可能に接続される。
　ここで、テープ２２のキャビティ２４は、複数のピッチのうちいずれかの一定のピッチで送り方向に沿って複数形成されている。複数のピッチとしては、例えば１ｍｍや２ｍｍ、４ｍｍ、８ｍｍなどがあり、収容すべき部品Ｐのサイズに応じていずれかのピッチに形成されている。また、フィーダ２０は、テープ２２の送りの所定量として、キャビティ２４のピッチに相当する量を間欠的に送ることで、キャビティ２４内の部品Ｐを部品供給位置に順次供給することができる。なお、テープ２２は、送り穴２３の中心位置の側方（図３中の右方）に１のキャビティ２４が位置するように形成されている。
　制御装置３０は、図示しないＣＰＵやＲＯＭ，ＲＡＭ，ＨＤＤなどを備える。制御装置３０は、図３に示すように機能ブロックとして、各部を駆動する駆動制御部３２と、マークカメラ１８やパーツカメラ１９により撮像された画像を処理する画像処理部３４とを備える。駆動制御部３２は、フィーダ２０や基板搬送装置１２、ヘッド１４、移動機構１６、マークカメラ１８、パーツカメラ１９などへ制御信号を出力する。駆動制御部３２には、フィーダ２０の制御部からの部品Ｐに関する各種情報やマークカメラ１８からの画像信号、パーツカメラ１９からの画像信号などが入力される。マークカメラ１８やパーツカメラ１９からの画像信号は、画像処理部３４で処理される。なお、画像信号が画像処理部３４に直接入力されてもよい。また、制御装置３０は、実装処理に関する情報の管理を行う管理装置４０と通信ネットワークを介して双方向通信可能に接続されており、互いにデータや制御信号のやり取りを行っている。
　管理装置４０は、汎用のコンピュータであり、図４に示すように、管理制御部４２と、キーボードやマウスなどの入力デバイス４４と、ディスプレイ４６と、ＨＤＤやＳＳＤなどの記憶装置４８と、を備える。管理制御部４２は、ＣＰＵやＲＯＭ，ＲＡＭなどで構成され、入力デバイス４４から入力信号を入力し、ディスプレイ４６への画像信号を出力する。記憶装置４８は、基板Ｓの生産計画を記憶している。基板Ｓの生産計画は、実装装置１０において基板Ｓの実装面のどの位置にどの部品Ｐをどの順番で実装するか、部品Ｐを実装した基板Ｓを何枚作製するかなどを定めた計画である。管理装置４０は、生産計画に従って部品Ｐが実装されるよう制御装置３０に指令信号を出力する。
　以下は、こうして構成された実装装置１０の動作の説明である。ここでは、フィーダ２０のテープ２２の送りに関する処理を説明する。図５は、テープ送り関連処理の一例を示すフローチャートである。この処理は、駆動制御部３２と画像処理部３４との機能により実行される。
　テープ送り関連処理では、制御装置３０は、まず、テープ２２のキャビティ２４のピッチ認識タイミングであるか否かを判定する（Ｓ１００）。制御装置３０は、例えば、新たなフィーダ２０が実装装置１０に取り付けられた場合にピッチ認識タイミングであると判定する。また、制御装置３０は、部品切れが近いテープ２２の終端に新たなテープ２２の始端を繋ぎ合せるスプライシング作業が行われて、新たなテープ２２が部品供給位置の近傍まで送られたときなどにもピッチ認識タイミングであると判定する。制御装置３０は、ピッチ認識タイミングであると判定すると、マークカメラ１８で上方からテープ２２の画像Ｇを撮像し（Ｓ１１０，図２参照）、撮像された画像Ｇを処理してキャビティ２４のピッチを認識するためのピッチ認識処理を行う（Ｓ１２０）。図６は、ピッチ認識処理の一例を示すフローチャートである。ピッチ認識処理は、画像処理部３４により実行される。
　ピッチ認識処理では、画像処理部３４は、Ｓ１１０で撮像された画像Ｇからテープ２２の送り方向（前後方向）に沿った複数のラインＬの各画素の輝度を抽出する（Ｓ２００）。図７は、画像Ｇにおける複数のラインＬの一例を示す説明図である。複数のラインＬは、左右方向に例えば所定画素数の間隔で設定されていればよい。なお、画像Ｇにおける画素の位置をＵＶ座標で示す。Ｕ軸はＸ軸方向、Ｖ軸はＹ軸方向にそれぞれ相当する。
　次に、画像処理部３４は、抽出した輝度に基づいてラインＬ毎に、テープ送り方向の輝度変化を示す輝度波形を生成する（Ｓ２１０）。図８は、ラインＬにおける輝度波形の一例を示す説明図である。なお、図８では、横軸にテープ送り方向に相当するＶ軸の座標をとり、縦軸に輝度をとる。この輝度波形では、約１０００μｍ毎に輝度が値２５５近くの比較的大きなピークが発生しており、そのピーク間に輝度が値１６０～１７０近くの比較的小さなピークが発生している。なお、テープ２２やキャビティ２４内の部品Ｐの材質や表面の光沢の有無、色などにより光の反射具合が変わるため、ラインＬにおける輝度変化の波形はテープ２２や部品Ｐの種類によって異なるものとなる。
　続いて、画像処理部３４は、輝度波形の周期解析を行う（Ｓ２２０）。ここで、上述したように、キャビティ２４は、複数のうちいずれかの一定のピッチで設けられている。このため、キャビティ２４の列と重なるラインＬの輝度変化は、キャビティ２４のピッチに相当する長さを１波長とする周期的な波形となる。一方、キャビティ２４の列と重ならないラインＬの輝度変化は、そのような周期的な波形とならない。本実施形態では、このような周期性を評価するための関数や解析手法を用いて輝度波形の周期解析を行う。一例として、画像処理部３４は、正規化自乗誤差関数（NSDF:Normalized Square Difference Function）を用いる。正規化自乗誤差関数は、式（１）によって定義される。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、ｎ’（τ）は、遅れτにおける正規化自乗誤差関数であり、ｎ’（τ）の値が大きいほど輝度変化の周期性が強いことを示す。ｒ’（τ）は式（２）で定義される自己相関関数（ACF:Autocorrelation Function）である。ｍ’（τ）は式（３）で定義される自乗誤差関数（SDF:Square Difference Function）関数である。なお、Ｗは波形解析する窓のサイズの初期値であり、Ｖは画像のＶ方向即ちテープ送り方向のＹ方向である。正規化自乗誤差関数では、輝度波形をＶ方向にずらしながら相関の高いピークを検出することで周期性を評価するものであるが、本願出願人の国際出願（国際出願番号ＰＣＴ／ＪＰ２０１４／０６５０４３）などに記載されているため、詳細な説明は省略する。
Figure JPOXMLDOC01-appb-M000002
　画像処理部３４は、Ｓ２２０の周期解析で得られたピークのピッチＡ（波長）をキャビティ２４のピッチとして認識する（Ｓ２３０）。ここで、図９は、正規化自乗誤差関数で計算した波形の一例を示す説明図である。正規化自乗誤差関数では、相関の高い波長で値１．０に近くなる特性があり、値１．０近くに複数のピーク（図９中の丸印参照）が現れる。なお、画像処理部３４は、各ピークの発生箇所の画素値とマークカメラ１８の分解能とから、ピッチＡを求めることができる。図９では、ピッチＡが約１０００μｍの場合を例示する。この場合、画像処理部３４は、Ｓ２３０でキャビティ２４のピッチを０．１ｍｍと認識する。また、図９では、図８で生じる比較的小さなピークなどが排除されているため、画像処理部３４は、キャビティ２４のピッチを精度よく認識することができる。
　続いて、画像処理部３４は、複数のラインＬのうちＳ２２０の解析結果がＳ２３０で認識したピッチと一致するラインＬを選定する（Ｓ２４０）。そして、画像処理部３４は、選定したラインＬのうち左右方向（Ｕ軸方向、Ｘ軸方向）の中央をキャビティ２４の中心と認識して（Ｓ２５０）、ピッチ認識処理を終了する。図１０は、キャビティ２４の中心を認識する様子の一例を示す説明図である。図示するように、例えば、複数のラインＬのうちラインＬ１～Ｌ３の３ラインが選定される。選定されたラインＬの数が奇数であるため、画像処理部３４は、中央のラインＬ２をキャビティ２４の中心として認識する。なお、選定したラインＬの数が偶数であれば、Ｕ軸方向で両端のラインＬの中央位置がキャビティ２４の中心として認識され、選定したラインＬの数が値１であれば、そのラインＬがキャビティ２４の中心として認識される。
　図５のテープ送り関連処理では、制御装置３０は、Ｓ１２０（図６）のピッチ認識処理を行うかＳ１００でピッチ認識タイミングでないと判定すると、テープ２２の送りタイミングであるか否かを判定する（Ｓ１３０）。なお、制御装置３０は、ヘッド１４の吸着ノズル１５による部品吸着動作中でなく、次の部品Ｐを部品供給位置に送る準備が整った場合に、送りタイミングであると判定する。制御装置３０は、送りタイミングであると判定すると、Ｓ１２０で認識したピッチに基づいてテープ２２を送るテープ送り処理を実行して（Ｓ１４０）、Ｓ１００に戻る。また、制御装置３０は、Ｓ１３０で送りタイミングでないと判定すると、Ｓ１４０をスキップしてＳ１００に戻る。制御装置３０は、ピッチ認識処理で認識したピッチに基づいてテープ送り処理を実行するから、各キャビティ２４を部品供給位置まで正しく移動させて部品Ｐを適切に供給することができる。また、制御装置３０は、認識したキャビティ２４の中心に基づいて、吸着ノズル１５の左右方向における吸着位置を微調整することにより、部品供給位置で部品Ｐをより安定して吸着させることができる。
　ここで、例えば管理装置４０や図示しない操作パネルなどを介して作業者が入力したピッチに基づいてテープ送り処理が実行される場合、作業者の誤認識や誤入力により、誤ったピッチでテープ２２が送られることがある。実際よりも小さなピッチでテープ２２が送られると、吸着ノズル１５の吸着エラーが頻発するおそれがある。また、実際よりも大きなピッチでテープ２２が送られると、部品Ｐが吸着されないまま部品供給位置を通過して部品Ｐが廃棄されるおそれがある。本実施形態では、ピッチ認識処理でピッチを正しく認識するから、そのような吸着エラーや部品Ｐの廃棄のおそれを防止することができる。
　ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態の画像処理部３４が本開示の画像処理装置に相当し、キャビティ２４がキャビティに相当し、テープ２２がテープに相当し、図６のピッチ認識処理のＳ２００，Ｓ２１０を実行する画像処理部３４が生成部に相当し、ピッチ認識処理のＳ２２０，Ｓ２３０を実行する画像処理部３４が認識部に相当する。また、フィーダ２０がフィーダに相当し、実装装置１０が実装装置に相当し、マークカメラ１８が撮像装置に相当し、駆動制御部３２が制御装置に相当する。なお、本実施形態は、実装装置１０の動作を説明することにより本開示の画像処理方法の一例も明らかにしている。
　以上説明した実装装置１０は、画像処理部３４が、画像Ｇからテープ２２の送り方向に沿ったラインＬの画素の輝度を抽出して輝度波形を生成する。そして、周期解析により得られたピークのピッチＡ（波長）をキャビティ２４のピッチとして認識する。このため、画像Ｇの輝度変化が乏しいテープ２２などであっても、キャビティ２４のピッチを精度よく認識することができる。また、実装装置１０は、認識したピッチに基づいてテープ送り処理を実行するから、各キャビティ２４を部品供給位置まで正しく移動させて部品Ｐを適切に供給することができる。
　また、画像処理部３４は、複数のラインＬのうち周期解析の結果が、認識したピッチに対応するラインＬを選定し、選定したラインＬの中心をキャビティ２４の中心と認識する。このため、画像Ｇの輝度変化が乏しいテープ２２であっても、送り方向に直交する直交方向におけるキャビティ２４の中心を精度よく認識することができる。
　また、画像処理部３４は、正規化自乗誤差関数により周期解析を行うから、フーリエ変換などにより周期解析を行うものに比してノイズの影響を抑えて相関の高いピークを検出しやすくなるから、キャビティ２４のピッチをより精度よく認識することができる。
　なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
　例えば、上述した実施形態では、正規化自乗誤差関数により周期解析を行うものとしたが、これに限られず、輝度変化の周期性の解析処理を行うものであればよい。例えば、平均振幅差関数やフーリエ変換などを用いてもよい。なお、平均振幅差関数は、本願出願人の国際出願（国際出願番号ＰＣＴ／ＪＰ２０１４／０６５０４３）に記載されている。
　上述した実施形態では、キャビティ２４のピッチだけでなくキャビティ２４の中心を認識したが、これに限られず、キャビティ２４の中心を認識することなくピッチを認識してもよい。そのようにする場合、複数のラインＬの解析を行うものに限られず、１つのラインＬの解析を行うものとしてもよい。
　［第２実施形態］
　次に、第２実施形態について説明する。第２実施形態では、キャビティ２４のピッチの認識処理が第１実施形態と異なる。図１１は、第２実施形態のピッチ認識処理の一例を示すフローチャートであり、図１２は、第２実施形態のラインＬの一例を示す説明図である。第２実施形態のピッチ認識処理では、画像処理部３４は、まず、画像Ｇから送り穴２３を検出する（Ｓ３００）。次に、画像処理部３４は、検出した送り穴２３の中心位置から画像Ｇ中の左方向（Ｕ軸方向）に所定距離Ｄ離れた位置を所定基準位置ＲＰとして、その基準位置ＲＰからラインＬを設定する（Ｓ３１０）。なお、ラインＬは、第１実施形態と同様に、テープ２２の送り方向に沿ったものである。また、所定距離Ｄは、送り穴２３の中心とキャビティ２４の中心との間の距離に相当する。続いて、画像処理部３４は、そのラインＬの各画素における輝度を、複数種のうちの最小ピッチＭＰで抽出する（Ｓ３２０）。例えば、上述したように、複数のピッチとして１ｍｍや２ｍｍ、４ｍｍ、８ｍｍなどがある場合、最小ピッチＭＰは１ｍｍとなる。その場合、画像処理部３４は、Ｓ３２０で１ｍｍピッチで輝度を抽出する。また、上述したように送り穴２３の中心位置の側方にはキャビティ２４が位置するから、画像処理部３４は、そのキャビティ２４の位置を基準位置ＲＰとして最小ピッチＭＰで輝度を抽出していくことになる。
　画像処理部３４は、最小ピッチＭＰでラインＬの輝度を抽出すると、各輝度を所定の閾値と比較することにより輝度の大小を判別して大小変化のピッチＢを算出する（Ｓ３３０）。図１３は、輝度の大小変化のピッチＢの一例を示す説明図である。図示するように、各輝度がそれぞれ所定の閾値（例えば値１９０）と比較されて、判別された輝度の大小が小、大、小、大、小と交互に変化する様子を示す。即ち、この例では、輝度の大小変化のピッチＢが最小ピッチＭＰの２倍になっている。そして、画像処理部３４は、複数種類のピッチのうち大小変化のピッチＢに相当するものをキャビティ２４のピッチと認識して（Ｓ３４０）、ピッチ認識処理を終了する。図１３の例では、画像処理部３４は、最小ピッチＭＰの２倍の２ｍｍピッチと判定する。なお、例えば最小ピッチＭＰが２ｍｍで、認識対象のピッチが３ｍｍであるなど、認識対象のピッチが最小ピッチＭＰの整数倍でない場合がある。その場合でも、最小ピッチＭＰと認識対象のピッチとの公倍数でピッチＢが現れるから、画像処理部３４はキャビティ２４のピッチを認識することが可能である。
　このように、第２実施形態では、画像処理部３４は、ラインＬから最小ピッチＭＰで抽出した輝度と所定の閾値との比較に基づいて輝度の大小が変化するピッチＢを求め、複数のピッチのうち求めたピッチＢに対応するものをキャビティ２４のピッチとして認識する。これにより、画像Ｇの輝度変化が乏しいテープ２２の場合に、単に輝度の大小の変化からピッチを認識するものに比して、キャビティ２４のピッチを精度よく認識することができる。また、制御装置３０は、認識したピッチに基づいてテープ２２を送るから、第１実施形態と同様に、各キャビティ２４を部品供給位置まで正しく移動させて部品Ｐを適切に供給することができる。
　また、画像処理部３４が、第１実施形態のピッチ認識処理と第２実施形態のピッチ認識処理とをいずれも実行可能なものとしてもよい。そのようにする場合、画像処理部３４は、両方のピッチ認識処理を行ってもよいし、作業者などから選択指示されたいずれかのピッチ認識処理を行ってもよいし、テープ２２や部品Ｐの種類に応じてより適切なピッチ認識処理を選択的に行ってもよい。
　ここで、本開示の画像処理装置は、以下のように構成してもよい。例えば、本開示の第１の画像処理装置において、前記生成部は、前記送り方向に直交する直交方向に並列する複数の前記ラインのそれぞれの前記輝度波形を生成し、前記認識部は、複数の前記ラインのうち前記周期解析の結果が前記認識したピッチに対応する１以上の前記ラインを選定し、該選定したラインの前記直交方向における中心を前記キャビティの前記直交方向における中心と認識するものとしてもよい。こうすれば、画像の輝度変化が乏しいテープであっても、キャビティの中心を精度よく認識することができる。
　本開示の第１の画像処理装置において、前記認識部は、正規化自乗誤差関数により前記周期解析を行うものとしてもよい。こうすれば、フーリエ変換などにより周期解析を行うものに比してノイズの影響を抑えて相関の高いピークを検出しやすくなるから、キャビティのピッチをより精度よく認識することができる。
　本開示の第２の画像処理装置は、
　所定の送り方向に沿って複数のピッチのうちいずれかの一定のピッチで部品収納用のキャビティが設けられたテープの画像を処理する画像処理装置であって、
　前記画像から前記送り方向に沿ったラインの画素の輝度を、前記送り方向における所定基準位置から前記複数のピッチのうち最小のピッチで抽出する抽出部と、
　前記輝度と所定の閾値との比較に基づいて前記輝度の大小が変化するピッチを求め、前記複数のピッチのうち求めたピッチに対応するものを前記キャビティのピッチとして認識する認識部と、
　を備えることを要旨とする。
　本開示の第２の画像処理装置は、テープの画像から送り方向に沿ったラインの画素の輝度を、送り方向における所定基準位置から複数のピッチのうち最小のピッチで抽出する。そして、輝度と所定の閾値との比較に基づいて輝度の大小が変化するピッチを求め、複数のピッチのうち求めたピッチに対応するものをキャビティのピッチとして認識する。これにより、画像の輝度変化が乏しいテープの場合に、単に輝度の大小の変化からピッチを認識するものに比して、キャビティのピッチを精度よく認識することができる。
　本開示の実装装置は、
　前記テープを送るフィーダが取り付けられ、前記テープの前記キャビティから供給された前記部品を実装する実装装置であって、
　前記テープの画像を撮像する撮像装置と、
　上述したいずれかの画像処理装置と、
　前記画像処理装置により認識された前記キャビティのピッチに基づいて前記テープを送るように前記フィーダを制御する制御装置と、
　を備えることを要旨とする。
　本開示の実装装置は、上述したいずれかの画像処理装置により認識されたキャビティのピッチに基づいてテープを送るようにフィーダを制御するから、輝度変化が乏しいテープであっても、キャビティのピッチを精度よく認識してテープを正しく送ることができる。このため、テープの送り量の過不足による部品の供給ミスや、供給された部品の採取ミスなどを防止して、生産性が低下するのを防止することができる。
　本開示の第１の画像処理方法は、
　所定の送り方向に沿って部品収納用のキャビティが複数設けられたテープの画像を処理する画像処理方法であって、
　（ａ）前記画像から前記送り方向に沿ったラインの画素の輝度を抽出し、前記ラインの輝度波形を生成するステップと、
　（ｂ）前記輝度波形の輝度変化の周期解析を行い、該周期解析で得られた波長に基づいて前記キャビティのピッチを認識するステップと、
　を含むことを要旨とする。
　本開示の第１の画像処理方法では、上述した第１の画像処理装置と同様に、画像の輝度変化が乏しいテープであっても、周期解析で波長を比較的精度よく求めることができるから、キャビティのピッチを精度よく認識することができる。なお、この第１の画像処理方法において、上述した第１の画像処理装置の種々の態様を採用してもよいし、上述した第１の画像処理装置の各機能を実現するようなステップを追加してもよい。
　本開示の第２の画像処理方法は、
　所定の送り方向に沿って複数のピッチのうちいずれかの一定のピッチで部品収納用のキャビティが設けられたテープの画像を処理する画像処理方法であって、
　（ａ）前記画像から前記送り方向に沿ったラインの画素の輝度を、前記送り方向における所定基準位置から前記複数のピッチのうち最小のピッチで抽出するステップと、
　（ｂ）前記輝度と所定の閾値との比較に基づいて前記輝度の大小が変化するピッチを求め、前記複数のピッチのうち求めたピッチに対応するものを前記キャビティのピッチとして認識するステップと、
　を含むことを要旨とする。
　本開示の第２の画像処理方法では、上述した第２の画像処理装置と同様に、画像の輝度変化が乏しいテープの場合に、単に輝度の大小の変化からキャビティのピッチを認識するものに比して、キャビティのピッチを精度よく認識することができる。
   本発明は、テープに収容された部品を送るフィーダやフィーダから供給された部品を基板に実装する実装装置などに利用可能である。
　１０　実装装置、１２　基板搬送装置、１４　ヘッド、１５　吸着ノズル、１６　移動機構、１８　マークカメラ、１９　パーツカメラ、２０　フィーダ、２１　リール部、２２　テープ、２３　送り穴、２４　キャビティ、２５　フィーダ部、２６　送りモータ、２７　ガイド枠、２８　基準マーク、３０　制御装置、３２　駆動制御部、３４　画像処理部、４０　管理装置、４２　管理制御部、４４　入力デバイス、４６　ディスプレイ、４８　記憶装置、Ｄ　所定距離、Ｇ　画像、Ｌ，Ｌ１～Ｌ３　ライン、Ｐ　部品、ＲＰ　基準位置、Ｓ　基板。

Claims (7)

  1. 　所定の送り方向に沿って部品収納用のキャビティが複数設けられたテープの画像を処理する画像処理装置であって、
    　前記画像から前記送り方向に沿ったラインの画素の輝度を抽出し、前記ラインの輝度波形を生成する生成部と、
    　前記輝度波形から輝度変化の周期解析を行い、該周期解析で得られた波長に基づいて前記キャビティのピッチを認識する認識部と、
    　を備える画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記生成部は、前記送り方向に直交する直交方向に並列する複数の前記ラインのそれぞれの前記輝度波形を生成し、
    　前記認識部は、複数の前記ラインのうち前記周期解析の結果が前記認識したピッチに対応する１以上の前記ラインを選定し、該選定したラインの前記直交方向における中心を前記キャビティの前記直交方向における中心と認識する
    　画像処理装置。
  3. 　請求項１または２に記載の画像処理装置であって、
    　前記認識部は、正規化自乗誤差関数により前記周期解析を行う
    　画像処理装置。
  4. 　所定の送り方向に沿って複数のピッチのうちいずれかの一定のピッチで部品収納用のキャビティが設けられたテープの画像を処理する画像処理装置であって、
    　前記画像から前記送り方向に沿ったラインの画素の輝度を、前記送り方向における所定基準位置から前記複数のピッチのうち最小のピッチで抽出する抽出部と、
    　前記輝度と所定の閾値との比較に基づいて前記輝度の大小が変化するピッチを求め、前記複数のピッチのうち求めたピッチに対応するものを前記キャビティのピッチとして認識する認識部と、
    　を備える画像処理装置。
  5. 　前記テープを送るフィーダが取り付けられ、前記テープの前記キャビティから供給された前記部品を実装する実装装置であって、
    　前記テープの画像を撮像する撮像装置と、
    　請求項１ないし４のいずれか１項に記載の画像処理装置と、
    　前記画像処理装置により認識された前記キャビティのピッチに基づいて前記テープを送るように前記フィーダを制御する制御装置と、
    　を備える実装装置。
  6. 　所定の送り方向に沿って部品収納用のキャビティが複数設けられたテープの画像を処理する画像処理方法であって、
    　（ａ）前記画像から前記送り方向に沿ったラインの画素の輝度を抽出し、前記ラインの輝度波形を生成するステップと、
    　（ｂ）前記輝度波形の輝度変化の周期解析を行い、該周期解析で得られた波長に基づいて前記キャビティのピッチを認識するステップと、
    　を含む画像処理方法。
  7. 　所定の送り方向に沿って複数のピッチのうちいずれかの一定のピッチで部品収納用のキャビティが設けられたテープの画像を処理する画像処理方法であって、
    　（ａ）前記画像から前記送り方向に沿ったラインの画素の輝度を、前記送り方向における所定基準位置から前記複数のピッチのうち最小のピッチで抽出するステップと、
    　（ｂ）前記輝度と所定の閾値との比較に基づいて前記輝度の大小が変化するピッチを求め、前記複数のピッチのうち求めたピッチに対応するものを前記キャビティのピッチとして認識するステップと、
    　を含む画像処理方法。
PCT/JP2020/007121 2020-02-21 2020-02-21 画像処理装置および実装装置、画像処理方法 WO2021166230A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20919743.3A EP4110031A4 (en) 2020-02-21 2020-02-21 Image processing device, mounting device, and image processing method
CN202080094559.9A CN115004877B (zh) 2020-02-21 2020-02-21 图像处理装置、安装装置及图像处理方法
JP2022501562A JP7423741B2 (ja) 2020-02-21 2020-02-21 画像処理装置および画像処理方法
US17/904,493 US20230108672A1 (en) 2020-02-21 2020-02-21 Image processing device, mounting device, and image processing method
PCT/JP2020/007121 WO2021166230A1 (ja) 2020-02-21 2020-02-21 画像処理装置および実装装置、画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/007121 WO2021166230A1 (ja) 2020-02-21 2020-02-21 画像処理装置および実装装置、画像処理方法

Publications (1)

Publication Number Publication Date
WO2021166230A1 true WO2021166230A1 (ja) 2021-08-26

Family

ID=77390555

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/007121 WO2021166230A1 (ja) 2020-02-21 2020-02-21 画像処理装置および実装装置、画像処理方法

Country Status (5)

Country Link
US (1) US20230108672A1 (ja)
EP (1) EP4110031A4 (ja)
JP (1) JP7423741B2 (ja)
CN (1) CN115004877B (ja)
WO (1) WO2021166230A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014072409A (ja) * 2012-09-28 2014-04-21 Juki Corp 部品検査方法及び装置
JP2017220623A (ja) 2016-06-10 2017-12-14 富士機械製造株式会社 テープの自動検知装置
WO2019123527A1 (ja) * 2017-12-19 2019-06-27 株式会社Ｆｕｊｉ 実装装置、検出装置及び検出方法
WO2019207763A1 (ja) * 2018-04-27 2019-10-31 株式会社Ｆｕｊｉ キャリアテープ搬送装置およびキャリアテープ搬送方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4744241B2 (ja) * 2005-08-31 2011-08-10 株式会社日立ハイテクインスツルメンツ 電子部品装着装置
JP5047031B2 (ja) * 2008-03-28 2012-10-10 富士機械製造株式会社 電子部品装着装置における部品認識方法
JP5443894B2 (ja) * 2009-08-21 2014-03-19 Ｊｕｋｉ株式会社 電子部品実装装置及びその吸着位置補正方法
EP3071007B1 (en) * 2013-11-11 2018-06-06 Fuji Machine Mfg. Co., Ltd. Component mounting device
JP6476397B2 (ja) * 2014-06-06 2019-03-06 株式会社Ｆｕｊｉ リード画像認識方法及びリード画像認識装置並びに画像処理用部品データ作成方法及び画像処理用部品データ作成装置
JP6647049B2 (ja) * 2016-01-18 2020-02-14 ヤマハ発動機株式会社 ピッチ測定装置、ピッチ測定方法および部品実装装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014072409A (ja) * 2012-09-28 2014-04-21 Juki Corp 部品検査方法及び装置
JP2017220623A (ja) 2016-06-10 2017-12-14 富士機械製造株式会社 テープの自動検知装置
WO2019123527A1 (ja) * 2017-12-19 2019-06-27 株式会社Ｆｕｊｉ 実装装置、検出装置及び検出方法
WO2019207763A1 (ja) * 2018-04-27 2019-10-31 株式会社Ｆｕｊｉ キャリアテープ搬送装置およびキャリアテープ搬送方法

Also Published As

Publication number Publication date
US20230108672A1 (en) 2023-04-06
CN115004877A (zh) 2022-09-02
EP4110031A4 (en) 2023-06-28
CN115004877B (zh) 2023-09-05
JPWO2021166230A1 (ja) 2021-08-26
EP4110031A1 (en) 2022-12-28
JP7423741B2 (ja) 2024-01-29

Similar Documents

Publication Publication Date Title
JP6484335B2 (ja) 部品実装装置及び吸着位置設定方法
JP6752272B2 (ja) 対基板作業機
CN107926154B (zh) 元件安装装置
WO2016020975A1 (ja) 実装装置
JP7298017B2 (ja) 画像処理装置および実装装置、画像処理方法
JP7365376B2 (ja) 実装装置及び検出方法
JP4744241B2 (ja) 電子部品装着装置
JP5158686B2 (ja) 吸着部品表裏判定装置及び吸着部品表裏判定方法
CN109085795B (zh) 一种基于手指位置识别的美甲彩绘机控制方法
US10932401B2 (en) Component mounting machine
WO2021166230A1 (ja) 画像処理装置および実装装置、画像処理方法
JP4792331B2 (ja) 電子部品装着装置
JP4707607B2 (ja) 部品認識データ作成用画像取得方法及び部品実装機
JP6831446B2 (ja) 対基板作業装置および画像処理方法
JP7423797B2 (ja) 画像処理装置および実装装置、画像処理方法
JP2010282536A (ja) 画像処理方法及び画像処理装置
WO2017017788A1 (ja) 部品実装機
JP6999422B2 (ja) 実装装置及び実装方法
JP7384916B2 (ja) 情報処理装置及び実装装置
JP4757701B2 (ja) 電子部品の吸着位置補正方法及び装置
WO2022107286A1 (ja) 画像処理装置、実装装置、実装システム、画像処理方法及び実装方法
JP7124126B2 (ja) 部品実装装置
JP6510282B2 (ja) 部品実装装置
JP4922460B2 (ja) 電子部品装着装置
JP2023152382A (ja) 画像処理装置および部品実装機並びに画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20919743

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022501562

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020919743

Country of ref document: EP

Effective date: 20220921