WO2021059374A1 - 情報処理装置、実装装置及び情報処理方法 - Google Patents

情報処理装置、実装装置及び情報処理方法 Download PDF

Info

Publication number
WO2021059374A1
WO2021059374A1 PCT/JP2019/037450 JP2019037450W WO2021059374A1 WO 2021059374 A1 WO2021059374 A1 WO 2021059374A1 JP 2019037450 W JP2019037450 W JP 2019037450W WO 2021059374 A1 WO2021059374 A1 WO 2021059374A1
Authority
WO
WIPO (PCT)
Prior art keywords
component
information processing
outer edge
edge portion
mounting
Prior art date
Application number
PCT/JP2019/037450
Other languages
English (en)
French (fr)
Inventor
恵市 小野
秀一郎 鬼頭
Original Assignee
株式会社Ｆｕｊｉ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｆｕｊｉ filed Critical 株式会社Ｆｕｊｉ
Priority to JP2021548024A priority Critical patent/JP7384916B2/ja
Priority to CN201980099813.1A priority patent/CN114287021A/zh
Priority to US17/762,546 priority patent/US20230237667A1/en
Priority to PCT/JP2019/037450 priority patent/WO2021059374A1/ja
Priority to EP19947245.7A priority patent/EP4036853A4/en
Publication of WO2021059374A1 publication Critical patent/WO2021059374A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the invention disclosed in the present specification relates to an information processing device, a mounting device, and an information processing method.
  • an initial position corresponding to a registered image included in a search target image is acquired, and a corresponding point search line of a pattern model is arranged so as to overlap the search target image according to the initial position.
  • the edge strength and the edge angle at the position along the corresponding point search line on the search target image are used to obtain the corresponding points on the search target image corresponding to each base point for each corresponding point search line, and the base point and the base point are obtained respectively. It has been proposed that precise positioning is performed with a higher accuracy than the accuracy of a given initial position so that the cumulative value of the evaluation values with the corresponding points of the above is the minimum or maximum (see, for example, Patent Document 1).
  • the present disclosure has been made in view of such a problem, and an object of the present disclosure is to provide an information processing device, a mounting device, and an information processing method capable of more reliably detecting the position of an outer edge portion with respect to a component. ..
  • the information processing device, mounting device, and information processing method disclosed in the present specification have adopted the following means in order to achieve the above-mentioned main purpose.
  • the information processing device disclosed in this specification is An information processing device used for mounting devices that collect parts and place them on a board.
  • An image taken including the component is acquired, a plurality of detection lines for detecting the brightness difference of the component are set in the component with respect to the acquired image, and a reference position of an outer edge portion is obtained from the plurality of detection lines.
  • a candidate value with the weighting coefficient added to one or more candidates for the outer edge portion existing on the detection line is obtained, and the obtained candidate value is obtained.
  • a control unit that selects the position of the outer edge portion existing on the detection line based on It is equipped with.
  • a plurality of detection lines for detecting the difference in brightness of a component are set for the component in an captured image including the component, the reference position of the outer edge is obtained from the plurality of detection lines, and the weight increases as the distance from the reference position increases.
  • a candidate value in which the weighting coefficient is added to one or more outer edge candidates existing on the detection line is obtained.
  • the position of the outer edge portion existing on the detection line is selected based on the obtained candidate value.
  • the position of the outer edge of the detection line is selected by adding a weighting coefficient based on the reference position obtained from a plurality of detection lines.
  • the control unit may set a detection line straddling the region of the component and the outside of the region of the component to select the position of the outer edge portion of the component itself, or the control unit may select a specific portion (for example, a terminal) of the component.
  • a detection line straddling another part may be set to select the position of the outer edge part of a specific part of the component.
  • the "position of the outer edge portion with respect to the component” may be the outer edge portion of the entire component or the outer edge portion of a specific portion of the component.
  • the schematic explanatory view which shows an example of the mounting system 10.
  • Explanatory drawing of the component P collected in the mounting head 22. A flowchart showing an example of an implementation processing routine.
  • the flowchart which shows an example of the outer edge detection processing routine.
  • Explanatory drawing which sets the detection line 45 in the outer edge portions 41 to 44 of a part P.
  • the relationship diagram between the detection line position and the luminance value and its derivative value. Relationship diagram between edge candidate positions and weighting factors.
  • Explanatory drawing of the photograph which imaged the part P.
  • Explanatory drawing of the component image 40B which imaged another component PB. Relationship diagram between another edge candidate position and the weighting factor.
  • Explanatory drawing of the part image 40C which detects the outer edge part of the specific part Ps of a part PC.
  • FIG. 1 is a schematic explanatory view showing an example of the mounting system 10 of the present disclosure.
  • FIG. 2 is an explanatory diagram of the component P collected on the mounting head 22.
  • the mounting system 10 is, for example, a system that executes a mounting process related to a process of mounting the component P on the substrate S.
  • the mounting system 10 includes a mounting device 11 and a management computer (PC) 35.
  • the mounting system 10 is configured as a mounting line in which a plurality of mounting devices 11 are arranged from upstream to downstream. In FIG. 1, only one mounting device 11 is shown for convenience of explanation.
  • the left-right direction (X-axis), the front-back direction (Y-axis), and the up-down direction (Z-axis) are as shown in FIG.
  • the mounting device 11 includes a board processing unit 12, a component supply unit 14, a parts camera 16, a mounting unit 20, and a control device 30.
  • the substrate processing unit 12 is a unit that carries in, conveys, fixes the substrate S at a mounting position, and carries out the substrate S.
  • the substrate processing unit 12 has a pair of conveyor belts that are provided at intervals in the front and rear of FIG. 1 and are bridged in the left-right direction. The substrate S is conveyed by this conveyor belt.
  • the component supply unit 14 has a plurality of feeders and tray units equipped with reels, and is detachably attached to the front side of the mounting device 11.
  • a tape is wound around each reel, and a plurality of parts P are held on the surface of the tape along the longitudinal direction of the tape. This tape is unwound from the reel toward the rear, and in a state where the parts are exposed, the tape is sent out by the feeder unit to the sampling position where the tape is sucked by the suction nozzle 23.
  • the tray unit has a tray on which a plurality of parts are arranged and placed, and the tray is taken in and out of a predetermined collection position.
  • the parts camera 16 is an imaging unit that captures an image, and is a unit that captures one or more parts P collected and held by the mounting head 22.
  • the parts camera 16 is arranged between the parts supply unit 14 and the board processing unit 12.
  • the imaging range of the parts camera 16 is above the parts camera 16.
  • the mounting unit 20 is a unit that collects the component P from the component supply unit 14 and arranges the component P on the substrate S fixed to the substrate processing unit 12.
  • the mounting unit 20 includes a head moving unit 21, a mounting head 22, and a suction nozzle 23.
  • the head moving unit 21 includes a slider that is guided by a guide rail and moves in the XY directions, and a motor that drives the slider.
  • the mounting head 22 is detachably mounted on the slider and is moved in the XY direction by the head moving portion 21.
  • the mounting head 22 is detachably mounted with one or more suction nozzles 23 (for example, 16 or 8 or 4) on the lower surface side thereof, and a plurality of parts P can be collected at one time.
  • the suction nozzle 23 is a collection member that collects parts using negative pressure.
  • the sampling member may be a mechanical chuck that grips the component P.
  • a mark camera 24 is arranged on the lower surface side of the mounting head 22 (or slider).
  • the mark camera 24 is, for example, an imaging device capable of capturing an image of a substrate S, a component P, or the like from above.
  • the mark camera 24 moves in the XY direction as the mounting head 22 moves.
  • the mark camera 24 has an imaging region below, captures a reference mark used for grasping the position of the substrate S attached to the substrate S, and outputs the image to the control device 30.
  • FIG. 2 is an explanatory view showing an example when the mounting head 22 from which the component P is collected is viewed from below.
  • FIG. 2 shows an example in which the mounting head 22 includes four nozzles 23.
  • the normal position of the component P is shown by a dotted line.
  • the component P may include, for example, a first region P1 including an outer edge portion (also referred to as an edge) and a second region P2 having a brightness value different from that of the first region P1.
  • the main body of this component P is the first region P1, and the terminal is the second region P2.
  • this component P When this component P is sampled by the mounting head 22, there is a case where a positional deviation occurs in the XY coordinate direction with respect to the normal position (part Pa), or a rotational deviation caused by rotation with respect to the normal position. It may occur (part Pb).
  • the control device 30 detects such a change in the sampling state of the component P, corrects the deviation, and arranges the component P on the substrate S.
  • the control device 30 is configured as a microprocessor centered on a CPU 31, and includes a storage unit 32 and the like for storing various data.
  • the control device 30 has a function of an information processing device that detects the position of the outer edge portion of the component P.
  • the control device 30 outputs a control signal to the board processing unit 12, the parts supply unit 14, the parts camera 16, and the mounting unit 20, and inputs signals from the mounting unit 20, the parts supply unit 14, and the parts camera 16.
  • the storage unit 32 stores mounting condition information including the mounting order in which the component P is mounted on the substrate S, the arrangement position of the component P, the type of the suction nozzle 23 capable of collecting the component P, and the like.
  • the management PC 35 is a computer that manages information on each device of the mounting system 10.
  • the management PC 35 includes a control unit, a storage unit, a display, and an input device.
  • the control unit is configured as a microprocessor centered on a CPU.
  • the storage unit stores mounting condition information and the like.
  • FIG. 3 is a flowchart showing an example of a mounting processing routine executed by the CPU 31 of the mounting control unit 30 of the mounting device 11.
  • This routine is stored in the storage unit 32 of the mounting device 11 and is executed by the start instruction by the operator.
  • the CPU 31 reads and acquires the mounting condition information of the board S to be produced this time (S100), and the board processing unit 12 conveys the board S to the mounting position and causes the board S to be fixed (S110).
  • the CPU 31 sets the component to be sampled based on the mounting condition information (S120), causes the mounting head 22 to sample the component P from the feeder at a preset position, and moves the component P above the component camera 16. (S130).
  • the CPU 31 causes the parts camera 16 to perform an imaging process (S140) on the component P in a state of being collected by the mounting unit 20, and executes a component outer edge portion detection process for detecting the outer edge portion (edge) of the component P (S150). .. Subsequently, the CPU 31 sets a deviation correction value for correcting the positional deviation and / or the rotational deviation based on the position of the outer edge portion of the component P detected by the component outer edge portion detection process (S160), and sets the deviation correction value. It is used to correct the deviation of the component P and arrange the component P on the substrate S (S170).
  • the CPU 31 determines whether or not the mounting process of the board S currently fixed at the mounting position is completed (S180), and if the mounting process is not completed, executes the processes after S120. That is, the CPU 31 sets the component P to be collected and placed next, causes the mounting unit 20 to collect the component P, corrects the deviation of the component P while detecting the outer edge portion of the component P more accurately, and corrects the deviation of the component P. The process of arranging P on the substrate S is repeatedly executed.
  • the CPU 31 discharges the mounted board S by the board processing unit 12 (S190) and sets it in the mounting condition information.
  • FIG. 4 is a flowchart showing an example of a component outer edge detection processing routine executed by the CPU 31 of the control device 30.
  • This routine is stored in the storage unit 32 and executed in S150 of the mounting processing routine.
  • the CPU 31 first acquires the captured image captured by the parts camera 16 (S300), detects the approximate position of the parts included in the captured image (S310), and sets the position of the detection line (S310). S320).
  • FIG. 5A and 5B are explanatory views for setting the detection line 45 on the outer edge portions 41 to 44 of the component P
  • FIG. 5A is an explanatory view of the component image 40
  • FIG. 5B is an explanatory view for setting the detection line 45 on the component image 40. is there.
  • the CPU 31 detects a rough region of the component P included in the component image 40 based on a difference in luminance value or the like, and a detection line for detecting the luminance difference across the region of the component P and the outside of the region of the component P.
  • a plurality of 45's are set on the outer edge portions 41 to 44 of the component P.
  • the first side of the component P is the outer edge portion 41
  • the second side is the outer edge portion 42
  • the third side is the outer edge portion 43
  • the fourth side is the outer edge portion 44.
  • Three detection lines 45 on the left and three on the right are set in the portions 41 and 42
  • four detection lines 45 are set in the center in the outer edge portions 43 and 44. It is assumed that the patterns such as the length, the arrangement position, and the number of the detection lines 45 are empirically determined in a range in which the outer edge portion of the component P can be detected more accurately, and are preset for each component P.
  • the control device 30 sets the position of the detection line 45 so that the preset detection line pattern of the component P hangs on the outer edges 41 to 44 of the component P (see FIG. 5B).
  • the CPU 31 sets the detection line 45 according to the rough position of the component P, and then executes edge detection with higher accuracy.
  • FIG. 6 is a diagram showing the relationship between the detection line position, the luminance value, and the differential value thereof.
  • the detection line position normalized to "0" for the start point and "1" for the end point of the detection line 45 will be described.
  • the differential value is obtained from the difference in the luminance values at each position of the detection line, as shown in FIG. 6, the peak which is the maximum value of the differential value can be detected as the outer edge portion (edge candidate) of the component P.
  • FIG. 5 when there are a first region P1 and a second region P2 having different brightness and the detection line 45 straddles the region outside the component, a plurality of maximum peaks are detected.
  • the CPU 31 needs to detect the correct outer edge of the component P.
  • the CPU 31 averages the detection positions of the edge candidates detected in S330 and acquires the reference position (S340).
  • the CPU 31 averages the entire outer circumference of the component P and determines the reference position with respect to the entire outer circumference.
  • the CPU 31 may use, for example, the average value of the maximum peak position of each detection line and its number as a reference position. For example, the number of detection lines whose maximum peak position is 0.1, the number of detection lines whose maximum peak position is 0.2, and the like can be integrated and divided by the number of detection lines.
  • the reference position is obtained approximately at the center (0.5) of the detection line.
  • the CPU 31 acquires a preset weighting coefficient, applies this weighting coefficient to the edge candidates detected on each detection line, obtains a candidate value for each edge candidate (S350), and is based on the candidate value.
  • the position of the edge on the detection line 45 is selected (S360).
  • FIG. 7 is a diagram showing the relationship between the edge candidate position and the weighting coefficient.
  • the weighting coefficient is defined as a coefficient of a normal distribution centered on the reference position so that the weight tends to decrease as the distance from the reference position increases.
  • the weighting coefficient can be obtained from the probability density function of the normal distribution (see Equation 1) using the edge candidate position x, the reference position ⁇ , and the weighting coefficient adjusting variable ⁇ .
  • the weighting factor has the highest value at the reference position and is set to become smaller as the distance from the reference position increases. Further, the variable ⁇ 2 in which the variable ⁇ is larger than the predetermined variable ⁇ 1 gives a weighting coefficient with a gradual change centered on the reference position, and the variable ⁇ 1 with a smaller variable gives a weighting coefficient with a larger change. Then, the CPU 31 selects an edge candidate position having a larger candidate value as the edge position of the component P. This weighting coefficient is empirically set according to the type of the component P, the brightness difference of each region, and the like. As shown in FIG.
  • the CPU 31 sets, for example, a variable ⁇ 1, and when there is an edge candidate position at the reference position (0.5), the highest value 1.5 is applied to this edge candidate position as a weighting coefficient.
  • the edge candidate position is located at 0.1 away from the reference position, the value 0.5 is applied to this edge candidate position as a weighting coefficient.
  • FIG. 8 is an explanatory diagram of a captured photograph of the component P.
  • 9A and 9B are explanatory views in which a weighting coefficient is added to edge candidates.
  • FIG. 9A shows an example of a weighting coefficient and edge candidates 1 and 2
  • FIG. 9B shows an example of a candidate value obtained by adding a weighting coefficient to edge candidates 1 and 2. It is explanatory drawing which shows. As shown in FIG. 8, when the first region P1 and the second region P2 are in the component P, edge candidates 1 and 2 are detected at a specific detection line 45.
  • a predetermined length is such that the position of the outer edge portion can be detected even if there is a difference. Is necessary, and it may be unavoidable to straddle multiple regions with different brightness.
  • the detection line 45 of FIG. 8 since the brightness difference between the first region P1 and the second region P2 is larger than the brightness difference between the region outside the component and the first region P1, as shown in FIG. 9A. , A maximum peak is obtained in which the edge candidate 2 is larger than the legitimate edge candidate 1.
  • the control device 30 can select the edge candidate 1 which is closest to the reference position and is appropriate as the largest candidate value and can be selected as the edge position by applying the weighting coefficient. In this way, the control device 30 can select a more appropriate edge position by making a more appropriate correction using a weighting coefficient while using a differential value which is an actually measured value, not an estimated value. it can.
  • the CPU 31 determines the position of the component P by determining the outer peripheral position of the component P using the selected edge position (S370), and ends this routine. After S370, the CPU 31 executes the processes after S160.
  • control device 30 of the present embodiment corresponds to the information processing device of the present disclosure
  • the CPU 31 corresponds to the control unit.
  • an example of the information processing method of the present disclosure is also clarified by explaining the operation of the control device 30.
  • the control device 30 of the present embodiment described above has a detection line 45 that straddles the region of the component P and the outside of the region of the component P with respect to the captured image including the component P and detects a brightness difference on the outer edge portions 41 to 44 of the component P. Is set to a plurality, and the reference positions of the outer edge portions 41 to 44 are obtained from the plurality of detection lines 45. Further, the control device 30 obtains a candidate value in which the weighting coefficient is added to one or more edge candidates existing on the detection line 45 by using a predetermined weighting coefficient in which the weight tends to decrease as the distance from the reference position increases. Then, the control device 30 selects the position of the outer edge portion existing on the detection line 45 based on the obtained candidate value.
  • the edge positions of the detection lines 45 are added by adding weighting coefficients based on the reference positions obtained from the plurality of detection lines 45. To select. Therefore, even if some edge candidates are detected out of the proper position, the edge position of the component can be detected more reliably.
  • the edge position of the component can be detected more reliably by a simple process using the reference position for the entire outer circumference. Further, since the CPU 31 uses the weighting coefficient of the normal distribution centered on the reference position, the weighting can be higher as it is closer to the reference position and lower as it is farther from the reference position. Furthermore, since the component P includes the first region P1 of the outer edge portion and the second region P2 having a brightness value different from that of the first region P1, the component P has a plurality of brightness value regions in which the outer edge portion is difficult to detect. The edge position can be detected more reliably with respect to P.
  • the mounting device 11 includes a mounting head 22 for collecting the component P and arranging it on the board, and a control device 30 having a function as the above-mentioned information processing device, the outer edge portion of the component P to be mounted is further arranged. It can be detected reliably, and the arrangement of the component P and the like can be performed more reliably.
  • the CPU 31 obtains the reference position from the average value of the entire outer circumference of the component P, but the reference position is not particularly limited to this, and for example, the detection line 45 set for each side of the component P.
  • the edge detection position may be averaged to obtain the reference position for each side.
  • the CPU 31 may set the reference position of the corresponding side by averaging the edge detection positions of the detection lines 45 set for each of the plurality of sides of the component P. In this control device 30, the outer edge portion of the component P can be easily and surely detected by using the reference position grouped for each of a plurality of sides for the same side.
  • FIG. 10 is an explanatory diagram of a component image 40B in which another component PB is imaged.
  • each side of the first region P1 having upper and lower sides of the outer circumference of the component PB is a straight line, and the detection stability is high.
  • the second region PB2 having the right and left sides of the outer circumference of the component PB is not a straight line and has irregular irregularities, so that the detection stability is low.
  • the CPU 31 may set the reference position by collectively setting the upper and lower sides having high detection stability, and set the reference position for each of the left side and the right side.
  • a weighting coefficient may be set using a variable ⁇ larger than that of the upper and lower outer edge portions 41 and 42. In this control device 30, the edge position of the component P can be detected more reliably by using the weighting coefficients set by a plurality of functions.
  • the CPU 31 uses a weighting coefficient defined by a function of a normal distribution centered on a reference position, but the weighting coefficient is not particularly limited to this and is defined by a function other than the normal distribution. May be used.
  • FIG. 11 is a relationship diagram between another edge candidate position and a weighting coefficient
  • FIG. 11A is an example of a weighting coefficient defined by a linear function
  • FIG. 11B tends to have a lower weight as the distance from the reference position increases. It is explanatory drawing of an example of a defined weighting coefficient.
  • the CPU 31 may use, for example, a weighting coefficient defined by a function having a linear relationship centered on a reference position.
  • FIG. 11A the CPU 31 may use, for example, a weighting coefficient defined by a function having a linear relationship centered on a reference position.
  • FIG. 11A the CPU 31 may use, for example, a weighting coefficient defined by a function having a linear relationship centered on a reference position.
  • FIG. 11A the
  • the CPU 31 may use a weighting coefficient set by a function that allows a part of the weight to not be lowered even if the weight is separated from the reference position.
  • the CPU 31 may appropriately use the weighting coefficient set by the t function according to the component P to be detected.
  • the variable ⁇ is used to obtain the weighting coefficient according to the variable ⁇ , but the present invention is not particularly limited to this, and the variable ⁇ may be a fixed value. In this control device 30, the method of obtaining the weighting coefficient can be further simplified.
  • a larger weighting coefficient is set when the position is close to the reference position, and a candidate value having a larger candidate value in consideration of the weighting coefficient is selected as the edge position, but the magnitude relationship is particularly limited to this.
  • the differential peak may be set on the negative side
  • a larger weighting coefficient may be set on the negative side when it is closer to the reference position
  • a candidate value having a larger candidate value including the weighting coefficient on the negative side may be selected as the edge position.
  • the position of the outer edge portion of the component P having the first region P1 and the second region P2 having a brightness different from that of the first region P1 is detected, but the present invention is not particularly limited to this.
  • the position of the outer edge portion of the component P which does not have a plurality of regions such as the first region and the second region may be obtained.
  • the position of the outer edge portion of the component P having a rectangular outer circumference is determined, but the present invention is not particularly limited to this, and the component P having a polygonal outer circumference may be used, or the outer circumference of a circle or an ellipse may be obtained.
  • the position of the outer edge portion of the component P having the above may be obtained. Even in such a component P, the edge position of the component P can be detected more reliably.
  • the CPU 31 sets a detection line 45 straddling the region of the component P and the region outside the component P to select the position of the outer edge portion of the component itself, but the present invention is not particularly limited to this.
  • the CPU 31 sets a detection line 45 straddling a specific part (for example, a terminal or the like) of the part P and another part (for example, a main body), and selects the position of the outer edge portion of the specific part of the part P. May be good.
  • FIG. 12 is an explanatory diagram for detecting the outer edge portion of the specific portion Ps of the component P.
  • FIG. 12 is an explanatory diagram of a component image 40C that detects an outer edge portion 41C of a specific portion Ps of a component PC.
  • the component PC has a plurality of specific parts Ps that are bumps.
  • the mounting device 11 accurately detects the position of the specific portion Ps, aligns the bump with the terminal on the substrate S, and mounts the component PC.
  • the CPU 31 sets a detection line 45C straddling the first region PC1 of the specific portion Ps of the component PC and the second region PC2 of the other portion (main body), and sets the outer edge portion 41C of the specific portion Ps. Select the position of. Then, if the foreign matter 46 is present on the specific portion Ps, the outer edge portion 41C of the specific portion Ps may be erroneously detected.
  • the CPU 31 obtains the reference position of the outer edge portion 41C of the specific portion Ps, obtains the candidate value including the weighting coefficient, and selects the edge position of the specific portion Ps. Also in this control device 30, the edge position of the specific portion Ps related to the component PC can be detected more reliably.
  • the outer edge portion of the component P collected by the mounting head 22 is detected, but the present invention is not particularly limited to this.
  • the outer edge portion of the component P may be detected with respect to the captured image obtained by the mark camera 24 of the component P arranged on the substrate S. Even in this case, the position of the outer edge portion of the component P can be obtained more accurately.
  • the information processing device and the mounting device of the present disclosure have been described as the control device 30 and the mounting device 11, but the information processing device and the mounting device are not particularly limited thereto, and the information processing method may be used.
  • the mounting device 11 includes the control device 30 having a function as an information processing device, but the mounting device 11 is not particularly limited as long as it is a mounting-related device related to the process of mounting the component P on the substrate S. ..
  • an inspection device provided with an inspection unit for inspecting the mounting state of the component P a printing mounting device having a printing unit and a mounting unit, and a mounting inspection device having a mounting unit and an inspection unit provided with a control device 30. May be.
  • the information processing device, the mounting device, and the information processing method of the present disclosure may be configured as follows.
  • the control unit may obtain the reference position for each side of the component, for each of a plurality of sides of the component, and for one or more of the entire outer circumferences of the component. Good.
  • the components may have different detection stability such as brightness value and shape for each side.
  • the reference position when the reference position is obtained for each side of a part, the outer edge of the corresponding part can be detected more reliably, and for the same side, the reference is grouped by a plurality of sides.
  • the outer edge of the component can be detected easily and reliably by using the position, or the outer edge of the component can be detected more reliably by a simple process using the reference position that gathers the entire outer circumference.
  • control unit obtains the candidate value by using different weighting coefficients for one side or a plurality of sides of the component based on the detection stability of each side of the component. May be.
  • the outer edge portion of the component can be detected more reliably by using a plurality of weighting coefficients.
  • control unit may use the weighting coefficient of a normal distribution centered on the reference position.
  • a normal distribution can be used to perform weighting higher as it is closer to the reference position and lower as it is farther from the reference position.
  • the component may include a first region including the outer edge portion and a second region having a brightness value different from that of the first region.
  • the outer edge portion can be detected more reliably for a component having a plurality of luminance value regions in which the outer edge portion is difficult to detect.
  • the mounting device of the present disclosure includes a mounting head that collects parts and arranges them on a substrate, and an information processing device according to any one of the above. Since this mounting device includes the above-mentioned information processing device, the outer edge portion of the component to be mounted can be detected more reliably, and the component can be arranged more reliably.
  • the information processing method of the present disclosure is An information processing method used in mounting equipment that collects parts and places them on a board.
  • B) The reference position of the outer edge portion is obtained from the plurality of detection lines set in the step (a), and exists on the detection line using a predetermined weighting coefficient in which the weight tends to decrease as the distance from the reference position increases.
  • C A step of selecting the position of the outer edge portion existing on the detection line based on the candidate value obtained in the step (b), and Is included.
  • this information processing method detects even if there are a large number of candidates for the outer edge of a component by adding a weighting coefficient based on reference positions obtained from a plurality of detection lines. Since the position of the outer edge portion of the line is selected, the outer edge portion of the component can be detected more reliably even if there are some candidates that are detected out of the proper position.
  • various aspects of the above-mentioned information processing apparatus may be adopted, or steps may be added to realize each function of the above-mentioned information processing apparatus.
  • the information processing device and mounting device of the present disclosure can be used in the technical field of a device that performs processing such as collecting and arranging parts.
  • 10 mounting system 11 mounting device, 12 board processing unit, 14 parts supply unit, 16 parts camera, 20 mounting unit, 21 head moving unit, 22 mounting head, 23 suction nozzle, 24 mark camera, 30 control unit, 31 CPU, 32 storage unit, 35 management PC, 40, 40B, 40C part image, 41-44, 41C outer edge, 45, 45C detection line, 46 foreign matter, P, PB, PC parts, P1, PB1, PC1 first area, P2 , PB2, PC2 2nd area, Ps specific part, S substrate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

情報処理装置は、部品を採取して基板に配置する実装装置に用いられる装置である。この情報処理装置は、部品を含む撮像画像を取得し、取得した撮像画像に対し部品の輝度差を検出する検出ラインを部品に複数設定し、複数の検出ラインから外縁部の基準位置を制御部が求める。次に、制御部は、この基準位置から離れるほど重みが低くなる傾向の所定の重み係数を用い検出ライン上に存在する１以上の外縁部の候補に対し重み係数を加味した候補値を求める。続いて、制御部は、求めた候補値に基づいてこの検出ライン上に存在する外縁部の位置を選定する。

Description

情報処理装置、実装装置及び情報処理方法
　本明細書で開示する発明は、情報処理装置、実装装置及び情報処理方法に関する。
　従来、情報処理装置としては、例えば、サーチ対象画像中に含まれる登録画像に対応する初期位置を取得し、初期位置に従って、パターンモデルの対応点探索ラインをサーチ対象画像上に重ねるように配置し、サーチ対象画像上の対応点探索ラインに沿った位置におけるエッジ強度及びエッジ角度を用いて、各対応点探索ラインについて、各基点と対応するサーチ対象画像上の対応点を求め、各々基点と基点の対応点との評価値の累積値が最小又は最大となるように、与えられた初期位置の精度よりも高い精度で精密位置決めを行うものが提案されている（例えば、特許文献１参照）。
特開２０１０－６７２４７号公報
　しかしながら、上述した特許文献１の装置では、例えば部品の外縁部の位置であるエッジ候補が複数検出されてしまう場合は、考慮されておらず、このような場合は、正確なエッジ検出を行うことができないことがあった。即ち、情報処理装置において、部材の外縁部の位置の検出をより確実に行うことが求められていた。
　本開示は、このような課題に鑑みなされたものであり、部品に関する外縁部の位置をより確実に検出することができる情報処理装置、実装装置及び情報処理方法を提供することを主目的とする。
　本明細書で開示する情報処理装置、実装装置及び情報処理方法は、上述の主目的を達成するために以下の手段を採った。
　本明細書で開示する情報処理装置は、
　部品を採取して基板に配置する実装装置に用いられる情報処理装置であって、
　前記部品を含む撮像画像を取得し、取得した前記撮像画像に対し前記部品の輝度差を検出する検出ラインを前記部品に複数設定し、複数の前記検出ラインから外縁部の基準位置を求め、該基準位置から離れるほど重みが低くなる傾向の所定の重み係数を用い前記検出ライン上に存在する１以上の前記外縁部の候補に対し前記重み係数を加味した候補値を求め、求めた該候補値に基づいて該検出ライン上に存在する前記外縁部の位置を選定する制御部、
　を備えたものである。
　この情報処理装置では、部品を含む撮像画像に対し部品の輝度差を検出する検出ラインを部品に複数設定し、複数の検出ラインから外縁部の基準位置を求め、この基準位置から離れるほど重みが低くなる傾向の所定の重み係数を用いて検出ライン上に存在する１以上の外縁部の候補に対し前記重み係数を加味した候補値を求める。そして、求めた候補値に基づいて検出ライン上に存在する外縁部の位置を選定する。この情報処理装置では、多数の部品外縁部の候補が存在するような場合でも、複数の検出ラインから求めた基準位置に基づいて重み係数を加味してその検出ラインの外縁部の位置を選定する。このため、正当な位置から外れて検出される候補が一部に存在しても、部品に関する外縁部の位置をより確実に検出することができる。ここで「基準位置から離れるほど重みが低くなる傾向」とは、基準位置から離れても重みが低くならない部分が一部存在することを許容し、全体としてみれば基準位置から離れるほど重みが低くなっていることを表す趣旨である。また、制御部は、部品の領域と部品の領域外とを跨ぐ検出ラインを設定して部品自体の外縁部の位置を選定してもよいし、部品が有する特定部位（例えば、端子など）と他の部位（例えば本体など）とを跨ぐ検出ラインを設定して部品の特定部位の外縁部の位置を選定してもよい。また、同様に、「部品に関する外縁部の位置」とは、部品全体の外縁部としてもよいし、部品の特定部位の外縁部としてもよい。
実装システム１０の一例を示す概略説明図。 実装ヘッド２２に採取された部品Ｐの説明図。 実装処理ルーチンの一例を表すフローチャート。 外縁部検出処理ルーチンの一例を表すフローチャート。 部品Ｐの外縁部４１～４４に検出ライン４５を設定する説明図。 検出ライン位置と輝度値及びその微分値の関係図。 エッジ候補位置と重み係数との関係図。 部品Ｐを撮像した撮像写真の説明図。 エッジ候補に重み係数を加味する説明図。 別の部品ＰＢを撮像した部品画像４０Ｂの説明図。 別のエッジ候補位置と重み係数との関係図。 部品ＰＣの特定部位Ｐｓの外縁部を検出する部品画像４０Ｃの説明図。
　本実施形態を図面を参照しながら以下に説明する。図１は、本開示である実装システム１０の一例を示す概略説明図である。図２は、実装ヘッド２２に採取された部品Ｐの説明図である。実装システム１０は、例えば、部品Ｐを基板Ｓに実装する処理に関する実装処理を実行するシステムである。この実装システム１０は、実装装置１１と、管理コンピュータ（ＰＣ）３５とを備えている。実装システム１０は、複数の実装装置１１が上流から下流に配置された実装ラインとして構成されている。図１では、説明の便宜のため実装装置１１を１台のみ示している。なお、本実施形態において、左右方向（Ｘ軸）、前後方向（Ｙ軸）及び上下方向（Ｚ軸）は、図１に示した通りとする。
　実装装置１１は、図１に示すように、基板処理部１２と、部品供給部１４と、パーツカメラ１６と、実装部２０と、制御装置３０とを備えている。基板処理部１２は、基板Ｓの搬入、搬送、実装位置での固定、搬出を行うユニットである。基板処理部１２は、図１の前後に間隔を開けて設けられ左右方向に架け渡された１対のコンベアベルトを有している。基板Ｓはこのコンベアベルトにより搬送される。
　部品供給部１４は、リールを備えた複数のフィーダやトレイユニットを有し、実装装置１１の前側に着脱可能に取り付けられている。各リールには、テープが巻き付けられ、テープの表面には、複数の部品Ｐがテープの長手方向に沿って保持されている。このテープは、リールから後方に向かって巻きほどかれ、部品が露出した状態で、吸着ノズル２３で吸着される採取位置にフィーダ部により送り出される。トレイユニットは、部品を複数配列して載置するトレイを有し、所定の採取位置へこのトレイを出し入れする。
　パーツカメラ１６は、画像を撮像する撮像部であり、実装ヘッド２２に採取され保持された１以上の部品Ｐを撮像するユニットである。このパーツカメラ１６は、部品供給部１４と基板処理部１２との間に配置されている。このパーツカメラ１６の撮像範囲は、パーツカメラ１６の上方である。パーツカメラ１６は、部品Ｐを保持した実装ヘッド２２がパーツカメラ１６の上方を通過する際、その画像を撮像し、撮像画像データを制御装置３０へ出力する。
　実装部２０は、部品Ｐを部品供給部１４から採取し、基板処理部１２に固定された基板Ｓへ配置するユニットである。実装部２０は、ヘッド移動部２１と、実装ヘッド２２と、吸着ノズル２３とを備えている。ヘッド移動部２１は、ガイドレールに導かれてＸＹ方向へ移動するスライダと、スライダを駆動するモータとを備えている。実装ヘッド２２は、スライダに取り外し可能に装着されており、ヘッド移動部２１によりＸＹ方向へ移動する。実装ヘッド２２は、その下面側に１以上の吸着ノズル２３（例えば、１６個や８個、４個など）が取り外し可能に装着されており、複数の部品Ｐを１度に採取可能である。吸着ノズル２３は、負圧を利用して部品を採取する採取部材である。なお、採取部材は、部品Ｐを把持するメカニカルチャックとしてもよい。この実装ヘッド２２（又はスライダ）の下面側には、マークカメラ２４が配設されている。マークカメラ２４は、例えば、基板Ｓや部品Ｐなどを上方から撮像可能な撮像装置である。マークカメラ２４は、実装ヘッド２２の移動に伴ってＸＹ方向へ移動する。このマークカメラ２４は、下方が撮像領域であり、基板Ｓに付された基板Ｓの位置把握に用いられる基準マークを撮像し、その画像を制御装置３０へ出力する。
　ここで、実装ヘッド２２が採取する部品Ｐについて説明する。図２は、部品Ｐを採取した実装ヘッド２２を下方から見たときの一例を示す説明図である。図２では、実装ヘッド２２は、４つのノズル２３を備えた例を示した。また、図２では、部品Ｐの正常位置を点線でを示した。部品Ｐは、例えば、図２に示すように、外縁部（エッジとも称する）を含む第１領域Ｐ１とこの第１領域Ｐ１と異なる輝度値である第２領域Ｐ２とを含むものとしてもよい。この部品Ｐは、本体が第１領域Ｐ１であり、端子が第２領域Ｐ２である。この部品Ｐは、実装ヘッド２２に採取される際に、正常位置に対してＸＹ座標方向の位置ずれが生じる場合や（部品Ｐａ）、正常位置に対して回転して傾きを生じた回転ずれが生じる場合がある（部品Ｐｂ）。制御装置３０では、このような部品Ｐの採取状態の変化を検出し、そのずれを補正して部品Ｐを基板Ｓへ配置する。
　制御装置３０は、図１に示すように、ＣＰＵ３１を中心とするマイクロプロセッサとして構成されており、各種データを記憶する記憶部３２などを備えている。制御装置３０は、部品Ｐの外縁部の位置を検出する情報処理装置の機能を備えている。この制御装置３０は、基板処理部１２や、部品供給部１４、パーツカメラ１６、実装部２０へ制御信号を出力し、実装部２０や部品供給部１４、パーツカメラ１６からの信号を入力する。記憶部３２には、部品Ｐを基板Ｓへ実装する実装順や部品Ｐの配置位置、部品Ｐを採取可能な吸着ノズル２３の種別などを含む実装条件情報が記憶されている。
　管理ＰＣ３５は、実装システム１０の各装置の情報を管理するコンピュータである。管理ＰＣ３５は、制御部と、記憶部と、ディスプレイと、入力装置とを備えている。制御部は、ＣＰＵを中心とするマイクロプロセッサとして構成されている。記憶部には、実装システム１０の生産を管理する情報のほか、実装条件情報などが記憶されている。
　次に、こうして構成された本実施形態の実装システム１０の動作、まず、実装装置１１での実装処理について説明する。まず実装装置１１が部品Ｐを基板Ｓへ実装する処理について説明する。図３は、実装装置１１の実装制御部３０のＣＰＵ３１により実行される実装処理ルーチンの一例を示すフローチャートである。このルーチンは、実装装置１１の記憶部３２に記憶され、作業者による開始指示により実行される。このルーチンを開始すると、ＣＰＵ３１は、今回生産する基板Ｓの実装条件情報を読み出して取得し（Ｓ１００）、基板処理部１２によって基板Ｓを実装位置まで搬送させ、固定処理させる（Ｓ１１０）。次に、ＣＰＵ３１は、採取する対象の部品を実装条件情報に基づいて設定し（Ｓ１２０）、予め設定された位置のフィーダから部品Ｐを実装ヘッド２２に採取させ、パーツカメラ１６の上方へ移動させる（Ｓ１３０）。
   次に、ＣＰＵ３１は、実装部２０が採取した状態の部品Ｐをパーツカメラ１６に撮像処理させ（Ｓ１４０）、部品Ｐの外縁部（エッジ）を検出する部品外縁部検出処理を実行する（Ｓ１５０）。続いて、ＣＰＵ３１は、部品外縁部検出処理によって検出された部品Ｐの外縁部の位置に基づいて、位置ずれ及び／又は回転ずれを補正するずれ補正値を設定し（Ｓ１６０）、ずれ補正値を用いて部品Ｐのずれを補正して部品Ｐを基板Ｓへ配置する（Ｓ１７０）。そして、ＣＰＵ３１は、現在、実装位置に固定されている基板Ｓの実装処理が完了したか否かを判定し（Ｓ１８０）、実装処理が完了していないときには、Ｓ１２０以降の処理を実行する。即ち、ＣＰＵ３１は、次に採取、配置する部品Ｐを設定し、この部品Ｐを実装部２０に採取させ、部品Ｐの外縁部をより正確に検出しつつ、部品Ｐのずれを補正し、部品Ｐを基板Ｓへ配置する処理を繰り返し実行する。一方、Ｓ１８０で、現在、実装位置に固定されている基板Ｓの実装処理が完了したときには、ＣＰＵ３１は、実装完了した基板Ｓを基板処理部１２により排出させ（Ｓ１９０）、実装条件情報に設定されているすべての基板Ｓの生産が完了したか否かを判定する（Ｓ２００）。すべての基板Ｓの生産が完了していないときには、ＣＰＵ３１は、Ｓ１１０以降の処理を実行する一方、すべての基板Ｓの生産が完了したときには、このルーチンを終了する。
　次に、Ｓ１５０での部品外縁部検出処理について説明する。図４は、制御装置３０のＣＰＵ３１により実行される部品外縁部検出処理ルーチンの一例を表すフローチャートである。このルーチンは、記憶部３２に記憶され、実装処理ルーチンのＳ１５０で実行される。このルーチンを開始すると、ＣＰＵ３１は、まず、パーツカメラ１６で撮像した撮像画像を取得し（Ｓ３００）、撮像画像に含まれる部品の概略位置を検出し（Ｓ３１０）、検出ラインの位置を設定する（Ｓ３２０）。
　図５は、部品Ｐの外縁部４１～４４に検出ライン４５を設定する説明図であり、図５Ａが部品画像４０の説明図、図５Ｂが部品画像４０に検出ライン４５を設定した説明図である。ＣＰＵ３１は、部品画像４０に含まれる部品Ｐの大まかな領域を輝度値の差分などに基づいて検出し、この部品Ｐの領域と部品Ｐの領域外とを跨ぎ輝度差を検出するための検出ライン４５を部品Ｐの外縁部４１～４４に複数設定する。この制御装置３０では、部品Ｐの第１の辺を外縁部４１とし、第２の辺を外縁部４２とし、第３の辺を外縁部４３とし、第４の辺を外縁部４４とし、外縁部４１，４２には左３本、右３本、外縁部４３，４４には、中央に４本の検出ライン４５を設定する。この検出ライン４５の長さや配置位置、本数などのパターンは、部品Ｐの外縁部をより正確に検出できるような範囲を経験的に求め、部品Ｐごとに予め設定されているものとする。制御装置３０は、予め設定されている部品Ｐの検出ラインパターンが部品Ｐの外縁部４１～４４に掛かるように検出ライン４５の位置を設定する（図５Ｂ参照）。ＣＰＵ３１は、大まかな部品Ｐの位置に合わせて検出ライン４５を設定したのち、より精度の高いエッジ検出を実行する。
　Ｓ３２０のあと、ＣＰＵ３１は、各検出ライン４５ごとに、検出ライン上の輝度値から微分値を取得し、極大値（エッジ候補）の位置を検出する（Ｓ３３０）。図６は、検出ライン位置と輝度値及びその微分値の関係図である。ここでは、検出ライン４５の始点を「０」、終点を「１」に正規化した検出ライン位置を用いて説明する。検出ラインの各位置の輝度値の差から微分値を求めると、図６に示すように、微分値の極大値であるピークを部品Ｐの外縁部（エッジ候補）として検出することができる。しかしながら、図５に示すように、輝度の異なる第１領域Ｐ１と第２領域Ｐ２とがあり、更に部品外の領域を検出ライン４５が跨いだ場合は、複数の極大ピークが検出されるため、ＣＰＵ３１は、部品Ｐの正しい外縁部を検出する必要がある。
　次に、ＣＰＵ３１は、Ｓ３３０で検出したエッジ候補の検出位置を平均化し、基準位置を取得する（Ｓ３４０）。ここでは、ＣＰＵ３１は、部品Ｐの外周全体を平均化し、この外周全体に対して基準位置を求めるものとした。ＣＰＵ３１は、例えば、各検出ラインの極大ピーク位置とその本数から、その平均値を基準位置としてもよい。例えば、極大ピーク位置が０．１にある検出ライン数、極大ピーク位置が０．２にある検出ライン数、などを積算して検出ライン数で除算して求めることができる。この実装装置１１では、Ｓ３１０で部品Ｐの概略位置に基づいて検出ラインの位置を設定しているため、基準位置は、おおよそ検出ラインの中央（０．５）に求められる。
　次に、ＣＰＵ３１は、予め設定された重み係数を取得し、各検出ライン上に検出されたエッジ候補にこの重み係数を適用し、各エッジ候補の候補値を求め（Ｓ３５０）、候補値に基づいて検出ライン４５上のエッジの位置を選定する（Ｓ３６０）。図７は、エッジ候補位置と重み係数との関係図である。重み係数は、基準位置から離れるほど重みが低くなる傾向となるよう、基準位置を中心とした正規分布の係数として定められている。例えば、重み係数は、エッジ候補位置ｘと、基準位置μと、重み係数調整用変数σとを用い、正規分布の確率密度関数（数式１参照）から求めることができる。重み係数は、基準位置が最も高い値であり、基準位置から遠ざかるにつれてより小さな値になるよう設定されている。また、変数σが所定の変数σ１よりも大きい変数σ２では、基準位置を中心とした変化が緩やかな重み係数が得られ、より小さい変数σ１では、より変化が大きい重み係数が得られる。そして、ＣＰＵ３１は、より大きな候補値を有するエッジ候補位置を部品Ｐのエッジ位置に選定する。この重み係数は、部品Ｐの種別や各領域の輝度差などに応じて経験的に設定される。ＣＰＵ３１は、図７に示すように、例えば、変数σ１とし、基準位置（０．５）にエッジ候補位置があるときは、最も高い値１．５を重み係数としてこのエッジ候補位置に適用し、基準位置から離れた０．１にエッジ候補位置があるときは、値０．５を重み係数としてこのエッジ候補位置に適用する。
Figure JPOXMLDOC01-appb-M000001
　ここで、重み係数を適用する具体例を説明する。図８は、部品Ｐを撮像した撮像写真の説明図である。図９は、エッジ候補に重み係数を加味する説明図であり、図９Ａが重み係数とエッジ候補１，２の例、図９Ｂがエッジ候補１，２に重み係数を加味した候補値の一例を示す説明図である。図８に示すように、第１領域Ｐ１と第２領域Ｐ２とが部品Ｐにあるときには、特定の検出ライン４５においてエッジ候補１，２が検出される。検出ライン４５は、部品Ｐのロットの違いや製造会社の違いなどにより、微妙に大きさが異なることがあることから、その違いがあっても外縁部の位置を検出できるような所定の長さが必要であり、複数の輝度の違う領域を跨ぐことが避けられない場合がある。図８の検出ライン４５では、部品外の領域と第１領域Ｐ１との輝度差に比して、第１領域Ｐ１と第２領域Ｐ２との輝度差が大きいことから、図９Ａに示すように、正当なエッジ候補１に比してエッジ候補２の方が大きい極大ピークが得られる。このままエッジ位置を求めると、第２領域Ｐ２が部品の外縁部の位置であるとの誤検出になるが、制御装置３０は、各検出ライン４５の平均から求めた基準位置が最も大きな値となるよう定められた重み係数をこの極大ピークに乗算して候補値を求める。このため、図９Ｂに示すように、制御装置３０は、重み係数を適用することによって、基準位置に最も近く適切であるエッジ候補１を最も大きな候補値とし、エッジ位置として選定することができる。このように、制御装置３０は、推定値などではない、実測値である微分値を用いつつ、重み係数を用いてより適正な補正を行うことによって、より適正なエッジ位置の選定を行うことができる。
　そして、ＣＰＵ３１は、選定したエッジ位置を用いて部品Ｐの外周位置を決定することにより、部品Ｐの位置を確定し（Ｓ３７０）、このルーチンを終了する。ＣＰＵ３１は、Ｓ３７０のあと、Ｓ１６０以降の処理を実行する。
　ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態の制御装置３０が本開示の情報処理装置に相当し、ＣＰＵ３１が制御部に相当する。なお、本実施形態では、制御装置３０の動作を説明することにより本開示の情報処理方法の一例も明らかにしている。
　以上説明した本実施形態の制御装置３０は、部品Ｐを含む撮像画像に対し部品Ｐの領域と部品Ｐの領域外とを跨ぎ輝度差を検出する検出ライン４５を部品Ｐの外縁部４１～４４に複数設定し、複数の検出ライン４５から外縁部４１～４４の基準位置を求める。また、制御装置３０は、この基準位置から離れるほど重みが低くなる傾向の所定の重み係数を用いて検出ライン４５上に存在する１以上のエッジ候補に対し重み係数を加味した候補値を求める。そして、制御装置３０は、求めた候補値に基づいて検出ライン４５上に存在する外縁部の位置を選定する。この制御装置３０では、多数の部品Ｐの外縁部にエッジ候補が存在するような場合でも、複数の検出ライン４５から求めた基準位置に基づいて重み係数を加味してその検出ライン４５のエッジ位置を選定する。このため、正当な位置から外れて検出されるエッジ候補が一部に存在しても、部品のエッジ位置をより確実に検出することができる。
　また、ＣＰＵ３１は、部品Ｐの外周全体に対して基準位置を求めるため、外周全体をまとめた基準位置を用いて簡便な処理で部品のエッジ位置をより確実に検出することができる。更に、ＣＰＵ３１は、基準位置を中心とした正規分布の重み係数を用いるため、基準位置に近いほどより高く基準位置から離れるほどより低い重み付けを行うことができる。更にまた、部品Ｐは、外縁部の第１領域Ｐ１とこの第１領域Ｐ１と異なる輝度値である第２領域Ｐ２とを含むため、外縁部を検出しにくい複数の輝度値の領域を有する部品Ｐに対して、エッジ位置をより確実に検出することができる。更にまた、実装装置１１は、部品Ｐを採取して基板に配置する実装ヘッド２２と、上述した情報処理装置としての機能を有する制御装置３０を備えるため、実装処理する部品Ｐの外縁部をより確実に検出することができ、部品Ｐの配置などをより確実に行うことができる。
　なお、本明細書で開示する情報処理装置は、上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
　例えば、上述した実施形態では、ＣＰＵ３１は、部品Ｐの外周全体の平均値から基準位置を求めたが、特にこれに限定されず、例えば、部品Ｐの１辺ごとに設定される検出ライン４５のエッジ検出位置を平均してその１辺ごとの基準位置を求めるものとしてもよい。この制御装置３０では、該当する部品の外縁部をより確実に検出することができる。また、ＣＰＵ３１は、部品Ｐの複数の辺ごとに設定される検出ライン４５のエッジ検出位置を平均して該当する辺の基準位置を設定してもよい。この制御装置３０では、同様の辺に対しては複数の辺ごとにまとめた基準位置を用いて、部品Ｐの外縁部を簡便且つ確実に検出することができる。
　上述した実施形態では、ＣＰＵ３１は、１つの部品Ｐに対して１つの関数から求められた重み係数を適用するものとして説明したが、特にこれに限定されず、ＣＰＵ３１は、部品Ｐの辺ごとの検出安定性に基づいて、部品Ｐの複数の辺に対して異なる関数で定義される重み係数を適用するものとしてもよい。図１０は、別の部品ＰＢを撮像した部品画像４０Ｂの説明図である。この部品ＰＢは、部品ＰＢの外周のうち上及び下の辺を有する第１領域Ｐ１は、各辺が直線であり、検出安定性が高い。一方、部品ＰＢの外周のうち右及び左の辺を有する第２領域ＰＢ２は、直線ではなく、凹凸が不規則にあるため、検出安定性が低い。このような部品ＰＢに対しては、ＣＰＵ３１は、検出安定性の高い上下の辺をまとめて基準位置を設定し、左辺及び右辺はそれぞれの辺ごとに基準位置を設定するものとしてもよい。また、左右の辺の外縁部４３，４４に対しては、上下の外縁部４１，４２に比して大きな変数σを用いて重み係数を設定してもよい。この制御装置３０では、複数の関数で設定される重み係数を用いることによって、部品Ｐのエッジ位置を更に確実に検出することができる。
　上述した実施形態では、ＣＰＵ３１は、基準位置を中心とした正規分布の関数で定義される重み係数を用いるものとしたが、特にこれに限定されず、正規分布以外の関数で定義される重み係数を用いてもよい。図１１は、別のエッジ候補位置と重み係数との関係図であり、図１１Ａがリニアな関数で定義された重み係数の一例であり、図１１Ｂが基準位置から離れるほど重みが低くなる傾向に定義された重み係数の一例の説明図である。図１１Ａに示すように、ＣＰＵ３１は、例えば、基準位置を中心としたリニアな関係を有する関数で定義された重み係数を用いるものとしてもよい。あるいは、ＣＰＵ３１は、図１１Ｂに示すように、基準位置から離れても重みが低くならない部分が一部存在することを許容した関数で設定される重み係数を用いるものとしてもよい。ＣＰＵ３１は、検出する部品Ｐに合わせｔ関数で設定される重み係数を適宜用いればよい。また、上述した実施形態では、変数σを用いて、変数σに応じた重み係数を求めるものとしたが、特にこれに限定されず、変数σを固定値としてもよい。この制御装置３０では、重み係数の求め方をより簡素化することができる。また、上述した実施形態では、基準位置に近いとより大きな重み係数を設定し、重み係数を加味した候補値がより大きいものをエッジ位置に選定するものとしたが、特に大小関係はこれに限定されない。例えば、微分ピークを負側にとり、基準位置に近いとより負側に大きい重み係数を設定し、重み係数を加味した候補値がより負側に大きいものをエッジ位置に選定するものとしてもよい。
　上述した実施形態では、第１領域Ｐ１と、第１領域Ｐ１と異なる輝度の第２領域Ｐ２とを有する部品Ｐの外縁部の位置を検出を行うものとしたが、特にこれに限定されず、第１領域及び第２領域のような複数の領域を持たない部品Ｐの外縁部の位置を求めるものとしてもよい。上述した実施形態では、矩形の外周を有する部品Ｐの外縁部の位置を求めるものとしたが、特にこれに限定されず、多角形の外周を有する部品Ｐとしてもよいし、円又は楕円の外周を有する部品Ｐの外縁部の位置を求めるものとしてもよい。このような部品Ｐにおいても、部品Ｐのエッジ位置をより確実に検出することができる。
　上述した実施形態では、ＣＰＵ３１は、部品Ｐの領域と部品Ｐの領域外とを跨ぐ検出ライン４５を設定して部品自体の外縁部の位置を選定するものとしたが、特にこれに限定されない。例えば、ＣＰＵ３１は、部品Ｐが有する特定部位（例えば、端子など）と他の部位（例えば本体など）とを跨ぐ検出ライン４５を設定して部品Ｐの特定部位の外縁部の位置を選定してもよい。図１２は、部品Ｐの特定部位Ｐｓの外縁部を検出する説明図である。図１２は、部品ＰＣの特定部位Ｐｓの外縁部４１Ｃを検出する部品画像４０Ｃの説明図である。部品ＰＣは、バンプである特定部位Ｐｓを複数有している。実装装置１１は、部品ＰＣを実装処理する際にこの特定部位Ｐｓの位置を正確に検出し、基板Ｓ上の端子にバンプを合わせて実装処理する。ＣＰＵ３１は、部品画像４０Ｃにおいて、部品ＰＣが有する特定部位Ｐｓの第１領域ＰＣ１と他の部位（本体）の第２領域ＰＣ２とを跨ぐ検出ライン４５Ｃを設定して、特定部位Ｐｓの外縁部４１Ｃの位置を選定する。そして、この特定部位Ｐｓ上に異物４６が存在すると、特定部位Ｐｓの外縁部４１Ｃを誤って検出する場合がある。ＣＰＵ３１は、上述と同様に、特定部位Ｐｓの外縁部４１Ｃの基準位置を求め、重み係数を加味した候補値を求めて特定部位Ｐｓのエッジ位置を選定する。この制御装置３０においても、部品ＰＣに関する特定部位Ｐｓのエッジ位置をより確実に検出することができる。
　上述した実施形態では、実装ヘッド２２が採取した部品Ｐの外縁部を検出するものとしたが、特にこれに限定されない。例えば、基板Ｓ上に配置された部品Ｐをマークカメラ２４で撮像した撮像画像に対して、部品Ｐの外縁部を検出するものとしてもよい。この場合においても、部品Ｐの外縁部の位置をより正確に求めることができる。
　上述した実施形態では、制御装置３０や実装装置１１として本開示の情報処理装置及び実装装置を説明したが、特にこれに限定されず、情報処理方法としてもよい。また、上述した実施形態では、情報処理装置としての機能を備えた制御装置３０を実装装置１１が備えるものとしたが、部品Ｐを基板Ｓへ実装する処理に関する実装関連装置であれば特に限定されない。例えば、部品Ｐの実装状態を検査する検査部を備えた検査装置、印刷部と実装部とを備えた印刷実装装置、実装部と検査部とを備えた実装検査装置が制御装置３０を備えるものとしてもよい。
　ここで、本開示の情報処理装置、実装装置及び情報処理方法は、以下のように構成してもよい。例えば、本開示の情報処理装置において、前記制御部は、前記部品の１辺ごと、前記部品の複数の辺ごと及び前記部品の外周全体のうち１以上に対して前記基準位置を求めるものとしてもよい。部品は、１辺ごとに輝度値や形状などの検出安定性が異なる場合がある。この情報処理装置では、部品の１辺ごとに基準位置を求める場合は、該当する部品の外縁部をより確実に検出することができ、同様の辺に対しては複数の辺ごとにまとめた基準位置を用いて、部品の外縁部を簡便且つ確実に検出することができ、あるいは外周全体をまとめた基準位置を用いて簡便な処理で部品の外縁部をより確実に検出することができる。
　本開示の情報処理装置において、前記制御部は、前記部品の辺ごとの検出安定性に基づいて、前記部品の１辺又は複数の辺に対して異なる重み係数を用いて前記候補値を求めるものとしてもよい。この情報処理装置では、複数の重み係数を用いることによって、部品の外縁部を更に確実に検出することができる。
　本開示の情報処理装置において、前記制御部は、前記基準位置を中心とした正規分布の前記重み係数を用いるものとしてもよい。この情報処理装置では、正規分布を用いて基準位置に近いほどより高く基準位置から離れるほどより低い重み付けを行うことができる。
　本開示の情報処理装置において、前記部品は、前記外縁部を含む第１領域と該第１領域と異なる輝度値である第２領域とを含むものとしてもよい。この情報処理装置では、外縁部を検出しにくい複数の輝度値の領域を有する部品に対して、外縁部をより確実に検出することができる。
　本開示の実装装置は、部品を採取して基板に配置する実装ヘッドと、上述したいずれかに記載の情報処理装置と、を備えたものである。この実装装置は、上述した情報処理装置を備えるため、実装処理する部品の外縁部をより確実に検出することができ、部品の配置などをより確実に行うことができる。
　本開示の情報処理方法は、
　部品を採取して基板に配置する実装装置に用いられる情報処理方法であって、
（ａ）前記部品を含む撮像画像を取得し、取得した前記撮像画像に対し前記部品の輝度差を検出する検出ラインを前記部品に複数設定するステップと、
（ｂ）前記ステップ（ａ）で設定した複数の前記検出ラインから外縁部の基準位置を求め、該基準位置から離れるほど重みが低くなる傾向の所定の重み係数を用い前記検出ライン上に存在する１以上の前記外縁部の候補に対し前記重み係数を加味した候補値を求めるステップと、
（ｃ）前記ステップ（ｂ）で求めた該候補値に基づいて該検出ライン上に存在する前記外縁部の位置を選定するステップと、
　を含むものである。
　この情報処理方法は、上述した情報処理装置と同様に、多数の部品外縁部の候補が存在するような場合でも、複数の検出ラインから求めた基準位置に基づいて重み係数を加味してその検出ラインの外縁部の位置を選定するため、正当な位置から外れて検出される候補が一部に存在しても、部品の外縁部をより確実に検出することができる。なお、この情報処理方法において、上述した情報処理装置の種々の態様を採用してもよいし、また、上述した情報処理装置の各機能を実現するようなステップを追加してもよい。
　本開示の情報処理装置や実装装置は、部品を採取、配置などの処理を行う装置の技術分野に利用可能である。
１０　実装システム、１１　実装装置、１２　基板処理部、１４　部品供給部、１６　パーツカメラ、２０　実装部、２１　ヘッド移動部、２２　実装ヘッド、２３　吸着ノズル、２４　マークカメラ、３０　制御部、３１　ＣＰＵ、３２　記憶部、３５　管理ＰＣ、４０，４０Ｂ，４０Ｃ　部品画像、４１～４４，４１Ｃ　外縁部、４５，４５Ｃ　検出ライン、４６　異物、Ｐ，ＰＢ，ＰＣ　部品、Ｐ１，ＰＢ１，ＰＣ１　第１領域、Ｐ２，ＰＢ２，ＰＣ２　第２領域、Ｐｓ　特定部位、Ｓ　基板。

Claims (7)

  1. 　部品を採取して基板に配置する実装装置に用いられる情報処理装置であって、
    　前記部品を含む撮像画像を取得し、取得した前記撮像画像に対し前記部品の輝度差を検出する検出ラインを前記部品に複数設定し、複数の前記検出ラインから外縁部の基準位置を求め、該基準位置から離れるほど重みが低くなる傾向の所定の重み係数を用い前記検出ライン上に存在する１以上の前記外縁部の候補に対し前記重み係数を加味した候補値を求め、求めた該候補値に基づいて該検出ライン上に存在する前記外縁部の位置を選定する制御部、
    　を備えた情報処理装置。
  2. 　前記制御部は、前記部品の１辺ごと、前記部品の複数の辺ごと及び前記部品の外周全体のうち１以上に対して前記基準位置を求める、請求項１に記載の情報処理装置。
  3. 　前記制御部は、前記部品の辺ごとの検出安定性に基づいて、前記部品の１辺又は複数の辺に対して異なる重み係数を用いて前記候補値を求める、請求項１又は２に記載の情報処理装置。
  4. 　前記制御部は、前記基準位置を中心とした正規分布の前記重み係数を用いる、請求項１～３のいずれか１項に記載の情報処理装置。
  5. 　前記部品は、前記外縁部を含む第１領域と該第１領域と異なる輝度値である第２領域とを含む、請求項１～４のいずれか１項に記載の情報処理装置。
  6. 　部品を採取して基板に配置する実装ヘッドと、
    　請求項１～５のいずれか１項に記載の情報処理装置と、
    　を備えた実装装置。
  7. 　部品を採取して基板に配置する実装装置に用いられる情報処理方法であって、
    （ａ）前記部品を含む撮像画像を取得し、取得した前記撮像画像に対し前記部品の輝度差を検出する検出ラインを前記部品に複数設定するステップと、
    （ｂ）前記ステップ（ａ）で設定した複数の前記検出ラインから外縁部の基準位置を求め、該基準位置から離れるほど重みが低くなる傾向の所定の重み係数を用い前記検出ライン上に存在する１以上の前記外縁部の候補に対し前記重み係数を加味した候補値を求めるステップと、
    （ｃ）前記ステップ（ｂ）で求めた該候補値に基づいて該検出ライン上に存在する前記外縁部の位置を選定するステップと、
    　を含む情報処理方法。
PCT/JP2019/037450 2019-09-25 2019-09-25 情報処理装置、実装装置及び情報処理方法 WO2021059374A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021548024A JP7384916B2 (ja) 2019-09-25 2019-09-25 情報処理装置及び実装装置
CN201980099813.1A CN114287021A (zh) 2019-09-25 2019-09-25 信息处理设备、安装设备以及信息处理方法
US17/762,546 US20230237667A1 (en) 2019-09-25 2019-09-25 Information processing device, mounting device, and information processing method
PCT/JP2019/037450 WO2021059374A1 (ja) 2019-09-25 2019-09-25 情報処理装置、実装装置及び情報処理方法
EP19947245.7A EP4036853A4 (en) 2019-09-25 2019-09-25 INFORMATION PROCESSING DEVICE, MOUNTING DEVICE AND INFORMATION PROCESSING METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/037450 WO2021059374A1 (ja) 2019-09-25 2019-09-25 情報処理装置、実装装置及び情報処理方法

Publications (1)

Publication Number Publication Date
WO2021059374A1 true WO2021059374A1 (ja) 2021-04-01

Family

ID=75164859

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/037450 WO2021059374A1 (ja) 2019-09-25 2019-09-25 情報処理装置、実装装置及び情報処理方法

Country Status (5)

Country Link
US (1) US20230237667A1 (ja)
EP (1) EP4036853A4 (ja)
JP (1) JP7384916B2 (ja)
CN (1) CN114287021A (ja)
WO (1) WO2021059374A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09128547A (ja) * 1995-11-01 1997-05-16 Matsushita Electric Ind Co Ltd 実装部品検査装置
JPH1166326A (ja) * 1997-08-22 1999-03-09 Matsushita Electric Ind Co Ltd パターン認識方法及びその装置
JP2009128959A (ja) * 2007-11-20 2009-06-11 Fujitsu Ltd 画像の特徴抽出方法
JP2010067247A (ja) 2008-08-09 2010-03-25 Keyence Corp 画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110463377B (zh) * 2017-03-29 2021-08-31 株式会社富士 安装装置及信息处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09128547A (ja) * 1995-11-01 1997-05-16 Matsushita Electric Ind Co Ltd 実装部品検査装置
JPH1166326A (ja) * 1997-08-22 1999-03-09 Matsushita Electric Ind Co Ltd パターン認識方法及びその装置
JP2009128959A (ja) * 2007-11-20 2009-06-11 Fujitsu Ltd 画像の特徴抽出方法
JP2010067247A (ja) 2008-08-09 2010-03-25 Keyence Corp 画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4036853A4

Also Published As

Publication number Publication date
EP4036853A1 (en) 2022-08-03
EP4036853A4 (en) 2022-10-05
CN114287021A (zh) 2022-04-05
JPWO2021059374A1 (ja) 2021-04-01
JP7384916B2 (ja) 2023-11-21
US20230237667A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
EP3307041B1 (en) Component mounting machine
JP7365376B2 (ja) 実装装置及び検出方法
EP3451812A1 (en) Substrate work machine
US10932401B2 (en) Component mounting machine
CN110637508B (zh) 测定位置决定装置
WO2021059374A1 (ja) 情報処理装置、実装装置及び情報処理方法
JP6674705B2 (ja) 画像認識装置
WO2021144981A1 (ja) 検査装置及び検査方法
JP6902603B2 (ja) 実装装置及び情報処理方法
JP6892552B2 (ja) 部品装着装置
JP6980096B2 (ja) 実装装置
CN111656884B (zh) 安装装置、信息处理装置及安装方法
JP7148708B2 (ja) 分析装置
WO2024057415A1 (ja) 検査装置及び検査方法
WO2023100247A1 (ja) 検査装置および検査方法
JP2017157765A (ja) 制御データのキャリブレーション方法及び部品実装装置
WO2020148901A1 (ja) 部品実装装置
JP6620057B2 (ja) 部品実装装置および部品実装装置の被計測物の高さ取得方法
JP2023152382A (ja) 画像処理装置および部品実装機並びに画像処理方法
JP2024024767A (ja) 部品実装装置及び部品の吸着状態検査方法
JP2022107194A (ja) 撮像装置及び基板作業装置
WO2018127977A1 (ja) 部品実装機
JP2019074488A (ja) 部品回転角度検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19947245

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021548024

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019947245

Country of ref document: EP

Effective date: 20220425