WO2020183698A1 - 対象体判定方法、対象体判定装置 - Google Patents

対象体判定方法、対象体判定装置 Download PDF

Info

Publication number
WO2020183698A1
WO2020183698A1 PCT/JP2019/010535 JP2019010535W WO2020183698A1 WO 2020183698 A1 WO2020183698 A1 WO 2020183698A1 JP 2019010535 W JP2019010535 W JP 2019010535W WO 2020183698 A1 WO2020183698 A1 WO 2020183698A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
recognition
brightness
target
points
Prior art date
Application number
PCT/JP2019/010535
Other languages
English (en)
French (fr)
Inventor
賢志郎 西田
秀一郎 鬼頭
恵市 小野
Original Assignee
株式会社Ｆｕｊｉ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｆｕｊｉ filed Critical 株式会社Ｆｕｊｉ
Priority to JP2021505449A priority Critical patent/JP7097504B2/ja
Priority to CN201980093731.6A priority patent/CN113545185B/zh
Priority to EP19918681.8A priority patent/EP3941176A4/en
Priority to PCT/JP2019/010535 priority patent/WO2020183698A1/ja
Publication of WO2020183698A1 publication Critical patent/WO2020183698A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines

Definitions

  • the present disclosure relates to an object determination method and an object determination device for determining whether or not a recognition body is an object.
  • Patent Document 1 describes the average value of the brightness of a plurality of points located in the first region including a temporary center point inside the recognized image and the first one for the recognized image included in the captured image captured by the imaging device.
  • the average value of the brightness of a plurality of points located in the second area around the area is acquired, the average value of the brightness of the first area is higher than the first threshold value, and the average value of the brightness of the second area is obtained.
  • the first threshold value and the second threshold value are fixed values, which are acquired and stored in advance.
  • An object of the present disclosure is to make it possible to determine whether or not the recognition image included in the captured image is a target image corresponding to the target body.
  • the recognition image corresponds to the object based on the comparison result between the brightness of at least one point located inside the recognition image included in the captured image and the brightness of the edge of the recognition image. Whether or not it is a target image is determined. For example, when the object is brighter than the circuit board, at least one point located inside the target image is brighter than the brightness of the edge of the target image. On the other hand, when at least one point located inside the recognition image is darker than the brightness of the edge of the recognition image, it is determined that the recognition image is not the target image, and at least one point located inside the recognition image is determined. When the point is brighter than the brightness of the edge, it can be determined to be the target image.
  • the inside of the recognition image can be an outline that defines the recognition image, that is, a part surrounded by edges.
  • the recognition image may be a virtual image, but in that case, the recognition body corresponding to the recognition image does not actually exist, and it is determined that the recognition image is not the target image.
  • the recognition body and the target body can be a pattern formed on the circuit board, a component mounted on the circuit board, or the like.
  • the target body can be a reference mark formed on the circuit board or an appropriate component mounted on the circuit board.
  • a proper part is a part that is predetermined to be mounted at that position on the circuit board, but a part that is proper and is mounted in the correct state is defined as an object. Sometimes referred to.
  • the correct state is, for example, a state in which the front surface is located on the upper surface, not a state in which the back surface is located on the upper surface.
  • the mounting machine to which the object determination device according to the first embodiment of the present disclosure is connected is shown. It is a side view which shows the said mounting machine. It is a side view (partial cross section) which shows the main part of the mounting machine in an enlarged manner. It is a side view which shows the epi-illumination device of the said mounting machine. It is a figure which conceptually shows the periphery of the control device which controls the mounting machine, and the object determination device. (6A) It is a top view which shows the said circuit board. (6B) It is an image A of the region R of the circuit board. (7A) It is a mark image included in the said image A. (7B) It is a figure which shows the luminance distribution inside the mark image.
  • (8A) It is a top view of the recognition image included in the said image A.
  • (8B) It is a figure which shows the luminance distribution inside the recognition image. It is a figure which shows another example of the luminance distribution of the said mark image. It is a figure which shows another example of the luminance distribution of the said recognition image.
  • the object determination device according to the embodiment of the present disclosure and the mounting machine to which the object determination device is connected will be described in detail with reference to the drawings.
  • the object determination method according to the embodiment of the present disclosure is implemented.
  • reference numeral 12 indicates a base as the main body of the mounting machine 10.
  • a substrate transfer device 16 that conveys a circuit board (hereinafter abbreviated as a substrate) 14 in the X direction, a substrate holding device 18 that holds the substrate 14, and electronic circuit components 20 on the substrate 14 (see FIG. 3).
  • a component mounting device 22 for mounting the component (hereinafter abbreviated as component 20) and a component supply device 24 for supplying the component 20 to the component mounting device 22 are provided.
  • a reference mark M is provided on the substrate 14.
  • the width direction of the substrate 14 is the Y direction, and the vertical direction is the Z direction.
  • the X, Y, and Z directions are orthogonal to each other.
  • the parts supply device 24 may include, for example, a plurality of tape feeders 30.
  • the component mounting device 22 conveys the component 20 by the component holding head 40 shown in FIG. 3 and mounts the component 20 on the upper surface of the substrate 14.
  • the component mounting device 22 includes a head moving device 41 that moves the component holding head 40 to an arbitrary position in a horizontal plane that is a plane parallel to the XY coordinate plane, and the head moving device 41 includes an X. It includes a slide 42, an X slide moving device 44 (see FIG. 1), a Y slide 46, a Y slide moving device 48, and the like.
  • the X-slide moving device 44 moves the X-slide 42 in the X direction.
  • the Y slide 46 is provided on the X slide 42, and the Y slide moving device 48 relatively moves the Y slide 46 on the X slide 42 in the Y direction.
  • a component holding head 40, a reference mark camera 54 (see FIG. 1), an annular lighting device 56 (see FIG. 4), and an epi-illumination device 58 are integrally movably attached to the Y-slide 46.
  • the component holding head 40 includes, for example, a suction nozzle 50. In the suction nozzle 50, the component 20 is sucked by the negative pressure and mounted on the substrate 14 by releasing the negative pressure.
  • the reference mark camera 54 is an imaging device that images the reference mark M and the like formed on the substrate 14, and in this embodiment, it is composed of a CCD camera. As shown in FIG. 4, the annular lighting device 56 irradiates the periphery of the reference mark camera 54 with light to illuminate the reference mark M of the substrate 14 and a portion around the reference mark M.
  • the epi-illumination device 58 includes a half mirror 60, a light source 64 including a halogen lamp 62, and the like.
  • the half mirror 60 is provided below the reference mark camera 54 at an angle of 45 degrees with respect to the optical axis of the reference mark camera 54. Light is emitted from the light source 64 in the horizontal direction to the half mirror 60, and is reflected vertically downward.
  • Reference numeral 66 indicates non-reflective paper. The non-reflective paper 66 absorbs the light transmitted through the half mirror 60.
  • either the annular lighting device 56 or the epi-illumination device 58 is selectively used.
  • the mounting machine 10 includes a mounting machine control unit 80 shown in FIG.
  • the mounting machine control unit 80 is mainly composed of a computer, and an X slide moving device 44, a Y slide moving device 48, etc. are connected to an input / output unit (not shown) via a drive circuit 81, and the mounting machine control unit 80 is connected to the input / output unit (not shown).
  • the object determination device 82, the reference mark camera 54, and the like are connected.
  • the object determination device 82 is mainly composed of a computer, and includes a brightness acquisition unit 92 that acquires the brightness of a plurality of points included in the captured image captured by the reference mark camera 54, and a brightness acquisition unit 92 included in the captured image.
  • the target image determination unit 94 that determines whether or not at least one of the one or more recognition images is the target image is included.
  • a reference mark camera 54, an input device 84, a display 86, and the like are connected to an input / output unit (not shown) of the object determination device 82.
  • the mounting work of the component 20 on the board 14 is performed.
  • the substrate 14 is conveyed to a predetermined working position by the substrate conveying device 16, and is positioned and held by the substrate holding device 18.
  • the reference mark camera 54 is positioned at a predetermined reference mark imaging position, and images the reference mark M or the like provided on the substrate 14. By image processing of the captured image, the position of the reference mark M is acquired, and the position error of the substrate 14 is acquired.
  • the component holding head 40 receives the component 20 from the feeder 30 and is moved to a predetermined position on the substrate 14, that is, a position corrected based on the position error, and mounts the component 20.
  • the image processing of the captured image obtained by the imaging of the reference mark camera 54 is performed by the object determination device 82.
  • the reference mark camera 54 images the setting area R including the reference mark M on the substrate 14, thereby acquiring the captured image A as shown in FIG. 6B.
  • recognition bodies such as a reference mark M, a lead wire insertion portion B, and wiring are formed on the substrate 14, recognition images Ns1, Ns2, and Ns3, which are a plurality of recognizable images, are formed in the captured image A. ... etc. are included.
  • recognition images Ns1, Ns2, Ns3, etc. are included.
  • the generic names may be simply referred to as recognition images Ns.
  • a plurality of recognition images Ns are acquired by image processing on the captured image A, and each of the plurality of recognition images Ns is a mark image Ms which is a target image. It is determined whether or not. As a result, the mark image Ms is specified from the plurality of recognition images Ns, the position of the reference mark M is acquired, and the position error of the substrate 14 is acquired.
  • the edge E is first acquired, and the size of the recognition image Ns (for example, the length of the diameter) is acquired. Then, the length of each diameter of the plurality of recognized images Ns is compared with the length of the diameters of the known mark images Ms. For example, an image in which the absolute value of these differences is smaller than the set value is regarded as a candidate image. .. Further, the brightness T of the edge E is acquired and stored for each of the recognized images Ns.
  • the brightness T (i) of a plurality of points P (i) located inside the candidate image is acquired for each of the recognized images Ns as a candidate image, and each is compared with the brightness T of the edge E. Will be done. Based on the comparison result, it is determined whether or not the recognition image Ns, which is the candidate image, is the mark image Ms, respectively.
  • the reference mark M is whiter and brighter than the substrate 14.
  • the brightness T (i) of each of the plurality of points P (i) located inside the mark image Ms is larger than the brightness Tm of the edge Em, which is the boundary between the mark image Ms and the image representing the substrate 14. ..
  • the brightness Tm of the edge Em is based on the brightness Tma of the plurality of edge points Emma where the change gradient of each brightness on the plurality of seek lines Cm provided substantially orthogonal to the edge in the mark image Ms is the maximum point. It is decided.
  • the brightness Tma of each of the plurality of edge points Ema can be statistically processed, for example, the average value can be the brightness Tm of the edge Em.
  • the brightness of the point on the captured image A is acquired by the brightness acquisition unit 92.
  • the plurality of points P (i) located inside the mark image Ms are provided substantially along the diameter Dm of the mark image Ms. This is because the diameter Dm passes through the central portion, which is a characteristic portion of the mark image Ms.
  • the lead wire insertion portion B includes a land 110 and a hole (which can also be referred to as a through hole) 112.
  • the land 110 is brighter than the substrate 14, and the hole 112 is darker than the substrate 14. Therefore, as shown in FIGS. 8A and 8B, in the central portion (the portion including the center point of the insertion portion image Bs) among the plurality of points inside the insertion portion image Bs which is the recognition image representing the lead wire insertion portion B.
  • the brightness of the located point P (i1) is smaller than the brightness Tb of the edge Eb of the inserted image Bs, but the brightness of the point P (i2) located in the peripheral portion around the central portion is lower than the brightness Tb of the edge Eb. large.
  • the brightness Tb of the edge Eb is similarly acquired based on the brightness Tba of the plurality of edge points Eba acquired based on the change in the brightness along the plurality of seek lines Cb provided in the insertion portion image Bs.
  • the recognition image Ns can be determined to be the mark image Ms. For example, it is considered that only a low luminance point exists inside the reference mark M due to scratches or foreign matter adhering to the inside.
  • the luminance T (i) for each of the plurality of points P (i) located along substantially the diameter inside each of the recognition images Ns which are candidate images is the luminance acquisition unit. Obtained by 92, the respective luminance T (i) and the luminance T of the edge E of the recognized image Ns are compared, and it is determined whether or not the recognized image Ns is the mark image Ms based on the comparison result. Specifically, in each of the recognized images Ns, the brightness T of the edge E is set as the threshold value, and a plurality of points P (i) inside the number of points P (i) whose brightness T (i) is equal to or less than the threshold value. When the ratio to the number of points P (i) is equal to or less than the set ratio, it is determined that the recognition image Ns is the mark image Ms.
  • each of the recognized images Ns is a mark image Ms is determined by executing the mark image determination program represented by the flowchart of FIG.
  • step 1 a plurality of points P (i) are set for each of the recognition images Ns along substantially the diameter, and a plurality of points P ( The brightness T (i) in each of i) is acquired.
  • S2 the luminance T of the edge E of the recognition image Ns is read, and in S3, the luminance T of the edge E is set to the threshold value H.
  • S4 it is determined whether or not each of the luminance T (i) of the plurality of points P (i) located inside the recognition image Ns is larger than the threshold value H. For example, the number Ca of the high-luminance points P where the luminance T (i) is larger than the threshold value H and the number Cb of the low-luminance points P where the luminance T (i) is below the threshold value H are respectively. It is counted in S5 and S6. In S7, it is determined whether or not the comparison with the threshold value H is completed for all of the plurality of points P (i). If the determination result is NO, S4 to 7 are repeatedly executed.
  • the recognition images Ns1 and Ns2 are used as candidate images, the brightness of each of the plurality of points P (i) set along the diameter Dm in the recognition image Ns1 as shown in FIGS. 7A and 7B. T (i) is larger than the brightness Tm of the edge Em. Therefore, the ratio ⁇ of the number of low-luminance points to the total number of points is the set ratio ⁇ th or less, and the recognition image Ns1 is determined to be the mark image Ms.
  • the recognition image Ns2 As shown in FIGS. 8A and 8B, a plurality of points P (i) are set substantially along the diameter Db, and the luminance T (i) is acquired for each, but the center.
  • the brightness of the plurality of points P (i1) located in the portion is smaller than the brightness Tb of the edge Eb. Therefore, the ratio ⁇ of the number of low-luminance points to the total number of points becomes larger than the set ratio ⁇ th, and it is determined that the recognition image Ns2 is not the mark image Ms.
  • the comparison result between the brightness of the point P (i) located at the center of the plurality of points P (i) and the brightness T of the edge E is The mark image Ms and the recognition image Ns2 are different. Therefore, the central portion of the mark image Ms is used as the feature portion. This feature portion can also be considered as a feature portion of the insertion portion image Bs.
  • the low-luminance points are designated as specific points, and it is determined whether or not the recognition image Ns is the mark image Ms based on the ratio of the number of specific points to the total number of points. Therefore, although the sizes are almost the same, the insertion portion image Bs (Ns2) corresponding to the lead wire insertion portion B having the hole 112 can be erroneously determined to be the mark image Ms, and a plurality of recognitions can be made.
  • the mark image Ms can be satisfactorily specified from the image Ns.
  • the brightness of the plurality of points P (i) included in the recognition image Ns often changes depending on the lighting condition, and the brightness T of the edge E is not always constant.
  • the brightness T (i) of the plurality of points P (i) inside the recognition image Ns which is the candidate image is obtained.
  • the threshold value H which is the brightness T of the edge E. Therefore, whether or not the brightness T (i) of the plurality of points P (i) located inside the recognition image Ns is larger than the brightness T of the edge E as compared with the case where the threshold value H is set to a fixed value. It can be obtained accurately.
  • Whether or not the recognition image Ns is the mark image Ms can be determined by executing the mark image determination program represented by the flowchart of FIG. In this embodiment, it is determined whether or not the recognition image Ns is the mark image Ms based on the position of the point where the brightness of the recognition image Ns is equal to or less than the threshold value H.
  • the steps in which the same execution as that of the program represented by the flowchart of FIG. 11 is performed are assigned the same step numbers and the description thereof will be omitted.
  • S4 it is determined whether or not the brightness T (i) of each of the plurality of points P (i) located inside the recognition image Ns is larger than the threshold value H, and the determination result of S4 is used. Based on this, in S21 and 22, the high-luminance point P (jh) and the low-luminance point P (jd) are stored, respectively. Then, in S24, the distribution of the low-luminance point P (jd) is acquired, and in S25, whether or not the low-luminance point P (jd) is located in the central portion (the portion including the center point O) of the recognition image Ns. Is determined. If the determination result is YES, it is determined in S26 that the recognition image Ns is not the mark image Ms, and if the determination result is NO, it is determined in S27 that the recognition image Ns is the mark image Ms. To.
  • the recognition image Ns1 there is no low-luminance point P (id).
  • the recognition image Ns2 as shown in FIG. 13, low-luminance points P (id) are gathered in the central portion of the recognition image Ns2. Therefore, it is determined that the recognition image Ns1 is the mark image Ms, and the recognition image Ns2 is not the mark image Ms.
  • the low-luminance point P (id) is set as a specific point, and it is determined whether or not the recognition image Ns is the mark image Ms based on the distribution of the specific points. Therefore, it is possible to satisfactorily determine whether or not the recognition image Ns represents the recognition body B having the hole 112, and it is possible to make it difficult for the insertion portion image Bs to be erroneously determined to be the mark image Ms. ..
  • the high-luminance point P (ih) it is also possible to acquire the distribution of the high-luminance point P (ih) with the high-luminance point P (ih) as a specific point. In that case, if the high-luminance point P (ih) exists in both the central portion and the peripheral portion, it is determined that the recognition image is the mark image Ms, and the high-luminance point P (ih) located in the central portion is determined. ) Is very small, it can be determined that the recognized image is not the mark image Ms.
  • the target image determination unit 94 is configured by the part to be executed and the like. Further, among the mark image determination programs represented by the flowchart of FIG. 11 (or the mark image determination program represented by the flowchart of FIG. 12), S1 corresponds to the luminance acquisition step, and S4, S6 (or S4, S22). Corresponds to the specific point acquisition process. Further, S8 of the mark image determination programs represented by the flowchart of FIG.
  • the reference mark M is the target body.
  • the recognition image Ns is not a mark image. Can be determined. An example of such a case is shown in FIG. In the insertion portion image Bs, as shown in FIG.
  • a plurality of points P (i) are provided along the diameter Db, and the brightness of each of the plurality of points P (i) is acquired, but one of the diameters Db. From one end to the other, the brightness increases and then decreases, then increases and then decreases.
  • the luminance T (i) of each of the plurality of points P (i) located inside the recognition image Ns is acquired, in S32 the luminance distribution, that is, the pattern is acquired, and in S33 the obtained pattern is acquired. Is the same as the insertion portion pattern. If the determination result is YES, it is determined in S34 that the recognition image Ns is not the mark image Ms, and if the determination result is NO, it is determined in S35 that the recognition image Ns is the mark image Ms. Will be done.
  • S32 corresponds to the luminance distribution acquisition step.
  • a portion darker than the surface of the substrate 14 can be used as a reference mark.
  • the color of the surface of the substrate 14 is not limited to green, and may be brighter than that.
  • the brightness T (i) of each of the plurality of points P (i) located inside the mark image is smaller than the brightness T of the edge E of the mark image, but is the same as in the above embodiment.
  • the component mounted on the substrate 14 is a proper product (which originally means a component that should be mounted at that position) and is mounted in the correct state (originally, the upper surface). Whether or not the surface other than the surface is the upper surface) is the brightness T (i) of a plurality of points P (i) located inside the recognition image representing the component mounted on the substrate included in the captured image. The determination is made based on the comparison result of the edge E of the recognized image with the brightness T.
  • FIG. 15A shows a proper image Ng which is a recognition image when a proper product having a surface darker than the substrate 14 is mounted in a correct state (the surface is on the upper surface).
  • the luminance T (i) of the plurality of points P (i) located inside the proper image Ng is smaller than the luminance Tg of the edge Eg of the proper image Ng.
  • FIG. 15B shows another part image Nj which is a recognition image of another part different from the proper product.
  • the brightness T (i) of the plurality of points P (i) located inside the separate part image Nj is larger than the brightness Tj of the edge Ej of the separate part image Nj.
  • FIG. 15C shows a back state image Nf which is a recognition image showing a component which is a proper product but is mounted upside down.
  • the brightness of the point P (i2) located at the center of the plurality of points P (i) is larger than the brightness Tf of the edge Ef of the back state image Nf and is in the center.
  • the brightness of the point P (i1) located in the peripheral portion around the portion is smaller than the brightness Tf of the edge Ef.
  • the target image determination program represented by the flowchart of FIG. 16 is executed.
  • the steps in which the same execution as those of the flowcharts of FIGS. 11 and 12 are performed are assigned the same step numbers and the description thereof will be omitted.
  • each luminance T (i) of the plurality of points P (i) is compared with the threshold value H, and when it is larger than the threshold value H, the number of high luminance points is counted in S5 and S21. At the same time, the position is memorized. When the threshold value is H or less, the number of low-luminance points is counted and the position is stored in S6 and 22.
  • the ratio ⁇ 'to the total number C of the number Ca of high-luminance points, which is a specific point is acquired, and in S41, the distribution of high-luminance points P (jh) is acquired.
  • the present disclosure can also be applied to an inspection method for inspecting whether or not the parts mounted on the substrate 14 are proper products and whether or not they are mounted in the correct state.
  • the determination as to whether or not the recognized image is the target image is performed based on the captured image A acquired by the reference mark camera 54 provided in the mounting machine 10
  • it can be performed based on the captured image acquired by the inspection camera 202 provided in the inspection machine 200.
  • the object determination device 204 is connected to the inspection machine 200, and the inspection camera 202 is connected to the object determination device 204. In this embodiment as well, it is possible to similarly determine whether or not the recognized image is the target image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

本開示の課題は、撮像画像に含まれる認識画像が対象体に対応する対象画像であるか否かを判定可能とすることである。　本対象体判定方法においては、撮像画像に含まれる認識画像の内部に位置する少なくとも１つの点の輝度と認識画像のエッジの輝度との比較結果に基づいて、認識画像が対象体に対応する対象画像であるか否かが判定される。例えば、対象体が回路基板より明るいものである場合には、対象画像の内部に位置する少なくとも１つの点は対象画像のエッジの輝度より明るい。それに対して、認識画像の内部に位置する少なくとも１つの点が、認識画像のエッジの輝度より暗い場合には、認識画像は対象画像ではないと判定することができる。

Description

対象体判定方法、対象体判定装置
　本開示は、認識体が対象体であるか否かを判定する対象体判定方法、対象体判定装置に関するものである。
　特許文献１には、撮像装置によって撮像された撮像画像に含まれる認識画像について、認識画像の内部の仮の中心点を含む第１領域に位置する複数の点の輝度の平均値と、第１領域の周辺の第２領域に位置する複数の点の輝度の平均値とを取得し、第１領域の輝度の平均値が第１しきい値より高く、かつ、第２領域の輝度の平均値が第１しきい値より小さい第２しきい値以下である場合に、仮の中心点を真の中心点とする中心位置取得方法が記載されている。また、第１しきい値、第２しきい値は固定値であり、予め取得されて、記憶されている。
特開２００７－２７３５１９号公報
開示の概要
開示が解決しようとする課題
　本開示の課題は、撮像画像に含まれる認識画像が対象体に対応する対象画像であるか否かを判定可能とすることである。
課題を解決するための手段および効果
　本対象体判定方法においては、撮像画像に含まれる認識画像の内部に位置する少なくとも１つの点の輝度とその認識画像のエッジの輝度との比較結果に基づいて、認識画像が対象体に対応する対象画像であるか否かが判定される。例えば、対象体が回路基板より明るいものである場合には、対象画像の内部に位置する少なくとも１つの点はその対象画像のエッジの輝度より明るい。それに対して、認識画像の内部に位置する少なくとも１つの点がその認識画像のエッジの輝度より暗い場合には、認識画像は対象画像ではないと判定され、認識画像の内部に位置する少なくとも１つの点がエッジの輝度より明るい場合には対象画像であると判定されるようにすることができる。
　認識画像の内部とは、認識画像を規定する外形線、すなわち、エッジで囲まれた部分とすることができる。対象画像についても同様である。また、認識画像は虚像である場合があるが、その場合には、認識画像に対応する認識体は実在せず、認識画像は対象画像ではないと判定される。さらに、認識体、対象体は、回路基板に形成されたパターンとしたり、回路基板に装着された部品としたりすること等ができる。また、対象体は、回路基板に形成された基準マークとしたり、回路基板に装着される適正な部品としたりすることができる。適正な部品とは、回路基板のその位置に装着されることが予め決められている部品である適正品であるが、適正品であって、かつ、正しい状態で装着された部品を対象体と称する場合もある。正しい状態とは、例えば、裏面が上面に位置する状態ではなく表面が上面に位置する状態をいう。
本開示の実施例１に係る対象体判定装置が接続された実装機を示す。 上記実装機を示す側面図である。 上記実装機の要部を拡大して示す側面図（一部断面）である。 上記実装機の落射照明装置を示す側面図である。 上記実装機を制御する制御装置、対象体判定装置の周辺を概念的に示す図である。 （６Ａ）上記回路基板を示す平面図である。(６Ｂ)上記回路基板の領域Ｒの画像Ａである。 （７Ａ）上記画像Ａに含まれるマーク画像である。（７Ｂ）上記マーク画像の内部の輝度分布を示す図である。 （８Ａ）上記画像Ａに含まれる認識画像の平面図である。（８Ｂ）上記認識画像の内部の輝度分布を示す図である。 上記マーク画像の輝度分布の別の一例を示す図である。 上記認識画像の輝度分布の別の一例を示す図である。 上記対象体判定装置の記憶部に記憶されたマーク画像判定プログラムを表すフローチャートである。 上記対象体判定装置の記憶部に記憶された別のマーク画像判定プログラムを表すフローチャートである。 特定点の分布を概念的に示す図である。 上記対象体判定装置の記憶部に記憶されたさらに別のマーク画像判定プログラムを表すフローチャートである。 （１５Ａ～１５Ｃ）本開示の実施例２に係る対象体判定装置により判定される認識画像を示す図である。 上記対象体判定装置の記憶部に記憶された対象画像判定プログラムを表すフローチャートである。 本開示の実施例３に係る対象体判定装置の周辺を概念的に示す図である。
本開示の実施形態
　本開示の一実施形態である対象体判定装置と、対象体判定装置が接続された実装機とについて、図面に基づいて詳細に説明する。対象体判定装置においては本開示の一実施形態である対象体判定方法が実施される。
　図１において、符号１２は実装機１０の本体としてのベースを示す。ベース１２上には、回路基板（以下、基板と略称する）１４をＸ方向に搬送する基板搬送装置１６、基板１４を保持する基板保持装置１８，基板１４に電子回路部品２０（図３参照。以下、部品２０と略称する）を装着する部品装着装置２２および部品装着装置２２に部品２０を供給する部品供給装置２４等が設けられている。基板１４には、基準マークＭが設けられる。なお、基板１４の幅方向をＹ方向、上下方向をＺ方向とする。Ｘ方向、Ｙ方向、Ｚ方向は互いに直交する。
　部品供給装置２４は、例えば、複数のテープフィーダ３０を含むものとすることができる。
　部品装着装置２２は、図３に示す部品保持ヘッド４０により部品２０を搬送し、基板１４の上面に装着するものである。図１に示すように、部品装着装置２２は、部品保持ヘッド４０をＸＹ座標面に平行な平面である水平面内の任意の位置へ移動させるヘッド移動装置４１を含み、ヘッド移動装置４１は、Ｘスライド４２，Ｘスライド移動装置４４（図１参照），Ｙスライド４６およびＹスライド移動装置４８等を含む。Ｘスライド移動装置４４は、Ｘスライド４２をＸ方向に移動させる。Ｙスライド４６はＸスライド４２に設けられ、Ｙスライド移動装置４８は、Ｙスライド４６をＸスライド４２においてＹ方向に相対移動させる。
　Ｙスライド４６には、部品保持ヘッド４０、基準マークカメラ５４（図１参照）、環状照明装置５６（図４参照）、落射照明装置５８が一体的に移動可能に取り付けられる。
　部品保持ヘッド４０は、例えば、吸着ノズル５０を含む。吸着ノズル５０において、部品２０が負圧により吸着され、負圧の開放により基板１４に装着される。
　基準マークカメラ５４は、基板１４に形成された基準マークＭ等を撮像する撮像装置であり、本実施例においては、ＣＣＤカメラにより構成されている。
　環状照明装置５６は、図４に示すように、基準マークカメラ５４の周囲に光を照射して、基板１４の基準マークＭおよびその周辺の部分を照明するものである。
　落射照明装置５８は、ハーフミラー６０、ハロゲンランプ６２を備えた光源６４等を含む。ハーフミラー６０は、基準マークカメラ５４の下方に、基準マークカメラ５４の光軸に対して４５度傾斜して設けられている。ハーフミラー６０には光源６４から水平方向に光が照射され、垂直に下方へ反射される。符号６６は無反射紙を示す。無反射紙６６により、ハーフミラー６０を透過した光が吸収される。
　上記基準マークカメラ５４が、基板１４を撮像する際には、環状照明装置５６と落射照明装置５８とのいずれかが選択的に用いられる。
　本実装機１０は、図５に示す実装機制御部８０を備えている。実装機制御部８０は、コンピュータを主体として構成されたものであり、図示しない入出力部には、駆動回路８１を介してＸスライド移動装置４４，Ｙスライド移動装置４８等が接続されるとともに、対象体判定装置８２，基準マークカメラ５４等が接続される。
　対象体判定装置８２は、コンピュータを主体として構成されたものであり、基準マークカメラ５４によって撮像された撮像画像に含まれる複数の点の輝度を取得する輝度取得部９２と、撮像画像に含まれる１つ以上の認識画像のうちの少なくとも１つがそれぞれ対象画像であるか否かを判定する対象画像判定部９４とを含む。対象体判定装置８２の図示しない入出力部には、基準マークカメラ５４、入力装置８４、ディスプレイ８６等が接続される。
　以上のように構成された実装機１０において、基板１４への部品２０の実装作業が行われる。基板１４が基板搬送装置１６により予め定められた作業位置まで搬送されて、基板保持装置１８により位置決め保持される。基準マークカメラ５４が、予め定められた基準マーク撮像位置に位置決めされ、基板１４に設けられた基準マークＭ等を撮像する。撮像画像の画像処理により、基準マークＭの位置が取得され、基板１４の位置誤差が取得される。その後、部品保持ヘッド４０は、フィーダ３０から部品２０を受け取り、基板１４の上の予め定められた位置、すなわち、位置誤差に基づいて修正された位置へ移動させられ、部品２０を装着する。
　基準マークカメラ５４の撮像により得られた撮像画像の画像処理は、対象体判定装置８２において行われる。
　基準マークカメラ５４により、図６Ａに示すように、基板１４の基準マークＭを含む設定領域Ｒが撮像され、それによって、図６Ｂに示すように、撮像画像Ａが取得される。しかし、基板１４には、例えば、基準マークＭ，リード線挿入部Ｂ，配線等の認識体が形成されるため、撮像画像Ａには複数の認識可能な画像である認識画像Ｎｓ１、Ｎｓ２，Ｎｓ３・・・等が含まれる。以下、複数の認識画像Ｎｓ１，Ｎｓ２，Ｎｓ３・・・等を互いに区別する必要がない場合、総称する場合には、単に認識画像Ｎｓと称する場合がある。
　そこで、本実施例においては、対象体判定装置８２において、撮像画像Ａについての画像処理により、複数の認識画像Ｎｓが取得され、これら複数の認識画像Ｎｓの各々がそれぞれ対象画像であるマーク画像Ｍｓであるか否かが判定される。それにより、複数の認識画像Ｎｓからマーク画像Ｍｓが特定され、基準マークＭの位置が取得され、基板１４の位置誤差が取得される。
　具体的には、撮像画像Ａに含まれる複数の認識画像Ｎｓの各々について、最初に、エッジＥが取得され、認識画像Ｎｓの大きさ（例えば、直径の長さ）が取得される。そして、複数の認識画像Ｎｓの各々の直径の長さと、既知であるマーク画像Ｍｓの直径の長さとが比較され、例えば、これらの差の絶対値が設定値より小さいものが候補画像とされる。また、認識画像Ｎｓの各々についてエッジＥの輝度Ｔが取得され、記憶される。
　次に、認識画像Ｎｓのうち候補画像とされたものについて、候補画像の内部に位置する複数の点Ｐ(i)の輝度Ｔ(i)がそれぞれ取得され、それぞれ、エッジＥの輝度Ｔと比較される。その比較結果に基づいて、候補画像である認識画像Ｎｓが、それぞれ、マーク画像Ｍｓであるか否かが判定されるのである。
　例えば、基板１４の表面が略緑色を成し、基準マークＭが略白色を成す場合には、基板１４より基準マークＭの方が白く、明るい。図７Ａ、７Ｂに示すように、認識画像の１つであるマーク画像Ｍｓの内部に位置する複数の点Ｐ(i)　 i=1,2,・・・の輝度は基板１４を表す画像上の点Ｑの輝度より大きい。換言すれば、マーク画像Ｍｓの内部に位置する複数の点Ｐ(i)の各々の輝度Ｔ(i)は、マーク画像Ｍｓと基板１４を表す画像との境界であるエッジＥｍの輝度Ｔｍより大きい。
　エッジＥｍの輝度Ｔｍは、マーク画像Ｍｓにエッジにほぼ直交して設けられた複数のシークラインＣｍ上の各々の輝度の変化勾配が最大の点である複数のエッジ点Ｅｍａの輝度Ｔｍａに基づいて決まる。例えば、複数のエッジ点Ｅｍａの各々の輝度Ｔｍａを統計的に処理した値、例えば、平均値をエッジＥｍの輝度Ｔｍとすることができる。撮像画像Ａ上の点の輝度は、輝度取得部９２によって取得される。
　また、マーク画像Ｍｓの内部に位置する複数の点Ｐ(i)は、ほぼマーク画像Ｍｓの直径Ｄｍに沿って設けることが望ましい。直径Ｄｍは、マーク画像Ｍｓの特徴部である中央部を通るからである。
　リード線挿入部Ｂは、図６Ａに示すように、ランド１１０とホール（スルーホールと称することもできる）１１２とを含むが、ランド１１０は基板１４より明るく、ホール１１２は基板１４より暗い。そのため、図８Ａ，８Ｂに示すように、リード線挿入部Ｂを表す認識画像である挿入部画像Ｂｓの内部の複数の点のうち、中央部（挿入部画像Ｂｓの中心点を含む部分）に位置する点Ｐ(i1)の輝度は、挿入部画像ＢｓのエッジＥｂの輝度Ｔｂより小さいが、中央部の周辺の周辺部に位置する点Ｐ(i2)の輝度は、エッジＥｂの輝度Ｔｂより大きい。エッジＥｂの輝度Ｔｂは、挿入部画像Ｂｓに設けた複数のシークラインＣｂに沿った輝度の変化に基づいて取得された複数のエッジ点Ｅｂａの輝度Ｔｂａに基づいて同様に取得される。
　しかし、図９に示すように、認識画像Ｎｓの内部に位置する点Ｐ(i)のうち、輝度Ｔ(i)がエッジＥの輝度Ｔ（＝しきい値Ｈ）より小さい点があっても、その点の数が少ない場合、例えば、輝度Ｔ(i)がしきい値Ｈより低い点である低輝度点の数の全体の点Ｐ(i)の数に対する比率γが設定比率γｔｈ以下である場合には、認識画像Ｎｓはマーク画像Ｍｓであると判定されるようにすることができる。例えば、基準マークＭの内部に、傷が付いていたり、異物が付着していたりすることにより低輝度点が存在するに過ぎないと考えられる。
　それに対して、図１０に示すように、認識画像Ｎｓの内部に位置する低輝度点の比率γが設定比率γｔｈより高い場合には、認識体Ｎｓがホールを有するものである可能性が高いと判定され、認識画像Ｎｓはマーク画像Ｍｓではないと判定される。
　以上のように、本実施例においては、候補画像である認識画像Ｎｓの各々の内部のほぼ直径に沿って位置する複数の点Ｐ(i)の各々についての輝度Ｔ(i)が輝度取得部９２によって取得され、それぞれの輝度Ｔ(i)と認識画像ＮｓのエッジＥの輝度Ｔとが比較され、その比較結果に基づいて認識画像Ｎｓがマーク画像Ｍｓであるか否かが判定される。具体的には、認識画像Ｎｓの各々において、それぞれ、エッジＥの輝度Ｔがしきい値とされて、輝度Ｔ(i)がしきい値以下の点Ｐ(i)の個数の内部の複数の点Ｐ(i)の個数に対する比率が設定比率以下である場合には、認識画像Ｎｓがマーク画像Ｍｓであると判定されるようにした。
　認識画像Ｎｓの各々がマーク画像Ｍｓであるか否かが、図１１のフローチャートで表されるマーク画像判定プログラムの実行により判定される。
　ステップ１（以下、Ｓ１と略称する。他のステップについても同様とする）において、認識画像Ｎｓの各々について、ほぼ直径に沿って複数の点Ｐ(i)が設定されて、複数の点Ｐ(i)の各々における輝度Ｔ(i)が取得される。Ｓ２において、認識画像ＮｓのエッジＥの輝度Ｔが読み込まれ、Ｓ３において、エッジＥの輝度Ｔがしきい値Ｈとされる。
　Ｓ４において、認識画像Ｎｓの内部に位置する複数の点Ｐ(i)の輝度Ｔ(i)の各々が、それぞれ、しきい値Ｈより大きいか否かが判定される。例えば、輝度Ｔ(i)がしきい値Ｈより大きい点である高輝度点Ｐの数Ｃａ、輝度Ｔ(i)がしきい値Ｈ以下の点である低輝度点Ｐの数Ｃｂがそれぞれ、Ｓ５，６においてカウントされる。Ｓ７において、複数の点Ｐ(i)、全てについて、しきい値Ｈとの比較が完了したか否かが判定される。判定結果がＮＯである場合には、Ｓ４～７が繰り返し実行される。判定結果がＹＥＳになった場合には、Ｓ８において、低輝度点の数Ｃｂの全体の点の数Ｃ（＝Ｃａ＋Ｃｂ）に対する比率γ（＝Ｃｂ／Ｃ）が取得され、Ｓ９において、比率γが設定比率γｔｈより大きいか否かが判定される。
　Ｓ９の判定がＹＥＳである場合には、Ｓ１０において認識画像Ｎｓがマーク画像Ｍｓでないと判定され、判定結果がＮＯである場合には、Ｓ１１において認識画像Ｎｓはマーク画像Ｍｓであると判定される。
　例えば、認識画像Ｎｓ１，Ｎｓ２が候補画像とされた場合において、認識画像Ｎｓ１において、図７Ａ，７Ｂに示すように、ほぼ直径Ｄｍに沿って設定された複数の点Ｐ(i)の各々の輝度Ｔ(i)は、エッジＥｍの輝度Ｔｍより大きい。そのため、低輝度点の数の全体の点の数に対する比率γが設定比率γｔｈ以下となり、認識画像Ｎｓ１はマーク画像Ｍｓであると判定される。
　それに対して、認識画像Ｎｓ２において、図８Ａ，８Ｂに示すように、ほぼ直径Ｄｂに沿って複数の点Ｐ(i)が設定されて、それぞれ、輝度Ｔ(i)が取得されるが、中央部に位置する複数の点Ｐ(i1)の輝度は、エッジＥｂの輝度Ｔｂより小さい。そのため、低輝度点の数の全体の点の数に対する比率γが設定比率γｔｈより大きくなり、認識画像Ｎｓ２はマーク画像Ｍｓでないと判定される。
　なお、マーク画像Ｍｓと認識画像Ｎｓ２とから明らかなように、複数の点Ｐ(i)のうち、中央部に位置する点Ｐ(i)の輝度とエッジＥの輝度Ｔとの比較結果が、マーク画像Ｍｓと認識画像Ｎｓ２とで異なる。そのため、マーク画像Ｍｓの中央部が特徴部とされる。この特徴部は、挿入部画像Ｂｓの特徴部であると考えることもできる。
　このように、低輝度点が特定点とされ、特定点の数の全体の点の数に対する比率に基づいて認識画像Ｎｓがマーク画像Ｍｓであるか否かが判定される。そのため、大きさはほぼ同じであるが、ホール１１２を有するリード線挿入部Ｂに対応する挿入部画像Ｂｓ（Ｎｓ２）を誤ってマーク画像Ｍｓであると判定され難くすることができ、複数の認識画像Ｎｓからマーク画像Ｍｓを良好に特定することができる。
　また、認識画像Ｎｓに含まれる複数の点Ｐ(i)の輝度は、照明の具合によって変わることが多く、エッジＥの輝度Ｔは常に一定であるとは限らない。それに対して、認識画像Ｎｓの各々において、エッジＥの輝度Ｔが取得されて候補画像が取得された後に、候補画像である認識画像Ｎｓの内部の複数の点Ｐ(i)の輝度Ｔ(i)がエッジＥの輝度Ｔであるしきい値Ｈと比較される。そのため、しきい値Ｈを固定値とする場合に比較して、認識画像Ｎｓの内部に位置する複数の点Ｐ(i)の輝度Ｔ(i)がエッジＥの輝度Ｔより大きいか否かを正確に取得することができる。
　なお、認識画像Ｎｓがマーク画像Ｍｓであるか否かは、図１２のフローチャートで表されるマーク画像判定プログラムの実行により判定されるようにすることができる。本実施例においては、認識画像Ｎｓの輝度がしきい値Ｈ以下である点の位置に基づいて、マーク画像Ｍｓであるか否かが判定される。図１２のフローチャートで表されるプログラムにおいて、図１１のフローチャートで表されるプログラムと同じ実行が行われるステップについては同じステップ番号を付して説明を省略する。
　本プログラムにおいて、Ｓ４において、認識画像Ｎｓの内部に位置する複数の点Ｐ(i)の各々の輝度Ｔ(i)がそれぞれしきい値Ｈより大きいか否かが判定され、Ｓ４の判定結果に基づいて、Ｓ２１，２２において、高輝度点Ｐ(jh)と低輝度点Ｐ(jd)とがそれぞれ記憶される。そして、Ｓ２４において、低輝度点Ｐ(jd)の分布が取得され、Ｓ２５において、低輝度点Ｐ(jd)が、認識画像Ｎｓの中央部（中心点Ｏを含む部分）に位置するか否かが判定される。判定結果がＹＥＳである場合には、Ｓ２６において、認識画像Ｎｓがマーク画像Ｍｓでないと判定され、判定結果がＮＯである場合には、Ｓ２７において、認識画像Ｎｓがマーク画像Ｍｓであると判定される。
　例えば、認識画像Ｎｓ１において、低輝度点Ｐ(id)は存在しない。それに対して、認識画像Ｎｓ２において、図１３に示すように、低輝度点Ｐ(id)が認識画像Ｎｓ２の中央部に集まっている。そのため、認識画像Ｎｓ１がマーク画像Ｍｓであると判定され、認識画像Ｎｓ２はマーク画像Ｍｓでないと判定される。
　このように、本実施例においては、低輝度点Ｐ(id)が特定点とされ、特定点の分布に基づいて認識画像Ｎｓがマーク画像Ｍｓであるか否かが判定される。そのため、認識画像Ｎｓがホール１１２を有する認識体Ｂを表すものであるか否かを良好に判定することができ、挿入部画像Ｂｓが誤ってマーク画像Ｍｓであると判定され難くすることができる。
　なお、高輝度点Ｐ(ih)を特定点として、高輝度点Ｐ(ih)の分布を取得することもできる。その場合には、高輝度点Ｐ(ih)が中央部にも周辺部にも存在する場合には、認識画像がマーク画像Ｍｓであると判定され、中央部に位置する高輝度点Ｐ(ih)が非常に少ない場合には、認識画像がマーク画像Ｍｓでないと判定されるようにすることができる。
　以上のように、本実施例において、対象体判定装置８２のうちの図１１のフローチャートで表されるマーク画像判定プログラム（または、図１２のフローチャートで表されるマーク画像判定プログラム）を記憶する部分、実行する部分等により対象画像判定部９４が構成される。また、図１１のフローチャートで表されるマーク画像判定プログラム（または、図１２のフローチャートで表されるマーク画像判定プログラム）のうちＳ１が輝度取得工程に対応し、Ｓ４，Ｓ６（またはＳ４，Ｓ２２）が特定点取得工程に対応する。さらに、図１１のフローチャートで表されるマーク画像判定プログラムのうちのＳ８が比率取得工程に対応し、Ｓ９－１１が第１判定工程に対応し、図１２のフローチャートで表されるマーク画像判定プログラムのうち、Ｓ２４が分布取得工程に対応し、Ｓ２５－２７が第２判定工程に対応する。また、本実施例においては、基準マークＭが対象体とされる。
　なお、認識画像Ｎｓの内部に位置する複数の点Ｐ(i)の各々の輝度Ｔ(i)をエッジＥの輝度Ｔと比較することは不可欠ではなく、図７Ｂ，図８Ｂに示すような輝度分布を取得し、輝度分布が予め定められたパターンと同じであるか否かが判定されるようにすることができる。例えば、輝度分布が図８Ｂに示すパターン（挿入部画像における輝度分布を表すパターンを挿入部パターンと称する。以下、同様とする）と同じパターンである場合には、認識画像Ｎｓはマーク画像ではないと判定することができる。その場合の一例を図１４に示す。挿入部画像Ｂｓにおいて、図８Ｂに示すように、直径Ｄｂに沿って複数の点Ｐ(i)が設けられ、複数の点Ｐ(i)の各々の輝度が取得されるが、直径Ｄｂの一方の端部から他方の端に行くにつれて、輝度が増加した後減少し、その後、増加した後減少する。
　Ｓ３１において、認識画像Ｎｓの内部に位置する複数の点Ｐ(i)の各々の輝度Ｔ(i)が取得され、Ｓ３２において、輝度分布、すなわち、パターンが取得され、Ｓ３３において、得られたパターンが挿入部パターンと同じであるか否かが判定される。判定結果がＹＥＳである場合には、Ｓ３４において、認識画像Ｎｓはマーク画像Ｍｓではないと判定され、判定結果がＮＯである場合には、Ｓ３５において、認識画像Ｎｓはマーク画像Ｍｓであると判定される。本実施例においては、Ｓ３２が輝度分布取得工程に対応する。
　また、図示は省略するが、基板１４の表面より暗い部分を基準マークとすることができる。基板１４の表面の色も緑色に限らず、それより、明るい色とすることもできる。
　本実施例においては、マーク画像の内部に位置する複数の点Ｐ(i)の各々の輝度Ｔ(i)は、マーク画像のエッジＥの輝度Ｔより小さくなるが、上記実施例における場合と同様に、撮像画像に含まれる１つ以上の認識画像Ｎｓの各々がそれぞれマーク画像であるか否かが判定されるようにすることができる。
　本実施例においては、基板１４に装着された部品が適正品（本来、その位置に装着されるベき部品をいう）であり、かつ、正しい状態で装着されているか否か（本来、上面となる面ではない面が上面になっているか否か）が、撮像画像に含まれる基板に装着された部品を表す認識画像の内部に位置する複数の点Ｐ(i)の輝度Ｔ(i)と認識画像のエッジＥの輝度Ｔとの比較結果に基づいて判定される。
　例えば、基板１４より暗い色の表面を有する適正品が正しい状態（表面が上面にある状態）で装着されている場合の認識画像である適正画像Ｎｇを図１５Ａに示す。図１５Ａにおいて、適正画像Ｎｇの内部に位置する複数の点Ｐ(i)の輝度Ｔ(i)は適正画像ＮｇのエッジＥｇの輝度Ｔｇより小さい。
　また、適正品とは異なる別の部品の認識画像である別部品画像Ｎｊを図１５Ｂに示す。図１５Ｂに示すように、別部品画像Ｎｊの内部に位置する複数の点Ｐ(i)の輝度Ｔ(i)は別部品画像ＮｊのエッジＥｊの輝度Ｔｊより大きい。
　さらに、適正品であるが表裏逆の状態で装着されている部品を表す認識画像である裏状態画像Ｎｆを図１５Ｃに示す。図１５Ｃに示すように、裏状態画像Ｎｆにおいては、複数の点Ｐ(i)のうち中央部に位置する点Ｐ(i2)の輝度が裏状態画像ＮｆのエッジＥｆの輝度Ｔｆより大きく、中央部の周辺の周辺部に位置する点Ｐ(i1)の輝度がエッジＥｆの輝度Ｔｆより小さい。
　本実施例においては、図１６のフローチャートで表される対象画像判定プログラムが実行される。図１６のフローチャートにおいて、図１１、１２のフローチャートと同様の実行が行われるステップについては同じステップ番号を付して説明を省略する。
　Ｓ４において、複数の点Ｐ(i)の各々の輝度Ｔ(i)がそれぞれしきい値Ｈと比較され、しきい値Ｈより大きい場合には、Ｓ５，２１において、高輝度点の個数がカウントされるとともに、位置が記憶される。しきい値Ｈ以下である場合には、Ｓ６，２２において、低輝度点の個数がカウントされるとともに、位置が記憶される。Ｓ４０において、特定点である高輝度点の個数Ｃａの全体の個数Ｃに対する比率γ´が取得され、Ｓ４１において、高輝度点Ｐ(jh)の分布が取得される。
　そして、Ｓ４２において、比率γ´が設定比率γｔｈ´より大きいか否かが判定される。判定がＮＯである場合には、Ｓ４３において、認識画像Ｎｓが対象画像であり、認識画像に対応する部品は適正品であり、かつ、正しい状態で装着されていると判定される。すなわち、認識体が対象品であると判定されるのである。それに対して、判定がＹＥＳである場合には、Ｓ４４において、高輝度点が中央部に集まっているか否か判定される。判定がＹＥＳである場合には、Ｓ４５において、認識画像に対応する部品は適正品であるが表裏逆の状態で装着されていると判定される。判定がＮＯである場合には、Ｓ４６において、認識画像に対応する部品は適正品ではないと判定される。
　このように、本開示は、基板１４に装着される部品が適正品であるか否か、正しい状態で装着されているか否かを検査する検査方法にも適用することができる。
　認識画像が対象画像であるか否かの判定が、上述の実施例１，２においては、実装機１０に設けられた基準マークカメラ５４によって取得された撮像画像Ａに基づいて行われる場合について説明したが、図１７に示すように、検査機２００に設けられた検査用カメラ２０２によって取得された撮像画像に基づいて行われるようにすることができる。本実施例においては、検査機２００に対象体判定装置２０４が接続され、対象体判定装置２０４に、検査用カメラ２０２が接続される。本実施例においても、認識画像が対象画像であるか否かの判定を同様に行うことができる。
　以上、本開示のいくつかの実施形態を説明したが、これらは例示に過ぎず、本開示は、当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。
　１０：電子回路部品実装機　５４：基準マークカメラ　５６：照明装置　５８：落射照明装置　８２：対象体判定装置　９２：輝度取得部　９４：対象画像判定部　
 

Claims (10)

  1. 　撮像装置によって回路基板上の予め定められた領域を撮像して得られた撮像画像に含まれる１つ以上の認識画像のうちの少なくとも１つが、それぞれ、対象体を表す画像である対象画像であるか否かを判定することにより、前記少なくとも１つの前記認識画像に対応する認識体がそれぞれ前記対象体であるか否かを判定する対象体判定方法であって、
    　前記少なくとも１つの認識画像の各々について、前記認識画像のエッジの輝度をしきい値として、前記認識画像の内部に位置する少なくとも１つの点の各々の輝度と前記しきい値との比較結果に基づいて、前記少なくとも１つの認識画像が前記対象画像であるか否かをそれぞれ判定する対象体判定方法。
  2. 　当該対象体判定方法が、
    　前記撮像画像に含まれる前記少なくとも１つの認識画像の各々について、前記認識画像の内部に位置する前記少なくとも１つの点としての複数の点の各々の輝度をそれぞれ取得する輝度取得工程と、
    　前記輝度取得工程において取得された前記少なくとも１つの認識画像の各々の内部に位置する前記複数の点の各々の輝度と前記しきい値との比較により、前記少なくとも１つの認識画像の各々の内部の、前記輝度が前記しきい値以下の点または前記輝度が前記しきい値より大きい点である特定点を取得する特定点取得工程とを含む請求項１に記載の対象体判定方法。
  3. 　前記対象体判定方法が、
    　前記特定点取得工程において取得された前記特定点の個数の前記認識画像の内部に位置する前記複数の点の個数に対する比率を取得する比率取得工程と、
    　前記比率取得工程において取得された前記比率に基づいて、前記認識画像が前記対象画像であるか否かを判定する第１判定工程と
    を含む請求項２に記載の対象体判定方法。
  4. 　前記対象体判定方法が、
    　前記特定点取得工程において取得された前記特定点の分布を取得する特定点分布取得工程と、
    　その特定点分布取得工程において取得された前記特定点が存在する位置に基づいて、前記認識画像が前記対象画像であるか否かを判定する第２判定工程と
    を含む請求項２に記載の対象体判定方法。
  5. 　前記複数の点の各々を、前記認識画像の、前記対象体の特徴部に対応する部分の少なくとも一部を含んで設けられた点とする請求項２ないし４のいずれか１つに記載の対象体判定方法。
  6. 　前記対象体の特徴部が、前記対象体の中心点を含む中央部である請求項５に記載の対象体判定方法。
  7. 　前記対象体が、前記回路基板に形成された基準マークである請求項１ないし６のいずれか１つに記載の対象体判定方法。
  8. 　前記対象体が、前記回路基板に装着された電子部品である請求項１ないし６のいずれか１つに記載の対象体判定方法。
  9. 　撮像装置によって回路基板上の予め定められた領域が撮像されることによって得られた撮像画像に含まれる１つ以上の認識画像のうちの少なくとも１つが、それぞれ、対象体を表す画像である対象画像であるか否かを判定することにより、前記少なくとも１つの認識画像に対応する認識体がそれぞれ前記対象体であるか否かを判定する対象体判定方法であって、
    　前記少なくとも１つの認識画像の各々について、それぞれ、前記認識画像に含まれる複数の点の各々の輝度を取得する輝度取得工程と、
    　前記輝度取得工程において取得された前記複数の点の各々の輝度の分布を取得する輝度分布取得工程と
    を含み、前記輝度分布取得工程において取得された前記輝度分布に基づいて、前記少なくとも１つの認識画像がそれぞれ前記対象画像であるか否かを判定する対象体判定方法。
  10. 　撮像装置によって回路基板の対象体を含む予め定められた領域が撮像されることによって得られた撮像画像に含まれる１つ以上の認識画像のうちの少なくとも１つの各々について、前記認識画像の内部に位置する少なくとも１つの点の輝度をそれぞれ取得する輝度取得部と、
    　前記輝度取得部によって取得された前記少なくとも１つの点の各々の輝度に基づいて前記認識画像が前記対象体を表す画像である対象画像であるか否かを判定する対象画像判定部と
    を含み、前記対象画像判定部による判定結果に基づいて、前記認識画像に対応する認識体が前記対象体であるか否かを判定する対象体判定装置であって、
    　前記対象画像判定部が、前記少なくとも１つの前記認識画像の各々について、前記少なくとも１つの点の各々の輝度と前記認識画像のエッジの輝度との比較結果に基づいて、前記認識画像が前記対象画像であるか否かを判定するものである対象体判定装置。
     
PCT/JP2019/010535 2019-03-14 2019-03-14 対象体判定方法、対象体判定装置 WO2020183698A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021505449A JP7097504B2 (ja) 2019-03-14 2019-03-14 対象体判定方法、対象体判定装置
CN201980093731.6A CN113545185B (zh) 2019-03-14 2019-03-14 对象体判定方法、对象体判定装置
EP19918681.8A EP3941176A4 (en) 2019-03-14 2019-03-14 OBJECT DETERMINATION METHOD AND OBJECT DETERMINATION DEVICE
PCT/JP2019/010535 WO2020183698A1 (ja) 2019-03-14 2019-03-14 対象体判定方法、対象体判定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/010535 WO2020183698A1 (ja) 2019-03-14 2019-03-14 対象体判定方法、対象体判定装置

Publications (1)

Publication Number Publication Date
WO2020183698A1 true WO2020183698A1 (ja) 2020-09-17

Family

ID=72426661

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/010535 WO2020183698A1 (ja) 2019-03-14 2019-03-14 対象体判定方法、対象体判定装置

Country Status (4)

Country Link
EP (1) EP3941176A4 (ja)
JP (1) JP7097504B2 (ja)
CN (1) CN113545185B (ja)
WO (1) WO2020183698A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6311804A (ja) * 1986-07-02 1988-01-19 Hitachi Ltd 位置決め用マ−ク位置検出方式
JPH09325011A (ja) * 1996-06-03 1997-12-16 Mitsutoyo Corp エッジ検出方式
JPH1062134A (ja) * 1996-08-22 1998-03-06 Matsushita Electric Ind Co Ltd 認識検査における照明調整方法
JP2004127993A (ja) * 2002-09-30 2004-04-22 Matsushita Electric Ind Co Ltd 基板良否判定方法及び装置
JP2007273519A (ja) 2006-03-30 2007-10-18 Matsushita Electric Ind Co Ltd 認識対象の中心位置を認識する方法および装置
JP2009259983A (ja) * 2008-04-15 2009-11-05 Juki Corp 自動焦点調整方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08159712A (ja) * 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd パターン認識方法
JPH08271223A (ja) * 1995-02-03 1996-10-18 Kobe Steel Ltd 物体の位置認識装置
JP3306422B2 (ja) * 1996-12-07 2002-07-24 トヨタ車体株式会社 電子部品の位置ズレ検査方法
JPH1139485A (ja) * 1997-07-18 1999-02-12 Shimu:Kk 撮影画像のエッジ成分検出方法
JP2004279304A (ja) * 2003-03-18 2004-10-07 Fuji Mach Mfg Co Ltd 画像処理方法および画像処理プログラム
JP4397415B2 (ja) * 2005-02-18 2010-01-13 富士通株式会社 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム
JP4275149B2 (ja) * 2006-04-28 2009-06-10 シャープ株式会社 境界の位置決定装置、境界の位置を決定する方法、当該装置としてコンピュータを機能させるためのプログラム、および記録媒体
JP4210863B2 (ja) * 2006-07-06 2009-01-21 セイコーエプソン株式会社 画像処理システム、表示装置、プログラムおよび情報記憶媒体
JP2009128303A (ja) * 2007-11-27 2009-06-11 Omron Corp 基板外観検査装置
JP5047031B2 (ja) * 2008-03-28 2012-10-10 富士機械製造株式会社 電子部品装着装置における部品認識方法
CN101510302B (zh) * 2009-03-25 2014-05-21 北京中星微电子有限公司 一种图像增强方法和装置
JP5257274B2 (ja) * 2009-06-30 2013-08-07 住友電気工業株式会社 移動体検出装置、移動体検出方法及びコンピュータプログラム
JP5206620B2 (ja) * 2009-08-05 2013-06-12 三菱電機株式会社 部材の位置認識装置、位置決め装置、接合装置および部材の接合方法
JP5781743B2 (ja) * 2010-06-28 2015-09-24 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US8605949B2 (en) * 2011-11-30 2013-12-10 GM Global Technology Operations LLC Vehicle-based imaging system function diagnosis and validation
JP5743918B2 (ja) * 2012-01-31 2015-07-01 株式会社東芝 画像処理装置
JP5809751B2 (ja) * 2012-06-26 2015-11-11 本田技研工業株式会社 対象物認識装置
JP6310058B2 (ja) * 2014-03-13 2018-04-11 富士機械製造株式会社 画像処理装置および基板生産システム
JP6738583B2 (ja) * 2015-08-06 2020-08-12 Juki株式会社 検査装置、実装装置、検査方法及びプログラム
JP6311804B2 (ja) 2017-01-05 2018-04-18 カシオ計算機株式会社 端末装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6311804A (ja) * 1986-07-02 1988-01-19 Hitachi Ltd 位置決め用マ−ク位置検出方式
JPH09325011A (ja) * 1996-06-03 1997-12-16 Mitsutoyo Corp エッジ検出方式
JPH1062134A (ja) * 1996-08-22 1998-03-06 Matsushita Electric Ind Co Ltd 認識検査における照明調整方法
JP2004127993A (ja) * 2002-09-30 2004-04-22 Matsushita Electric Ind Co Ltd 基板良否判定方法及び装置
JP2007273519A (ja) 2006-03-30 2007-10-18 Matsushita Electric Ind Co Ltd 認識対象の中心位置を認識する方法および装置
JP2009259983A (ja) * 2008-04-15 2009-11-05 Juki Corp 自動焦点調整方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3941176A4

Also Published As

Publication number Publication date
JP7097504B2 (ja) 2022-07-07
CN113545185A (zh) 2021-10-22
JPWO2020183698A1 (ja) 2021-12-02
EP3941176A4 (en) 2022-04-06
CN113545185B (zh) 2022-11-25
EP3941176A1 (en) 2022-01-19

Similar Documents

Publication Publication Date Title
JP5338773B2 (ja) 部品実装用装置および撮像用の照明装置ならびに照明方法
US11004177B2 (en) Image processing device and board production system
US10743448B2 (en) Substrate position detection device
JP5989803B2 (ja) 部品実装機及び部品実装方法
JP6472873B2 (ja) 部品検査機及び部品装着機
WO2017145249A1 (ja) 画像処理システム及び画像処理方法
JP4883636B2 (ja) 電子部品向き検査装置及び電子部品向き検査方法並びに電子部品装着機
JP7097504B2 (ja) 対象体判定方法、対象体判定装置
JPWO2017068638A1 (ja) 画像処理装置および部品実装機
CN106455478B (zh) 检查装置、安装装置及检查方法
JP6466960B2 (ja) 装着機及び装着機を用いた電子部品の吸着姿勢検査方法
JPWO2018158888A1 (ja) バックアップピンの認識方法および部品実装装置
CN110024085B (zh) 镜面裸片图像识别系统
US10339666B2 (en) Recognition device and recognition method
JP6621639B2 (ja) 基板用の画像処理装置
JP2020204830A (ja) マーク認識装置及びそれを備えた処理装置
JP7271738B2 (ja) 撮像ユニット
CN113366935B (zh) 基准标记确定装置、基准标记确定方法
JP7019065B2 (ja) 部品実装ラインの生産最適化システム
WO2024062597A1 (ja) 部品認識装置および部品認識方法
JP6064168B2 (ja) マークの撮像方法及び部品実装ライン
US11557109B2 (en) Image-capturing unit and component-mounting device
JP6723391B2 (ja) 部品実装機及び生産ジョブ作成方法
JP7126880B2 (ja) 画像処理装置、実装装置、画像処理方法、プログラム
JP2002222420A (ja) 画像認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19918681

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021505449

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019918681

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2019918681

Country of ref document: EP

Effective date: 20211014