WO2012160611A1 - 位置検出装置およびそれを搭載した外観検査装置 - Google Patents

位置検出装置およびそれを搭載した外観検査装置 Download PDF

Info

Publication number
WO2012160611A1
WO2012160611A1 PCT/JP2011/002957 JP2011002957W WO2012160611A1 WO 2012160611 A1 WO2012160611 A1 WO 2012160611A1 JP 2011002957 W JP2011002957 W JP 2011002957W WO 2012160611 A1 WO2012160611 A1 WO 2012160611A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature points
image
unit
analysis unit
reference feature
Prior art date
Application number
PCT/JP2011/002957
Other languages
English (en)
French (fr)
Inventor
正朋 舞田
Original Assignee
富士通テレコムネットワークス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通テレコムネットワークス株式会社 filed Critical 富士通テレコムネットワークス株式会社
Priority to JP2013516079A priority Critical patent/JP5671135B2/ja
Priority to PCT/JP2011/002957 priority patent/WO2012160611A1/ja
Publication of WO2012160611A1 publication Critical patent/WO2012160611A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95684—Patterns showing highly reflecting parts, e.g. metallic elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Definitions

  • the present invention relates to a position detection device that detects the position of an observation target in a captured image, and an appearance inspection device equipped with the position detection device.
  • One of the appearance inspection methods is a comparison inspection between a non-defective image and an inspection image.
  • the photographing condition causes a deviation of the photographing magnification with respect to the non-defective image, a deviation of the photographing position, and a deviation of the photographing angle, so that the position correction is basically required.
  • the position of the inspected object in the inspected image is generally a method of detecting a reference mark by image processing, but the imaging conditions (for example, light and noise) and the variation in the shape and color of the inspection object Due to the influence, it is difficult to accurately detect the position of the inspection object. If the position detection is inaccurate, so-called oversight and oversight may occur during the comparative inspection.
  • overwatch means that a non-defective product is determined as a defective product
  • “missing” means that a defective product is determined as a non-defective product.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a technique for improving the position detection accuracy of an observation target in a captured image.
  • a position detection device analyzes a captured image of an observation target by analyzing a captured image of the observation target and a holding unit that holds a plurality of reference feature points of the observation target as setting information.
  • An image analysis unit that extracts a plurality of shooting feature points from the target, a plurality of reference feature points held in the holding unit, and a correspondence relationship between the plurality of shooting feature points extracted by the image analysis unit are analyzed and observed.
  • a position analysis unit that detects the position of the target. When analyzing the correspondence, the position analysis unit uses connection relationships between a plurality of reference feature points and connection relationships between a plurality of shooting feature points.
  • the holding unit holds the distance and angle between the plurality of reference feature points, the image analysis unit calculates the distance and angle between the plurality of shooting feature points, and the position analysis unit calculates the distance between the reference feature points; Calculate the ratio of the distance between the corresponding shooting feature points for each distance between the feature points, and calculate the statistical value of those ratios (for example, the average value, median value, and mode value).
  • the difference between the angle and the angle between the corresponding shooting feature points is calculated for each angle between the feature points, and the statistical value (for example, the average value, the median value, and the mode value) of those differences is calculated. Also good.
  • the position detection accuracy of the observation target can be improved by correcting the position of the observation target using this statistical value.
  • the holding unit holds the presence / absence of connection between the plurality of reference feature points
  • the position analysis unit refers to the presence / absence of connection between the plurality of reference feature points, and refers to the plurality of reference feature points and the plurality of shooting feature points. May be associated with each other. Accordingly, it is possible to improve the accuracy of association between the plurality of reference feature points and the plurality of shooting feature points.
  • An appearance inspection apparatus includes an imaging unit for imaging an observation target, the above-described position detection device that detects the position of the observation target imaged by the imaging unit, and a position detection result by the position detection device. Accordingly, a position correction unit that corrects the position of the observation target, and an image comparison unit that compares the image of the observation target corrected by the position correction unit with the reference image are provided. You may further provide the determination part which determines whether an observation object is a good product according to the comparison result by an image comparison part.
  • the “observation target” may be a partial region of the printed circuit board.
  • FIGS. 5A to 5D are diagrams for explaining an image comparison procedure by the image comparison unit. It is a figure which shows the difference image of FIG. 5 (B) and FIG. 5 (D).
  • FIGS. 7A to 7C are diagrams for explaining a general method for detecting the position of the inspection object from the captured image. It is a figure for demonstrating the general method of alignment.
  • FIGS. 13A and 13B are diagrams illustrating a specific example of position information output processing by the image analysis unit. It is a figure which shows an example of the correspondence of the position set P obtained from the design information shown in FIG. 12, and the position set Q obtained from the to-be-inspected image.
  • FIG. 10 is a flowchart for searching for an element correspondence M i that is most approximated between a position set Q and a position set P.
  • FIG. 15 is a diagram illustrating a position set R obtained by mapping the position set P using the average ratio S of the inter-element distances between the position set P and the position set Q shown in FIG. 14 and the average difference ⁇ of the inter-element angles.
  • FIGS. 17A and 17B are diagrams illustrating a specific example of position information extraction processing by the position analysis unit and the position correction unit.
  • 18A to 18C are diagrams showing specific examples of the position information analysis results.
  • FIGS. 19A to 19C are diagrams showing image comparison using the position information analysis result.
  • FIG. 1 is a diagram for explaining an SMT line of a printed circuit board.
  • the SMT line is “solder printing” (S1) ⁇ “CHIP component mounting” (S2) ⁇ “appearance inspection (foreign particle inspection)” (S3) ⁇ “BGA (Ball Grid Array) component mounting” (S4) ⁇ “reflow” ( S5) ⁇ “Appearance inspection (overall inspection)” (S6).
  • “Solder printing” (S1) is a process of printing cream solder on a printed circuit board in accordance with a pattern.
  • “Chip component mounting” (S2) is a process of mounting CHIP components on a printed circuit board.
  • “Appearance inspection (foreign matter inspection)” (S3) is a step of inspecting the printed circuit board for foreign matter. If there is a CHIP component at the BGA component mounting location, it cannot be detected by the subsequent “appearance inspection (overall inspection)” (S6). Therefore, “appearance inspection (foreign matter inspection)” (S3) is “BGA component mounting” (S4). Must be done before.
  • BGA parts mounting (S4) is a process of mounting BGA parts on a printed circuit board.
  • Reflow (S5) is a process in which heat is applied to the printed circuit board to melt the solder and perform soldering.
  • Appearance inspection (overall inspection)” (S6) is a step of performing a final appearance inspection. In the present embodiment, attention is paid to “appearance inspection (foreign matter inspection)” (S3).
  • FIG. 2 is a diagram showing a schematic configuration of an appearance inspection apparatus 500 according to the embodiment of the present invention.
  • the appearance inspection device 500 includes a calculation device 100 and an imaging device 200.
  • the computing device 100 can be a PC or the like.
  • the imaging device 200 can be a CCD camera or a CMOS camera.
  • the imaging apparatus 200 captures an object to be inspected (in this embodiment, a printed circuit board 600 on which a CHIP component is mounted) that is an observation target that moves on the compare line 700.
  • FIG. 3 is a functional block diagram showing the configuration of the computing device 100.
  • the calculation device 100 includes an image acquisition unit 10, a position detection unit 20, a position correction unit 30, a non-defective image holding unit 40, an image comparison unit 50, and a determination unit 60.
  • the image acquisition unit 10 acquires a captured image of the inspection target captured by the imaging device 200.
  • the position detection unit 20 detects the position of the inspection target in the captured image.
  • the position correction unit 30 corrects the position of the inspection object based on the position detection result by the position detection unit 20.
  • the position correction unit 30 registers the corrected image in the non-defective image holding unit 40.
  • the registered image is an image when the inspection target is a non-defective product.
  • the position correction unit 30 supplies the corrected image to the image comparison unit 50.
  • the image comparison unit 50 compares the inspected image whose position is corrected by the position correction unit 30 with the non-defective image held in the non-defective image holding unit 40. Specifically, a difference image between the two images is generated.
  • the determination unit 60 determines whether or not the inspection target is a non-defective product based on the difference image. For example, the presence or absence of foreign matter is detected.
  • FIG. 4A and 4B show images obtained by photographing the printed circuit board.
  • FIG. 4A shows a non-defective image that is a reference image taken in advance
  • FIG. 4B shows an image to be inspected that was taken at the time of inspection.
  • the foreign matter A1 is attached to a portion surrounded by a circle in the BGA mounting area.
  • the image comparison unit 50 compares the quality image captured in advance with the inspection target image, and the determination unit 60 prints based on the result. Inspect for foreign matter on the substrate. As described above, in this inspection, a deviation of the photographing magnification from the non-defective image, a deviation of the photographing position, and a deviation of the photographing angle occur depending on the photographing condition.
  • FIGS. 5A to 5D are diagrams for explaining an image comparison procedure performed by the image comparison unit 50.
  • FIG. FIG. 5A shows a non-defective image
  • FIG. 5B shows an image within a thick frame of the good image shown in FIG.
  • the image shown in FIG. 5B is an image paying attention to an object to be inspected (BGA mounting area in this embodiment).
  • the position detection unit 20 detects the position of the inspection target in the captured image captured by the imaging apparatus 200.
  • the position correction unit 30 performs position correction (for example, rotation by affine transformation) based on the position detection result, and stores it in the non-defective image holding unit 40.
  • FIG. 5B illustrates an example in which the object to be inspected and the surrounding area are cut out and stored.
  • FIG. 5C shows an image to be inspected
  • FIG. 5D shows an image within a thick frame of the image to be inspected shown in FIG.
  • the image shown in FIG. 5D is also an image paying attention to the inspection target (in this embodiment, the BGA mounting area).
  • the position detection unit 20 detects the position of the inspection target in the captured image captured by the imaging apparatus 200.
  • the position correction unit 30 performs position correction based on the position detection result.
  • the image comparison unit 50 generates a difference image between the position-corrected non-defective image and the image to be inspected. When a luminance value exceeding a set threshold value or a color component exceeding a set threshold value is detected in the difference image, the determination unit 60 determines that a foreign object exists at that position.
  • FIG. 6 is a diagram showing a difference image between FIG. 5 (B) and FIG. 5 (D).
  • FIG. 6 is a diagram showing a difference image between FIG. 5 (B) and FIG. 5 (D).
  • FIG. 6 as shown in the enlarged view, there is a foreign object in the upper right region of the inspection target, and it can be seen that the photographed printed board is defective.
  • FIGS. 7A to 7C are diagrams for explaining a general method for detecting the position of the inspection object from the captured image.
  • FIG. 7A shows a captured image including a BGA mounting area to be inspected
  • FIG. 7B shows an enlarged image within a thick frame (lower left) of the BGA mounting area
  • FIG. 7C shows BGA.
  • the enlarged image in the thick frame (upper right) of the mounting area is shown.
  • the pad A2 at the lower left corner of the BGA mounting area and the pad A3 at the upper right corner of the area are used as marks for alignment. That is, reference points are set at two corners on the diagonal line.
  • the pad in the BGA mounting area is a member to be joined to an FPG solder ball (hereinafter simply referred to as a ball).
  • FIG. 8 is a diagram for explaining a general method of alignment.
  • the position detection unit 20 performs image processing on the inspection image and detects a reference point. Then, by using the reference point of the detected image and the reference point of the non-defective image, the magnification difference D 2 / D 1 , the angle difference ⁇ , and the deviation amount Z from the original position of the inspection target are calculated.
  • the area surrounded by the dotted line indicates the position where the inspection target should be, and the area surrounded by the solid line indicates the position of the inspection target in the inspection image.
  • FIGS. 9A to 9C are diagrams for explaining problems in extracting a reference point as a mark from a captured image.
  • the position detection unit 20 has a mark (a pad in FIGS. 9A to 9C) in a region where a luminance value exceeding the set threshold value or a color component exceeding the set threshold value is detected in the captured image. Then, the mark is extracted.
  • FIG. 9A shows an example in which pixels exceeding the threshold value are concentrated in the center of the pad, and the pad can be extracted at an accurate position.
  • FIG. 9B shows an example in which pixels exceeding the threshold value are deviated from the center of the pad, and the pad cannot be extracted at an accurate position.
  • FIG. 9C shows an example in which there is a pixel area A5 exceeding the threshold value in the vicinity of the pad A4 as a mark, and the pixel area A5 is also extracted as a mark.
  • the center when the position of the mark is detected by image processing, the center may not be detected correctly depending on imaging conditions (for example, light and noise) and variations in the shape and color of the object to be inspected. Furthermore, there may be cases where extraction is insufficient or excessive, and accurate position detection cannot be performed. In other words, extraction failures and other landmarks may be extracted excessively. In that case, since the difference due to the positional deviation is large in the above-described difference image, oversight and oversight are likely to occur.
  • FIG. 10 is a diagram showing a configuration of the position detection unit 20 according to the embodiment of the present invention.
  • the position detection unit 20 includes a design information input unit 21, a design information analysis unit 22, a design information analysis result holding unit 23, an image input unit 24, an image analysis unit 25, a position analysis unit 26, and a position information output unit 27.
  • These configurations can be realized by an arbitrary processor, memory, or other LSI in terms of hardware, and are realized by a program loaded in the memory in terms of software.
  • Draw functional blocks Accordingly, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the design information input unit 21 accepts objective design information of the inspection target from the outside. For example, the design information is given to the design information input unit 21 due to a user operation.
  • the design information input unit 21 receives a position set P of feature points obtained from the design information and an inter-element connection condition expression of the position set P as design information to be inspected.
  • the feature points are obtained from the design information, which are extracted points obtained when image processing is performed on an ideal image to be inspected. As the image processing, processing using an edge detection filter or a color filter can be considered.
  • the design information analysis unit 22 analyzes the position information of a plurality of feature points obtained from the design information, and calculates the distance, angle and connection relationship between the feature points.
  • the feature points are pads corresponding to BGA balls.
  • FIG. 11 is a diagram schematically showing each pad in the BGA mounting area and the connection relationship between the pads.
  • a position set P of feature points obtained from design information is defined by the following (formula 1).
  • the inter-element connection conditional expression of the position set P is a conditional expression for acquiring connection information from the position information of feature points or the connection information itself.
  • the distance D ij between elements of the position set P is defined by the following (formula 2).
  • An angle ⁇ ij between elements of the position set P is defined by the following (formula 3). Note that an angle ⁇ ij between elements indicates an angle with respect to the x-axis.
  • a connection C ij between elements of the position set P is defined by the following (formula 4). Here, 0 indicates no connection and 1 indicates connection.
  • connection C ij between the elements of the position set P is input information input to the design information input unit 21.
  • the conditional expression (0: D ij ⁇ D, 1: D ij > D) includes an angle ⁇ ij or the like. These conditions may be added. Further, the connection C ij between the elements may be directly specified instead of the conditional expression.
  • FIG. 12 shows an example of design information input to the design information input unit 21.
  • nine feature points are plotted on the xy plane.
  • Other combinations of feature points are not connected.
  • the design information analysis unit 22 includes a position set P of feature points obtained from design information, a distance D IJ between elements of the position set P, an angle ⁇ IJ between elements of the position set P, and a connection C between elements of the position set P. IJ is stored in the design information analysis result holding unit 23.
  • the image input unit 24 receives an image to be inspected taken by the imaging device 200.
  • the image analysis unit 25 performs the above-described image processing on the inspected image input to the image input unit 24, extracts feature points, and acquires position information of the feature points.
  • FIGS. 13A and 13B are diagrams illustrating a specific example of position information extraction processing by the image analysis unit 25.
  • FIG. FIG. 13A shows an inspection image from which position information is extracted.
  • the image analysis unit 25 applies an edge detection filter and a color filter to the image to be inspected, and extracts a pad in the BGA mounting area corresponding to the BGA ball as a feature point.
  • FIG. 13B shows the position information extraction result.
  • the position analysis unit 26 performs the position analysis of the feature points based on the position information of the feature points of the image to be inspected extracted by the image analysis unit 25 and the design information analysis result held in the design information analysis result holding unit 23. .
  • a position set Q of feature points obtained from the inspected image is defined by the following (formula 5).
  • the distance E IJ between the elements of the position set Q is defined by the following (formula 6).
  • the angle ⁇ IJ between the elements of the position set P is defined by the following (formula 7).
  • the correspondence M i of the elements of the position set P to the elements of the position set Q is defined by the following (formula 8).
  • 0 indicates no correspondence
  • k indicates correspondence.
  • FIG. 14 is a diagram illustrating an example of a correspondence relationship between the position set P obtained from the design information illustrated in FIG. 12 and the position set Q obtained from the inspected image.
  • feature points corresponding to each other between the position set P and the position set Q are drawn with dotted lines. Since there is no feature point in the position set P corresponding to the feature point 1 in the position set Q, the correspondence M 1 is 0. The feature point 9 of the position set P is missing in the position set Q.
  • the assumption that an element in the position set P is one of the elements in the position set Q is verified in all combinations.
  • the connection status in the position set Q is confirmed using the connection relationship in the position set P. That is, it is verified whether or not the corresponding element in the position set Q exists in the vicinity of the corresponding position by using the position of each element in the position set P and the distance and angle between the elements.
  • the element correspondence M i between the position set Q and the position set P is calculated for all combinations, and the assumption that the element correspondence M i is the closest is adopted.
  • FIG. 15 is a flowchart for searching for an element correspondence M i that is most approximated between the position set Q and the position set P.
  • the position analysis unit 26 sets the element parameter i of the position set Q to 0 as initial value setting (S10).
  • the element parameter i is incremented (S11). It is determined whether or not the element parameter i exceeds the last element of the position set Q (S12). When it exceeds (Y of S12), this search process is complete
  • the position analysis unit 26 sets the element parameter a of the position set P to 0 as initial value setting (S13). Next, the element parameter a is incremented (S14). It is determined whether or not the element parameter a exceeds the last element of the position set P (S15). Processing in the case of exceeding (Y in S15) will be described later. When not exceeding (N of S15), the process after step S16 is continued.
  • the element j indicates all elements other than the element i in the position set Q, and it is assumed that the elements other than the element i have no correspondence.
  • S range1 represents the minimum value of the ratio
  • S range2 represents the maximum value of the magnification
  • alpha range indicates the maximum angle of rotation.
  • the determination can be made by the user.
  • the element j is selected. Note that weighting may be performed by distance comparison and angle comparison. For example, the former may be set to zero and the comparison may be made using only the angle.
  • the same processing is executed for the next element of the position set P for the element i of the position set Q. Thereafter, by repeating this process, all elements of the position set P are finally executed (Y in S15).
  • the above processing is executed for all elements of the position set Q.
  • the set T in the associated position set Q is defined by the following (formula 9).
  • the average ratio (average magnification) S of the distance between elements is defined by the following (formula 10). Further, the average difference ⁇ between the angles of the elements is defined by the following (Equation 11) from the correspondence between the position set Q and the position set P and each element. Note that i ⁇ T, j ⁇ T, and i ⁇ j indicate all combinations of different i and j.
  • the position set R obtained by mapping the position set P using the average ratio S of the inter-element distances and the average difference ⁇ of the inter-element angles is defined by the following (formula 12).
  • W i and Z i are defined by the following (formula 15) and (formula 16).
  • an average deviation amount G indicating an average distance between corresponding elements of the mapped position set R and position set Q is defined by the following (formula 17).
  • g x and g y in the above (Expression 17) are expressed by the following (Expression 18) and (Expression 19).
  • FIG. 16 shows a position set R obtained by mapping the position set P using the average ratio S of the inter-element distances between the position set P and the position set Q shown in FIG. 14 and the average difference ⁇ of the inter-element angles.
  • FIG. 16 the position set P, the position set Q, and the position set R are drawn so as not to overlap in order to make the drawing easy to see, but actually, the position set Q and the position set R often overlap.
  • the position information output unit 27 outputs the average distance ratio S, the average angle difference ⁇ , and the average deviation amount G calculated by the position analysis unit 26.
  • the data is output to the position correction unit 30.
  • the position correction unit 30 can accurately detect the position of the inspection target based on these pieces of information.
  • the position correction unit 30 can correct the position (angle or size) of the image to be inspected. Note that the non-defective image can also be generated by the method described so far.
  • FIG. 17A and 17B are diagrams illustrating a specific example of position information extraction processing by the position analysis unit 26 and the position correction unit 30.
  • FIG. FIG. 17A shows an inspection image from which position information is extracted.
  • the position analysis unit 26 analyzes the position information of the pads in the BGA mounting area corresponding to the BGA balls obtained from the inspected image and the design information analysis result.
  • the position correction unit 30 corrects the position information of the pad that has a corresponding relationship with the design information based on the analysis result by the position analysis unit 26.
  • FIG. 17B shows the extraction result of the corrected position information. Compared with FIG. 13B, since the statistical values of a plurality of position information and the connection relationship between the position information are used, the position information can be accurately detected even if some position information is missing or excessively detected. Can be extracted.
  • FIGS. 18A to 18C are diagrams showing specific examples of the position information analysis results.
  • 18A shows an inter-element distance histogram
  • FIG. 18B shows an inter-element angle histogram
  • FIG. 18C shows a corresponding inter-element shift amount.
  • the average distance between elements is 14.40 dots.
  • the average angle between elements is 0.014 rad.
  • the average deviation amount between corresponding elements is 0.0569 dots for the x component and 0.3830 dots for the y component.
  • FIGS. 19A to 19C are diagrams showing image comparison using the position information analysis result.
  • 19A shows a non-defective image
  • FIG. 19B shows a defective image
  • FIG. 19C shows a difference image between the image of FIG. 19A and the image of FIG. 19B. It can be seen that the foreign object A6 in the defective image is detected at an accurate position in the difference image.
  • a plurality of extraction points extracted from the inspected image are used for position detection, and not only the position information of each extraction point but also the position between each extraction point during the position detection process.
  • this connection relationship for example, the distance or angle between each extraction point
  • the position of the inspection object can be detected with high accuracy from the inspection image even if the extraction points are excessive or insufficient. More specifically, by using the average value of the distance ratio and the angle difference described above, it is possible to minimize the positional deviation at the time of detecting the inspection object.
  • the individual extraction points are used as they are, a large positional deviation tends to occur.
  • the set of feature points obtained from the image to be inspected is the position and angle of the extracted points compared to the set of feature points obtained from the extraction design value due to variations in imaging conditions and variations in the shape and color of the inspection target. Misalignment, missing extraction points, and excessive extraction often occur.
  • the position detection device according to the present embodiment, the position of the inspection target can be detected with high accuracy even if there is a shift in the position or angle of the extraction point, or some missing or excessive extraction of the extraction point. .
  • the observation target is the BGA mounting area of the printed board, but it may be other areas of the printed board. Further, the observation target is not limited to the printed circuit board.
  • human biological information for example, fingerprint, vein, iris
  • the above-described feature points, distances and angles between the feature points, and presence / absence of connection between the feature points can be considered.
  • end points and / or branch points of ridges can be set as feature points.
  • the branch point of a capillary vessel can be set as a feature point.
  • the position of the biological information in the captured image can be detected with high accuracy.
  • the present invention can be used for detecting the position of an object to be inspected in appearance inspection.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　保持部は、観察対象の複数の基準特徴点を設定情報として保持する。画像分析部は、撮影された観察対象の画像を分析し、その観察対象から複数の撮影特徴点を抽出する。位置分析部は、保持部に保持される複数の基準特徴点と、画像分析部により抽出された複数の撮影特徴点との対応関係を分析して、観察対象の位置を検出する。位置分析部は、対応関係を分析する際、複数の基準特徴点間の接続関係および複数の撮影特徴点間の接続関係を用いる。

Description

位置検出装置およびそれを搭載した外観検査装置
　本発明は、撮影画像内の観察対象の位置を検出する位置検出装置、およびそれを搭載した外観検査装置に関する。
　外観検査方法の一つに、良品画像と検査画像との比較検査がある。比較検査を行うためには、撮影された被検査画像と事前に撮影した良品画像との位置が合っていることが前提となる。しかしながら、撮影条件により、良品画像との撮影倍率のズレ、撮影位置のズレ、撮影角度のズレが生じるため、基本的に位置補正が必要である。
　被検査画像内の被検査対象の位置は、基準となる目印を画像処理によって検出する手法が一般的であるが、撮像条件（たとえば、光やノイズ）や、検査物の形状や色のバラツキの影響により、被検査対象の位置を正確に検出することは難しい。その位置検出が不正確な場合、比較検査時に、いわゆる見過ぎや見逃しが発生してしまう。なお、見過ぎとは良品を不良品と判定することをいい、見逃しとは不良品を良品と判定することをいう。
　本発明はこうした状況に鑑みてなされたものであり、その目的は、撮影画像内における観察対象の位置検出精度を向上させる技術を提供することにある。
　上記課題を解決するために、本発明のある態様の位置検出装置は、観察対象の複数の基準特徴点を設定情報として保持する保持部と、撮影された観察対象の画像を分析し、その観察対象から複数の撮影特徴点を抽出する画像分析部と、保持部に保持される複数の基準特徴点と、画像分析部により抽出された複数の撮影特徴点との対応関係を分析して、観察対象の位置を検出する位置分析部と、を備える。位置分析部は、対応関係を分析する際、複数の基準特徴点間の接続関係および複数の撮影特徴点間の接続関係を用いる。
　この態様によると、特徴点間の接続関係をもとに、撮影された画像を分析することにより、画像内の観察対象の位置検出精度を向上させることができる。
　保持部は、複数の基準特徴点間の距離、角度を保持し、画像分析部は、複数の撮影特徴点間の距離、角度を算出し、位置分析部は、基準特徴点間の距離と、対応する撮影特徴点間の距離との比率を、特徴点間の距離ごとに算出してそれらの比率の統計値（たとえば、平均値、中央値、最頻値）を算出し、基準特徴点間の角度と、対応する撮影特徴点間の角度との差分を、特徴点間の角度ごとに算出してそれらの差分の統計値（たとえば、平均値、中央値、最頻値）を算出してもよい。この統計値を用いて、観察対象を位置補正することにより、観察対象の位置検出精度を向上させることができる。
　保持部は、複数の基準特徴点間の接続の有無を保持し、位置分析部は、複数の基準特徴点間の接続の有無を参照して、複数の基準特徴点と、複数の撮影特徴点とを対応づけてもよい。これにより、複数の基準特徴点と、複数の撮影特徴点との対応づけの精度を向上させることができる。
　本発明の別の態様の外観検査装置は、観察対象を撮影するための撮像部と、撮像部により撮影された観察対象の位置を検出する上述の位置検出装置と、位置検出装置による位置検出結果に応じて、観察対象の位置を補正する位置補正部と、位置補正部により補正された観察対象の画像と、基準画像とを比較する画像比較部と、を備える。画像比較部による比較結果に応じて、観察対象が良品であるか否かを判定する判定部をさらに備えてもよい。「観察対象」はプリント基板の一部領域であってもよい。
　この態様によれば、観察対象の位置検出精度が高いため、画像比較による外観検査の精度も向上させることができる。
　なお、以上の構成要素の任意の組合せ、本発明の表現を装置、方法、システム、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
　本発明によれば、撮影画像内における観察対象の位置検出精度を向上させることができる。
プリント基板のＳＭＴラインを説明するための図である。 本発明の実施の形態に係る外観検査装置の概略構成を示す図である。 計算装置の構成を示す機能ブロック図である。 図４（Ａ）、（Ｂ）は、プリント基板を撮影した画像を示す。 図５（Ａ）－（Ｄ）は、画像比較部による画像比較手順を説明するための図である。 図５（Ｂ）と図５（Ｄ）との差分画像を示す図である。 図７（Ａ）－（Ｃ）は、撮影画像内から被検査対象の位置を検出する一般的な方法を説明するための図である。 位置合わせの一般的な方法を説明するための図である。 図９（Ａ）－（Ｃ）は、撮影画像内から目印を抽出する際の問題点を説明するための図である。 本発明の実施の形態に係る位置検出部の構成を示す図である。 ＢＧＡ搭載領域の各パッドとパッド間の接続関係を模式的に描いた図である。 設計情報入力部に入力された設計情報の一例を示す図である。 図１３（Ａ）、（Ｂ）は、画像分析部による位置情報出処理の具体例を示す図である。 図１２に示した設計情報から得られた位置集合Ｐと、被検査画像から得られた位置集合Ｑの対応関係の一例を示す図である。 位置集合Ｑと位置集合Ｐとの間で、最も近似する要素間対応関係Ｍｉを探索するためのフローチャートである。 図１４に示した位置集合Ｐと位置集合Ｑとの要素間距離の平均比率Ｓと、要素間角度の平均差分θとを用いて、位置集合Ｐを写像した位置集合Ｒを示す図である。 図１７（Ａ）、（Ｂ）は、位置分析部および位置補正部による位置情報抽出処理の具体例を示す図である。 図１８（Ａ）－（Ｃ）は、位置情報分析結果の具体例を示す図である。 図１９（Ａ）－（Ｃ）は、位置情報分析結果を用いた画像比較を示す図である。
　以下、本発明の実施の形態に係る外観検査装置について説明する。以下、当該外観検査装置をプリント基板のＳＭＴ(Surface Mount Technology)ラインに使用する例を説明する。図１は、プリント基板のＳＭＴラインを説明するための図である。ＳＭＴラインは「半田印刷」（Ｓ１）→「ＣＨＩＰ部品搭載」（Ｓ２）→「外観検査（異物検査）」（Ｓ３）→「ＢＧＡ（Ball Grid Array）部品搭載」（Ｓ４）→「リフロー」（Ｓ５）→「外観検査（全体検査）」（Ｓ６）と推移する。
　「半田印刷」（Ｓ１）はプリント基板上に、クリームはんだをパターンに合わせて印刷する工程である。「チップ部品搭載」（Ｓ２）はプリント基板上にＣＨＩＰ部品を搭載する工程である。「外観検査（異物検査）」（Ｓ３）は、プリント基板上に異物がないか検査する工程である。ＢＧＡ部品搭載箇所にＣＨＩＰ部品があると、後工程の「外観検査（全体検査）」（Ｓ６）では検出できないため、「外観検査（異物検査）」（Ｓ３）は「ＢＧＡ部品搭載」（Ｓ４）より前に行う必要がある。
　「ＢＧＡ部品搭載」（Ｓ４）はプリント基板上にＢＧＡ部品を搭載する工程である。「リフロー」（Ｓ５）はプリント基板に熱を加えて、はんだを溶かし、はんだ付けを行う工程である。「外観検査（全体検査）」（Ｓ６）は、最終的な外観検査を行う工程である。本実施の形態では、「外観検査（異物検査）」（Ｓ３）に注目する。
　図２は、本発明の実施の形態に係る外観検査装置５００の概略構成を示す図である。外観検査装置５００は、計算装置１００と撮像装置２００を備える。計算装置１００にはＰＣなどを用いることができる。撮像装置２００にはＣＣＤカメラやＣＭＯＳカメラを用いることができる。撮像装置２００は、コンペアライン７００上を移動する観察対象である被検査対象（本実施の形態では、ＣＨＩＰ部品が搭載されたプリント基板６００）を撮影する。
　図３は、計算装置１００の構成を示す機能ブロック図である。計算装置１００は、画像取得部１０、位置検出部２０、位置補正部３０、良品画像保持部４０、画像比較部５０および判定部６０を備える。画像取得部１０は、撮像装置２００により撮影された被検査対象の撮影画像を取得する。位置検出部２０は、撮影画像内の被検査対象の位置を検出する。位置補正部３０は、位置検出部２０による位置検出結果をもとに被検査対象の位置を補正する。撮影画像が事前登録用の画像である場合、位置補正部３０は補正後の画像を良品画像保持部４０に登録する。なお、登録される画像は、被検査対象が良品の場合のときの画像である。撮影画像が検査時の画像である場合、位置補正部３０は補正後の画像を画像比較部５０に供給する。
　画像比較部５０は、位置補正部３０により位置補正された被検査画像と、良品画像保持部４０に保持される良品画像とを比較する。具体的には両画像の差分画像を生成する。判定部６０は、当該差分画像をもとに被検査対象が良品であるか否かを判定する。たとえば、異物の有無を検出する。
　図４（Ａ）、（Ｂ）は、プリント基板を撮影した画像を示す。図４（Ａ）は事前に撮影された基準画像である良品画像を示し、図４（Ｂ）は検査時に撮影された被検査画像を示す。図４（Ｂ）に示す被検査画像では、ＢＧＡ搭載領域内の丸で囲っている箇所に異物Ａ１が付着している。「外観検査（異物検査）」（Ｓ３）にて、画像比較部５０は事前に撮影された良品画像と被検査対象の被検査画像とを比較し、判定部６０はその結果をもとにプリント基板上に異物がないか否か検査する。上述したように、この検査では撮影条件により、良品画像との撮影倍率のズレ、撮影位置のズレ、撮影角度のズレが生じる。
　図５（Ａ）－（Ｄ）は、画像比較部５０による画像比較手順を説明するための図である。図５（Ａ）は良品画像を示し、図５（Ｂ）は、図５（Ａ）に示す良品画像の太枠内の画像を示す。図５（Ｂ）に示す画像は被検査対象（本実施の形態ではＢＧＡ搭載領域）に注目した画像である。位置検出部２０は、撮像装置２００により撮影された撮影画像内の被検査対象の位置を検出する。位置補正部３０は、その位置検出結果にもとづき位置補正（たとえば、アフィン変換による回転）を行い、良品画像保持部４０に保存する。図５（Ｂ）では被検査対象およびその周辺領域を切り出して保存する例を描いている。
　図５（Ｃ）は被検査画像を示し、図５（Ｄ）は、図５（Ｃ）に示す被検査画像の太枠内の画像を示す。図５（Ｄ）に示す画像も被検査対象（本実施の形態ではＢＧＡ搭載領域）に注目した画像である。位置検出部２０は、撮像装置２００により撮影された撮影画像内の被検査対象の位置を検出する。位置補正部３０は、その位置検出結果にもとづき位置補正を行う。画像比較部５０は、位置補正された良品画像と被検査画像との差分画像を生成する。判定部６０は、差分画像内において、設定された閾値を超える輝度値や設定された閾値を超える色成分が検出された場合、その位置に異物が存在すると判定する。
　図６は、図５（Ｂ）と図５（Ｄ）との差分画像を示す図である。図６に示す例では、拡大図に示すように被検査対象の右上領域に異物が存在し、撮影されたプリント基板は不良であることが分かる。
　図７（Ａ）－（Ｃ）は、撮影画像内から被検査対象の位置を検出する一般的な方法を説明するための図である。図７（Ａ）は被検査対象であるＢＧＡ搭載領域を含む撮影画像を示し、図７（Ｂ）はＢＧＡ搭載領域の太枠（左下）内の拡大画像を示し、図７（Ｃ）はＢＧＡ搭載領域の太枠（右上）内の拡大画像を示す。図７（Ａ）－（Ｃ）に示す例では、位置合わせのための目印として、ＢＧＡ搭載領域の左下隅のパッドＡ２と、当該領域の右上隅のパッドＡ３を用いている。すなわち、対角線上の二つの隅に基準点を設定している。なお、ＢＧＡ搭載領域のパッドは、ＦＰＧのはんだボール（以下、単にボールという）と接合される部材である。
　図８は、位置合わせの一般的な方法を説明するための図である。位置検出部２０は、被検査画像に画像処理を施し、基準点を検出する。そして、被検出画像の基準点と良品画像の基準点を用いて、被検査対象の、本来あるべき位置からの倍率差Ｄ２／Ｄ１、角度差θ、およびズレ量Ｚを算出する。図８では点線で囲われた領域が被検査対象の本来あるべき位置を示し、実線で囲われた領域が被検査画像内の被検査対象の位置を示している。
　図９（Ａ）－（Ｃ）は、撮影画像内から目印としての基準点を抽出する際の問題点を説明するための図である。位置検出部２０は、撮影画像内から、設定された閾値を超える輝度値または設定された閾値を超える色成分が検出された領域に目印（図９（Ａ）－（Ｃ）ではパッド）が存在するとして、その目印を抽出する。図９（Ａ）は、上記閾値を超えている画素がパッドの中心部に集中しており、当該パッドを正確な位置で抽出できる例を示している。図９（Ｂ）は、上記閾値を超えている画素がパッドの中心部からずれており、当該パッドを正確な位置で抽出できていない例を示している。図９（Ｃ）は、目印としているパッドＡ４の近傍に、上記閾値を超えている画素領域Ａ５があり、その画素領域Ａ５も目印として抽出する例を示している。
　このように、目印の位置を画像処理によって検出する場合、撮像条件（たとえば、光やノイズ）、被検査対象の形状や色のバラツキによって、中心を正しく検出できないことがある。さらに、抽出不足や過剰抽出が発生して、正確な位置検出ができない場合もある。換言すれば、抽出失敗や他の目印を余計に抽出してしまう場合がある。その場合、上述した差分画像には、位置ズレによる差分が大きく生じるため、見過ぎや見逃しが発生しやすくなる。
　図１０は、本発明の実施の形態に係る位置検出部２０の構成を示す図である。位置検出部２０は、設計情報入力部２１、設計情報分析部２２、設計情報分析結果保持部２３、画像入力部２４、画像分析部２５、位置分析部２６および位置情報出力部２７を備える。これらの構成は、ハードウエア的には、任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
　設計情報入力部２１は、被検査対象の客観的な設計情報を外部から受け付ける。たとえば、ユーザ操作に起因して当該設計情報が設計情報入力部２１に与えられる。設計情報入力部２１は、被検査対象の設計情報として、設計情報から得られる特徴点の位置集合Ｐ、および位置集合Ｐの要素間接続条件式を受け付ける。当該特徴点とは、理想的な被検査画像に対して画像処理を行った際に得られる抽出点を、上記設計情報から取得したものである。当該画像処理として、エッジ検出フィルタやカラーフィルタを用いる処理が考えられる。
　設計情報分析部２２は、設計情報から得られる複数の特徴点の位置情報を分析して、特徴点間の距離、角度および接続関係を算出する。本実施の形態では、特徴点がＢＧＡのボールに対応するパッドである例を考える。図１１は、ＢＧＡ搭載領域の各パッドとパッド間の接続関係を模式的に描いた図である。
　設計情報から得られる特徴点の位置集合Ｐは、下記（式１）により定義される。
Figure JPOXMLDOC01-appb-M000001
　位置集合Ｐの要素間接続条件式とは、特徴点の位置情報から接続情報を取得するための条件式または接続情報そのものをいう。
　位置集合Ｐの要素間の距離Ｄｉｊは、下記（式２）により定義される。
Figure JPOXMLDOC01-appb-M000002
 　位置集合Ｐの要素間の角度αｉｊは、下記（式３）により定義される。なお、要素間の角度αｉｊはｘ軸に対する角度を示す。
Figure JPOXMLDOC01-appb-M000003
 　位置集合Ｐの要素間の接続Ｃｉｊは、下記（式４）により定義される。
Figure JPOXMLDOC01-appb-M000004
 　ここで、０は未接続を示し、１は接続を示す。
　位置集合Ｐの要素間の接続Ｃｉｊは、設計情報入力部２１に入力される入力情報であるが、条件式（０：Ｄｉｊ≦Ｄ、１：Ｄｉｊ＞Ｄ）に、角度αｉｊ等の条件を加えてもよい。また、要素間の接続Ｃｉｊを条件式ではなく、直接指定してもよい。
　以下、具体例を挙げながらより詳細に説明する。図１２は、設計情報入力部２１に入力された設計情報の一例を示す。図１２では、ｘｙ平面に特徴点が９個プロットされている。ここで、９個の特徴点のうち接続されている組み合わせ（Ｃｉｊ＝１）は、以下の通りである。Ｃ１２、Ｃ１４、Ｃ２１、Ｃ２３、Ｃ２５、Ｃ３２、Ｃ３６、Ｃ４１、Ｃ４５、Ｃ４７、Ｃ５２、Ｃ５４、Ｃ５６、Ｃ５８、Ｃ６３、Ｃ６５、Ｃ６９、Ｃ７４、Ｃ７８、Ｃ８５、Ｃ８７、Ｃ８９、Ｃ９６、Ｃ９８である。それ以外の特徴点の組み合わせは接続されていない。
　設計情報分析部２２は、設計情報から得られる特徴点の位置集合Ｐ、位置集合Ｐの要素間の距離ＤＩＪ、位置集合Ｐの要素間の角度αＩＪおよび位置集合Ｐの要素間の接続ＣＩＪを設計情報分析結果保持部２３に保存する。
　画像入力部２４は、撮像装置２００により撮影された被検査画像を受け付ける。画像分析部２５は、画像入力部２４に入力された被検査画像に対して上述した画像処理を行い、特徴点を抽出し、特徴点の位置情報を取得する。
　図１３（Ａ）、（Ｂ）は、画像分析部２５による位置情報抽出処理の具体例を示す図である。図１３（Ａ）は、位置情報抽出対象の被検査画像を示す。画像分析部２５は、当該被検査画像に対して、エッジ検出フィルタおよびカラーフィルタをかけて、ＢＧＡのボールに対応するＢＧＡ搭載領域のパッドを特徴点として抽出する。図１３（Ｂ）は、位置情報の抽出結果を示す。
　位置分析部２６は、画像分析部２５により抽出された被検査画像の特徴点の位置情報と、設計情報分析結果保持部２３に保持される設計情報分析結果にもとづき、特徴点の位置分析を行う。
　被検査画像から得られる特徴点の位置集合Ｑは、下記（式５）により定義される。
Figure JPOXMLDOC01-appb-M000005
 　位置集合Ｑの要素間の距離ＥＩＪは、下記（式６）により定義される。
Figure JPOXMLDOC01-appb-M000006
 　位置集合Ｐの要素間の角度βＩＪは、下記（式７）により定義される。
Figure JPOXMLDOC01-appb-M000007
 　位置集合Ｑの要素に対する位置集合Ｐの要素の対応関係Ｍｉは、下記（式８）により定義される。
Figure JPOXMLDOC01-appb-M000008
 　ここで、０は未対応を示し、ｋは対応を示す。
　図１４は、図１２に示した設計情報から得られた位置集合Ｐと、被検査画像から得られた位置集合Ｑの対応関係の一例を示す図である。図１４において、位置集合Ｐと位置集合Ｑとの間で対応している特徴点間を点線で結んで描いている。位置集合Ｑの特徴点１に対応する位置集合Ｐの特徴点は存在しないため、対応関係Ｍ１は０である。位置集合Ｐの特徴点９は、位置集合Ｑでは欠損している。
　以下、位置集合Ｑと位置集合Ｐの要素間対応関係Ｍｉの算出方法について説明する。以下の処理では、位置集合Ｐ内の要素が、位置集合Ｑ内の要素のいずれかであるという仮定を、すべての組み合わせにおいて検証する。各々の仮定に対して、位置集合Ｐ内の接続関係を用いて、位置集合Ｑ内の接続状況を確認する。すなわち、位置集合Ｐ内の各要素の位置および各要素間の距離、角度を用いて、位置集合Ｑ内に対応する要素が、対応する位置の近傍に存在するか否か検証する。そして、すべての組み合わせにおいて位置集合Ｑと位置集合Ｐの要素間対応関係Ｍｉを算出し、最も要素間対応関係Ｍｉが近似する仮定を採用する。
　図１５は、位置集合Ｑと位置集合Ｐとの間で、最も近似する要素間対応関係Ｍｉを探索するためのフローチャートである。位置分析部２６は初期値設定として、位置集合Ｑの要素パラメータｉを０に設定する（Ｓ１０）。つぎに、要素パラメータｉをインクリメントする（Ｓ１１）。要素パラメータｉが位置集合Ｑの最後の要素を超えたか否か判定する（Ｓ１２）。超えた場合（Ｓ１２のＹ）、本探索処理を終了する。超えていない場合（Ｓ１２のＮ）、ステップＳ１３以降の処理を継続する。
　位置分析部２６は初期値設定として、位置集合Ｐの要素パラメータａを０に設定する（Ｓ１３）。つぎに、要素パラメータａをインクリメントする（Ｓ１４）。要素パラメータａが位置集合Ｐの最後の要素を超えたか否か判定する（Ｓ１５）。超えた場合（Ｓ１５のＹ）の処理は後述する。超えていない場合（Ｓ１５のＮ）、ステップＳ１６以降の処理を継続する。
　位置分析部２６は、位置集合Ｑ内の要素パラメータｉで特定される要素ｉと、位置集合Ｐ内の要素パラメータａで特定される要素ａとが対応関係があると仮定する（Ｓ１６）。すなわち、対応関係Ｍｉ＝ａ、対応関係Ｍｊ＝０とする。ここで、要素ｊは位置集合Ｑ内の要素ｉ以外のすべての要素を指し、要素ｉ以外の要素については対応関係なしと仮定する。
　位置分析部２６は、仮の対応関係Ｍｉ＝ａに対して、位置集合Ｐの要素間の接続Ｃａｂ＝１となる要素中から一つの要素ｂを選択する（Ｓ１７）。すなわち、位置集合Ｐの要素ａに接続されている要素を選択する。
　位置分析部２６は、位置集合Ｐの要素ａ、要素ｂに対して条件式１（ＤａｂＳｒａｎｇｅ１＜Ｅｉｊ＜ＤａｂＳｒａｎｇｅ２）および条件式２（αａｂ－αｒａｎｇｅ＜βｉｊ＜αａｂ＋αｒａｎｇｅ）を満たし、かつ対応関係Ｍｊ＝０である位置集合Ｑ内の要素ｊを検索する（Ｓ１８）。なお、Ｓｒａｎｇｅ１は倍率の最小値を示し、Ｓｒａｎｇｅ２は倍率の最大値を示し、αｒａｎｇｅは最大回転角度を示す。これらの設定値は、実験結果、シミュレーション結果または実施結果などに基づき、設計者やユーザによって設定または調整される。上記条件式１、２による判定結果は環境条件によりその感度が変化するため、ユーザにより調整可能であることが好ましい。なお、上記条件式１、２を両方満たす要素ｊが複数存在する場合、複数の距離Ｅｉｊおよび角度βｉｊのうち、距離Ｄａｂおよび角度αａｂに最も近いＥｉｊおよびβｉｊを特定し、その要素ｊを選択する。なお、距離の比較と角度の比較とで重みづけをしてもよい。たとえば、前者をゼロにして角度だけで比較してもよい。
　位置分析部２６は、要素ｊが存在したか否か判定する（Ｓ１９）。存在しない場合（Ｓ１９のＮ）、ステップＳ１７に遷移し、Ｃａｂ＝１となる要素中から別の要素ｂを選択する（Ｓ１７）。ステップＳ１９にて要素ｊが存在する場合（Ｓ１９のＹ）、位置分析部２６は、距離Ｅｉｊおよび角度βｉｊと、距離Ｄａｂおよび角度αａｂとの近似度を対応関係として保持する（Ｓ２０）。
　位置分析部２６は、要素間の接続Ｃａｂ＝１となる要素中に選択していない要素ｂが残っているか否か判定する（Ｓ２１）。残っている場合（Ｓ２１のＮ）、ステップＳ１７に遷移し、Ｃａｂ＝１となる要素中から別の要素ｂを選択する（Ｓ１７）。ステップＳ２１にて残っていない場合（Ｓ２１のＹ）、ステップＳ２０にて保存した対応関係のうち、最も近似度が高い要素ｂを対応関係Ｍｊとする（Ｓ２２）。これにより、対応関係Ｍｉ＝ａとした場合の最適な対応関係Ｍｊ＝ｂを検出できる。なお、対応関係Ｍｊ＝ｂが検索されない場合もある。その後、ステップＳ１４に遷移する。
　位置集合Ｑの要素ｉについて、同様の処理を位置集合Ｐのつぎの要素について実行する。以下、この処理を繰り返すことにより、最終的に位置集合Ｐのすべての要素について実行することになる（Ｓ１５のＹ）。位置分析部２６は、対応関係Ｍｊ＝ｂの近似度が最も高い対応関係Ｍｉ＝ａを採用する（Ｓ２３）。以下、以上の処理を位置集合Ｑのすべての要素について実行する。
　位置分析部２６により算出された、位置集合Ｑと位置集合Ｐとの要素間対応関係Ｍｉに対して、対応付けられた位置集合Ｑ内の集合Ｔは、下記（式９）により定義される。
Figure JPOXMLDOC01-appb-M000009
　位置集合Ｑと位置集合Ｐと各々の要素の対応関係から、要素間距離の平均比率（平均倍率）Ｓは、下記（式１０）により定義される。
Figure JPOXMLDOC01-appb-M000010
 　また、位置集合Ｑと位置集合Ｐと各々の要素の対応関係から、要素間角度の平均差分θは、下記（式１１）により定義される。
Figure JPOXMLDOC01-appb-M000011
 　なお、ｉ∈Ｔ，ｊ∈Ｔ，ｉ≠ｊは、異なるｉとｊのすべての組み合わせを示す。
　つぎに、要素間距離の平均比率Ｓと、要素間角度の平均差分θを用いて、位置集合Ｐを写像した位置集合Ｒは、下記（式１２）により定義される。
Figure JPOXMLDOC01-appb-M000012
　ｄｉおよびθｉが、下記（式１３）および（式１４）であるとすると、
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
 　ＷｉおよびＺｉは、下記（式１５）および（式１６）により定義される。
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
　最後に、写像した位置集合Ｒと位置集合Ｑの対応する要素同士の平均距離を示す平均ズレ量Ｇは、下記（式１７）により定義される。
Figure JPOXMLDOC01-appb-M000017
 　なお、上記（式１７）におけるｇｘ、ｇｙは、下記（式１８）および（式１９）により示される。
Figure JPOXMLDOC01-appb-M000018
Figure JPOXMLDOC01-appb-M000019
　図１６は、図１４に示した位置集合Ｐと位置集合Ｑとの要素間距離の平均比率Ｓと、要素間角度の平均差分θとを用いて、位置集合Ｐを写像した位置集合Ｒを示す図である。なお、図１６では図面を見やすくするために、位置集合Ｐ、位置集合Ｑおよび位置集合Ｒが重ならないように描いているが、実際は位置集合Ｑと位置集合Ｒは重なることが多い。
　位置情報出力部２７は、位置分析部２６で算出された、距離の平均比率Ｓ、角度の平均差分θおよび平均ズレ量Ｇを出力する。本実施の形態では、位置補正部３０に出力する。位置補正部３０は、これらの情報にもとづき、被検査対象の位置を正確に検知することができる。位置補正部３０は、被検査画像の位置（角度や大きさ）を補正することができる。なお、良品画像についても、これまで説明してきた手法により生成可能である。
　図１７（Ａ）、（Ｂ）は、位置分析部２６および位置補正部３０による位置情報抽出処理の具体例を示す図である。図１７（Ａ）は、位置情報抽出対象の被検査画像を示す。位置分析部２６は、当該被検査画像から得られるＢＧＡのボールに対応するＢＧＡ搭載領域のパッドの位置情報と上記設計情報分析結果を分析する。位置補正部３０は、位置分析部２６による分析結果をもとに、上記設計情報と対応関係にあるパッドの位置情報を補正する。図１７（Ｂ）は、補正された位置情報の抽出結果を示す。図１３（Ｂ）と比較し、複数の位置情報の統計値と、位置情報間の接続関係を使用しているため、多少の位置情報の欠落や過剰検出があっても、高精度に位置情報を抽出できる。
　図１８（Ａ）－（Ｃ）は、位置情報分析結果の具体例を示す図である。図１８（Ａ）は、要素間距離ヒストグラムを示し、図１８（Ｂ）は、要素間角度ヒストグラムを示し、図１８（Ｃ）は、対応要素間ズレ量を示す。この具体例では、要素間の平均距離は１４．４０ドットである。要素間の平均角度は０．０１４ｒａｄである。対応要素間の平均ズレ量は、ｘ成分が０．０５６９ドット、ｙ成分が０．３８３０ドットである。
　これらの分析結果をみると、一見同じようにみえる要素間の距離、角度、ズレ量もかなりバラツクことが分かる。したがって、図７、図８に示したように、各抽出点ごとに位置を検出する方法では、正確な位置を検出することが難しいことが分かる。本実施の形態では、対応関係にある位置情報間の距離、角度、ズレ量のそれぞれの平均値を算出することにより、個々の位置情報の抽出ズレを吸収する。
　図１９（Ａ）－（Ｃ）は、位置情報分析結果を用いた画像比較を示す図である。図１９（Ａ）は良品画像を示し、図１９（Ｂ）は不良画像を示し、図１９（Ｃ）は図１９（Ａ）の画像と図１９（Ｂ）の画像との差分画像を示す。不良画像内の異物Ａ６が差分画像において正確な位置で検出されていることが分かる。
　以上説明したように本実施の形態によれば、被検査画像内から抽出される複数の抽出点を位置検出用に用い、位置検出処理中に各抽出点の位置情報だけでなく各抽出点間の接続関係(たとえば、各抽出点間の距離や角度)を用いることにより、抽出点の過不足があっても、被検査画像内から被検査対象の位置を高精度に検出できる。より具体的には、上述した距離の比率、角度の差分の平均値を用いることにより、被検査対象の検出時の位置ズレを最小限に抑えることができる。これに対し、個々の抽出点をそのまま用いた場合、大きな位置ズレが発生しやすくなる。
　一般に、被検査画像から得られる特徴点の集合は、撮像条件のバラツキや被検査対象の形状や色のバラツキにより、抽出設計値より得られる特徴点の集合と比べて、抽出点の位置や角度のズレ、抽出点の欠落、過剰抽出が多く発生する。この点、本実施の形態に係る位置検出装置によれば、抽出点の位置や角度のズレ、抽出点の多少の欠落や過剰抽出があっても、被検査対象の位置を高精度に検出できる。
　このように、複数の位置検出箇所とその相互関係を用いて高精度に位置検出、位置補正することにより、外観検査による比較検査時において見過ぎや見逃しを最小限に抑えることができる。
　以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せによりいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　上述した実施の形態では、観察対象をプリント基板のＢＧＡ搭載領域としたが、プリント基板のその他の領域であってもよい。また、観察対象はプリント基板に限るものではない。たとえば、人間の生体情報（たとえば、指紋、静脈、虹彩）であってもよい。生体情報の場合でも、上述した特徴点、各特徴点間の距離や角度、各特徴点間の接続の有無を観念できる。指紋認証の場合、隆線の端点および／または分岐点を特徴点に設定できる。静脈認証や虹彩認証の場合、毛細血管の分岐点を特徴点に設定できる。この場合も、撮影画像内の生体情報の位置を高精度に検出できる。
　１０　画像取得部、　２０　位置検出部、　２１　設計情報入力部、　２２　設計情報分析部、　２３　設計情報分析結果保持部、　２４　画像入力部、　２５　画像分析部、　２６　位置分析部、　２７　位置情報出力部、　３０　位置補正部、　４０　良品画像保持部、　５０　画像比較部、　６０　判定部、　１００　計算装置、　２００　撮像装置、　５００　外観検査装置。
　本発明は、外観検査における被検査対象の位置検出などに利用できる。

Claims (5)

  1. 　観察対象の複数の基準特徴点を設定情報として保持する保持部と、
    　撮影された前記観察対象の画像を分析し、その観察対象から複数の撮影特徴点を抽出する画像分析部と、
    　前記保持部に保持される複数の基準特徴点と、前記画像分析部により抽出された複数の撮影特徴点との対応関係を分析して、前記観察対象の位置を検出する位置分析部と、を備え、
    　前記位置分析部は、前記対応関係を分析する際、前記複数の基準特徴点間の接続関係および前記複数の撮影特徴点間の接続関係を用いることを特徴とする位置検出装置。
  2. 　前記保持部は、前記複数の基準特徴点間の距離、角度を保持し、
    　前記画像分析部は、前記複数の撮影特徴点間の距離、角度を算出し、
    　前記位置分析部は、前記基準特徴点間の距離と、対応する前記撮影特徴点間の距離との比率を、特徴点間の距離ごとに算出してそれらの比率の統計値を算出し、前記基準特徴点間の角度と、対応する前記撮影特徴点間の角度との差分を、特徴点間の角度ごとに算出してそれらの差分の統計値を算出することを特徴とする請求項１に記載の位置検出装置。
  3. 　前記保持部は、前記複数の基準特徴点間の接続の有無を保持し、
    　前記位置分析部は、前記複数の基準特徴点間の接続の有無を参照して、前記複数の基準特徴点と、前記複数の撮影特徴点とを対応づけることを特徴とする請求項１または２に記載の位置検出装置。
  4. 　観察対象を撮影するための撮像部と、
    　前記撮像部により撮影された観察対象の位置を検出する請求項１から３のいずれかに記載の位置検出装置と、
    　前記位置検出装置による位置検出結果に応じて、前記観察対象の位置を補正する位置補正部と、
    　前記位置補正部により補正された観察対象の画像と、基準画像とを比較する画像比較部と、
    　を備えることを特徴とする外観検査装置。
  5. 　前記観察対象はプリント基板の一部領域であり、
    　前記画像比較部による比較結果に応じて、前記プリント基板が良品であるか否かを判定する判定部をさらに備えることを特徴とする請求項４に記載の外観検査装置。
PCT/JP2011/002957 2011-05-26 2011-05-26 位置検出装置およびそれを搭載した外観検査装置 WO2012160611A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013516079A JP5671135B2 (ja) 2011-05-26 2011-05-26 位置検出装置およびそれを搭載した外観検査装置
PCT/JP2011/002957 WO2012160611A1 (ja) 2011-05-26 2011-05-26 位置検出装置およびそれを搭載した外観検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/002957 WO2012160611A1 (ja) 2011-05-26 2011-05-26 位置検出装置およびそれを搭載した外観検査装置

Publications (1)

Publication Number Publication Date
WO2012160611A1 true WO2012160611A1 (ja) 2012-11-29

Family

ID=47216718

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/002957 WO2012160611A1 (ja) 2011-05-26 2011-05-26 位置検出装置およびそれを搭載した外観検査装置

Country Status (2)

Country Link
JP (1) JP5671135B2 (ja)
WO (1) WO2012160611A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015073418A (ja) * 2013-10-04 2015-04-16 アスモ株式会社 制御回路付きモータ、及びその検査方法
JP2021015101A (ja) * 2019-07-16 2021-02-12 株式会社竹中工務店 画像検査装置及び画像検査プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6391779A (ja) * 1986-10-06 1988-04-22 Matsushita Electric Ind Co Ltd 部品認識装置
JPH0351705A (ja) * 1989-07-19 1991-03-06 Santetsuku Kk 画像位置ずれ検出装置
JPH07220089A (ja) * 1994-01-31 1995-08-18 Matsushita Electric Ind Co Ltd 位置検出方法
JPH08136220A (ja) * 1994-11-14 1996-05-31 Mazda Motor Corp 物品の位置検出方法およびその装置
JP2009247642A (ja) * 2008-04-08 2009-10-29 Flovel Co Ltd 検出装置および方法、プログラム、記録媒体、並びにシミュレーションシステム
JP2010113731A (ja) * 2007-03-09 2010-05-20 Omron Corp 認識処理方法およびこの方法を用いた画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6391779A (ja) * 1986-10-06 1988-04-22 Matsushita Electric Ind Co Ltd 部品認識装置
JPH0351705A (ja) * 1989-07-19 1991-03-06 Santetsuku Kk 画像位置ずれ検出装置
JPH07220089A (ja) * 1994-01-31 1995-08-18 Matsushita Electric Ind Co Ltd 位置検出方法
JPH08136220A (ja) * 1994-11-14 1996-05-31 Mazda Motor Corp 物品の位置検出方法およびその装置
JP2010113731A (ja) * 2007-03-09 2010-05-20 Omron Corp 認識処理方法およびこの方法を用いた画像処理装置
JP2009247642A (ja) * 2008-04-08 2009-10-29 Flovel Co Ltd 検出装置および方法、プログラム、記録媒体、並びにシミュレーションシステム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015073418A (ja) * 2013-10-04 2015-04-16 アスモ株式会社 制御回路付きモータ、及びその検査方法
JP2021015101A (ja) * 2019-07-16 2021-02-12 株式会社竹中工務店 画像検査装置及び画像検査プログラム
JP7331311B2 (ja) 2019-07-16 2023-08-23 株式会社竹中工務店 画像検査装置及び画像検査プログラム

Also Published As

Publication number Publication date
JP5671135B2 (ja) 2015-02-18
JPWO2012160611A1 (ja) 2014-07-31

Similar Documents

Publication Publication Date Title
JP7297018B2 (ja) ビジョンシステムでラインを検出するためのシステム及び方法
JP5715033B2 (ja) 検査方法
JP2009290548A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
JP5600954B2 (ja) 検査システム、その方法及びプログラム
JPWO2016170656A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP4275149B2 (ja) 境界の位置決定装置、境界の位置を決定する方法、当該装置としてコンピュータを機能させるためのプログラム、および記録媒体
JP5671135B2 (ja) 位置検出装置およびそれを搭載した外観検査装置
JP2011227748A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び欠陥検出装置
TWI519802B (zh) 一種線路資訊擷取方法、非線路區資訊擷取方法及運用前述方法的線路缺陷檢測方法
JP6603709B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2005352543A (ja) テンプレートマッチング装置
EP2775422A2 (en) Object detection apparatus, program, and integrated circuit
JP2011243138A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
CN105469085B (zh) 板卡图像获取方法和系统
CN110719405B (zh) 一种基于双目测距的多相机全景图像缝合方法、存储介质及终端
KR101126759B1 (ko) 칩 마운터의 부품 정보 티칭방법
CN111091513B (zh) 图像处理方法、装置、计算机可读存储介质及电子设备
JP2012230453A (ja) 部品回転角度検出装置及び画像処理用部品データ作成装置並びに部品回転角度検出方法及び画像処理用部品データ作成方法
JP4865204B2 (ja) 画像処理方法、画像処理装置及び半導体検査装置
WO2022059055A1 (ja) バンプ位置データ生成装置
JP2006284543A (ja) 実装回路基板検査方法および実装回路基板検査装置
JP2000011174A (ja) 画像認識による計測方法および計測装置および記録媒体
JP2006112930A (ja) 対象物の形状判別方法及び装置
KR20160107474A (ko) 부품 이미지 보정 방법
US8611636B1 (en) High speed method of aligning components having a plurality of non-uniformly spaced features

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11866205

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013516079

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11866205

Country of ref document: EP

Kind code of ref document: A1