WO2017145249A1 - 画像処理システム及び画像処理方法 - Google Patents
画像処理システム及び画像処理方法 Download PDFInfo
- Publication number
- WO2017145249A1 WO2017145249A1 PCT/JP2016/055118 JP2016055118W WO2017145249A1 WO 2017145249 A1 WO2017145249 A1 WO 2017145249A1 JP 2016055118 W JP2016055118 W JP 2016055118W WO 2017145249 A1 WO2017145249 A1 WO 2017145249A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image processing
- image
- component
- algorithm
- algorithms
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/08—Monitoring manufacture of assemblages
- H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
- H05K13/0813—Controlling of single components prior to mounting, e.g. orientation, component geometry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
- H05K13/08—Monitoring manufacture of assemblages
- H05K13/0882—Control systems for mounting machines or assembly lines, e.g. centralized control, remote links, programming of apparatus and processes as such
Definitions
- the present invention relates to an image processing system and an image processing method for processing an image obtained by capturing a part with a camera using a predetermined image processing algorithm to identify the part in the image.
- a component supplied from a component supply device is sucked by a suction nozzle, the component is picked up by a camera from the lower surface side, and the image is processed to identify a component in the image.
- the deviation of the suction posture (suction position and suction angle) of the component is measured, and the shift is corrected to mount the component on the circuit board.
- Patent Document 1 Japanese Patent Application Laid-Open No. 2011-2110878
- image processing component data component shape and body created from CAD data and design drawing data of a component at the time of image processing.
- the component in the image is specified using the data defining the color etc.
- Patent Document 2 Japanese Patent Laid-Open No. 2006-210531
- the imaging conditions are set so that the brightness of a predetermined part of a part in the image is within the target brightness range. Shutter speed, etc.) and illumination conditions are adjusted.
- JP 2011-211088 A Japanese Patent Laid-Open No. 2006-210531
- Patent Document 1 when the image processing component data created from the CAD data of the component and the component shape data measured from the captured image are compared and the deviation between the two exceeds a predetermined value, the deviation between the two is predetermined.
- Image processing component data is re-created using other component shape data that falls within the range. That is, the image processing component data is corrected in accordance with the appearance of the component in the image.
- some users may find it difficult to correct the image processing component data in accordance with the appearance of the components in the image.
- image processing component data is uniquely defined for each component, and there are users who think that correcting image processing component data according to the appearance of the components in the image is a tipping It is to do.
- the imaging conditions and the illumination conditions are adjusted so that the brightness of the predetermined part of the part in the image is within the target brightness range, but only the imaging conditions and the illumination conditions are adjusted.
- the effect of improving the image processing result is small, and only a part of various types of parts with different shapes and colors to be processed is sufficient. Cannot be obtained.
- the present invention processes an image obtained by capturing a component with a camera using a predetermined image processing algorithm, and generates image processing component data defining the shape of the component and the color of the body.
- a storage unit storing a plurality of image processing algorithms, and an image processing of any of the plurality of image processing algorithms stored in the storage unit Selecting an image processing algorithm different from the image processing algorithm used from among the plurality of image processing algorithms when an image processing error occurs in which the image is processed using an algorithm and a component in the image cannot be identified.
- An image processing unit that performs re-image processing for processing the image and identifies components in the image is provided.
- the re-image processing may be repeated until the parts in the image are successfully identified.
- the image processing unit cannot process the image using any one of the plurality of image processing algorithms stored in the storage unit to identify the component in the image.
- the image processing algorithm different from the image processing algorithm used from among the plurality of image processing algorithms is selected and the re-image processing for processing the image is performed to identify the component in the image Therefore, when an image processing error occurs, the image processing unit can automatically select an image processing algorithm and perform re-image processing, and the operator can select an appropriate image processing algorithm according to the shape of the part and the color of the body. This eliminates the time-consuming work of re-selecting and restarting image processing, thereby improving productivity.
- the storage unit two or more types of image processing algorithms are stored for each group classified into a plurality of groups according to the characteristic part of the component to be imaged, and the image processing unit includes the storage unit When the image processing error occurs when the image is processed using any one of the image processing algorithms belonging to the group corresponding to the characteristic part of the part to be imaged among the plurality of groups stored in Another image processing algorithm belonging to the same group as the image processing algorithm used for the image processing may be selected and the re-image processing may be performed to identify the component in the image.
- the grouping according to the characteristic part of the component is, for example, a grouping based on the presence / absence of a lead, the presence / absence of a bump, the color of the body of the component, and the like. If two or more types of image processing algorithms are assigned to each group according to the characteristic part of the component and an appropriate image processing algorithm corresponding to the characteristic part of the component to be image processed is assigned. Easy to select.
- the image processing unit has generated the image processing error.
- an image processing algorithm for a part having a body whose color is different from the color of the body (main body part) of the part in the image to which the image processing algorithm used for the image processing belongs may be selected and the re-image process may be performed to identify the part in the image.
- the image processing unit uses an image processing algorithm used for the re-image processing based on the cause of the image processing error when the cause of the image processing error can be estimated. May be selected from the plurality of image processing algorithms. Thereby, it is possible to increase the probability of successfully identifying the component in the image by one re-image processing.
- the image processing unit selects an image processing algorithm different from the image processing algorithm used from the plurality of image processing algorithms when the image processing error occurs, and is included in the image processing component data
- the re-image processing may be performed by changing a tolerance value corresponding to a dimension allowable variation range. In this way, in addition to changing the image processing algorithm when an image processing error occurs, the tolerance value corresponding to the allowable dimension variation range included in the image processing component data is changed (enlarged allowable dimension variation range). If re-image processing is performed, it is possible to increase the probability that the re-image processing succeeds in identifying components in the image.
- the image processing unit selects an image processing algorithm different from the image processing algorithm used from the plurality of image processing algorithms, and also detects the body of the component in the image.
- a seek line that intersects the outline may be generated, and the outline of the body of the part in the image may be recognized based on the luminance change pattern on the seek line. In this way, the accuracy of recognizing the outline of the body of the part in the image by re-image processing can be increased, and the probability of succeeding in identifying the part in the image can be increased.
- the image processing unit selects an image processing algorithm different from the image processing algorithm used from the plurality of image processing algorithms when the image processing error occurs, and takes an image of a part with the camera
- the re-image processing may be performed using an image captured by changing conditions (shutter speed, aperture value, etc.) and / or illumination conditions (illumination intensity, illumination method, etc.).
- the present invention processes an image obtained by capturing a part with a camera using a predetermined image processing algorithm, and uses the image processing part data that defines the shape and the like of the part from the processing result.
- the image processing system can be widely applied regardless of the application, for example, using a component imaging camera mounted on the component mounter and controlling the component mount operation of the component mounter A function as the image processing unit may be mounted on the apparatus. As a result, the number of occurrences of image processing errors during operation of the component mounter can be reduced, and productivity can be improved.
- FIG. 1 is a perspective view showing the configuration of a modular component mounting system in an embodiment of the present invention.
- FIG. 2 is a perspective view showing the positional relationship between the mounting head, the component imaging camera, and the illumination light source.
- FIG. 3 is a block diagram showing the configuration of the control system of the component mounter.
- FIG. 4 is a flowchart showing the flow of processing of the image processing program.
- FIG. 5 is a flowchart showing the flow of processing of the image processing algorithm automatic selection program.
- a plurality of component mounters 12 are arranged on the base table 11 of the modular component mounting system so as to be adjacent to each other in the circuit board conveyance direction.
- Each component mounting machine 12 includes a component feeder 14 such as a tape feeder and a tray feeder, a conveyor 15 for conveying a circuit board, and one or a plurality of suction nozzles 21 (see FIG. 2) on a main body bed 13.
- a mounting head 17 that is exchangeably held, a head moving device 22 that moves the mounting head 17 in the X and Y directions, a component imaging camera 16 that captures an image of the component sucked by the suction nozzle 21 of the mounting head 17 from the lower surface side, and the like.
- a display device 19 such as a liquid crystal display or CRT, and an operation unit 20 such as operation keys or a touch panel are provided on the front surface of the upper frame 18. Further, a mark imaging camera 23 (see FIG. 3) for imaging the reference mark on the circuit board is attached to the head moving device 22 so as to move integrally with the mounting head 17 in the XY directions.
- the mounting head 17 is rotatably assembled to a support bracket 24 that moves in the XY directions by a head moving device 22, and a suction nozzle moves around the central axis of the mounting head 17 by a head rotating motor 25.
- the suction nozzle 21 is configured to rotate intermittently (pitch drive) by 21 arrangement pitch angles, and to rotate the suction nozzle 21 integrally with the rotation of the mounting head 17.
- a plurality of nozzle holders 26 that hold the suction nozzle 21 are assembled to the mounting head 17 so as to be movable up and down (Z direction), and the mounting head 17 rotates at a predetermined rotation during a component suction operation or a component mounting operation.
- One nozzle holder 26 (suction nozzle 21) located at a position is moved up and down by a nozzle lifting mechanism 28 using a nozzle lifting motor 27 as a drive source.
- the suction nozzle 21 of each nozzle holder 26 is configured to be rotated (autorotated) by a nozzle rotation motor 29, and a horizontal rotation angle ( ⁇ direction) of a component sucked by each suction nozzle 21 can be corrected by a component. Correction is performed by rotation of each suction nozzle 21 before mounting.
- the component imaging camera 16 is arranged upward near the component suction position of the component supply device 14.
- a coaxial epi-illumination light source 32 is mounted upward via a lens 31 on the upper side of the component imaging camera 16.
- the illumination light source 32 is configured by arranging light-emitting elements such as LEDs in an annular shape coaxial with the optical axis of the component imaging camera 16, and the component adsorbed by the adsorption nozzle 21 of the mounting head 17 at the time of imaging the component It comes to illuminate from.
- the control device 41 of each component mounter 12 conveys the circuit board conveyed from the upstream component mounter 12 to a predetermined position by the conveyor 15 and clamps the circuit board by a clamp mechanism (not shown). After positioning, the reference mark on the circuit board is picked up by the mark imaging camera 23, the picked-up image is processed to recognize the position of the reference mark on the circuit board, and the component supplied from the component supply device 14 Is picked up by the pick-up nozzle 21 of the mounting head 17, the part is moved to the image pickup position, picked up by the part pick-up camera 16, the image is processed using a predetermined image processing algorithm, and the processing is performed.
- the part in the image is identified using the image processing part data that defines the shape of the part and the color of the body (main body part), and the suction posture (suction position) of the part is determined. And displacement by measuring the adsorption angles), mounted on the circuit board on the conveyor 15 to correct the deviation.
- image processing component data data defining the shape of the component, the color of the body, etc.
- image processing component data data defining the shape of the component, the color of the body, etc.
- parts with different shapes and body colors such as parts with leads, parts with bumps, chip parts without leads and bumps, and so on. If all these types of parts images are processed with the same image processing algorithm, the recognition accuracy of the parts in the image will be reduced, and the image processing result will be the same as the part shape and body color defined in the image processing part data. There is a case where the image processing error occurs due to a mismatch.
- the control device 41 of each component mounting machine 12 controls the component suction operation and the component mounting operation, and also functions as an image processing unit in the claims, and will be described later during operation.
- the component imaging camera 16 images the component and executes image processing.
- the image processing algorithm automatic selection program of FIG. 5 is executed to execute a plurality of image processing stored in the storage unit 42 such as a hard disk device or a flash memory.
- Re-image processing is performed by selecting an image processing algorithm different from the image processing algorithm used from the algorithm and processing the image. To identify the components in the image.
- the re-image processing is repeatedly executed until the parts in the image are successfully identified.
- the storage unit 42 of the control device 41 of each component mounter 12 classifies into a plurality of groups according to the characteristic part of the component to be imaged and stores two or more types of image processing algorithms for each group. ing.
- the characteristic part of a part is a characteristic part (for example, a lead, a bump, an electrode, or the like) used for specifying the part.
- the grouping according to the characteristic part of the component is, for example, grouping based on the presence / absence of a lead, the presence / absence of a bump, the color of the body of the component, and the like. If two or more types of image processing algorithms are assigned to each group according to the characteristic part of the component and an appropriate image processing algorithm corresponding to the characteristic part of the component to be image processed is assigned. Easy to select.
- the control device 41 of each component mounter 12 processes an image using one of the image processing algorithms belonging to the group corresponding to the feature portion of the component captured from the plurality of groups stored in the storage unit 42. Then, when an image processing error occurs, another image processing algorithm belonging to the same group as the image processing algorithm used for the image processing is selected, and the re-image processing is performed to identify the component in the image.
- the control device 41 of each component mounting machine 12 When an image processing error occurs, there is an image processing algorithm for a part that has a body whose color is different from the body color of the part in the image in the group to which the image processing algorithm used for the image processing belongs. In this case, an image processing algorithm for a part having a body of a different color is selected and the re-image processing is performed to identify the part in the image. Thereby, it is possible to increase the probability of successfully identifying the component in the image by one re-image processing.
- the control device 41 of each component mounter 12 can use the re-image processing based on the cause of the image processing error when the cause of the image processing error can be estimated.
- the image processing algorithm to be selected is selected from the plurality of image processing algorithms. For example, in the image processing component data, because “black body” is specified, when an image processing error occurs when image processing is performed using the “black body” image processing algorithm, the image processing error If it can be assumed that the cause of the color is the color of the body of the part, the probability of succeeding in identifying the part in the image can be determined by selecting the “white body” image processing algorithm and performing re-image processing. Can be increased.
- control device 41 of each component mounter 12 has a function of selecting an image processing algorithm different from the image processing algorithm used from the plurality of image processing algorithms. In addition, it has a function of changing some data included in the image processing component data to be used and performing re-image processing.
- the tolerance value corresponding to the size tolerance variation range of each part included in the image processing component data to be used is changed (dimension tolerance variation). It also has the function of re-image processing by enlarging the range. In this way, if the tolerance value included in the image processing component data is changed so as to expand the allowable dimension variation range and the re-image processing is performed, the re-image processing can identify the component in the image. The probability of success can be increased.
- the control device 41 of each component mounter 12 has a function of selecting an image processing algorithm different from the image processing algorithm used from the plurality of image processing algorithms.
- it has a function to generate a seek line that intersects the outline of the body of the part in the image and recognizes the outline of the body of the part in the image based on the luminance change pattern on the seek line. . For example, if an image processing error occurs because the outline of the body of a part cannot be recognized by image processing, and if a seek line is generated, the accuracy of recognizing the outline of the body of the part in the image will be improved. It is possible to increase the probability that the part in the image is successfully identified.
- the control device 41 of each component mounter 12 has a function of selecting an image processing algorithm different from the image processing algorithm used from the plurality of image processing algorithms.
- re-image processing is performed using an image captured by changing the imaging conditions (shutter speed, aperture value, etc.) and / or illumination conditions (illumination intensity, illumination method, etc.) for imaging the components with the component imaging camera 16. It also has a function to do. Thereby, the precision which recognizes the components in an image by re-image processing can be raised, and the probability of succeeding in the identification of the components in an image by one re-image processing can be raised.
- image processing program The image processing program of FIG. 4 is repeatedly executed by the control device 41 while each component mounter 12 is in operation.
- image processing component data of a component to be imaged next is acquired.
- This image processing component data may be acquired from a database of image processing component data of an external computer such as a production management computer (not shown) of the component mounting system, or a control device of each component mounting machine 12 41 may automatically create image processing component data from CAD data or blueprint data of the component. Alternatively, an operator may create image processing component data from CAD data or design drawing data of a component and input it to the control device 41 of each component mounter 12.
- step 102 a characteristic part of the component to be imaged from among a plurality of groups stored in the storage unit 42 of the control device 41 of each component mounter 12 (for example, the presence of a lead, the presence of a bump, the component Any one of the image processing algorithms belonging to the group corresponding to the body color) is selected.
- the image processing algorithm may be selected in consideration of the image processing component data acquired in step 101. This is because the image processing component data includes data indicating the characteristic part of the component.
- step 103 waits until the timing at which the parts picked up by the pick-up nozzle 21 are picked up by the part image pickup camera 16.
- the captured component is imaged by the component imaging camera 16, and an image of the component is acquired.
- the image is processed using the image processing algorithm selected in step 102, and the image processing component data acquired in step 101 is used as a result of the processing.
- the part is specified, and the deviation of the suction posture (suction position and suction angle) of the part is measured.
- step 106 it is determined whether or not an image processing error has occurred. If no image processing error has occurred (that is, if the part in the image has been successfully identified), the process proceeds to step 107. It is determined whether or not the parts to be imaged are parts of the same type, and if they are parts of the same type, the process returns to step 103 described above. In other words, if the next component to be imaged is a component of the same product type, there is no need to change the image processing component data or the image processing algorithm, so the same image processing algorithm is used for the image of the next component to be imaged. Then, the image processing is performed, and the component in the image is specified using the same image processing component data.
- step 107 if it is determined in step 107 that the part to be imaged next is not a part of the same product type, the process returns to step 101 described above.
- the image processing component data of the component to be imaged next is acquired and stored.
- the component in the image is selected by selecting any image processing algorithm belonging to the group corresponding to the characteristic part of the component to be imaged next from the plurality of groups stored in the unit 42 and processing the image. Is identified.
- step 106 determines whether an image processing error has occurred. If it is determined in step 106 that an image processing error has occurred, the process proceeds to step 108 where an image processing algorithm automatic selection program shown in FIG. 5 described later is executed to automatically select an image processing algorithm. Thereafter, the process returns to step 105, and re-image processing which is image processing again is executed. Until the parts in the image are successfully identified by the re-image processing, the image processing algorithm is automatically selected and the re-image processing is repeated.
- the image processing algorithm automatic selection program in FIG. 5 is a subroutine executed in step 108 of the image processing program in FIG. 4 described above.
- this program is started, it is first determined in step 201 whether or not the cause of the image processing error can be estimated. If the cause of the image processing error can be estimated, the process proceeds to step 202 and the estimated image processing error is determined. On the basis of the cause of the occurrence, another image processing algorithm belonging to the same group as the image processing algorithm used for the image processing is selected.
- the cause of the image processing error can be assumed to be the color of the body of the part, the part that has a body with a color different from the body color of the part in the image within the group to which the image processing algorithm used for the image processing belongs
- the image processing algorithm that targets the part having the body of the different color is selected.
- the image processing component data because “black body” is specified, when an image processing error occurs when image processing is performed using the “black body” image processing algorithm, the image processing error When it can be inferred that the cause of occurrence is the color of the body of the part, the “white body” image processing algorithm is selected.
- step 201 determines whether the cause of the image processing error cannot be estimated. If it is determined in step 201 that the cause of the image processing error cannot be estimated, the process proceeds to step 203, where another image processing algorithm used for the image processing in which the image processing error has occurred belongs to the other group. Select an image processing algorithm.
- step 204 to change the tolerance value corresponding to the dimensional tolerance variation range of each part included in the image processing component data to be used. Determine whether or not.
- examples of tolerance values include lead width, length, position tolerance value, bump size, position tolerance value, body tolerance value, and the like. For example, if an image processing error has occurred because the dimensions of each part subjected to image processing do not fall within the tolerance value range of the image processing component data, it is determined in step 204 that the tolerance value is to be changed. Then, the tolerance value is changed so as to expand the allowable dimension variation range, and the process proceeds to the next step 206.
- step 204 When an image processing error occurs due to the tolerance value, if the tolerance value is changed so as to expand the dimension allowable variation range, it is possible to increase the probability that the re-image processing succeeds in identifying the component in the image. If it is determined in step 204 that the tolerance value is not changed, the process proceeds to step 206 without changing the tolerance value.
- step 206 it is determined whether or not to generate a seek line that intersects the outline of the body of the part in the image. For example, if an image processing error occurs because the outline of the body of the part cannot be recognized by image processing, it is determined in step 206 that a seek line is to be generated, and the process proceeds to step 207 to generate a seek line. The process proceeds to the next step 208. If an image processing error occurs because the outline of the body of the part cannot be recognized by image processing, generating a seek line increases the accuracy of recognizing the outline of the body of the part in the image. And the probability of succeeding in identifying the part in the image can be increased. If it is determined in step 206 that a seek line is not generated, the process proceeds to step 208 without generating a seek line.
- this step 208 it is determined whether or not to change one or both of the imaging conditions (shutter speed, aperture value, etc.) and the illumination conditions (illumination intensity, illumination method, etc.) for imaging the parts with the component imaging camera 16. To do. For example, if an image processing error occurs due to an inappropriate imaging condition or illumination condition and an image processing error occurs, it is determined in step 208 that one or both of the imaging condition and the illumination condition is to be changed. In step 209, one or both of the imaging condition and the illumination condition is changed, the part sucked by the suction nozzle 21 is re-imaged, and the program ends.
- the imaging conditions shutter speed, aperture value, etc.
- the illumination conditions illumination intensity, illumination method, etc.
- step 208 If an image processing error occurs due to inadequate imaging conditions or lighting conditions and an image processing error occurs, changing the imaging conditions or lighting conditions increases the accuracy of recognizing components in the image by re-image processing It is possible to increase the probability that a part in the image is successfully identified by one re-image processing. If it is determined in step 208 that the imaging condition and the illumination condition are not changed, the program is terminated without changing the imaging condition and the illumination condition. Note that a part or all of the processing in steps 204 to 209 described above may be omitted, or other processing (for example, change of the threshold value for binarization) may be added.
- the control device 41 of each component mounter 12 processes an image using any one of a plurality of image processing algorithms stored in the storage unit 42. Then, when an image processing error that cannot identify a component in the image occurs, re-image processing is performed for selecting the image processing algorithm different from the image processing algorithm used from the plurality of image processing algorithms and processing the image. Since the component in the image is specified by performing the control, the control device 41 of the component mounter 12 can automatically select the image processing algorithm and perform re-image processing when an image processing error occurs. Require the user to re-select the appropriate image processing algorithm according to the shape of the part and the color of the body, and then start the image processing again. Requires without work, the productivity can be improved.
- the present invention is not limited to the component mounting system, but for image processing in which an image obtained by capturing a component with a camera is processed using a predetermined image processing algorithm, and the shape of the component is defined from the processing result.
- the image processing system can identify various components in the image using the component data, and can be implemented with various modifications without departing from the gist of the present invention.
Landscapes
- Engineering & Computer Science (AREA)
- Operations Research (AREA)
- Manufacturing & Machinery (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Supply And Installment Of Electrical Components (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
部品実装機（１２）の制御装置（４１）は、稼働中に吸着ノズル（２１）に吸着した部品を撮像位置へ移動させる毎に、その部品を部品撮像用カメラ（１６）で撮像して画像処理を実行すると共に、その画像処理で画像中の部品を特定できない画像処理エラーが発生したときには、画像処理アルゴリズム自動選択プログラムを実行して、記憶部（４２）に記憶されている複数の画像処理アルゴリズムの中から使用した画像処理アルゴリズムと異なる画像処理アルゴリズムを選択して画像を処理する再画像処理を行って前記画像中の部品を特定する。
Description
本発明は、カメラで部品を撮像した画像を所定の画像処理アルゴリズムを使用して処理して前記画像中の部品を特定する画像処理システム及び画像処理方法に関する発明である。
例えば、部品実装機においては、部品供給装置から供給される部品を吸着ノズルで吸着して、当該部品を下面側からカメラで撮像して、その画像を処理して当該画像中の部品を特定し、当該部品の吸着姿勢（吸着位置や吸着角度）のずれを計測して、そのずれを補正して該部品を回路基板に実装するようにしている。更に、特許文献１（特開２０１１－２１１０８８号公報）に記載されているように、画像処理の際に、部品のＣＡＤデータや設計図データから作成した画像処理用部品データ（部品の形状やボディの色等を定義したデータ）を用いて画像中の部品を特定するようにしている。
また、特許文献２（特開２００６－２１０５３１号公報）では、画像認識精度を向上させるために、画像中の部品の所定部位の明るさが目標明るさ範囲内に収まるように撮像条件（カメラのシャッタ速度等）や照明条件を調整するようにしている。
画像処理の対象となる部品は、リード付き部品、バンプ付き部品、リードやバンプの無いチップ部品等、形状やボディの色が異なる様々な種類の部品が存在するため、これら全ての種類の部品の画像を同じ画像処理アルゴリズムで処理すると、画像中の部品の認識精度が低下して、画像処理結果が画像処理用部品データで定義された部品の形状やボディの色と合致せず、画像処理エラーとなる場合がある。そのため、画像処理を行う前に、作業者が経験と勘によって、選択可能な複数の画像処理アルゴリズムの中から画像処理に使用する画像処理アルゴリズムを部品の形状やボディの色に応じて選択するようにしている。
しかし、作業者が部品の形状やボディの色を考慮して画像処理アルゴリズムを選択しても、画像処理用部品データ（ＣＡＤデータや設計図データ）に現れない部品の輝度情報やボディへの印字等により、必ずしも、実際の部品に応じた適切な画像処理アルゴリズムが選択されるとは限らない。しかも、画像処理アルゴリズムの選択は、作業者の経験と勘によって行われるため、作業者の熟練度によって選択にばらつきが生じやすい。このため、作業者が不適切な画像処理アルゴリズムを選択して画像処理して画像中の部品を特定できない画像処理エラーが発生する場合がある。このような場合は、作業者が部品の形状や色に応じた適切な画像処理アルゴリズムを選択し直して、再度、画像処理をやり直す必要があり、この作業に手間がかかるという問題があった。
尚、特許文献１では、部品のＣＡＤデータから作成した画像処理用部品データと撮像画像から計測した部品形状データとを比較して両者の偏差が所定値を越える場合には、両者の偏差が所定値以内となる他の部品形状データを用いて画像処理用部品データを再作成するようにしている。つまり、画像中の部品の写り具合に合わせて画像処理用部品データを修正するようにしている。しかし、ユーザーによっては、画像中の部品の写り具合に合わせて画像処理用部品データを修正することに難色を示す場合がある。本来、画像処理用部品データは、部品毎に一義的に定義されるデータであり、画像中の部品の写り具合に合わせて画像処理用部品データを修正することは本末転倒であると考えるユーザーが存在するためである。
また、特許文献２では、画像中の部品の所定部位の明るさが目標明るさ範囲内に収まるように撮像条件や照明条件を調整するようにしているが、撮像条件や照明条件を調整しただけでは、画像処理アルゴリズムの調整と比較して、画像処理結果を改善する効果が小さく、画像処理の対象となる形状や色が異なる様々な種類の部品のうちの一部の部品でしか十分な効果が得られない。
上記課題を解決するために、本発明は、カメラで部品を撮像した画像を所定の画像処理アルゴリズムを使用して処理して、前記部品の形状やボディの色を定義した画像処理用部品データを用いて前記画像中の部品を特定する画像処理システムにおいて、複数の画像処理アルゴリズムが記憶された記憶部と、前記記憶部に記憶されている前記複数の画像処理アルゴリズムのうちのいずれかの画像処理アルゴリズムを使用して前記画像を処理して前記画像中の部品を特定できない画像処理エラーが発生したときに前記複数の画像処理アルゴリズムの中から使用した画像処理アルゴリズムと異なる画像処理アルゴリズムを選択して前記画像を処理する再画像処理を行って前記画像中の部品を特定する画像処理部とを備えた構成としたものである。ここで、再画像処理は、画像中の部品の特定に成功するまで繰り返すようにすれば良い。
この構成では、画像処理部が、記憶部に記憶されている複数の画像処理アルゴリズムのうちのいずれかの画像処理アルゴリズムを使用して画像を処理して前記画像中の部品を特定できない画像処理エラーが発生したときに、前記複数の画像処理アルゴリズムの中から使用した画像処理アルゴリズムと異なる画像処理アルゴリズムを選択して前記画像を処理する再画像処理を行って前記画像中の部品を特定するようにしたので、画像処理エラー発生時に画像処理部が画像処理アルゴリズムを自動的に選択して再画像処理を行うことが可能となり、作業者が部品の形状やボディの色に応じた適切な画像処理アルゴリズムを選択し直して、再度、画像処理をやり直すという手間のかかる作業を行わずに済み、生産性を向上できる。
具体的には、前記記憶部には、撮像する部品の特徴部分に応じて複数のグループに分類してグループ毎に２種類以上の画像処理アルゴリズムが記憶され、前記画像処理部は、前記記憶部に記憶されている前記複数のグループの中から撮像する部品の特徴部分に応じたグループに属するいずれかの画像処理アルゴリズムを使用して前記画像を処理して前記画像処理エラーが発生したときに、その画像処理に使用した画像処理アルゴリズムと同じグループに属する他の画像処理アルゴリズムを選択して前記再画像処理を行って前記画像中の部品を特定するようにしても良い。ここで、部品の特徴部分に応じたグループ分けとは、例えば、リードの有無、バンプの有無、部品のボディの色等によるグループ分けである。部品の特徴部分に応じて複数のグループに分類してグループ毎に２種類以上の画像処理アルゴリズムを配属しておけば、画像処理の対象となる部品の特徴部分に応じた適切な画像処理アルゴリズムを選択しやすくなる。
更に、画像処理エラーの発生原因として、比較的多いのが部品のボディの色（例えば黒色、白色等）の相違であることを考慮して、前記画像処理部は、前記画像処理エラーが発生したときに、その画像処理に使用した画像処理アルゴリズムが属するグループの中に前記画像中の部品のボディ（本体部分）の色とは異なる色のボディを持つ部品を対象とする画像処理アルゴリズムが存在する場合に、前記異なる色のボディを持つ部品を対象とする画像処理アルゴリズムを選択して前記再画像処理を行って前記画像中の部品を特定するようにしても良い。これにより、１回の再画像処理で画像中の部品の特定に成功する確率を高めることができる。
また、前記画像処理部は、前記画像処理エラーが発生したときに、その画像処理エラーの発生原因を推測できる場合にその画像処理エラーの発生原因に基づいて前記再画像処理に使用する画像処理アルゴリズムを前記複数の画像処理アルゴリズムの中から選択するようにしても良い。これにより、１回の再画像処理で画像中の部品の特定に成功する確率を高めることができる。
また、前記画像処理部は、前記画像処理エラーが発生したときに、前記複数の画像処理アルゴリズムの中から使用した画像処理アルゴリズムと異なる画像処理アルゴリズムを選択すると共に、前記画像処理用部品データに含まれる寸法許容ばらつき範囲に相当するトレランス値を変更して前記再画像処理を行うようにしても良い。このように、画像処理エラー発生時に画像処理アルゴリズムを変更することに加え、画像処理用部品データに含まれる寸法許容ばらつき範囲に相当するトレランス値を変更して（寸法許容ばらつき範囲を拡大して）、再画像処理を行うようにすれば、その再画像処理で画像中の部品の特定に成功する確率を高めることができる。
また、前記画像処理部は、前記画像処理エラーが発生したときに、前記複数の画像処理アルゴリズムの中から使用した画像処理アルゴリズムと異なる画像処理アルゴリズムを選択すると共に、前記画像中の部品のボディの外形線と交差するシークラインを生成し、そのシークライン上の輝度の変化パターンに基づいて前記画像中の部品のボディの外形線を認識するようにしても良い。このようにすれば、再画像処理で画像中の部品のボディの外形線を認識する精度を高めることができ、画像中の部品の特定に成功する確率を高めることができる。
更に、前記画像処理部は、前記画像処理エラーが発生したときに、前記複数の画像処理アルゴリズムの中から使用した画像処理アルゴリズムと異なる画像処理アルゴリズムを選択すると共に、前記カメラで部品を撮像する撮像条件（シャッタ速度、絞り値等）及び／又は照明条件（照明光度、照明方法等）を変更して撮像した画像を用いて前記再画像処理を行うようにしても良い。これにより、再画像処理で画像中の部品を認識する精度を高めることができ、１回の再画像処理で画像中の部品の特定に成功する確率を高めることができる。
本発明は、カメラで部品を撮像した画像を所定の画像処理アルゴリズムを使用して処理して、その処理結果から前記部品の形状等を定義した画像処理用部品データを用いて前記画像中の部品を特定する画像処理システムであれば、用途を問わず、広く適用可能であり、例えば、部品実装機に装備された部品撮像用のカメラを用いると共に、部品実装機の部品実装動作を制御する制御装置に前記画像処理部としての機能を搭載するようにしても良い。これにより、部品実装機の稼働中の画像処理エラーの発生回数を減少させることができ、生産性を向上できる。
以下、本発明を実施するための形態をモジュール型部品実装システムに適用して具体化した一実施例を説明する。
まず、図１乃至図３を用いてモジュール型部品実装システムの構成を説明する。
モジュール型部品実装システムのベース台１１上に、回路基板の搬送方向に隣接して複数台の部品実装機１２が入れ替え可能に整列配置されている。各部品実装機１２は、本体ベッド１３上に、テープフィーダ、トレイフィーダ等の部品供給装置１４と、回路基板を搬送するコンベア１５と、１本又は複数本の吸着ノズル２１（図２参照）を交換可能に保持する実装ヘッド１７と、この実装ヘッド１７をＸＹ方向に移動させるヘッド移動装置２２と、実装ヘッド１７の吸着ノズル２１に吸着した部品をその下面側から撮像する部品撮像用カメラ１６等を搭載して構成され、上部フレーム１８の前面部には、液晶ディスプレイ、ＣＲＴ等の表示装置１９と、操作キー、タッチパネル等の操作部２０とが設けられている。また、ヘッド移動装置２２には、回路基板の基準マークを撮像するマーク撮像用カメラ２３（図３参照）が実装ヘッド１７と一体的にＸＹ方向に移動するように取り付けられている。
モジュール型部品実装システムのベース台１１上に、回路基板の搬送方向に隣接して複数台の部品実装機１２が入れ替え可能に整列配置されている。各部品実装機１２は、本体ベッド１３上に、テープフィーダ、トレイフィーダ等の部品供給装置１４と、回路基板を搬送するコンベア１５と、１本又は複数本の吸着ノズル２１（図２参照）を交換可能に保持する実装ヘッド１７と、この実装ヘッド１７をＸＹ方向に移動させるヘッド移動装置２２と、実装ヘッド１７の吸着ノズル２１に吸着した部品をその下面側から撮像する部品撮像用カメラ１６等を搭載して構成され、上部フレーム１８の前面部には、液晶ディスプレイ、ＣＲＴ等の表示装置１９と、操作キー、タッチパネル等の操作部２０とが設けられている。また、ヘッド移動装置２２には、回路基板の基準マークを撮像するマーク撮像用カメラ２３（図３参照）が実装ヘッド１７と一体的にＸＹ方向に移動するように取り付けられている。
図２に示すように、実装ヘッド１７は、ヘッド移動装置２２によってＸＹ方向に移動する支持ブラケット２４に回転可能に組み付けられ、ヘッド回転用のモータ２５によって実装ヘッド１７の中心軸の回りを吸着ノズル２１の配列ピッチ角度ずつ間欠的に回転する（ピッチ駆動する）ように構成され、この実装ヘッド１７の回転と一体的に吸着ノズル２１を旋回させるようになっている。この実装ヘッド１７には、吸着ノズル２１を保持する複数本のノズルホルダ２６が上下方向（Ｚ方向）に昇降可能に組み付けられ、部品吸着動作時や部品実装動作時には、実装ヘッド１７の所定の回転位置に位置する１本のノズルホルダ２６（吸着ノズル２１）がノズル昇降モータ２７を駆動源とするノズル昇降機構２８によって昇降される。各ノズルホルダ２６の吸着ノズル２１は、ノズル回転用のモータ２９によって回転（自転）するように構成され、各吸着ノズル２１に吸着した部品の水平方向（θ方向）の回転角度のずれを、部品実装前に各吸着ノズル２１の回転によって修正するようにしている。
一方、部品撮像用カメラ１６は、部品供給装置１４の部品吸着位置の近くに上向きに配置されている。図２に示すように、部品撮像用カメラ１６の上側には、レンズ３１を介して同軸落射の照明光源３２が上向きに取り付けられている。この照明光源３２は、ＬＥＤ等の発光素子を部品撮像用カメラ１６の光軸と同軸の円環状に配列して構成され、部品撮像時に実装ヘッド１７の吸着ノズル２１に吸着した部品をその下面側から照明するようになっている。
各部品実装機１２の制御装置４１は、上流側の部品実装機１２から搬送されてくる回路基板をコンベア１５によって所定位置まで搬送してクランプ機構（図示せず）で当該回路基板をクランプして位置決めした後、当該回路基板の基準マークをマーク撮像用カメラ２３で撮像して、その撮像画像を処理して当該回路基板の基準マークの位置を認識すると共に、部品供給装置１４から供給される部品を実装ヘッド１７の吸着ノズル２１で吸着して、当該部品を撮像位置へ移動させて部品撮像用カメラ１６で撮像して、その画像を所定の画像処理アルゴリズムを使用して処理して、その処理結果から、当該部品の形状やボディ（本体部分）の色を定義した画像処理用部品データを用いて当該画像中の部品を特定し、当該部品の吸着姿勢（吸着位置や吸着角度）のずれを計測して、そのずれを補正してコンベア１５上の回路基板に実装する。
ところで、画像処理の際に、画像処理の対象となる部品のＣＡＤデータや設計図データから作成した画像処理用部品データ（当該部品の形状やボディの色等を定義したデータ）を用いて画像中の部品を特定するが、画像処理の対象となる部品は、リード付き部品、バンプ付き部品、リードやバンプの無いチップ部品等、形状やボディの色が異なる様々な種類の部品が存在するため、これら全ての種類の部品の画像を同じ画像処理アルゴリズムで処理すると、画像中の部品の認識精度が低下して、画像処理結果が画像処理用部品データで定義された部品の形状やボディの色と合致せず、画像処理エラーとなる場合がある。
例えば、画像処理用部品データでは、「黒ボディ」と指定されているが、実際に部品を撮像すると、ボディが白っぽく写り、「黒ボディ」系の画像処理アルゴリズムを使用して画像処理すると、画像処理エラーとなる場合がある。このような場合は、「白ボディ」系の画像処理アルゴリズムを使用して画像処理すると、画像処理エラーとならず、画像中の部品の特定に成功するものと思われる。
そこで、本実施例では、各部品実装機１２の制御装置４１は、部品吸着動作や部品実装動作を制御すると共に、請求の範囲でいう画像処理部としても機能し、稼働中に後述する図４の画像処理プログラムを実行して、実装ヘッド１７の吸着ノズル２１に吸着した部品を撮像位置へ移動させる毎に、当該部品を部品撮像用カメラ１６で撮像して画像処理を実行すると共に、その画像処理で画像中の部品を特定できない画像処理エラーが発生したときには、図５の画像処理アルゴリズム自動選択プログラムを実行して、ハードディスク装置、フラッシュメモリ等の記憶部４２に記憶されている複数の画像処理アルゴリズムの中から使用した画像処理アルゴリズムと異なる画像処理アルゴリズムを選択して画像を処理する再画像処理を行って前記画像中の部品を特定する。ここで、再画像処理は、画像中の部品の特定に成功するまで繰り返し実行される。
本実施例では、各部品実装機１２の制御装置４１の記憶部４２には、撮像する部品の特徴部分に応じて複数のグループに分類してグループ毎に２種類以上の画像処理アルゴリズムが記憶されている。ここで、部品の特徴部分とは、部品を特定するために用いる特徴的な部分（例えば、リード、バンプ、電極等）である。部品の特徴部分に応じたグループ分けとは、例えば、リードの有無、バンプの有無、部品のボディの色等によるグループ分けである。部品の特徴部分に応じて複数のグループに分類してグループ毎に２種類以上の画像処理アルゴリズムを配属しておけば、画像処理の対象となる部品の特徴部分に応じた適切な画像処理アルゴリズムを選択しやすくなる。
各部品実装機１２の制御装置４１は、記憶部４２に記憶されている複数のグループの中から撮像した部品の特徴部分に応じたグループに属するいずれかの画像処理アルゴリズムを使用して画像を処理して画像処理エラーが発生したときに、その画像処理に使用した画像処理アルゴリズムと同じグループに属する他の画像処理アルゴリズムを選択して前記再画像処理を行って画像中の部品を特定する。
更に、画像処理エラーの発生原因として、比較的多いのが部品のボディの色（例えば黒色系、白色系等）の相違であることを考慮して、各部品実装機１２の制御装置４１は、画像処理エラーが発生したときに、その画像処理に使用した画像処理アルゴリズムが属するグループの中に画像中の部品のボディの色とは異なる色のボディを持つ部品を対象とする画像処理アルゴリズムが存在する場合に、前記異なる色のボディを持つ部品を対象とする画像処理アルゴリズムを選択して前記再画像処理を行って前記画像中の部品を特定するようにしている。これにより、１回の再画像処理で画像中の部品の特定に成功する確率を高めることができる。
また、各部品実装機１２の制御装置４１は、画像処理エラーが発生したときに、その画像処理エラーの発生原因を推測できる場合にその画像処理エラーの発生原因に基づいて前記再画像処理に使用する画像処理アルゴリズムを前記複数の画像処理アルゴリズムの中から選択するようにしている。例えば、画像処理用部品データでは、「黒ボディ」と指定されていたために、「黒ボディ」系の画像処理アルゴリズムを使用して画像処理して画像処理エラーが発生したときに、その画像処理エラーの発生原因が部品のボディの色であると推測できる場合に、「白ボディ」系の画像処理アルゴリズムを選択して再画像処理を行うようにすれば、画像中の部品の特定に成功する確率を高めることができる。
また、各部品実装機１２の制御装置４１は、上述したように、画像処理エラーが発生したときに、複数の画像処理アルゴリズムの中から使用した画像処理アルゴリズムと異なる画像処理アルゴリズムを選択する機能に加えて、使用する画像処理用部品データに含まれる一部のデータを変更して再画像処理を行う機能も備えている。
例えば、画像処理エラーが発生したときに、画像処理アルゴリズムを変更することに加え、使用する画像処理用部品データに含まれる各部の寸法許容ばらつき範囲に相当するトレランス値を変更して（寸法許容ばらつき範囲を拡大して）、再画像処理を行う機能も備えている。このように、画像処理用部品データに含まれるトレランス値を寸法許容ばらつき範囲を拡大するように変更して、再画像処理を行うようにすれば、その再画像処理で画像中の部品の特定に成功する確率を高めることができる。
また、各部品実装機１２の制御装置４１は、上述したように、画像処理エラーが発生したときに、複数の画像処理アルゴリズムの中から使用した画像処理アルゴリズムと異なる画像処理アルゴリズムを選択する機能に加えて、画像中の部品のボディの外形線と交差するシークラインを生成し、そのシークライン上の輝度の変化パターンに基づいて画像中の部品のボディの外形線を認識する機能も備えている。例えば、画像処理で部品のボディの外形線を認識できないために画像処理エラーが発生した場合に、シークラインを生成すれば、再画像処理で画像中の部品のボディの外形線を認識する精度を高めることができ、画像中の部品の特定に成功する確率を高めることができる。
また、各部品実装機１２の制御装置４１は、上述したように、画像処理エラーが発生したときに、複数の画像処理アルゴリズムの中から使用した画像処理アルゴリズムと異なる画像処理アルゴリズムを選択する機能に加えて、部品撮像用カメラ１６で部品を撮像する撮像条件（シャッタ速度、絞り値等）及び／又は照明条件（照明光度、照明方法等）を変更して撮像した画像を用いて再画像処理を行う機能も備えている。これにより、再画像処理で画像中の部品を認識する精度を高めることができ、１回の再画像処理で画像中の部品の特定に成功する確率を高めることができる。
以上説明した本実施例の画像処理は、各部品実装機１２の制御装置４１によって図４及び図５の各プログラムに従って実行される。以下、図４及び図５の各プログラムの処理内容を説明する。
［画像処理プログラム］
図４の画像処理プログラムは、各部品実装機１２の稼働中にその制御装置４１によって繰り返し実行される。本プログラムが起動されると、まず、ステップ１０１で、次に撮像する部品の画像処理用部品データを取得する。この画像処理用部品データは、部品実装システムの生産管理用コンピュータ（図示せず）等の外部のコンピュータの画像処理用部品データのデータベースから取得しても良いし、各部品実装機１２の制御装置４１が部品のＣＡＤデータや設計図データから画像処理用部品データを自動的に作成するようにしても良い。或は、作業者が部品のＣＡＤデータや設計図データから画像処理用部品データを作成して各部品実装機１２の制御装置４１に入力するようにしても良い。
図４の画像処理プログラムは、各部品実装機１２の稼働中にその制御装置４１によって繰り返し実行される。本プログラムが起動されると、まず、ステップ１０１で、次に撮像する部品の画像処理用部品データを取得する。この画像処理用部品データは、部品実装システムの生産管理用コンピュータ（図示せず）等の外部のコンピュータの画像処理用部品データのデータベースから取得しても良いし、各部品実装機１２の制御装置４１が部品のＣＡＤデータや設計図データから画像処理用部品データを自動的に作成するようにしても良い。或は、作業者が部品のＣＡＤデータや設計図データから画像処理用部品データを作成して各部品実装機１２の制御装置４１に入力するようにしても良い。
この後、ステップ１０２に進み、各部品実装機１２の制御装置４１の記憶部４２に記憶されている複数のグループの中から撮像する部品の特徴部分（例えば、リードの有無、バンプの有無、部品のボディの色等）に応じたグループに属するいずれかの画像処理アルゴリズムを選択する。この際、上記ステップ１０１で取得した画像処理用部品データを考慮して画像処理アルゴリズムを選択するようにすれば良い。画像処理用部品データには、部品の特徴部分を示すデータが含まれているためである。
この後、ステップ１０３に進み、吸着ノズル２１に吸着した部品を部品撮像用カメラ１６で撮像するタイミングになるまで待機し、その撮像タイミングになった時点で、ステップ１０４に進み、吸着ノズル２１に吸着した部品を部品撮像用カメラ１６で撮像して、当該部品の画像を取得する。
そして、次のステップ１０５で、上記ステップ１０２で選択した画像処理アルゴリズムを使用して画像を処理して、その処理結果から、上記ステップ１０１で取得した画像処理用部品データを用いて当該画像中の部品を特定し、当該部品の吸着姿勢（吸着位置や吸着角度）のずれを計測する。
この後、ステップ１０６に進み、画像処理エラーが発生したか否かを判定し、画像処理エラーが発生していなければ（つまり画像中の部品の特定に成功すれば）、ステップ１０７に進み、次に撮像する部品は同じ品種の部品であるか否かを判定し、同じ品種の部品であれば、上述したステップ１０３に戻る。つまり、次に撮像する部品が同じ品種の部品であれば、画像処理用部品データや画像処理アルゴリズムを変更する必要はないため、次に撮像する部品の画像についても、同じ画像処理アルゴリズムを使用して画像処理して、同じ画像処理用部品データを用いて当該画像中の部品を特定する。
これに対し、上記ステップ１０７で、次に撮像する部品が同じ品種の部品ではないと判定されれば、上述したステップ１０１に戻る。つまり、次に撮像する部品が異なる品種の部品であれば、画像処理用部品データや画像処理アルゴリズムを変更する必要があるため、次に撮像する部品の画像処理用部品データを取得すると共に、記憶部４２に記憶されている複数のグループの中から次に撮像する部品の特徴部分に応じたグループに属するいずれかの画像処理アルゴリズムを選択して、当該画像を処理して、当該画像中の部品を特定する。
一方、上述したステップ１０６で、画像処理エラーが発生したと判定されれば、ステップ１０８に進み、後述する図５の画像処理アルゴリズム自動選択プログラムを実行して、画像処理アルゴリズムを自動選択する。この後、上記ステップ１０５に戻り、再度の画像処理である再画像処理を実行する。この再画像処理により画像中の部品の特定に成功するまで、画像処理アルゴリズムを自動選択して再画像処理を行うことを繰り返す。
［画像処理アルゴリズム自動選択プログラム］
図５の画像処理アルゴリズム自動選択プログラムは、上述した図４の画像処理プログラムのステップ１０８で実行されるサブルーチンである。本プログラムが起動されると、まず、ステップ２０１で、画像処理エラーの発生原因を推測できるか否かを判定し、画像処理エラーの発生原因を推測できれば、ステップ２０２に進み、推測した画像処理エラーの発生原因に基づいて、その画像処理に使用した画像処理アルゴリズムと同じグループに属する他の画像処理アルゴリズムを選択する。例えば、画像処理エラーの発生原因が部品のボディの色と推測できれば、その画像処理に使用した画像処理アルゴリズムが属するグループの中に画像中の部品のボディの色とは異なる色のボディを持つ部品を対象とする画像処理アルゴリズムが存在する場合に、前記異なる色のボディを持つ部品を対象とする画像処理アルゴリズムを選択する。例えば、画像処理用部品データでは、「黒ボディ」と指定されていたために、「黒ボディ」系の画像処理アルゴリズムを使用して画像処理して画像処理エラーが発生したときに、その画像処理エラーの発生原因が部品のボディの色であると推測できる場合に、「白ボディ」系の画像処理アルゴリズムを選択する。
図５の画像処理アルゴリズム自動選択プログラムは、上述した図４の画像処理プログラムのステップ１０８で実行されるサブルーチンである。本プログラムが起動されると、まず、ステップ２０１で、画像処理エラーの発生原因を推測できるか否かを判定し、画像処理エラーの発生原因を推測できれば、ステップ２０２に進み、推測した画像処理エラーの発生原因に基づいて、その画像処理に使用した画像処理アルゴリズムと同じグループに属する他の画像処理アルゴリズムを選択する。例えば、画像処理エラーの発生原因が部品のボディの色と推測できれば、その画像処理に使用した画像処理アルゴリズムが属するグループの中に画像中の部品のボディの色とは異なる色のボディを持つ部品を対象とする画像処理アルゴリズムが存在する場合に、前記異なる色のボディを持つ部品を対象とする画像処理アルゴリズムを選択する。例えば、画像処理用部品データでは、「黒ボディ」と指定されていたために、「黒ボディ」系の画像処理アルゴリズムを使用して画像処理して画像処理エラーが発生したときに、その画像処理エラーの発生原因が部品のボディの色であると推測できる場合に、「白ボディ」系の画像処理アルゴリズムを選択する。
これに対し、上記ステップ２０１で、画像処理エラーの発生原因を推測できないと判定されれば、ステップ２０３に進み、画像処理エラーが発生した画像処理に使用した画像処理アルゴリズムと同じグループに属する他の画像処理アルゴリズムを選択する。
以上のようにして、ステップ２０２又は２０３で、画像処理アルゴリズムを選択した後、ステップ２０４に進み、使用する画像処理用部品データに含まれる各部の寸法許容ばらつき範囲に相当するトレランス値を変更するか否かを判定する。ここで、トレランス値としては、例えば、リードの幅、長さ、位置のトレランス値、バンプのサイズ、位置のトレランス値、ボディのトレランス値等がある。例えば、画像処理した各部の寸法が画像処理用部品データのトレランス値の範囲内に収まらないために画像処理エラーが発生した場合には、ステップ２０４で、トレランス値を変更すると判定されて、ステップ２０５に進み、トレランス値を寸法許容ばらつき範囲を拡大するように変更して、次のステップ２０６に進む。トレランス値が原因で画像処理エラーが発生した場合に、トレランス値を寸法許容ばらつき範囲を拡大するように変更すれば、再画像処理で画像中の部品の特定に成功する確率を高めることができる。尚、上記ステップ２０４で、トレランス値を変更しないと判定されれば、トレランス値を変更せずに、ステップ２０６に進む。
このステップ２０６では、画像中の部品のボディの外形線と交差するシークラインを生成するか否かを判定する。例えば、画像処理で部品のボディの外形線を認識できないために画像処理エラーが発生した場合には、ステップ２０６で、シークラインを生成すると判定されて、ステップ２０７に進み、シークラインを生成して、次のステップ２０８に進む。画像処理で部品のボディの外形線を認識できないために画像処理エラーが発生した場合には、シークラインを生成すれば、再画像処理で画像中の部品のボディの外形線を認識する精度を高めることができ、画像中の部品の特定に成功する確率を高めることができる。尚、上記ステップ２０６で、シークラインを生成しないと判定されれば、シークラインを生成せずに、ステップ２０８に進む。
このステップ２０８では、部品撮像用カメラ１６で部品を撮像する撮像条件（シャッタ速度、絞り値等）と照明条件（照明光度、照明方法等）のどちらか一方又は両方を変更するか否かを判定する。例えば、撮像条件や照明条件が適切でないために画像認識精度が低下して画像処理エラーが発生した場合には、ステップ２０８で、撮像条件と照明条件のどちらか一方又は両方を変更すると判定されて、ステップ２０９に進み、撮像条件と照明条件のどちらか一方又は両方を変更し、吸着ノズル２１に吸着された部品を再撮像して本プログラムを終了する。撮像条件や照明条件が適切でないために画像認識精度が低下して画像処理エラーが発生した場合に、撮像条件や照明条件を変更すれば、再画像処理で画像中の部品を認識する精度を高めることができ、１回の再画像処理で画像中の部品の特定に成功する確率を高めることができる。尚、上記ステップ２０８で、撮像条件や照明条件を変更しないと判定されれば、撮像条件や照明条件を変更せずに、本プログラムを終了する。
尚、上述したステップ２０４～２０９の処理の一部又は全部を省略したり、或は、他の処理（例えば二値化の閾値の変更等）を追加しても良い。
尚、上述したステップ２０４～２０９の処理の一部又は全部を省略したり、或は、他の処理（例えば二値化の閾値の変更等）を追加しても良い。
以上説明した本実施例によれば、各部品実装機１２の制御装置４１が、記憶部４２に記憶されている複数の画像処理アルゴリズムのうちのいずれかの画像処理アルゴリズムを使用して画像を処理して画像中の部品を特定できない画像処理エラーが発生したときに、前記複数の画像処理アルゴリズムの中から使用した画像処理アルゴリズムと異なる画像処理アルゴリズムを選択して前記画像を処理する再画像処理を行って前記画像中の部品を特定するようにしたので、画像処理エラー発生時に部品実装機１２の制御装置４１が画像処理アルゴリズムを自動的に選択して再画像処理を行うことが可能となり、作業者が部品の形状やボディの色に応じた適切な画像処理アルゴリズムを選択し直して、再度、画像処理をやり直すという手間のかかる作業を行わずに済み、生産性を向上できる。
尚、本発明は、部品実装システムに限定されず、カメラで部品を撮像した画像を所定の画像処理アルゴリズムを使用して処理して、その処理結果から前記部品の形状等を定義した画像処理用部品データを用いて前記画像中の部品を特定する画像処理システムであれば、用途を問わず、広く適用可能である等、要旨を逸脱しない範囲内で種々変更して実施できることは言うまでもない。
１２…部品実装機、１４…部品供給装置、１６…部品撮像用カメラ、１７…実装ヘッド、２１…吸着ノズル、４１…制御装置（画像処理部）、４２…記憶部
Claims (9)
- カメラで部品を撮像した画像を所定の画像処理アルゴリズムを使用して処理して、前記部品の形状やボディの色を定義した画像処理用部品データを用いて前記画像中の部品を特定する画像処理システムにおいて、
複数の画像処理アルゴリズムが記憶された記憶部と、
前記記憶部に記憶されている前記複数の画像処理アルゴリズムのうちのいずれかの画像処理アルゴリズムを使用して前記画像を処理して前記画像中の部品を特定できない画像処理エラーが発生したときに前記複数の画像処理アルゴリズムの中から使用した画像処理アルゴリズムと異なる画像処理アルゴリズムを選択して前記画像を処理する再画像処理を行って前記画像中の部品を特定する画像処理部と
を備えていることを特徴とする画像処理システム。 - 前記記憶部には、撮像する部品の特徴部分に応じて複数のグループに分類してグループ毎に２種類以上の画像処理アルゴリズムが記憶され、
前記画像処理部は、前記記憶部に記憶されている前記複数のグループの中から撮像する部品の特徴部分に応じたグループに属するいずれかの画像処理アルゴリズムを使用して前記画像を処理して前記画像処理エラーが発生したときに、その画像処理に使用した画像処理アルゴリズムと同じグループに属する他の画像処理アルゴリズムを選択して前記再画像処理を行って前記画像中の部品を特定することを特徴とする請求項１に記載の画像処理システム。 - 前記画像処理部は、前記画像処理エラーが発生したときに、その画像処理に使用した画像処理アルゴリズムが属するグループの中に前記画像中の部品のボディの色とは異なる色のボディを持つ部品を対象とする画像処理アルゴリズムが存在する場合に、前記異なる色のボディを持つ部品を対象とする画像処理アルゴリズムを選択して前記再画像処理を行って前記画像中の部品を特定することを特徴とする請求項２に記載の画像処理システム。
- 前記画像処理部は、前記画像処理エラーが発生したときに、その画像処理エラーの発生原因を推測できる場合にその画像処理エラーの発生原因に基づいて前記再画像処理に使用する画像処理アルゴリズムを前記複数の画像処理アルゴリズムの中から選択することを特徴とする請求項１乃至３のいずれかに記載の画像処理システム。
- 前記画像処理部は、前記画像処理エラーが発生したときに、前記複数の画像処理アルゴリズムの中から使用した画像処理アルゴリズムと異なる画像処理アルゴリズムを選択すると共に、前記画像処理用部品データに含まれる寸法許容ばらつき範囲に相当するトレランス値を変更して前記再画像処理を行うことを特徴とする請求項１乃至４のいずれかに記載の画像処理システム。
- 前記画像処理部は、前記画像処理エラーが発生したときに、前記複数の画像処理アルゴリズムの中から使用した画像処理アルゴリズムと異なる画像処理アルゴリズムを選択すると共に、前記画像中の部品のボディの外形線と交差するシークラインを生成し、そのシークライン上の輝度の変化パターンに基づいて前記画像中の部品のボディの外形線を認識することを特徴とする請求項１乃至５のいずれかに記載の画像処理システム。
- 前記画像処理部は、前記画像処理エラーが発生したときに、前記複数の画像処理アルゴリズムの中から使用した画像処理アルゴリズムと異なる画像処理アルゴリズムを選択すると共に、前記カメラで部品を撮像する撮像条件及び／又は照明条件を変更して撮像した画像を用いて前記再画像処理を行うことを特徴とする請求項１乃至６のいずれかに記載の画像処理システム。
- 前記カメラは、回路基板に部品を実装する部品実装機に装備された部品撮像用のカメラであり、
前記画像処理部は、前記部品実装機の部品実装動作を制御する制御装置に搭載されていることを特徴とする請求項１乃至７のいずれかに記載の画像処理システム。 - カメラで部品を撮像した画像を所定の画像処理アルゴリズムを使用して処理して、前記部品の形状やボディの色を定義した画像処理用部品データを用いて前記画像中の部品を特定する画像処理方法において、
複数の画像処理アルゴリズムを準備しておき、
前記複数の画像処理アルゴリズムのうちのいずれかの画像処理アルゴリズムを使用して前記画像を処理して前記画像中の部品を特定できない画像処理エラーが発生したときに前記複数の画像処理アルゴリズムの中から使用した画像処理アルゴリズムと異なる画像処理アルゴリズムを選択して前記画像を処理する再画像処理を行って前記画像中の部品を特定することを特徴とする画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/055118 WO2017145249A1 (ja) | 2016-02-22 | 2016-02-22 | 画像処理システム及び画像処理方法 |
| JP2018501436A JP6648252B2 (ja) | 2016-02-22 | 2016-02-22 | 画像処理システム及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/055118 WO2017145249A1 (ja) | 2016-02-22 | 2016-02-22 | 画像処理システム及び画像処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017145249A1 true WO2017145249A1 (ja) | 2017-08-31 |
Family
ID=59685983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2016/055118 WO2017145249A1 (ja) | 2016-02-22 | 2016-02-22 | 画像処理システム及び画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6648252B2 (ja) |
| WO (1) | WO2017145249A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019134039A (ja) * | 2018-01-30 | 2019-08-08 | ヤマハ発動機株式会社 | 部品実装装置および部品検査方法 |
| CN110691507A (zh) * | 2018-07-04 | 2020-01-14 | Juki株式会社 | 图像处理装置、电子部件安装装置及电子部件安装方法 |
| WO2022259466A1 (ja) * | 2021-06-10 | 2022-12-15 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置およびマテリアル情報取得方法 |
| WO2023045719A1 (zh) * | 2021-09-27 | 2023-03-30 | 荣耀终端有限公司 | 算法调用方法与算法调用装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05324924A (ja) * | 1992-05-21 | 1993-12-10 | Yamatake Honeywell Co Ltd | ファジィパターン認識装置 |
| JP2003042970A (ja) * | 2001-07-31 | 2003-02-13 | Matsushita Electric Ind Co Ltd | 実装基板の外観検査装置および外観検査方法 |
| JP2003196641A (ja) * | 2001-12-25 | 2003-07-11 | Aisin Aw Co Ltd | 物品認識装置及び方法 |
| JP2004038918A (ja) * | 2001-10-01 | 2004-02-05 | L'oreal Sa | 顔面の３次元画像を使用した分析 |
| JP2004279304A (ja) * | 2003-03-18 | 2004-10-07 | Fuji Mach Mfg Co Ltd | 画像処理方法および画像処理プログラム |
| JP2009004468A (ja) * | 2007-06-20 | 2009-01-08 | Fuji Mach Mfg Co Ltd | 部品実装機の部品廃棄装置及び部品廃棄方法 |
| WO2009041016A1 (ja) * | 2007-09-28 | 2009-04-02 | Panasonic Corporation | 検査装置及び検査方法 |
| WO2013089145A1 (ja) * | 2011-12-16 | 2013-06-20 | 日本電気株式会社 | 情報処理システム、情報処理方法、および情報処理プログラム |
| JP2014169163A (ja) * | 2013-03-04 | 2014-09-18 | Nec Corp | 物品管理システム、物品管理方法、情報処理装置およびその制御方法と制御プログラム |
-
2016
- 2016-02-22 JP JP2018501436A patent/JP6648252B2/ja active Active
- 2016-02-22 WO PCT/JP2016/055118 patent/WO2017145249A1/ja active Application Filing
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05324924A (ja) * | 1992-05-21 | 1993-12-10 | Yamatake Honeywell Co Ltd | ファジィパターン認識装置 |
| JP2003042970A (ja) * | 2001-07-31 | 2003-02-13 | Matsushita Electric Ind Co Ltd | 実装基板の外観検査装置および外観検査方法 |
| JP2004038918A (ja) * | 2001-10-01 | 2004-02-05 | L'oreal Sa | 顔面の３次元画像を使用した分析 |
| JP2003196641A (ja) * | 2001-12-25 | 2003-07-11 | Aisin Aw Co Ltd | 物品認識装置及び方法 |
| JP2004279304A (ja) * | 2003-03-18 | 2004-10-07 | Fuji Mach Mfg Co Ltd | 画像処理方法および画像処理プログラム |
| JP2009004468A (ja) * | 2007-06-20 | 2009-01-08 | Fuji Mach Mfg Co Ltd | 部品実装機の部品廃棄装置及び部品廃棄方法 |
| WO2009041016A1 (ja) * | 2007-09-28 | 2009-04-02 | Panasonic Corporation | 検査装置及び検査方法 |
| WO2013089145A1 (ja) * | 2011-12-16 | 2013-06-20 | 日本電気株式会社 | 情報処理システム、情報処理方法、および情報処理プログラム |
| JP2014169163A (ja) * | 2013-03-04 | 2014-09-18 | Nec Corp | 物品管理システム、物品管理方法、情報処理装置およびその制御方法と制御プログラム |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019134039A (ja) * | 2018-01-30 | 2019-08-08 | ヤマハ発動機株式会社 | 部品実装装置および部品検査方法 |
| CN110691507A (zh) * | 2018-07-04 | 2020-01-14 | Juki株式会社 | 图像处理装置、电子部件安装装置及电子部件安装方法 |
| CN110691507B (zh) * | 2018-07-04 | 2023-03-10 | Juki株式会社 | 图像处理装置、电子部件安装装置及电子部件安装方法 |
| WO2022259466A1 (ja) * | 2021-06-10 | 2022-12-15 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置およびマテリアル情報取得方法 |
| WO2023045719A1 (zh) * | 2021-09-27 | 2023-03-30 | 荣耀终端有限公司 | 算法调用方法与算法调用装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2017145249A1 (ja) | 2018-12-13 |
| JP6648252B2 (ja) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5780712B2 (ja) | 撮像システムおよび電子回路部品装着機 | |
| JP4637417B2 (ja) | 基準マーク部検索用標準線設定方法および基準マーク部検索方法 | |
| WO2017145249A1 (ja) | 画像処理システム及び画像処理方法 | |
| US11004177B2 (en) | Image processing device and board production system | |
| JP5989803B2 (ja) | 部品実装機及び部品実装方法 | |
| JP2005011950A (ja) | 表面実装機 | |
| JP6356222B2 (ja) | 部品装着装置 | |
| JP6602690B2 (ja) | 部品装着機 | |
| JP5600705B2 (ja) | 部品実装装置 | |
| JP2003347794A (ja) | 電子回路部品取出し方法および取出し装置 | |
| JP6680473B2 (ja) | 挿入部品実装方法及び挿入部品実装装置 | |
| JP6770170B2 (ja) | 部品認識装置 | |
| JP7139483B2 (ja) | 対基板作業機および対基板作業方法 | |
| CN109196971B (zh) | 元件安装系统 | |
| EP3370493B1 (en) | Base plate position searching device and component mounting machine | |
| JP7235603B2 (ja) | 部品実装用データの変更装置、変更プログラム、及び、表面実装機 | |
| JP6726310B2 (ja) | 部品実装機 | |
| JP2006013044A (ja) | 電子部品搭載装置 | |
| WO2020183516A1 (ja) | 実装データ作成支援装置、実装データ作成支援方法、外観検査機、部品実装システム | |
| JP6728501B2 (ja) | 画像処理システムおよび部品実装機 | |
| WO2019180953A1 (ja) | 部品装着装置 | |
| WO2020183734A1 (ja) | 良否判定装置および良否判定方法 | |
| JP2005116597A (ja) | 電子部品実装方法 | |
| JP6855597B2 (ja) | 作業機、及び極性の判定方法 | |
| JP7124126B2 (ja) | 部品実装装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ENP | Entry into the national phase |
Ref document number: 2018501436 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16891408 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16891408 Country of ref document: EP Kind code of ref document: A1 |