WO2020065698A1 - 部品データ、部品データ作成システム、部品実装機及び部品実装ラインの生産最適化システム - Google Patents

部品データ、部品データ作成システム、部品実装機及び部品実装ラインの生産最適化システム Download PDF

Info

Publication number
WO2020065698A1
WO2020065698A1 PCT/JP2018/035287 JP2018035287W WO2020065698A1 WO 2020065698 A1 WO2020065698 A1 WO 2020065698A1 JP 2018035287 W JP2018035287 W JP 2018035287W WO 2020065698 A1 WO2020065698 A1 WO 2020065698A1
Authority
WO
WIPO (PCT)
Prior art keywords
component
data
super
resolution image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/035287
Other languages
English (en)
French (fr)
Inventor
雄哉 稲浦
雅史 天野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Corp
Original Assignee
Fuji Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Corp filed Critical Fuji Corp
Priority to JP2020547615A priority Critical patent/JP7019065B2/ja
Priority to PCT/JP2018/035287 priority patent/WO2020065698A1/ja
Publication of WO2020065698A1 publication Critical patent/WO2020065698A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages

Definitions

  • the present specification discloses technologies related to component data used when recognizing a component, a component data creation system that automatically creates the component data, a component mounter that uses the component data, and a production optimization system for a component mounting line. It was done.
  • Patent Document 1 International Publication WO2015 / 083220
  • dimensional information of a component to be imaged is acquired, and the component to be imaged is a small component that is difficult to recognize by normal image processing.
  • one super-resolution image (high-resolution image) is obtained from a plurality of low-resolution component images obtained by imaging the component a plurality of times while moving the camera by using the super-resolution technique.
  • the component is created and the super-resolution image is processed to recognize the part.
  • Patent Document 1 it is determined whether or not to create a super-resolution image based on whether or not a component to be imaged is a small component.
  • a component mounter that determines the necessity of a super-resolution image based on only the component size as in Patent Document 1, even if the component size does not create a super-resolution image, the terminal size is small or the terminal size is small.
  • the shape and arrangement pattern of the terminal are complicated, it may be necessary to create a super-resolution image in order to correctly recognize the terminal. Conversely, even if the component size for creating a super-resolution image is used, if the terminal size is relatively large and the terminal shape or arrangement pattern is relatively simple, the super-resolution image need not be created. In some cases, terminal recognition accuracy can be ensured from one low-resolution component image.
  • component data including shape data indicating a shape characteristic of the component used when processing the image of the component captured by the component imaging camera of the component mounter and recognizing the component.
  • shape data indicating a shape characteristic of the component used when processing the image of the component captured by the component imaging camera of the component mounter and recognizing the component.
  • a super-resolution image created by super-resolution processing of a part image is processed to include data for specifying which of the super-resolution image processing to recognize the part and to perform image processing. .
  • the component mounter uses component data including shape data indicating the geometric characteristics of the component when performing image recognition of the component. Since this component data is created for each component type, in addition to the shape data of the component type, data specifying whether to perform image processing by low-resolution image processing or super-resolution image processing is also stored in the component type. If the data is included in the component data, not only the component size of the component type but also the shape and size of the terminal, the arrangement pattern of the terminals, etc. are considered, and the image processing method suitable for the component type is included in the component data. Can be specified. This allows the component mounter to perform image processing using the image processing method specified by the component data of the component type when performing image recognition of the component, thereby performing image processing using an image processing method suitable for the component type.
  • a component mounter does not needlessly create a super-resolution image with a component type that does not originally require a super-resolution image, and minimizes the number of component types for creating a super-resolution image.
  • FIG. 1 is a vertical sectional front view showing a configuration of a camera stand for creating component data according to the first embodiment.
  • FIG. 2 is a plan view of the mounting table showing an example of the reference position mark.
  • FIG. 3 is a block diagram showing an electrical configuration of the camera stand for creating component data.
  • FIG. 4 is a diagram illustrating a first component image acquired in the first imaging.
  • FIG. 5 is a diagram illustrating a second component image acquired in the second imaging.
  • FIG. 6 is a block diagram showing the configuration of the component mounting line.
  • FIG. 7 is a flowchart illustrating the flow of processing in the first half of the component data creation program according to the first embodiment.
  • FIG. 8 is a flowchart illustrating the flow of processing in the second half of the part data creation program according to the first embodiment.
  • FIG. 9 is a flowchart illustrating a flow of processing of the image processing program of the component mounter according to the first embodiment.
  • FIG. 10 is a flowchart illustrating the flow of processing in the first half of the part data creation program according to the second embodiment.
  • FIG. 11 is a flowchart illustrating the flow of processing in the second half of the component data creation program according to the second embodiment.
  • a first embodiment will be described with reference to FIGS.
  • the configuration of the camera stand 11 for creating component data will be described with reference to FIGS.
  • a camera 13 is mounted on the upper part of the body frame 12 of the camera stand 11 for creating component data, facing downward.
  • the camera 13 is a camera of the same type as the component imaging camera 56 mounted on the component mounter 54 shown in FIG. 6, and is configured using, for example, an imaging element that captures a grayscale image (monochrome image). However, a camera using an image sensor that captures a color image may be used.
  • a lens unit 14 is attached below the camera 13
  • a coaxial epi-illumination device 15 is attached below the lens unit 14, and a side-illumination device 16 is attached below the coaxial epi-illumination device 15.
  • the coaxial epi-illumination device 15 includes a light-emitting source such as an LED that emits light in the horizontal direction from the side toward the center and a light emitting source that emits light at a right angle toward the imaging object below. And a half mirror or the like that reflects the light.
  • the side illuminating device 16 has a configuration in which, for example, upper and lower three-stage side illuminating light sources 21, 22, 23 are arranged in a bowl shape or a truncated polygonal pyramid shape.
  • the side emission light sources 21, 22, and 23 of each stage are configured by, for example, assembling a plurality of LED mounting boards on which a large number of LEDs are mounted in a polygonal ring such as an octagon.
  • the side-projection light sources 21, 22, and 23 of the respective stages with respect to the imaging target are arranged such that the illumination light of 22 and 23 irradiates the imaging target (component) located on the optical axis of the camera 13 from obliquely above.
  • the angle of side lighting is set.
  • the side-projection light sources 21, 22, and 23 of each side of the side-projection illumination device 16 are configured to be individually switchable between ON and OFF, and are controlled by an image processing device 41 (see FIG. 3) described later.
  • the lighting pattern which is a combination pattern of lighting and extinguishing of the side emission light sources 21, 22, 23 of each stage, is switched according to the type (size, shape, etc.) of the component to be imaged. Thereby, it is configured to be able to reproduce lighting conditions equivalent to those of a lighting device (not shown) mounted on the component mounter 54 that mounts the same type of component as the component to be imaged.
  • a mounting table 25 on which a component to be imaged is mounted is provided below the ⁇ side illumination device 16.
  • the mounting table 25 is horizontally supported by a moving table 27 of a moving device 26 that moves the mounting table 25 in the horizontal direction.
  • the moving device 26 is configured to use an actuator 28 such as a ball screw device, a linear motor, or a linear solenoid as a driving source, and to move the mounting table 25 in the horizontal direction by the actuator 28.
  • the moving direction of the mounting table 25 is, for example, a direction in which the component to be imaged moves obliquely within the field of view of the camera 13.
  • the moving device 26 may be configured so that the moving direction of the mounting table 25 can be adjusted.
  • At least a portion of the mounting table 25 on which components are to be mounted is subjected to a non-slip process in order to prevent the components from shifting during movement.
  • a non-slip process for example, any one of coating with a material having a high friction coefficient such as silicone, roughening processing for increasing the surface friction coefficient, and chemical surface treatment may be used.
  • at least a portion of the mounting table 25 on which components are mounted may be formed of a material having a high coefficient of friction such as silicone resin or rubber.
  • the mounting table 25 may be provided with a holder (not shown) for holding the mounted components.
  • This holder may be one that holds the components on the mounting table 25 by, for example, a negative pressure suction force or a magnetic attraction force, or one that holds the components on the mounting table 25 by the adhesive force of an adhesive tape. There may be.
  • one or a plurality of reference position marks 29 are provided as reference position portions at predetermined positions on the upper surface of the mounting table 25 which do not overlap with components to be mounted.
  • the reference position mark 29 may have any shape as long as it can be specified by image recognition.
  • the direction may be specified by the positional relationship between the plurality of reference position marks 29. If the shape of the reference position mark 29 is a shape that can specify the direction by image recognition, the number of reference position marks 29 is one. The number may be only one. Further, when the moving direction of the mounting table 25 by the moving device 26 is accurately fixed only in a fixed direction, the number of the reference position marks 29 may be only one.
  • the image processing device 41 also functions as a super-resolution image creating unit 44 (see FIG. 3), and when performing the super-resolution processing, the components on the mounting table 25 and the reference position mark 29 are displayed in the field of view of the camera 13.
  • a super-resolution image is created by performing a super-resolution process of combining and integrating.
  • the component image captured by the camera 13 is taken into the image processing device 41 (see FIG. 3) and subjected to super-resolution image processing or low-resolution image processing described later.
  • the image processing device 41 is mainly configured by a computer, and as shown in FIG. 3, an input device 42 configured by a keyboard, a mouse, a touch panel, and the like, a component image captured by the camera 13, and a super-resolution generated by super-resolution processing.
  • a display device 43 for displaying a resolution image (high-resolution image) and the like are connected.
  • the illumination mode (illumination pattern) for illuminating the components on the mounting table 25 is switched depending on the type of the components imaged by the camera 13. For example, a full lighting mode in which components are illuminated by both the coaxial epi-illumination device 15 and the side-illumination device 16, a coaxial epi-illumination mode in which components are co-axially epi-illuminated only by the co-axial epi-illumination device 15, and a side-illumination device 16. There is a side-illumination mode in which a part is only side-illuminated with only a part.
  • the mounting table 25 must be moved for each imaging position. Is stopped, and the imaging of the component that is side-illuminated by the side-illumination device 16 at that position and the imaging of the reference position mark 29 that is co-axially illuminated by the coaxial epi-illumination device 15 are separately performed.
  • the amount of movement between the positions where each component image is picked up is measured, and the measured value is used as the measured value. Based on this, the super-resolution image is created by aligning and integrating a plurality of component images captured by side projection illumination with the side projection illumination device 16.
  • the components on the mounting table 25 and the reference position mark 29 are placed in the field of view of the camera 13 and imaged to obtain a first component image (first imaging). Then, after the mounting table 25 is moved by the moving device 26 within a range where the components on the mounting table 25 and the reference position mark 29 fall within the field of view of the camera 13, the components on the mounting table 25 and the reference position are moved by the camera 13. The second component image is obtained by imaging the mark 29 (second imaging). Thereafter, the same operation is repeated to acquire a predetermined number (n) of component images.
  • the image processing device 41 performs image processing on each of the component images, and positions (X1, Y1) of the reference position mark 29 in each of the component images. X2, Y2),..., (Xn, Yn).
  • the upper right corner of each component image is set to the origin (0, 0)
  • the reference position mark 29 in each component image is obtained.
  • a super-resolution process is performed in which a predetermined number (n) of component images are aligned and integrated so that the positions coincide with each other to create one super-resolution image.
  • the component data creation system 48 includes the component data creation camera stand 11, the image processing device 41, and the like, and creates component data based on the image processing result of the image processing device 41.
  • the component data includes shape data indicating a shape characteristic of the component used when processing the image of the component captured by the component imaging camera 56 of the component mounter 54 and recognizing the component.
  • the shape data is, for example, data relating to the size (dimensions in the X, Y, and Z directions) of the component body and the terminals.
  • the width, length, lead pitch This is data such as the position and the number of leads, and in the case of a BGA component, it is data such as the bump diameter, bump pitch, bump position, and number of bumps.
  • the component data according to the first embodiment includes “low-resolution image processing” in which the component mounter 54 processes one component image captured by the component imaging camera 56 and recognizes the component. Specifies which of "super-resolution image processing" to process a super-resolution image created by super-resolution processing of a plurality of component images captured by the imaging camera 56 and recognize the component, and to perform image processing. Data to be included. Further, when the component data includes data designating the super-resolution image processing, the component data includes the magnification of the super-resolution image, the number of component images used for the super-resolution processing, and imaging of each component image. Data that specifies at least one super-resolution image processing condition of the movement amount between the positions to be performed.
  • the component data includes data for specifying an imaging condition and / or an illumination condition for imaging the component.
  • the imaging conditions include, for example, a shutter speed (exposure time), an imaging magnification, an imaging distance, and an aperture value of the component imaging camera 56
  • the illumination conditions include, for example, the brightness of the illumination light of the illumination device of the component mounter 54.
  • the image processing device 41 of the component data creation system 48 functions as the above-described super-resolution image creation unit 44 by executing a component data creation program of FIGS. 7 and 8 described below.
  • the first shape data creation unit 45 creates the part data including the shape data created from the super-resolution image and the data designating the super-resolution image processing.
  • the second shape data creating unit 46 creates shape data from one component image captured by the camera 13, the number of component images is only one (camera 13 is imaged only once).
  • the second shape data creation unit 46 in order to reduce the error occurrence rate of the low-resolution image processing, the second shape data creation unit 46 also uses the camera 13 as in the first shape data creation unit 45 in order to reduce the error rate.
  • the number of component images to be imaged is set to a plurality (the number of times of imaging by the camera 13 is set to a plurality of times), and a process of creating shape data from one component image in order for the plurality of component images is performed. If the creation of the shape data from any one of the component images fails, the first shape data creation unit 45 includes the shape data created from the super-resolution image and the data including the data designating the super-resolution image processing. Create data It is way.
  • the image processing device 41 sets the imaging conditions for imaging the component on the mounting table 25 and / or Alternatively, shape data is created by changing lighting conditions.
  • the imaging conditions are, for example, a shutter speed (exposure time) of the camera 13, an imaging magnification, an imaging distance, an aperture value, and the like
  • the illumination conditions are, for example, illumination of the coaxial incident illumination device 15 and / or the side illumination device 16. The brightness of the light, the incident angle of the illuminating light to the component (illumination angle), the illumination mode (illumination pattern), the lighting time of pulse lighting (duty ratio), and the like.
  • the image processing device 41 when creating the component data including the data designating the super-resolution image processing, the image processing device 41 generates the super-resolution image when the super-resolution image creating unit 44 creates the super-resolution image.
  • Data specifying at least one super-resolution image processing condition among a magnification, the number of component images used for super-resolution processing, and a movement amount between positions at which each component image is captured is included in the component data.
  • the image processing device 41 determines the imaging conditions when capturing the plurality of component images used for creating the super-resolution image, and And / or include data for specifying lighting conditions in the component data.
  • the imaging condition and / or an illumination condition of the component mounter 54 are changed by the component data creation system 48 into the component data. Can be set to the same conditions as when the image was created, and the image processing accuracy can be improved.
  • the image processing device 41 of the component data creation system 48 is connected to the network 51 of the component mounting line 50.
  • the component mounting line 50 is configured by arranging a plurality of component mounters 54 in a transport path 53 for transporting a circuit board 52, and picks up components supplied from a feeder 55 by the component mounters 54 with a suction nozzle.
  • the components are mounted on the substrate 52 to produce a component mounting substrate.
  • Each of the component mounters 54 includes a component imaging camera 56 that captures an image of the component sucked by the suction nozzle, an illumination device (not shown) that illuminates a component that is captured by the component imaging camera 56, and a component mounter 54.
  • the configuration includes a control device 57 for controlling the operation of the function.
  • the control device 57 of the component mounter 54 also functions as an image processing device that processes component images captured by the component imaging camera 56.
  • the control device 57 of each component mounter 54 of the component mounting line 50 acquires the component data created by the image processing device 41 of the component data creation system 48 via the network 51 of the component mounting line 50.
  • the network 51 of the component mounting line 50 includes, in addition to the image processing device 41 of the component data creation system 48, a production management device 61 that manages the production of the component mounting line 50 and a production management device that optimizes the production of the component mounting line 50.
  • the optimizing device 62 and the like are connected.
  • the component data created by the image processing device 41 of the component data creation system 48 is also transmitted to the production management device 61 and the production optimization device 62 via the network 51 of the component mounting line 50.
  • the production management device 61 receives the component data transmitted from the image processing device 41 of the component data creation system 48, and transmits the component data from the production management device 61 to the control device 57 of each component mounting machine 54 and / or Or you may make it transmit to the production optimization apparatus 62.
  • each component mounter 54 executes the image processing program of the component mounter shown in FIG. 9 to be described later during production, thereby specifying low-resolution image processing for the component data of the component sucked by the suction nozzle.
  • the processing of one part image captured by the part imaging camera 56 is performed, and the part is recognized with reference to the shape data included in the part data.
  • the component data of the component sucked by the suction nozzle includes data specifying super-resolution image processing, a plurality of component images captured by the component imaging camera 56 at different positions are subjected to the super-resolution processing.
  • the super-resolution image processing is performed by recognizing the component by referring to the shape data included in the component data.
  • each component mounter 54 includes data specifying the super-resolution image processing in the component data of the component to be imaged, and uses the magnification of the super-resolution image and the super-resolution processing.
  • data for designating at least one super-resolution image processing condition of the number of component images and the amount of movement between the positions at which each component image is captured is included, when performing super-resolution image processing, The super-resolution image processing is executed under the super-resolution image processing conditions specified by the component data.
  • the control device 57 of each component mounter 54 uses the component data.
  • Super-resolution image processing or low-resolution image processing is executed under designated imaging conditions and / or illumination conditions.
  • the production optimizing device 62 distributes a feeder 55 necessary for supplying all the component types used for the production of the component mounting board to a plurality of component mounting machines 54 constituting the component mounting line 50 and The processing of optimizing the feeder arrangement of the component mounter 54 and optimizing the production job (production program) to be executed by each component mounter 54 is performed.
  • the production optimizing device 62 uses the image processing device 41 of the component data creation system 48 for the component data used for image processing for each component type for all component types used for the production of the component mounting board. Or via the production management device 61, and in consideration of the image processing method designated by the component data and the image processing capability of each component mounter 54, the feeder arrangement of each component mounter 54 is determined. Optimize.
  • step 101 an image processing preparation work (the operator places components on the mounting table 25). Then, a preparation completion operation is performed by the input device 42).
  • step 102 the components on the mounting table 25 and the reference position mark 29 are placed in the field of view of the camera 13 and imaged to obtain a first component image (first imaging).
  • step 103 the mounting table 25 is moved by the moving device 26 within a range in which the components on the mounting table 25 and the reference position mark 29 fall within the field of view of the camera 13, and then the process proceeds to step 104.
  • step 104 To capture the second component image by capturing the component on the mounting table 25 and the reference position mark 29 (second imaging).
  • step 105 it is determined whether or not the number of times of imaging has reached a predetermined number (n times). If the number of times of imaging has not yet reached the predetermined number, the above steps 102 to 104 are repeated until the number of times reaches the predetermined number. The process is repeated to acquire a predetermined number (n) of component images.
  • step 106 the predetermined number of component images are subjected to super-resolution processing to create a super-resolution image. Thereafter, the process proceeds to step 107, where the super-resolution image is processed, and shape data indicating the shape characteristics of the component used when the component mounter 54 recognizes the component is created.
  • a component image used for low-resolution image processing is imaged a predetermined number of times.
  • the predetermined number of component images used for creating the super-resolution image described above may be used as they are, but in the low-resolution image processing, the reference position mark 29 is added to the component image. Need not be included, and only the components on the mounting table 25 need to be captured within the field of view of the camera 13 for imaging. Therefore, the component image may be captured with a high imaging magnification.
  • the predetermined number of component images used for the low-resolution image processing may be imaged at the same position, or the mounting device 26 may be used by the moving device 26 within a range where the components on the mounting table 25 fall within the field of view of the camera 13. 25 may be moved to capture images at different positions.
  • step 109 a process of creating shape data indicating the shape characteristic of the component from a single component image in order for a predetermined number of component images is performed.
  • the process of creating the shape data may be performed in parallel with the operation of capturing the component image a predetermined number of times.
  • step 110 in FIG. 8 determines whether or not the creation of shape data from any one of the predetermined number of component images has failed. If it is determined that there has been no failure to create the shape data (that is, the shape data has been successfully created for all of the predetermined number of part images), the process proceeds to step 114, where the shape data and the low Create component data including data specifying the resolution image processing.
  • a predetermined number of shape data are generated to generate shape data from each of the predetermined number of component images.
  • only one shape data may be included in the component data.
  • the shape data created from the specific component image of the second or subsequent sheet may be included in the component data.
  • the average value of a predetermined number of shape data may be calculated and the averaged shape data may be included in the component data.
  • intermediate shape data may be selected from a predetermined number of shape data and included in the component data.
  • the component data includes data for specifying an imaging condition and / or an illumination condition when the component image is captured.
  • step 110 determines whether or not the creation of shape data from any one of the predetermined number of component images has failed. If it is determined in step 110 that the creation of shape data from any one of the predetermined number of component images has failed, the process proceeds to step 111, where the creation of shape data from the super-resolution image is started. It is determined whether or not the process is successful. If it is determined that the shape data is successfully created from the super-resolution image, the process proceeds to step 112, where the shape data and the super-resolution image created from the super-resolution image are obtained. Create component data that includes data that specifies processing. Further, at least one of the magnification of the super-resolution image when the super-resolution image is created, the number of component images used for the super-resolution processing, and the moving amount between the positions where the respective component images are captured. Data specifying image processing conditions is included in the component data, and data specifying imaging conditions and / or lighting conditions when a predetermined number of component images used to create a super-resolution image are captured are also included in the
  • step 111 when it is determined in step 111 that the creation of the shape data from the super-resolution image has failed, the process proceeds to step 113, where the imaging conditions and / or the illumination conditions for imaging the component on the mounting table 25 are changed. Then, the processing after step 102 in FIG. 7 is executed again, and the processing for creating a super-resolution image from a predetermined number of component images to create shape data and the processing for creating shape data from each component image are repeated. Execute.
  • the change of the imaging condition and / or the lighting condition may be automatically set by the image processing device 41 or may be set by an operator operating the input device 42.
  • the process proceeds to step 114, where the shape data and low-resolution Create component data including data specifying image processing.
  • the component data includes data for specifying an imaging condition and / or an illumination condition when the component image is captured.
  • the creation of shape data from the super-resolution image is successful.
  • the process proceeds to step 112, where component data including shape data created from the super-resolution image and data specifying super-resolution image processing is created.
  • the component data includes data for specifying the above-described super-resolution image processing conditions and data for specifying imaging conditions and / or illumination conditions when a predetermined number of component images used for creating a super-resolution image are captured. Is included.
  • each component mounter 54 directly acquires, from the image processing device 41 of the component data creation system 48, component data to be used for image recognition of components mounted on the circuit board 52 before the start of production or production. It is obtained via the management device 61.
  • the control device 57 of each component mounter 54 executes the image processing program of the component mounter of FIG. 9 at each timing of imaging the component sucked by the suction nozzle during the production, and is designated by the component data of the component.
  • Image processing is performed by an image processing method.
  • step 201 it is determined whether super-resolution image processing is designated by component data of the component to be imaged. If it is determined that the super-resolution image processing has been designated, the processing of steps 202 to 206 is executed, and the super-resolution image is created by the component data creation system 48. In the same manner as described above, a predetermined number of component images are acquired to create a super-resolution image.
  • the component data of the component to be imaged includes data specifying super-resolution image processing conditions and data specifying imaging conditions and / or illumination conditions
  • the A super-resolution image is created by setting the resolution image processing condition, the imaging condition, and / or the illumination condition to the super-resolution image processing condition, the imaging condition, and / or the illumination condition specified by the component data.
  • step 202 a component sucked by the suction nozzle and a reference position mark (not shown) provided in a fixed positional relationship with the suction nozzle are placed in the field of view of the component imaging camera 56.
  • step 203 the suction nozzle is moved within a range in which the component and the reference position mark fall within the field of view of the camera 13, and then, to step 204, the component and the reference position mark are imaged by the component imaging camera 56. Then, a second component image is obtained (second imaging).
  • step 205 it is determined whether or not the number of times of imaging has reached a predetermined number (n times). If the number of times of imaging has not reached the predetermined number yet, the above steps 202 to 204 are repeated until the number of times reaches the predetermined number. The process is repeated to acquire a predetermined number (n) of component images.
  • step 206 the predetermined number of component images are subjected to super-resolution processing to create a super-resolution image.
  • step 208 the super-resolution image is processed, and super-resolution image processing for recognizing the component is executed by referring to the shape data included in the component data.
  • step 201 when it is determined in step 201 that super-resolution image processing is not specified in the component data of the component to be imaged, that is, when it is determined that low-resolution image processing is specified, Goes to step 207, and puts the component sucked by the suction nozzle in the field of view of the component imaging camera 56 to take an image to acquire one component image.
  • the imaging condition and / or the lighting condition is specified in the component data
  • the imaging condition and / or the lighting condition of the component mounter 54 are changed to the imaging condition and / or the lighting condition specified by the component data.
  • the setting is performed to capture one component image.
  • step 208 where one component image is processed, and low-resolution image processing for recognizing the component with reference to the shape data included in the component data is executed.
  • the component mounter 54 uses the component data including the shape data indicating the geometric characteristics of the component when performing image recognition of the component. Since this component data is created for each component type, in addition to the shape data of the component type, data specifying whether to perform image processing by low-resolution image processing or super-resolution image processing is also stored in the component type. If the data is included in the component data, not only the component size of the component type but also the shape and size of the terminal, the arrangement pattern of the terminals, etc. are considered, and the image processing method suitable for the component type is Can be specified.
  • the component mounter 54 when the component mounter 54 recognizes an image of a component, it performs image processing using an image processing method specified by component data of the component type, and performs image processing using an image processing method suitable for the component type. be able to. As a result, the component mounter 54 does not needlessly create a super-resolution image with a component type that does not originally require a super-resolution image, and minimizes the number of component types for creating a super-resolution image. In addition to being able to perform low-resolution image processing on components that originally require super-resolution images and failing to recognize terminals, image recognition of components can be performed stably. Productivity can be improved.
  • step 301 an image processing preparation work (the operator places components on the placement table 25). Then, a preparation completion operation is performed by the input device 42).
  • step 302 a predetermined number of component images are obtained by capturing a predetermined number of component images used for low-resolution image processing.
  • step 303 a predetermined number of component images are sequentially processed from one component image to generate shape data indicating the geometric characteristics of the component.
  • the process of creating the shape data may be performed in parallel with the operation of capturing the component image a predetermined number of times.
  • step 304 it is determined whether or not creation of shape data from any one of the predetermined number of component images has failed. If it is determined that there is no failure (that is, the creation of the shape data has been successful for all of the predetermined number of component images), the process proceeds to step 305, and any one of the component images is processed in the same manner as in the first embodiment. Then, the component data including the shape data created from and the data designating the low-resolution image processing is created.
  • step 304 if it is determined in step 304 that the creation of the shape data from any one of the predetermined number of component images has failed, the processing in steps 306 to 309 is executed, and In the same manner as in 1, a predetermined number of component images required to create a super-resolution image are captured while the mounting table 25 is moved by the moving device 26.
  • step 310 in FIG. 11 the process proceeds to step 310 in FIG. 11 to super-resolve the predetermined number of component images to create a super-resolution image. Thereafter, the process proceeds to step 311, where the super-resolution image is processed, and shape data indicating the shape characteristics of the component used when the component mounter 54 recognizes the component is created.
  • step 312 it is determined whether or not shape data has been successfully created from the super-resolution image.
  • step 312 it is determined whether or not shape data has been successfully created from the super-resolution image.
  • step 312 if it is determined that shape data has been successfully created from the super-resolution image, the process proceeds to step 312. Proceeding to 313, component data including shape data created from the super-resolution image and data specifying super-resolution image processing is created. Further, at least one of the magnification of the super-resolution image when the super-resolution image is created, the number of component images used for the super-resolution processing, and the moving amount between the positions where the respective component images are captured. Data specifying image processing conditions is included in the component data, and data specifying imaging conditions and / or lighting conditions when a predetermined number of component images used to create a super-resolution image are captured are also included in the component data. To be included.
  • step 312 determines whether the creation of the shape data from the super-resolution image has failed. If it is determined in step 312 that the creation of the shape data from the super-resolution image has failed, the process proceeds to step 314, and the component on the mounting table 25 is imaged in the same manner as in the first embodiment. The imaging conditions and / or illumination conditions to be performed are changed, and the processing of steps 302 to 304 in FIG. 10 is executed again.
  • the process proceeds to step 305, where the shape data and low-resolution Create component data including data specifying image processing.
  • the component data includes data for specifying an imaging condition and / or an illumination condition when the component image is captured.
  • steps 306 to 309 is executed again. After capturing a predetermined number of component images required to create a super-resolution image in the same manner as in the first embodiment, the process proceeds to step 310 in FIG. Then, in the next step 311, shape data is created from the super-resolution image.
  • the component data includes data for specifying the above-described super-resolution image processing conditions and data for specifying imaging conditions and / or illumination conditions when a predetermined number of component images used for creating a super-resolution image are captured. Is included.
  • the same effects as in the first embodiment can be obtained, and the super-resolution image creation processing can be omitted for the component types that can perform low-resolution image processing.
  • the component data creation processing can be simplified and the processing time can be reduced.
  • the number of component images captured by the camera 13 is set to a plurality (the number of times of imaging by the camera 13 is set to a plurality of times). Processing for forming shape data from one component image in order for the component images of the plurality of component images, and if the creation of shape data from any one of the plurality of component images fails, the super-resolution Although the component data including the shape data created from the image and the data specifying the super-resolution image processing is created, when the shape data is created from the component image taken by the camera 13, the image is taken by the camera 13.
  • the number of component images may be only one (the number of times of imaging by the camera 13 is only one), and shape data may be created from the single component image.
  • the reference position mark 29 which is a reference position portion provided on the upper surface of the mounting table 25 of the camera stand 11 for component data creation described in the first embodiment needs to be imaged by coaxial incident illumination with the coaxial incident illumination device 15. Therefore, when a component on the mounting table 25 is side-illuminated and imaged only by the side-illumination device 16, the movement of the mounting table 25 is stopped for each imaging position, and the side-illumination device is placed at that position. It is necessary to separately perform imaging of the component that is side-illuminated by 16 and imaging of the reference position mark 29 that is coaxially illuminated by the coaxial epi-illumination device 15, and the number of times of imaging required for super-resolution processing is doubled. .
  • a light emitting element for displaying a reference position such as an LED may be provided as a reference position on the upper surface of the mounting table 25.
  • the position and number of the light emitting elements for displaying the reference position may be the same as those of the reference position mark 29 of the first embodiment.
  • the component on the mounting table 25 may be a component that is imaged by side-illumination only with the side-illumination device 16, such as a bump component having an array of bumps.
  • a bump component it is mounted on the mounting table 25 with the bump facing upward.
  • the light-emitting element for displaying the reference position provided on the upper surface of the mounting table 25 emits light, and the light is emitted from the mounting table 25 within the field of view of the camera 13. Both the bump component and the light emitting element for displaying the reference position are imaged.
  • the light emitting element for displaying the reference position is made to emit light, and both the bump component on the mounting table 25 and the light emitting element for displaying the reference position are imaged within the field of view of the camera 13, the image is taken.
  • One image can recognize both the bump component on the mounting table 25 and the light emitting element for displaying the reference position. For this reason, even when the component on the mounting table 25 is a component such as a bump component that is imaged only by side illumination, the light-emitting element for displaying the reference position is made to emit light so that the light-emitting element for displaying the reference position is coaxially incident. There is no need to perform imaging with illumination, and the number of times of imaging required for super-resolution processing does not increase.
  • a reference unit is not provided on the upper surface of the mounting table 25, and as a sensor unit that measures the amount of movement of the mounting table 25, for example, X that measures the amount of movement in the X direction (X coordinate of the position of the mounting table 25)
  • X that measures the amount of movement in the X direction (X coordinate of the position of the mounting table 25)
  • a directional linear scale and a Y-direction linear scale for measuring the amount of movement in the Y direction (Y coordinate of the position of the mounting table 25) may be provided, and the amount of movement of the mounting table 25 may be measured using both linear scales.
  • the camera stand 11 for creating component data described in the first embodiment captures the components on the mounting table 25 at different positions by fixing the position of the camera 13 and moving the mounting table 25 by the moving device 26. However, by fixing the position of the mounting table 25 and moving the camera 13 in the horizontal direction by the moving device, a plurality of images of the parts on the mounting table 25 at different positions are acquired. You may make it acquire two part images.
  • the operator manually moves the mounting table 25 or the camera 13, and the operator manually moves the mounting table 25 or the camera 13, thereby capturing an image of a component on the mounting table 25 at a different position.
  • a plurality of component images may be acquired.
  • the present invention is not limited to the above embodiments.
  • the gist of the present invention may be such that the configuration of the moving device 26 may be changed or the configuration of a lighting device that illuminates the components on the mounting table 25 may be changed.
  • various changes can be made without departing from the scope of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

部品実装機（５４）の部品撮像用カメラ（５６）で撮像した部品の画像を処理して当該部品を認識する際に使用する当該部品の形状的な特徴を示す形状データを含む部品データにおいて、前記形状データの他に、前記部品撮像用カメラで撮像した１枚の部品画像を処理して当該部品を認識する低解像画像処理と、異なる位置で前記部品撮像用カメラで撮像した複数枚の部品画像を超解像処理して作成した超解像画像を処理して当該部品を認識する超解像画像処理のどちらで画像処理するかを指定するデータを含ませる。超解像画像処理を指定するデータを含む部品データには、超解像画像の倍率、超解像処理に使用する部品画像の枚数、各部品画像を撮像する位置間の移動量の少なくとも１つの超解像画像処理条件を指定するデータを含む。

Description

部品データ、部品データ作成システム、部品実装機及び部品実装ラインの生産最適化システム
　本明細書は、部品を画像認識する際に使用する部品データ、その部品データを自動作成する部品データ作成システム、部品データを使用する部品実装機及び部品実装ラインの生産最適化システムに関する技術を開示したものである。
　部品実装機の稼働中に吸着ノズルに吸着した微小な部品をカメラで撮像して画像認識する際に、カメラで撮像した部品画像の解像度が低いために微小な部品の認識が困難な場合がある。そこで、特許文献１（国際公開ＷＯ２０１５／０８３２２０号公報）に記載されているように、撮像する部品の寸法情報を取得して、撮像する部品が通常の画像処理では認識困難な小型部品であると判定した場合に、超解像技術を利用して、カメラを移動させながら部品を複数回撮像して取得した複数枚の低解像度の部品画像から１枚の超解像画像（高解像度画像）を作成して、その超解像画像を処理して当該部品を認識するようにしたものがある。
国際公開ＷＯ２０１５／０８３２２０号公報
　上述した特許文献１では、撮像する部品が小型部品であるか否かで超解像画像を作成するか否かを判別するようにしている。しかし、回路基板に実装する部品には、様々な種類の部品があり、部品種毎に部品サイズが異なるだけでなく、リード、バンプ等の端子の形状やサイズ、端子の配列パターンも部品種毎に様々に異なるため、部品サイズのみでは超解像画像の要否を正しく判断することは困難である。このため、特許文献１のように、部品サイズのみで超解像画像の要否を判断する部品実装機では、超解像画像を作成しない部品サイズであっても、端子サイズが小さかったり、端子の形状や配列パターンが複雑である場合には、その端子を正しく認識するには超解像画像を作成する必要がある場合がある。その反対に、超解像画像を作成する部品サイズであっても、端子サイズが比較的大きく、端子の形状や配列パターンが比較的単純である場合には、超解像画像を作成しなくても、１枚の低解像度の部品画像から端子の認識精度を確保できる場合もある。
　部品実装機で超解像画像を作成する場合には、部品の撮像から認識までの処理に要する時間が通常の画像処理よりも延びるため、超解像画像を作成する部品種が増えるほど、生産性が低下することになる。従って、生産性低下を極力抑えるには、超解像画像を作成する部品種を必要最小限にする必要がある。
　しかし、上述した特許文献１のように、部品サイズのみで超解像画像の要否を判断する部品実装機では、本来的に超解像画像が不要な部品種で超解像画像を無駄に作成したり、その反対に、本来的に超解像画像が必要な部品種で低解像画像処理して端子の認識に失敗する場合があり、その結果、生産性が低下するという問題があった。
　上記課題を解決するために、部品実装機の部品撮像用カメラで撮像した部品の画像を処理して当該部品を認識する際に使用する当該部品の形状的な特徴を示す形状データを含む部品データにおいて、前記形状データの他に、前記部品撮像用カメラで撮像した１枚の部品画像を処理して当該部品を認識する低解像画像処理と、異なる位置で前記部品撮像用カメラで撮像した複数枚の部品画像を超解像処理して作成した超解像画像を処理して当該部品を認識する超解像画像処理のどちらで画像処理するかを指定するデータを含むようにしたものである。
　部品実装機では、部品を画像認識する際に、その部品の形状的な特徴を示す形状データを含む部品データを使用する。この部品データは、部品種毎に作成されるため、その部品種の形状データの他に、低解像画像処理と超解像画像処理のどちらで画像処理するかを指定するデータをその部品種の部品データに含ませるようにすれば、その部品種の部品サイズだけでなく、端子の形状やサイズ、端子の配列パターン等も考慮して、その部品種に適した画像処理方法を部品データで指定することができる。これにより、部品実装機では、部品を画像認識する際に、その部品種の部品データで指定された画像処理方法で画像処理することで、その部品種に適した画像処理方法で画像処理することができる。これにより、部品実装機で、本来的に超解像画像が不要な部品種で超解像画像を無駄に作成することが無くなり、超解像画像を作成する部品種を必要最小限にすることができると共に、本来的に超解像画像が必要な部品種で低解像画像処理して端子の認識に失敗するということが無くなり、部品の画像認識を安定して行うことができると共に、生産性を向上することができる。
図１は実施例１の部品データ作成用カメラスタンドの構成を示す縦断正面図である。 図２は基準位置マークの一例を示す載置台の平面図である。 図３は部品データ作成用カメラスタンドの電気的な構成を示すブロック図である。 図４は１回目の撮像で取得した１枚目の部品画像を示す図である。 図５は２回目の撮像で取得した２枚目の部品画像を示す図である。 図６は部品実装ラインの構成を示すブロック図である。 図７は実施例１の部品データ作成プログラムの前半部の処理の流れを示すフローチャートである。 図８は実施例１の部品データ作成プログラムの後半部の処理の流れを示すフローチャートである。 図９は実施例１の部品実装機の画像処理プログラムの処理の流れを示すフローチャートである。 図１０は実施例２の部品データ作成プログラムの前半部の処理の流れを示すフローチャートである。 図１１は実施例２の部品データ作成プログラムの後半部の処理の流れを示すフローチャートである。
　以下、本明細書に開示した２つの実施例１，２を説明する。
　図１乃至図９を用いて実施例１を説明する。
　まず、図１及び図２を参照して部品データ作成用カメラスタンド１１の構成を説明する。
　部品データ作成用カメラスタンド１１の本体フレーム１２の上部に、カメラ１３が下向きに取り付けられている。このカメラ１３は、図６に示す部品実装機５４に搭載された部品撮像用カメラ５６と同種のカメラであり、例えば、グレースケール画像（モノクロ画像）を撮像する撮像素子を用いて構成されているが、カラー画像を撮像する撮像素子を用いたカメラであっても良い。
　このカメラ１３の下方には、レンズユニット１４が取り付けられ、このレンズユニット１４の下方に同軸落射照明装置１５が取り付けられ、この同軸落射照明装置１５の下方に側射照明装置１６が取り付けられている。図示はしないが、同軸落射照明装置１５は、その側方から中心側に向けて光を水平方向に放射するＬＥＤ等の発光源と、その発光源の光を下方の撮像対象物に向けて直角に反射するハーフミラー等を備えた構成となっている。
　一方、側射照明装置１６は、例えば、上下３段の側射光源２１，２２，２３を椀状又は多角錐台状に配置した構成となっている。各段の側射光源２１，２２，２３は、例えば、多数のＬＥＤを実装した複数枚のＬＥＤ実装基板を八角形等の多角形の環状に組み付けて構成され、各段の側射光源２１，２２，２３の照明光がカメラ１３の光軸上に位置する撮像対象物（部品）に対して斜め上方から照射されるように、撮像対象物に対する各段の側射光源２１，２２，２３の側射照明の角度が設定されている。
　この側射照明装置１６の各段の側射光源２１，２２，２３は、点灯／消灯を個別に切り換え可能に構成され、後述する画像処理装置４１（図３参照）によって、側射照明装置１６の各段の側射光源２１，２２，２３の点灯／消灯の組み合わせパターンである点灯パターンを、撮像対象となる部品の種類（サイズ、形状等）に応じて切り換えるようになっている。これにより、撮像対象となる部品と同じ品種の部品を実装する部品実装機５４に搭載された照明装置（図示せず）と同等の照明条件を再現できるように構成されている。
　側射照明装置１６の下方には、撮像対象となる部品を載置する載置台２５が設置されている。この載置台２５は、これを水平方向に移動させる移動装置２６の移動テーブル２７に水平に支持されている。移動装置２６は、例えば、ボールねじ装置、リニアモータ、リニアソレノイド等のアクチュエータ２８を駆動源とし、そのアクチュエータ２８によって載置台２５を水平方向に移動させるように構成されている。この載置台２５の移動方向は、例えば、カメラ１３の視野内を撮像対象の部品が斜め方向に移動する方向である。この移動装置２６は、載置台２５の移動方向を調整可能に構成しても良い。
　載置台２５のうちの少なくとも部品を載置する部分は、移動時の部品のずれ動きを防止するために滑り止め加工が施されている。滑り止め加工としては、例えば、シリコーン等の高摩擦係数の材料のコーティング、表面の摩擦係数を大きくする粗面加工や化学的表面処理のいずれかを用いれば良い。或は、載置台２５のうちの少なくとも部品を載置する部分をシリコーン樹脂やゴム等の高摩擦係数の材料で形成しても良い。
　或は、載置台２５に、載置した部品を保持する保持具（図示せず）を設けた構成としても良い。この保持具は、例えば負圧吸引力や磁気吸引力等により載置台２５上の部品を保持するものであっても良いし、粘着テープの粘着力により載置台２５上の部品を保持するものであっても良い。
　また、図２に示すように、載置台２５の上面のうち、載置する部品と重ならない所定位置に基準位置部として１個又は複数個の基準位置マーク２９が設けられている。基準位置マーク２９は、画像認識により特定可能な形状であれば、どの様な形状であっても良い。複数個の基準位置マーク２９の位置関係によって方向を特定できるようにしても良いし、基準位置マーク２９の形状が画像認識により方向を特定可能な形状であれば、基準位置マーク２９の個数は１個のみであっても良い。また、移動装置２６による載置台２５の移動方向が正確に一定方向のみに固定されている場合は、基準位置マーク２９の個数は１個のみであっても良い。
　図２の例では、載置台２５の上面の１つのコーナー部付近に４個の基準位置マーク２９が配置されているが、基準位置マーク２９の位置は、カメラ１３の視野内に載置台２５上の部品と基準位置マーク２９の両方を収めて撮像できる位置で、且つ、載置台２５を移動させて撮像した複数枚の部品画像（図４、図５参照）に含まれる位置であれば、基準位置マーク２９の位置を適宜変更しても良い。画像処理装置４１は、超解像画像作成部４４（図３参照）としても機能し、超解像処理を行う場合に、カメラ１３の視野内に載置台２５上の部品及び基準位置マーク２９が収まる範囲内で移動装置２６により載置台２５を移動させながら複数回撮像することで、異なる位置で載置台２５上の部品及び基準位置マーク２９を撮像した複数枚の部品画像（図４、図５参照）を取得すると共に、各部品画像内の基準位置マーク２９の位置に基づいて各部品画像を撮像した位置間の移動量を計測し、その計測値に基づいて前記複数枚の部品画像を位置合わせして統合する超解像処理を行って超解像画像を作成する。
　カメラ１３で撮像した部品画像は、画像処理装置４１（図３参照）に取り込まれて後述する超解像画像処理又は低解像画像処理が行われる。画像処理装置４１は、コンピュータを主体として構成され、図３に示すように、キーボード、マウス、タッチパネル等で構成した入力装置４２と、カメラ１３で撮像した部品画像や超解像処理により作成した超解像画像（高解像度画像）等を表示する表示装置４３等が接続されている。
　尚、カメラ１３で撮像する部品の種類によって、載置台２５上の部品を照明する照明モード（照明パターン）が切り替えられる。例えば、同軸落射照明装置１５と側射照明装置１６の両方で部品を照明する全点灯照明モードと、同軸落射照明装置１５のみで部品を同軸落射照明する同軸落射照明モードと、側射照明装置１６のみで部品を側射照明する側射照明モードがある。基準位置マーク２９は同軸落射照明装置１５で同軸落射照明する必要があるため、側射照明装置１６のみで部品を側射照明して撮像する場合には、撮像する位置毎に載置台２５の移動を停止して、その位置で側射照明装置１６で側射照明した部品の撮像と、同軸落射照明装置１５で同軸落射照明した基準位置マーク２９の撮像とを別々に行う。この場合は、同軸落射照明装置１５で同軸落射照明して撮像した各部品画像内の基準位置マーク２９の位置に基づいて各部品画像を撮像した位置間の移動量を計測し、その計測値に基づいて、側射照明装置１６で側射照明して撮像した複数枚の部品画像を位置合わせして統合して超解像画像を作成する。
　ここで、図４及び図５を用いて、カメラ１３で撮像した複数枚の部品画像から超解像画像を作成する手順を説明する。
　まず、カメラ１３の視野内に載置台２５上の部品及び基準位置マーク２９を収めて撮像して１枚目の部品画像を取得する（１回目の撮像）。この後、カメラ１３の視野内に載置台２５上の部品及び基準位置マーク２９が収まる範囲内で移動装置２６により載置台２５を移動させた後、カメラ１３で載置台２５上の部品及び基準位置マーク２９を撮像して２枚目の部品画像を取得する（２回目の撮像）。以後、同様の動作を繰り返して所定枚数（ｎ枚）の部品画像を取得する。
　この所定枚数の部品画像の撮像と並行して又は撮像終了後に、画像処理装置４１が各部品画像をそれぞれ画像処理して、各部品画像内の基準位置マーク２９の位置（Ｘ1 ，Ｙ1 ）、（Ｘ2 ，Ｙ2 ）、…、（Ｘn ，Ｙn ）を計測する。尚、図４、図５の例では、各部品画像の右上の角を原点（０，０）として各部品画像内の基準位置マーク２９の位置（Ｘ1 ，Ｙ1 ）、（Ｘ2 ，Ｙ2 ）、…、（Ｘn ，Ｙn ）を計測するようにしているが、各部品画像の他の角（例えば左下の角）や各画像の中心点を原点（０，０）として各部品画像内の基準位置マーク２９の位置（Ｘ1 ，Ｙ1 ）、（Ｘ2 ，Ｙ2 ）、…、（Ｘn ，Ｙn ）を計測するようにしても良い。
　この後、各部品画像を撮像した位置間の移動量（ΔＸ1 ，ΔＹ1 ）、（ΔＸ2 ，ΔＹ2 ）、…、（ΔＸn-1 ，ΔＹn-1 ）を算出する。
　　　［１回目の移動量］
　　　　　　　ΔＸ1 ＝｜Ｘ1 －Ｘ2 ｜
　　　　　　　ΔＹ1 ＝｜Ｙ1 －Ｙ2 ｜
　　　［２回目の移動量］
　　　　　　　ΔＸ2 ＝｜Ｘ2 －Ｘ3 ｜
　　　　　　　ΔＹ2 ＝｜Ｙ2 －Ｙ3 ｜
　　　［最後の移動量］
　　　　　　　ΔＸn-1 ＝｜Ｘn-1 －Ｘn ｜
　　　　　　　ΔＹn-1 ＝｜Ｙn-1 －Ｙn ｜
　この後、各部品画像を撮像した位置間の移動量（ΔＸ1 ，ΔＹ1 ）、（ΔＸ2 ，ΔＹ2 ）、…、（ΔＸn-1 ，ΔＹn-1 ）に基づいて、各部品画像内の基準位置マーク２９の位置が一致するように所定枚数（ｎ枚）の部品画像を位置合わせして統合する超解像処理を行って１枚の超解像画像を作成する。
　図３に示すように、部品データ作成システム４８は、部品データ作成用カメラスタンド１１と画像処理装置４１等から構成され、画像処理装置４１の画像処理結果に基づいて部品データを作成する。この部品データは、部品実装機５４の部品撮像用カメラ５６で撮像した部品の画像を処理して当該部品を認識する際に使用する当該部品の形状的な特徴を示す形状データを含む。この形状データは、例えば、部品ボディのサイズ（Ｘ、Ｙ、Ｚ方向の寸法等）や端子に関するデータであり、例えば、リード付き部品であれば、リードの幅、長さ、リードピッチ、リードの位置、リード本数等のデータであり、ＢＧＡ部品であれば、バンプ径、バンプピッチ、バンプの位置、バンプ個数等のデータである。
　本実施例１の部品データには、部品実装機５４が部品撮像用カメラ５６で撮像した１枚の部品画像を処理して当該部品を認識する「低解像画像処理」と、異なる位置で部品撮像用カメラ５６で撮像した複数枚の部品画像を超解像処理して作成した超解像画像を処理して当該部品を認識する「超解像画像処理」のどちらで画像処理するかを指定するデータが含まれる。更に、部品データが超解像画像処理を指定するデータを含む場合には、その部品データには、超解像画像の倍率、超解像処理に使用する部品画像の枚数、各部品画像を撮像する位置間の移動量の少なくとも１つの超解像画像処理条件を指定するデータが含まれる。更に、この部品データには、部品を撮像する撮像条件及び／又は照明条件を指定するデータも含まれる。ここで、撮像条件は、例えば部品撮像用カメラ５６のシャッタ速度（露光時間）、撮像倍率、撮像距離、絞り値等であり、照明条件は、例えば部品実装機５４の照明装置の照明光の明るさ、部品に対する照明光の入射角度（照明角度）、照明モード（照明パターン）、パルス点灯の点灯時間（デューティ比）等である。
　図３に示すように、部品データ作成システム４８の画像処理装置４１は、後述する図７及び図８の部品データ作成プログラムを実行することで、上述した超解像画像作成部４４として機能すると共に、この超解像画像作成部４４で作成した超解像画像から形状データを作成する第１形状データ作成部４５と、部品データ作成用カメラスタンド１１のカメラ１３で撮像した１枚の部品画像から形状データを作成する第２形状データ作成部４６としても機能する。更に、この画像処理装置４１は、第２形状データ作成部４６が前記１枚の部品画像から形状データの作成に成功した場合には、第２形状データ作成部４６が前記１枚の部品画像から作成した形状データ及び低解像画像処理を指定するデータを含む部品データを作成し、一方、第２形状データ作成部４６が前記１枚の部品画像から形状データの作成に失敗した場合には、第１形状データ作成部４５が超解像画像から作成した形状データ及び超解像画像処理を指定するデータを含む部品データを作成する。
　ここで、第２形状データ作成部４６は、カメラ１３で撮像した１枚の部品画像から形状データを作成するため、部品画像の枚数は１枚のみ（カメラ１３の撮像回数は１回のみ）であっても良いが、本実施例１では、低解像画像処理のエラー発生率を低減するために、第２形状データ作成部４６でも、第１形状データ作成部４５と同様に、カメラ１３で撮像する部品画像の枚数を複数枚（カメラ１３の撮像回数を複数回）とし、複数枚の部品画像について順番に１枚の部品画像から形状データを作成する処理を行い、前記複数枚の部品画像のうちのいずれかの部品画像から形状データの作成に失敗した場合には、第１形状データ作成部４５が超解像画像から作成した形状データ及び超解像画像処理を指定するデータを含む部品データを作成するようにしている。
　更に、画像処理装置４１は、第１形状データ作成部４５及び第２形状データ作成部４６の両方が形状データの作成に失敗した場合には、載置台２５上の部品を撮像する撮像条件及び／又は照明条件を変更して形状データを作成する。このようにすれば、撮像条件及び／又は照明条件が不適正であることが原因で形状データの作成に失敗した場合に、撮像条件及び／又は照明条件を適正化して形状データの作成に成功することができる。ここで、撮像条件は、例えばカメラ１３のシャッタ速度（露光時間）、撮像倍率、撮像距離、絞り値等であり、照明条件は、例えば同軸落射照明装置１５及び／又は側射照明装置１６の照明光の明るさ、部品に対する照明光の入射角度（照明角度）、照明モード（照明パターン）、パルス点灯の点灯時間（デューティ比）等である。
　更に、画像処理装置４１は、超解像画像処理を指定するデータを含む部品データを作成する場合には、超解像画像作成部４４が超解像画像を作成したときの超解像画像の倍率、超解像処理に使用する部品画像の枚数、各部品画像を撮像した位置間の移動量のうちの少なくとも１つの超解像画像処理条件を指定するデータを部品データに含ませる。このようにすれば、部品実装機５４が超解像画像処理を実行する際に、部品実装機５４の超解像画像処理条件を、部品データ作成システム４８で超解像画像から部品データを作成したときと同一の条件に設定することができ、超解像画像処理の精度を向上させることができる。
　更に、画像処理装置４１は、超解像画像処理を指定するデータを含む部品データを作成する場合には、超解像画像の作成に用いた複数枚の部品画像を撮像したときの撮像条件及び／又は照明条件を指定するデータを部品データに含ませる。一方、低解像画像処理を指定するデータを含む部品データを作成する場合には、形状データの作成に用いた１枚の部品画像を撮像したときの撮像条件及び／又は照明条件を指定するデータを部品データに含ませる。このようにすれば、部品実装機５４が超解像画像処理や低解像画像処理を実行する際に、部品実装機５４の撮像条件及び／又は照明条件を、部品データ作成システム４８で部品データを作成したときと同一の条件に設定することができ、画像処理精度を向上させることができる。
　図６に示すように、部品データ作成システム４８の画像処理装置４１は、部品実装ライン５０のネットワーク５１に接続されている。部品実装ライン５０は、回路基板５２を搬送する搬送経路５３に複数の部品実装機５４を配列して構成され、各部品実装機５４でフィーダ５５から供給される部品を吸着ノズルで吸着して回路基板５２に実装して部品実装基板を生産する。各部品実装機５４は、吸着ノズルに吸着した部品を撮像する部品撮像用カメラ５６と、部品撮像用カメラ５６で撮像する部品を照明する照明装置（図示せず）と、部品実装機５４の各機能の動作を制御する制御装置５７等を備えた構成となっている。この部品実装機５４の制御装置５７は、部品撮像用カメラ５６で撮像した部品画像を処理する画像処理装置としても機能する。
　部品実装ライン５０の各部品実装機５４の制御装置５７は、部品データ作成システム４８の画像処理装置４１で作成した部品データを部品実装ライン５０のネットワーク５１を介して取得する。部品実装ライン５０のネットワーク５１には、部品データ作成システム４８の画像処理装置４１の他に、部品実装ライン５０の生産を管理する生産管理装置６１と、部品実装ライン５０の生産を最適化する生産最適化装置６２等が接続されている。部品データ作成システム４８の画像処理装置４１で作成した部品データは、部品実装ライン５０のネットワーク５１を介して生産管理装置６１と生産最適化装置６２にも送信される。この場合、生産管理装置６１が部品データ作成システム４８の画像処理装置４１から送信されてくる部品データを受信して、その部品データを生産管理装置６１から各部品実装機５４の制御装置５７及び／又は生産最適化装置６２に送信するようにしても良い。
　各部品実装機５４の制御装置５７は、生産中に後述する図９の部品実装機の画像処理プログラムを実行することで、吸着ノズルに吸着した部品の部品データに低解像画像処理を指定するデータが含まれる場合には、当該部品を画像認識する際に、部品撮像用カメラ５６で撮像した１枚の部品画像を処理して当該部品データに含まれる形状データを参照して当該部品を認識する低解像画像処理を実行する。また、吸着ノズルに吸着した部品の部品データに超解像画像処理を指定するデータが含まれる場合には、異なる位置で部品撮像用カメラ５６で撮像した複数枚の部品画像を超解像処理して作成した超解像画像を処理して当該部品データに含まれる形状データを参照して当該部品を認識する超解像画像処理を実行する。
　更に、各部品実装機５４の制御装置５７は、撮像対象の部品の部品データに超解像画像処理を指定するデータが含まれ、且つ超解像画像の倍率、前記超解像処理に使用する部品画像の枚数、各部品画像を撮像する位置間の移動量の少なくとも１つの超解像画像処理条件を指定するデータが含まれている場合には、超解像画像処理を実行する際に、当該部品データで指定された超解像画像処理条件で超解像画像処理を実行する。
　更に、各部品実装機５４の制御装置５７は、撮像対象の部品の部品データに当該部品を撮像する撮像条件及び／又は照明条件を指定するデータが含まれている場合には、当該部品データで指定された撮像条件及び／又は照明条件で超解像画像処理又は低解像画像処理を実行する。
　一方、生産最適化装置６２は、部品実装基板の生産に使用する全ての部品種を供給するのに必要なフィーダ５５を、部品実装ライン５０を構成する複数の部品実装機５４に分配して各部品実装機５４のフィーダ配置を最適化して、各部品実装機５４に実行させる生産ジョブ（生産プログラム）を最適化する処理を行う。
　本実施例１では、生産最適化装置６２は、部品実装基板の生産に使用する全ての部品種について、その部品種毎に画像処理に用いる部品データを、部品データ作成システム４８の画像処理装置４１から直接取得し又は生産管理装置６１を経由して取得し、その部品データで指定された画像処理方法と各部品実装機５４の画像処理能力とを考慮して各部品実装機５４のフィーダ配置を最適化する。このようにすれば、部品実装ライン５０を構成する複数の部品実装機５４の中に、画像処理能力が不足して超解像画像処理の要求精度を確保できない部品実装機５４が存在する場合には、画像処理能力が不足する部品実装機５４については、低解像画像処理を行う部品種を供給するフィーダ５５のみを割り当てて、超解像画像処理を行う部品種を供給するフィーダ５５を割り当てることを未然に防止でき、画像処理能力の不足に起因する超解像画像処理のエラーの発生を未然に防止することができる。
　次に、部品データ作成システム４８の画像処理装置４１が実行する図７及び図８の部品データ作成プログラムの処理内容を説明する。
　部品データ作成システム４８の画像処理装置４１は、図７及び図８の部品データ作成プログラムを起動すると、まず、ステップ１０１で、画像処理の準備作業（作業者が載置台２５上に部品を載置して入力装置４２により準備完了操作を行うこと）が完了するまで待機する。
　その後、画像処理の準備作業が完了した時点で、ステップ１０２～１０６の処理を実行して、次のようにして所定枚数の部品画像を取得して超解像画像を作成する。まず、ステップ１０２で、カメラ１３の視野内に載置台２５上の部品及び基準位置マーク２９を収めて撮像して１枚目の部品画像を取得する（１回目の撮像）。この後、ステップ１０３に進み、カメラ１３の視野内に載置台２５上の部品及び基準位置マーク２９が収まる範囲内で移動装置２６により載置台２５を移動させた後、ステップ１０４に進み、カメラ１３で載置台２５上の部品及び基準位置マーク２９を撮像して２枚目の部品画像を取得する（２回目の撮像）。
　この後、ステップ１０５に進み、撮像回数が所定回数（ｎ回）になったか否かを判定し、撮像回数がまだ所定回数になっていなければ、所定回数になるまで上述したステップ１０２～１０４の処理を繰り返して所定枚数（ｎ枚）の部品画像を取得する。
　これにより、所定枚数の部品画像を取得した時点で、ステップ１０６に進み、所定枚数の部品画像を超解像処理して超解像画像を作成する。この後、ステップ１０７に進み、超解像画像を処理して、部品実装機５４で部品を認識する際に使用する当該部品の形状的な特徴を示す形状データを作成する。
　この後、ステップ１０８に進み、低解像画像処理に用いる部品画像を所定回数撮像する。この低解像画像処理に用いる部品画像は、上述した超解像画像の作成に用いた所定枚数の部品画像をそのまま用いても良いが、低解像画像処理では、部品画像に基準位置マーク２９を含ませる必要はなく、カメラ１３の視野内に載置台２５上の部品のみを収めて撮像すれば良いため、撮像倍率を大きくして部品画像を撮像しても良い。更に、この低解像画像処理に用いる所定枚数の部品画像は、同じ位置で撮像しても良いし、カメラ１３の視野内に載置台２５上の部品が収まる範囲内で移動装置２６により載置台２５を移動させて、異なる位置で撮像しても良い。
　この後、ステップ１０９に進み、所定枚数の部品画像について順番に１枚の部品画像から当該部品の形状的な特徴を示す形状データを作成する処理を行う。この形状データを作成する処理は、部品画像を所定回数撮像する動作と並行して行っても良い。
　この後、図８のステップ１１０に進み、所定枚数の部品画像のうちのいずれかの部品画像から形状データの作成に失敗したか否かを判定し、その結果、所定枚数の部品画像について形状データの作成に失敗したものが無い（つまり所定枚数の全ての部品画像について形状データの作成に成功した）と判定した場合には、ステップ１１４に進み、いずれかの部品画像から作成した形状データ及び低解像画像処理を指定するデータを含む部品データを作成する。
　この場合、前記ステップ１０９で、所定枚数の部品画像の各々から形状データを作成するため、所定数の形状データが作成されるが、部品データに含ませる形状データは１つで良いため、例えば１枚目又は２枚目以降の特定の部品画像から作成した形状データを部品データに含ませるようにしても良い。或は、所定数の形状データの平均値を算出して平均化した形状データを部品データに含ませるようにしても良い。或は、所定数の形状データの中からそれらの中間的な形状データを選択して部品データに含ませるようにしても良い。更に、この部品データには、部品画像を撮像したときの撮像条件及び／又は照明条件を指定するデータも含ませる。
　一方、前記ステップ１１０で、所定枚数の部品画像のうちのいずれかの部品画像から形状データの作成に失敗したと判定した場合には、ステップ１１１に進み、超解像画像から形状データの作成に成功したか否かを判定し、その結果、超解像画像から形状データの作成に成功したと判定した場合には、ステップ１１２に進み、超解像画像から作成した形状データ及び超解像画像処理を指定するデータを含む部品データを作成する。更に、超解像画像を作成したときの超解像画像の倍率、超解像処理に使用する部品画像の枚数、各部品画像を撮像した位置間の移動量のうちの少なくとも１つの超解像画像処理条件を指定するデータを当該部品データに含ませると共に、超解像画像の作成に用いた所定枚数の部品画像を撮像したときの撮像条件及び／又は照明条件を指定するデータも当該部品データに含ませる。
　一方、前記ステップ１１１で、超解像画像から形状データの作成に失敗したと判定した場合には、ステップ１１３に進み、載置台２５上の部品を撮像する撮像条件及び／又は照明条件を変更して、図７のステップ１０２以降の処理を再び実行し、所定枚数の部品画像から超解像画像を作成して形状データを作成する処理と、各部品画像から形状データを作成する処理とを再び実行する。尚、撮像条件及び／又は照明条件の変更内容は、画像処理装置４１が自動的に設定するようにしても良いし、作業者が入力装置４２を操作して設定するようにしても良い。
　撮像条件及び／又は照明条件を変更して、所定枚数の全ての部品画像について形状データの作成に成功した場合には、ステップステップ１１４に進み、いずれかの部品画像から作成した形状データ及び低解像画像処理を指定するデータを含む部品データを作成する。この部品データには、部品画像を撮像したときの撮像条件及び／又は照明条件を指定するデータを含ませる。
　また、撮像条件及び／又は照明条件を変更して、所定枚数の部品画像のうちのいずれかの部品画像から形状データの作成に失敗した場合でも、超解像画像から形状データの作成に成功すれば、ステップ１１２に進み、超解像画像から作成した形状データ及び超解像画像処理を指定するデータを含む部品データを作成する。この部品データには、上述した超解像画像処理条件を指定するデータと、超解像画像の作成に用いた所定枚数の部品画像を撮像したときの撮像条件及び／又は照明条件を指定するデータを含ませる。
　一方、各部品実装機５４の制御装置５７は、生産開始前に回路基板５２に実装する部品の画像認識に使用する部品データを、部品データ作成システム４８の画像処理装置４１から直接取得し又は生産管理装置６１を経由して取得する。各部品実装機５４の制御装置５７は、生産中に吸着ノズルに吸着した部品を撮像するタイミング毎に図９の部品実装機の画像処理プログラムを実行して、当該部品の部品データで指定された画像処理方法で画像処理する。
　各部品実装機５４の制御装置５７は、図９の部品実装機の画像処理プログラムを起動すると、まず、ステップ２０１で、撮像対象の部品の部品データで超解像画像処理が指定されているか否かを判定し、その結果、超解像画像処理が指定されていると判定した場合には、ステップ２０２～２０６の処理を実行して、部品データ作成システム４８で超解像画像を作成した方法と同様の方法で、所定枚数の部品画像を取得して超解像画像を作成する。この際、撮像対象の部品の部品データに、超解像画像処理条件を指定するデータや、撮像条件及び／又は照明条件を指定するデータが含まれている場合には、部品実装機５４の超解像画像処理条件や撮像条件及び／又は照明条件を部品データで指定された超解像画像処理条件や撮像条件及び／又は照明条件に設定して超解像画像を作成する。
　具体的には、まず、ステップ２０２で、部品撮像用カメラ５６の視野内に、吸着ノズルに吸着した部品及びその吸着ノズルと一定の位置関係で設けられた基準位置マーク（図示せず）を収めて撮像して１枚目の部品画像を取得する（１回目の撮像）。この後、ステップ２０３に進み、カメラ１３の視野内に部品及び基準位置マークが収まる範囲内で吸着ノズルを移動させた後、ステップ２０４に進み、部品撮像用カメラ５６で部品及び基準位置マークを撮像して２枚目の部品画像を取得する（２回目の撮像）。
　この後、ステップ２０５に進み、撮像回数が所定回数（ｎ回）になったか否かを判定し、撮像回数がまだ所定回数になっていなければ、所定回数になるまで上述したステップ２０２～２０４の処理を繰り返して所定枚数（ｎ枚）の部品画像を取得する。これにより、所定枚数の部品画像を取得した時点で、ステップ２０６に進み、所定枚数の部品画像を超解像処理して超解像画像を作成する。この後、ステップ２０８に進み、超解像画像を処理して当該部品データに含まれる形状データを参照して当該部品を認識する超解像画像処理を実行する。
　これに対し、上述したステップ２０１で、撮像対象の部品の部品データで超解像画像処理が指定されていないと判定した場合、つまり、低解像画像処理が指定されていると判定した場合には、ステップ２０７に進み、部品撮像用カメラ５６の視野内に、吸着ノズルに吸着した部品を収めて撮像して１枚の部品画像を取得する。この際、部品データで撮像条件及び／又は照明条件が指定されている場合には、部品実装機５４の撮像条件及び／又は照明条件を当該部品データで指定された撮像条件及び／又は照明条件に設定して１枚の部品画像を撮像する。この後、ステップ２０８に進み、１枚の部品画像を処理して当該部品データに含まれる形状データを参照して当該部品を認識する低解像画像処理を実行する。
　上述したように、部品実装機５４では、部品を画像認識する際に、その部品の形状的な特徴を示す形状データを含む部品データを使用する。この部品データは、部品種毎に作成されるため、その部品種の形状データの他に、低解像画像処理と超解像画像処理のどちらで画像処理するかを指定するデータをその部品種の部品データに含ませるようにすれば、その部品種の部品サイズだけでなく、端子の形状やサイズ、端子の配列パターン等も考慮して、その部品種に適した画像処理方法を部品データで指定することができる。これにより、部品実装機５４では、部品を画像認識する際に、その部品種の部品データで指定された画像処理方法で画像処理することで、その部品種に適した画像処理方法で画像処理することができる。これにより、部品実装機５４で、本来的に超解像画像が不要な部品種で超解像画像を無駄に作成することが無くなり、超解像画像を作成する部品種を必要最小限にすることができると共に、本来的に超解像画像が必要な部品種で低解像画像処理して端子の認識に失敗するということが無くなり、部品の画像認識を安定して行うことができると共に、生産性を向上することができる。
　次に、図１０及び図１１を用いて実施例２を説明する。但し、上記実施例１と実質的に同一の部分については同一符号を付して説明を省略又は簡略化し、主として異なる部分について説明する。
　前記実施例１で説明した図７及び図８の部品データ作成プログラムでは、所定枚数の全ての部品画像について形状データの作成に成功した場合でも、それよりも先に超解像画像を作成して、その超解像画像から形状データを作成するようにしたが、図１０及び図１１に示す実施例２では、所定枚数の全ての部品画像について形状データの作成に成功した場合（つまり低解像画像処理を指定する場合）には、超解像画像を作成する処理及び超解像画像から形状データを作成する処理を行わないようにしている。以下、部品データ作成システム４８の画像処理装置４１が実行する図１０及び図１１の部品データ作成プログラムの処理内容を説明する。
　部品データ作成システム４８の画像処理装置４１は、図１０及び図１１の部品データ作成プログラムを起動すると、まず、ステップ３０１で、画像処理の準備作業（作業者が載置台２５上に部品を載置して入力装置４２により準備完了操作を行うこと）が完了するまで待機する。
　その後、画像処理の準備作業が完了した時点で、ステップ３０２に進み、低解像画像処理に用いる部品画像を所定回数撮像して所定枚数の部品画像を取得する。この後、ステップ３０３に進み、所定枚数の部品画像について順番に１枚の部品画像から当該部品の形状的な特徴を示す形状データを作成する処理を行う。この形状データを作成する処理は、部品画像を所定回数撮像する動作と並行して行っても良い。
　この後、ステップ３０４に進み、所定枚数の部品画像のうちのいずれかの部品画像から形状データの作成に失敗したか否かを判定し、その結果、所定枚数の部品画像について形状データの作成に失敗したものが無い（つまり所定枚数の全ての部品画像について形状データの作成に成功した）と判定した場合には、ステップ３０５に進み、前記実施例１と同様の方法で、いずれかの部品画像から作成した形状データ及び低解像画像処理を指定するデータを含む部品データを作成する。
　一方、上述したステップ３０４で、所定枚数の部品画像のうちのいずれかの部品画像から形状データの作成に失敗したと判定した場合には、ステップ３０６～３０９の処理を実行して、前記実施例１と同様の方法で、超解像画像を作成するのに必要な所定枚数の部品画像を、移動装置２６により載置台２５を移動させながら撮像する。
　これにより、所定枚数の部品画像を取得した時点で、図１１のステップ３１０に進み、所定枚数の部品画像を超解像処理して超解像画像を作成する。この後、ステップ３１１に進み、超解像画像を処理して、部品実装機５４で部品を認識する際に使用する当該部品の形状的な特徴を示す形状データを作成する。
　この後、ステップ３１２に進み、超解像画像から形状データの作成に成功したか否かを判定し、その結果、超解像画像から形状データの作成に成功したと判定した場合には、ステップ３１３に進み、超解像画像から作成した形状データ及び超解像画像処理を指定するデータを含む部品データを作成する。更に、超解像画像を作成したときの超解像画像の倍率、超解像処理に使用する部品画像の枚数、各部品画像を撮像した位置間の移動量のうちの少なくとも１つの超解像画像処理条件を指定するデータを当該部品データに含ませると共に、超解像画像の作成に用いた所定枚数の部品画像を撮像したときの撮像条件及び／又は照明条件を指定するデータも当該部品データに含ませる。
　一方、上述したステップ３１２で、超解像画像から形状データの作成に失敗したと判定した場合には、ステップ３１４に進み、前記実施例１と同様の方法で、載置台２５上の部品を撮像する撮像条件及び／又は照明条件を変更して、図１０のステップ３０２～３０４の処理を再び実行する。
　撮像条件及び／又は照明条件を変更して、所定枚数の全ての部品画像について形状データの作成に成功した場合には、ステップステップ３０５に進み、いずれかの部品画像から作成した形状データ及び低解像画像処理を指定するデータを含む部品データを作成する。この部品データには、部品画像を撮像したときの撮像条件及び／又は照明条件を指定するデータを含ませる。
　また、撮像条件及び／又は照明条件を変更して、所定枚数の部品画像のうちのいずれかの部品画像から形状データの作成に失敗した場合には、ステップ３０６～３０９の処理を再び実行して、前記実施例１と同様の方法で、超解像画像を作成するのに必要な所定枚数の部品画像を撮像した後、図１１のステップ３１０に進み、所定枚数の部品画像を超解像処理して超解像画像を作成し、次のステップ３１１で、超解像画像から形状データを作成する。
　撮像条件及び／又は照明条件を変更して、超解像画像から形状データの作成に成功すれば、ステップ３１３に進み、超解像画像から作成した形状データ及び超解像画像処理を指定するデータを含む部品データを作成する。この部品データには、上述した超解像画像処理条件を指定するデータと、超解像画像の作成に用いた所定枚数の部品画像を撮像したときの撮像条件及び／又は照明条件を指定するデータを含ませる。
　以上説明した本実施例２では、前記実施例１と同様の効果を得ることができ、しかも、低解像画像処理が可能な部品種については超解像画像の作成処理を省略することができ、部品データ作成処理を簡略化して、その処理時間を短縮できる利点がある。
［その他の実施例］
　前記実施例１，２では、カメラ１３で撮像した部品画像から形状データを作成する場合でも、カメラ１３で撮像する部品画像の枚数を複数枚（カメラ１３の撮像回数を複数回）とし、複数枚の部品画像について順番に１枚の部品画像から形状データを作成する処理を行い、前記複数枚の部品画像のうちのいずれかの部品画像から形状データの作成に失敗した場合には、超解像画像から作成した形状データ及び超解像画像処理を指定するデータを含む部品データを作成するようにしたが、カメラ１３で撮像した部品画像から形状データを作成する場合には、カメラ１３で撮像する部品画像の枚数を１枚のみ（カメラ１３の撮像回数を１回のみ）とし、その１枚の部品画像から形状データを作成するようにしても良い。
　また、前記実施例１で説明した部品データ作成用カメラスタンド１１の載置台２５の上面に設けた基準位置部である基準位置マーク２９は、同軸落射照明装置１５で同軸落射照明して撮像する必要があるため、載置台２５上の部品を側射照明装置１６のみで側射照明して撮像する場合は、撮像する位置毎に載置台２５の移動を停止して、その位置で側射照明装置１６で側射照明した部品の撮像と、同軸落射照明装置１５で同軸落射照明した基準位置マーク２９の撮像とを別々に行う必要があり、超解像処理に必要な撮像回数が２倍に増える。
　そこで、載置台２５の上面に基準位置部としてＬＥＤ等の基準位置表示用の発光素子を設けても良い。基準位置表示用の発光素子を設ける位置や個数は、前記実施例１の基準位置マーク２９の場合と同じで良い。
　載置台２５上の部品は、バンプの配列が形成されたバンプ部品等、側射照明装置１６のみで側射照明して撮像する部品である場合がある。バンプ部品の場合は、載置台２５上にバンプを上向きにして載置する。バンプ部品を側射照明装置１６のみで側射照明して撮像する際に、載置台２５の上面に設けた基準位置表示用の発光素子を発光させて、カメラ１３の視野内に載置台２５上のバンプ部品と基準位置表示用の発光素子の両方を収めて撮像する。側射照明のみであっても、基準位置表示用の発光素子を発光させて、カメラ１３の視野内に載置台２５上のバンプ部品と基準位置表示用の発光素子の両方を収めて撮像すれば、１回の撮像で載置台２５上のバンプ部品と基準位置表示用の発光素子の両方を画像認識できる。このため、載置台２５上の部品が側射照明のみで撮像するバンプ部品等の部品である場合でも、基準位置表示用の発光素子を発光させることで、基準位置表示用の発光素子を同軸落射照明して撮像する必要がなく、超解像処理に必要な撮像回数が増えずに済む。
　或は、載置台２５の上面に基準位置部を設けず、載置台２５の移動量を計測するセンサ部として、例えば、Ｘ方向の移動量（載置台２５の位置のＸ座標）を計測するＸ方向リニアスケールと、Ｙ方向の移動量（載置台２５の位置のＹ座標）を計測するＹ方向リニアスケールとを設け、両リニアスケールで載置台２５の移動量を計測するようにしても良い。
　また、前記実施例１で説明した部品データ作成用カメラスタンド１１は、カメラ１３の位置を固定して移動装置２６により載置台２５を移動させることで、異なる位置で載置台２５上の部品を撮像した複数枚の部品画像を取得するようにしたが、載置台２５の位置を固定し、カメラ１３を移動装置により水平方向に移動させることで、異なる位置で載置台２５上の部品を撮像した複数枚の部品画像を取得するようにしても良い。
　或は、載置台２５又はカメラ１３を作業者が手動で移動させるように構成し、作業者が手動で載置台２５又はカメラ１３を移動させることで、異なる位置で載置台２５上の部品を撮像した複数枚の部品画像を取得するようにしても良い。
　その他、本発明は、上記各実施例に限定されず、例えば、移動装置２６の構成を変更したり、載置台２５上の部品を照明する照明装置の構成を変更しても良い等、要旨を逸脱しない範囲内で種々変更して実施できることは勿論である。
　１１…部品データ作成用カメラスタンド、１３…カメラ、１４…レンズユニット、１５…同軸落射照明装置、１６…側射照明装置、２１，２２，２３…上下３段の側射光源、２５…載置台、２６…移動装置、２９…基準位置マーク（基準位置部）、４１…画像処理装置、４４…超解像画像作成部、４５…第１形状データ作成部、４６…第２形状データ作成部、４８…部品データ作成システム、５０…部品実装ライン、５１…ネットワーク、５２…回路基板、５３…搬送経路、５４…部品実装機、５６…部品撮像用カメラ、５７…部品実装機の制御装置（画像処理装置）、６１…生産管理装置、６２…生産最適化装置

Claims (14)

  1. 　部品実装機の部品撮像用カメラで撮像した部品の画像を処理して当該部品を認識する際に使用する当該部品の形状的な特徴を示す形状データを含む部品データにおいて、
    　前記形状データの他に、前記部品撮像用カメラで撮像した１枚の部品画像を処理して当該部品を認識する低解像画像処理と、異なる位置で前記部品撮像用カメラで撮像した複数枚の部品画像を超解像処理して作成した超解像画像を処理して当該部品を認識する超解像画像処理のどちらで画像処理するかを指定するデータを含む、部品データ。
  2. 　前記超解像画像処理を指定するデータを含む場合には、前記超解像画像の倍率、前記超解像処理に使用する部品画像の枚数、各部品画像を撮像する位置間の移動量の少なくとも１つの超解像画像処理条件を指定するデータを含む、請求項１に記載の部品データ。
  3. 　前記部品を撮像する撮像条件及び／又は照明条件を指定するデータを含む、請求項１又は２に記載の部品データ。
  4. 　請求項１乃至３のいずれかに記載の部品データを作成する部品データ作成システムにおいて、
    　回路基板に実装するための部品を載置する載置台と、
    　前記載置台に載置した部品をその上方から撮像するカメラと、
    　前記カメラで撮像する部品を照明する照明装置と、
    　前記カメラで撮像した部品画像を処理する画像処理装置と
    　を備え、
    　前記載置台又は前記カメラを移動可能に構成すると共に、前記載置台又は前記カメラの移動量を計測可能に構成し、
    　前記画像処理装置は、
    　前記カメラの視野内に前記載置台上の部品が収まる範囲内で前記載置台又は前記カメラを移動させて複数回撮像することで、異なる位置で前記載置台上の部品を撮像した複数枚の部品画像を取得すると共に、各部品画像を撮像した位置間の移動量を計測し、その計測値に基づいて前記複数枚の部品画像を超解像処理して超解像画像を作成する超解像画像作成部と、
    　前記超解像画像作成部で作成した超解像画像から前記形状データを作成する第１形状データ作成部と、
    　前記カメラで撮像した１枚の部品画像から前記形状データを作成する第２形状データ作成部とを備え、
    　前記第２形状データ作成部が前記１枚の部品画像から前記形状データの作成に成功した場合には、前記第２形状データ作成部が前記１枚の部品画像から作成した前記形状データ及び前記低解像画像処理を指定するデータを含む前記部品データを作成し、
    　前記第２形状データ作成部が前記１枚の部品画像から前記形状データの作成に失敗した場合には、前記第１形状データ作成部が前記超解像画像から作成した前記形状データ及び前記超解像画像処理を指定するデータを含む前記部品データを作成する、部品データ作成システム。
  5. 　前記第２形状データ作成部は、前記カメラで撮像した複数枚の部品画像について順番に１枚の部品画像から前記形状データを作成する処理を行い、前記複数枚の部品画像のうちのいずれかの部品画像から前記形状データの作成に失敗した場合には、前記第１形状データ作成部が前記超解像画像から作成した前記形状データ及び前記超解像画像処理を指定するデータを含む前記部品データを作成する、請求項４に記載の部品データ作成システム。
  6. 　前記第１形状データ作成部及び前記第２形状データ作成部の両方が前記形状データの作成に失敗した場合には、前記部品を撮像する撮像条件及び／又は照明条件を変更して前記形状データを作成する、請求項４又は５に記載の部品データ作成システム。
  7. 　前記第２形状データ作成部が前記１枚の部品画像から前記形状データの作成に成功した場合には、前記超解像画像作成部による前記超解像画像の作成及び前記第１形状データ作成部による前記形状データの作成を行わない、請求項４乃至６のいずれかに記載の部品データ作成システム。
  8. 　前記超解像画像処理を指定するデータを含む前記部品データを作成する場合には、前記超解像画像作成部が前記超解像画像を作成したときの前記超解像画像の倍率、前記超解像処理に使用する部品画像の枚数、各部品画像を撮像した位置間の移動量のうちの少なくとも１つの超解像画像処理条件を指定するデータを前記部品データに含ませる、請求項４乃至７のいずれかに記載の部品データ作成システム。
  9. 　前記超解像画像処理を指定するデータを含む前記部品データを作成する場合には、前記超解像画像の作成に用いた前記複数枚の部品画像を撮像したときの撮像条件及び／又は照明条件を指定するデータを前記部品データに含ませ、
    　前記低解像画像処理を指定するデータを含む前記部品データを作成する場合には、前記形状データの作成に用いた前記１枚の部品画像を撮像したときの撮像条件及び／又は照明条件を指定するデータを前記部品データに含ませる、請求項４乃至８のいずれかに記載の部品データ作成システム。
  10. 　前記載置台の上面のうち、前記載置台上の部品と重ならない位置に基準位置部が設けられ、
    　前記超解像画像作成部は、前記カメラの視野内に前記載置台上の部品及び前記基準位置部が収まる範囲内で前記載置台又は前記カメラを移動させながら複数回撮像することで、異なる位置で前記載置台上の部品及び前記基準位置部を撮像した複数枚の部品画像を取得すると共に、各部品画像内の前記基準位置部の位置に基づいて各部品画像を撮像した位置間の移動量を計測し、その計測値に基づいて前記複数枚の部品画像を超解像処理して超解像画像を作成する、請求項４乃至９のいずれかに記載の部品データ作成システム。
  11. 　回路基板に実装する部品を撮像する部品撮像用カメラと、
    　前記部品撮像用カメラで撮像する部品を照明する照明装置と、
    　前記部品撮像用カメラで撮像した部品画像を処理する画像処理装置と
    　を備えた部品実装機において、
    　前記画像処理装置は、前記部品の画像処理に用いる部品データとして、請求項１に記載の部品データを取得し、
    　前記部品データに前記低解像画像処理を指定するデータが含まれる場合には、前記部品撮像用カメラで撮像した１枚の部品画像を処理して当該部品データに含まれる前記形状データを参照して当該部品を認識する低解像画像処理を実行し、
    　前記部品データに前記超解像画像処理を指定するデータが含まれる場合には、異なる位置で前記部品撮像用カメラで撮像した複数枚の部品画像を超解像処理して作成した超解像画像を処理して当該部品データに含まれる前記形状データを参照して当該部品を認識する超解像画像処理を実行する、部品実装機。
  12. 　前記画像処理装置は、前記部品データに前記超解像画像処理を指定するデータが含まれ、且つ前記超解像画像の倍率、前記超解像処理に使用する部品画像の枚数、各部品画像を撮像する位置間の移動量の少なくとも１つの超解像画像処理条件を指定するデータが含まれている場合には、前記超解像画像処理を実行する際に、前記部品データで指定された前記超解像画像処理条件で前記超解像画像処理を実行する、請求項１１に記載の部品実装機。
  13. 　前記画像処理装置は、前記部品データに前記部品を撮像する撮像条件及び／又は照明条件を指定するデータが含まれている場合には、前記部品データで指定された前記撮像条件及び／又は照明条件で前記超解像画像処理又は前記低解像画像処理を実行する、請求項１１又は１２に記載の部品実装機。
  14. 　回路基板を搬送する搬送経路に複数の部品実装機を配列して、各部品実装機でフィーダから供給される部品をピックアップして前記回路基板に実装して部品実装基板を生産する部品実装ラインの生産最適化システムにおいて、
    　前記部品実装基板の生産に使用する全ての部品種を供給するのに必要なフィーダを前記複数の部品実装機に分配して各部品実装機のフィーダ配置を最適化する生産最適化装置を備え、
    　前記生産最適化装置は、前記部品実装基板の生産に使用する全ての部品種について、その部品種毎に画像処理に用いる請求項１乃至３のいずれかに記載の部品データを取得し、その部品データで指定された画像処理方法と前記各部品実装機の画像処理能力とを考慮して前記各部品実装機のフィーダ配置を最適化する、部品実装ラインの生産最適化システム。
PCT/JP2018/035287 2018-09-25 2018-09-25 部品データ、部品データ作成システム、部品実装機及び部品実装ラインの生産最適化システム Ceased WO2020065698A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020547615A JP7019065B2 (ja) 2018-09-25 2018-09-25 部品実装ラインの生産最適化システム
PCT/JP2018/035287 WO2020065698A1 (ja) 2018-09-25 2018-09-25 部品データ、部品データ作成システム、部品実装機及び部品実装ラインの生産最適化システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/035287 WO2020065698A1 (ja) 2018-09-25 2018-09-25 部品データ、部品データ作成システム、部品実装機及び部品実装ラインの生産最適化システム

Publications (1)

Publication Number Publication Date
WO2020065698A1 true WO2020065698A1 (ja) 2020-04-02

Family

ID=69953432

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/035287 Ceased WO2020065698A1 (ja) 2018-09-25 2018-09-25 部品データ、部品データ作成システム、部品実装機及び部品実装ラインの生産最適化システム

Country Status (2)

Country Link
JP (1) JP7019065B2 (ja)
WO (1) WO2020065698A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115669250A (zh) * 2020-07-08 2023-01-31 株式会社富士 元件供给方法及元件供给装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008306492A (ja) * 2007-06-07 2008-12-18 Sharp Corp 画像処理装置、画像処理システム、画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP2009071137A (ja) * 2007-09-14 2009-04-02 Yamaha Motor Co Ltd 生産管理装置
JP2011155050A (ja) * 2010-01-26 2011-08-11 Hitachi High-Tech Instruments Co Ltd 電子部品装着装置
JP2013074337A (ja) * 2011-09-26 2013-04-22 Canon Inc 撮像装置、画像処理装置、画像処理方法及びプログラム
WO2015136669A1 (ja) * 2014-03-13 2015-09-17 富士機械製造株式会社 画像処理装置および基板生産システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008306492A (ja) * 2007-06-07 2008-12-18 Sharp Corp 画像処理装置、画像処理システム、画像処理方法、画像処理プログラムおよびコンピュータ読み取り可能な記録媒体
JP2009071137A (ja) * 2007-09-14 2009-04-02 Yamaha Motor Co Ltd 生産管理装置
JP2011155050A (ja) * 2010-01-26 2011-08-11 Hitachi High-Tech Instruments Co Ltd 電子部品装着装置
JP2013074337A (ja) * 2011-09-26 2013-04-22 Canon Inc 撮像装置、画像処理装置、画像処理方法及びプログラム
WO2015136669A1 (ja) * 2014-03-13 2015-09-17 富士機械製造株式会社 画像処理装置および基板生産システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115669250A (zh) * 2020-07-08 2023-01-31 株式会社富士 元件供给方法及元件供给装置

Also Published As

Publication number Publication date
JP7019065B2 (ja) 2022-02-14
JPWO2020065698A1 (ja) 2021-02-25

Similar Documents

Publication Publication Date Title
CN113380661B (zh) 芯片贴装装置及半导体器件的制造方法
CN101990395B (zh) 电子部件的安装方法以及电子部件的安装装置
CN105432158B (zh) 电子部件安装装置以及电子部件安装方法
CN108029243A (zh) 安装装置、拍摄处理方法及拍摄单元
JP6648252B2 (ja) 画像処理システム及び画像処理方法
JP6472873B2 (ja) 部品検査機及び部品装着機
JP2008109057A (ja) 半導体チップの実装装置及び実装方法
JP2014110410A (ja) 表面実装機および部品供給装置
JP6795520B2 (ja) 実装装置および撮像処理方法
JP7019065B2 (ja) 部品実装ラインの生産最適化システム
JP5297913B2 (ja) 実装機
JP6064168B2 (ja) マークの撮像方法及び部品実装ライン
JPH09321494A (ja) 表面実装機の照明装置
JP7664552B2 (ja) 部品装着装置及び部品装着方法
CN105409347A (zh) 电子部件安装装置以及电子部件安装方法
JP7285194B2 (ja) 部品実装機、部品認識方法
JPWO2018055757A1 (ja) 照明条件特定装置及び照明条件特定方法
JP4704218B2 (ja) 部品認識方法、同装置および表面実装機
JP2015206752A (ja) 検査装置
CN113223080A (zh) 部件识别装置、部件安装装置以及部件识别方法
JP7562860B2 (ja) 部品実装機
JP7271738B2 (ja) 撮像ユニット
JP6153376B2 (ja) 電子部品装着装置
KR101332005B1 (ko) 부품 실장장치 및 실장방법
JP7833700B2 (ja) 部品装着装置、及び、部品装着方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18935136

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020547615

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18935136

Country of ref document: EP

Kind code of ref document: A1