WO2018235186A1 - 対基板作業装置 - Google Patents

対基板作業装置 Download PDF

Info

Publication number
WO2018235186A1
WO2018235186A1 PCT/JP2017/022841 JP2017022841W WO2018235186A1 WO 2018235186 A1 WO2018235186 A1 WO 2018235186A1 JP 2017022841 W JP2017022841 W JP 2017022841W WO 2018235186 A1 WO2018235186 A1 WO 2018235186A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
candidate area
processing
camera
imaging
Prior art date
Application number
PCT/JP2017/022841
Other languages
English (en)
French (fr)
Inventor
雅史 天野
博史 大池
一也 小谷
Original Assignee
株式会社Ｆｕｊｉ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｆｕｊｉ filed Critical 株式会社Ｆｕｊｉ
Priority to PCT/JP2017/022841 priority Critical patent/WO2018235186A1/ja
Priority to US16/614,840 priority patent/US11210764B2/en
Priority to EP17915148.5A priority patent/EP3644702B1/en
Priority to CN201780092306.6A priority patent/CN110771277B/zh
Priority to JP2019524768A priority patent/JP7094282B2/ja
Publication of WO2018235186A1 publication Critical patent/WO2018235186A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0812—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines the monitoring devices being integrated in the mounting machine, e.g. for monitoring components, leads, component placement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/04—Mounting of components, e.g. of leadless components

Definitions

  • This specification discloses the technique regarding the board
  • work apparatus provided with the image processing apparatus which carries out image recognition of recognition objects, such as a reference mark of the circuit board carried in by the conveyor.
  • a component mounting machine a component inserting and assembling machine, a screen printing machine, an appearance inspection machine and the like installed in a component mounting line for producing a component mounting board
  • a reference mark of a circuit board carried in by a conveyor is imaged by a camera from the upper side, and the imaged image is processed to be a reference mark
  • the position of the circuit board is detected on the basis of the position of the reference mark.
  • the reference marks on circuit boards also tend to be miniaturized.
  • the circuit board may be provided with fiducial marks having a size of 50 micrometers to 500 micrometers.
  • fiducial marks having a size of 50 micrometers to 500 micrometers.
  • it may be difficult to accurately recognize a minute reference mark.
  • the position detection accuracy of the fiducial mark may be deteriorated, or something other than the fiducial mark reflected in the captured image may be misrecognized as the fiducial mark to erroneously detect the position of the fiducial mark.
  • Patent Document 2 International Publication WO 2015/049723
  • Patent Document 2 International Publication WO 2015/049723
  • multi-frame super resolution processing when performing multi-frame super resolution processing, a plurality of low resolution images captured at different positions by moving the camera within a range in which the reference mark of the circuit board fits within the field of view of the camera and imaging multiple times. An image is acquired and a super-resolution image is created by multi-frame super-resolution processing to recognize a reference mark.
  • multi-frame super-resolution processing requires a large amount of computation compared with normal image processing, and thus the image processing time becomes long, and the cycle time becomes long, which causes productivity to be reduced. Even in the case of single-frame super-resolution processing in which a high resolution image is estimated from one low resolution image, the problem that the image processing time becomes long similarly occurs.
  • the area where the super resolution processing is performed is limited to a partial area of the low resolution image. It is conceivable to perform super-resolution processing.
  • this patent document 2 in order to perform image recognition of a component adsorbed by a suction nozzle of a component mounting machine, an area including a component in a low resolution image captured by placing the component in a field of view of a camera is super-resolved.
  • a pattern or the like similar in shape to the reference mark may be formed around the reference mark on the circuit board (within the field of view of the camera), so a pattern or the like similar to the reference mark in the low resolution image There are cases where it is difficult to distinguish and distinguish from a reference mark.
  • the circuit board may be recognized as a one-dimensional code indicating board information, a code such as a two-dimensional code, characters, symbols, marks, etc. These recognition targets are also the same as the reference marks.
  • the tendency to be miniaturized causes the same problem as image recognition of a fiducial mark.
  • a conveyor for loading a circuit board to a work position, a camera for imaging an area including a recognition target of the circuit board carried to the work position, and the circuit board carried to the work position
  • a moving device for moving the camera relative to each other, and moving the camera relative to the circuit board within a range in which the recognition object of the circuit board falls within the field of view of the camera by the moving device
  • an image processing apparatus for obtaining an image and generating a super-resolution image by super-resolution processing and recognizing the recognition target, wherein the image processing apparatus processes the picked-up image
  • Executes candidate area search processing for searching as candidate areas at least one area including the portion that is likely to be the recognition target in the image; Run the super-resolution processing on the candidate region in which to create a super-resolution image of the candidate region to recognize the recognition target.
  • a super resolution image is created for each candidate area, and the super resolution image is displayed based on the recognition result of the super resolution image. It may be determined whether or not the possible part of the recognition target is the recognition target.
  • candidate area search processing is performed to process the captured image and search for at least one area including a portion that is likely to be recognized in the image as a candidate area. Even if the position of the recognition target in the image captured by the camera is largely shifted due to poor transport accuracy, candidate area search processing limits the area including the part that is likely to be the recognition target in the image as a candidate area can do.
  • a candidate area search process can limit a plurality of areas including a portion that is likely to be recognized in the image as a plurality of candidate areas, and include the recognition target in any of the plurality of candidate areas. It can.
  • the image processing apparatus may execute multi-frame super-resolution processing as super-resolution processing, or may execute single-frame super-resolution processing.
  • the moving device may be configured to move the camera relative to the stationary circuit board positioned at the working position, and configured to move the circuit board carried into the working position relative to the fixed camera. The circuit board and the camera may be moved.
  • the image processing apparatus moves the camera relative to the circuit board within a range in which the recognition object of the circuit board can be accommodated within the field of view of the camera by the moving device, thereby capturing a plurality of images at different positions.
  • a plurality of captured images may be acquired and a super resolution image may be created by multi-frame super resolution processing.
  • the image processing apparatus may first perform a candidate area search process of processing an image captured first and searching for at least one area including a possible portion of the recognition target in the image as a candidate area. After the end of imaging, it is executed in parallel with the operation of relatively moving the camera and the circuit board to the next imaging position, and after the end of the last imaging, searching is performed in the candidate area search process using the plurality of images. Multi-frame super-resolution processing may be performed on the candidate area.
  • the candidate area search process is performed in parallel with the operation of moving the camera to the next image pickup position after the first image pickup end, the candidate area search process is executed after the last image pickup end. Unlike the above, it is possible to avoid delaying the start of multi-frame super resolution processing by the candidate area search processing after the end of the last imaging.
  • multi-frame super-resolution processing is performed using only a plurality of images after the last imaging and limited to the candidate areas searched in the candidate area search process, the entire area of the imaged image is processed.
  • the time of multi-frame super resolution processing can be shortened.
  • the super-resolution image of the candidate area searched in the candidate area search process is created to recognize the recognition target, the recognition target can be recognized with high accuracy using the super-resolution image of the candidate area.
  • a pattern or the like having a shape similar to the recognition target is recognized as a recognition target using the super-resolution image of the candidate region. It can distinguish and recognize, and it can prevent that a pattern etc. of shape similar to recognition object are misrecognized as recognition object.
  • the candidate area search process is finished before the last imaging is finished, but when the candidate area search process is not finished when the last imaging is finished, the candidate area search
  • the multi-frame super-resolution process may be performed on the candidate area after the process is completed.
  • the candidate area search process is not completed when the last imaging is completed, the candidate area including the recognition target is searched when a predetermined number of candidate areas are searched or when a predetermined time has elapsed. It may be determined that the candidate area search process has been completed, and the multi-frame super resolution process may be performed on the candidate area.
  • FIG. 1 is a side view showing the configuration of the main part of the mounter of one embodiment.
  • FIG. 2 is a block diagram showing a configuration of a control system of the component mounting machine.
  • FIG. 3 is a flow chart showing the process flow of the reference mark image recognition operation control program.
  • FIG. 4 is a view for explaining an example of searching for a candidate area including a possible portion of a reference mark in a low resolution image first imaged by a mark imaging camera.
  • FIG. 5 is a view for explaining an example in which multi-frame super resolution processing is performed on a candidate area to create a super-resolution image of the candidate area.
  • FIG. 6 is a timing chart for explaining the execution timing of imaging of a camera for imaging a mark in the reference mark image recognition operation, candidate area search processing, and multi-frame super-resolution processing.
  • a conveyor 13 for conveying the circuit board 12 is provided on the base 11 of the component mounting machine (hereinafter, the conveying direction of the circuit board 12 by the conveyor 13 is taken as the X direction, and the orthogonal direction is taken as the Y direction. ).
  • one of the support members 15a is fixed at a fixed position
  • the other support member Adjust the width of the conveyor 13 (the interval between the conveyor rails 13a and 13b) to the width of the circuit board 12 by adjusting the Y-direction position of the 15b along the guide rail 16 with a feed screw mechanism (not shown) or the like It can be done.
  • a feeder setting table 22 is provided on the side of the conveyor 13 on the base table 11, and a plurality of feeders 23 are detachably set in the Y direction on the feeder setting table 22.
  • a reel 20 on which is wound a component supply tape containing a large number of components at an equal pitch is set in each feeder 23, and the leading component of the component supply tape drawn from the reel 20 is a component suction position (suction nozzle 26 is set to be positioned at a position for suctioning the component).
  • the component mounting machine is provided with a head moving device 25 (see FIG. 2) for moving the mounting head 24 in the horizontal direction (XY direction) and in the vertical direction (Z direction).
  • the mounting head 24 holds one or a plurality of suction nozzles 26 for suctioning the component sent to the component suction position by the feeder 23 downward.
  • a camera 36 for mark imaging which moves integrally with the mounting head 24 by the head moving device 25 (moving device) and picks up the reference mark of the circuit board 12 from above,
  • the camera 35 (refer FIG. 2) for component imaging which image
  • the control device 31 of the component mounting machine includes an input device 32 such as a keyboard, a mouse, and a touch panel, and a hard disk for storing a reference mark image recognition operation control program and image data of FIG.
  • a storage device 33 such as a RAM and a ROM, and a display device 34 such as a liquid crystal display and a CRT are connected.
  • the control device 31 of the component mounting machine is constituted by one or more computers (one or more CPUs), controls the operation of each function of the conveyor 13, and also uses a camera 36 or a component for mark imaging It also functions as an image processing apparatus that processes an image captured by the imaging camera 35 and recognizes each recognition target.
  • the control device 31 of the component mounter has a plurality of reference marks, which are objects to be recognized of the circuit board 12 carried into the predetermined work position by the conveyor 13 and clamped, from above with a camera 36 for mark imaging Image pickup is performed several times, and a reference mark is recognized by multi-frame super resolution processing described later, and each component mounting position of the circuit board 12 is measured based on the position of the reference mark.
  • the component is moved along the path from component imaging position to component mounting position, the component supplied from the feeder 23 is absorbed by the suction nozzle 26 of the mounting head 24, the component is imaged by the camera 35 for component imaging, and the captured image
  • control device 31 of the component mounting machine also functions as an image processing device that executes multi-frame super resolution processing, and executes the reference mark image recognition operation control program of FIG.
  • image processing device that executes multi-frame super resolution processing
  • reference mark image recognition operation control program of FIG. By moving the camera 36 a plurality of times by moving the camera 36 within a range in which the reference mark of the circuit board 12 fits within the field of view of the camera 36, a plurality of low resolution images captured at different positions are obtained A super-resolution image is created by resolution processing to recognize a reference mark.
  • the control device 31 processes the low-resolution image taken at first to reduce the time of multi-frame super-resolution processing, and at least one of the images including the potential portion of the reference mark in the image is processed.
  • a candidate area search process of searching for one area as a candidate area is executed in parallel with the operation of moving the camera 36 for mark imaging to the next imaging position after the first imaging is completed, and a plurality of low Multi-frame super-resolution processing is performed on the candidate area searched by the candidate area search process using the resolution image, a super-resolution image of the candidate area is generated, and a reference mark is recognized to be a reference mark Measure the position (X, Y) of.
  • the “probable part of the fiducial mark” is a part that is difficult to distinguish from the fiducial mark only by the processing result of the low-resolution image captured first And the reference mark.
  • the size of the candidate area may be a size that includes the entire possible portion of the reference mark. Generally, as the size (area) of the candidate area is smaller, the time for multi-frame super-resolution processing can be shortened, so the size of the candidate area is preferably smaller.
  • the size of the candidate area may be a preset constant value, or the size of the candidate area is automatically determined according to the size of the portion of the reference mark that is recognized by the control device 31 in the candidate area search processing. It may be set to. Alternatively, the size of the candidate area may be set by the operator manually operating the input device 32.
  • a super-resolution image is created for each candidate area and is reflected in the super-resolution image. It is identified whether or not the possible part of the reference mark is the reference mark.
  • the determination criteria for determining whether or not to make a candidate area in the candidate area search process may be constant or may be changeable.
  • the determination criterion is a strict criterion
  • the number of candidate regions found in the candidate region search processing is reduced, and there is an advantage that the time for multi-frame super resolution processing can be shortened accordingly.
  • the search for the candidate area including F may fail.
  • the criterion is a loose criterion, it becomes easy to find a possible part of the fiducial mark from the low resolution image captured first, and the advantage is that the candidate area including the fiducial mark can be found more reliably.
  • the number of candidate areas found in the candidate area search process may increase, and the time for multi-frame super-resolution processing may increase accordingly.
  • the determination criteria may be changeable based on at least one of the design around the reference mark of the circuit board 12 and the size, shape, material, and luminance value of the reference mark.
  • the change of the determination criterion may be automatically performed by the control device 31 or may be performed by an operator manually operating the input device 32.
  • the process of re-executing the candidate area search process may be repeated by relaxing the determination criteria. In this way, when the reference mark appears in the low resolution image captured first, even if the search for the candidate area including the reference mark fails in the first candidate area search processing, the second and subsequent The candidate area search process can succeed in searching for the candidate area including the reference mark. If no candidate area can be found even if the candidate area search process is repeated a predetermined number of times, it is determined that the reference mark does not appear in the low resolution image captured first, and the component mounting machine is not It may be stopped to warn the operator by display or voice. In this case, the control device 31 may automatically start over from the first imaging, and at that time, the imaging position of the camera 36 for imaging a mark is corrected so that the reference mark falls within the field of view of the camera 36 It is good to make it.
  • the candidate area search processing is often finished before the last (second in the example of FIG. 6) imaging is finished, but around the reference mark of the circuit board 12
  • the time for the candidate area search process may be extended, and the candidate area search process may not be completed when the last imaging is completed. Therefore, if the candidate area search process is not completed when the last imaging is completed, the multi-frame super resolution process is performed on the candidate area after the candidate area search process is completed. Also good.
  • the candidate area search process is not completed when the last imaging is completed, the candidate area including the reference mark is searched when a predetermined number of candidate areas are searched or when a predetermined time has elapsed. It may be determined that the candidate area search process has been completed, and the multi-frame super resolution process may be performed on the candidate area.
  • the candidate area search processing is performed on the first (first) low resolution image. You only have to go against it. In this case, the second and subsequent low resolution images are used together with the first low resolution image when performing multi-frame super resolution processing.
  • the control device 31 causes the display device 34 to display the super-resolution image of each candidate region created by the multi-frame super-resolution processing, and the region other than the candidate region is enlarged at the same magnification as the super-resolution image.
  • a background of a resolution image for example, a bicubic magnified image or the like
  • a predetermined luminance value for example, 0 or 255 in the case of a camera of 256 gradation gray scale
  • the image recognition of the reference mark of the present embodiment described above is executed by the control device 31 in accordance with the reference mark image recognition operation control program of FIG.
  • the reference mark image recognition operation control program of FIG. 3 is a control example in the case where the number of times of imaging of the reference mark by the camera 36 for mark imaging is two. Therefore, "first imaging” is “first imaging” and “second imaging” is "last imaging”.
  • the reference mark image recognition operation control program of FIG. 3 is executed by the control device 31 each time the circuit board 12 is carried into a predetermined work position by the conveyor 13 while the component mounting machine is in operation (during production).
  • the program is activated, first, in step 101, the head moving device 25 moves the camera 36 for mark imaging to the first imaging position located above the reference mark of the circuit board 12, and the camera 36 The reference mark of the circuit board 12 is placed in the field of view. Thereafter, the process proceeds to step 102, the first imaging is performed by the mark imaging camera 36, and a low resolution image is acquired by imaging an area including the reference mark and the peripheral portion.
  • the processing of steps 103 to 104 is executed, and the head moving device 25 performs second imaging within a range in which the reference mark falls within the field of view of the camera 36 for mark imaging. Move to the position and perform the second imaging.
  • the second imaging position may be set at a position separated by, for example, 0.5 pixels in the X direction and 0.5 pixels in the Y direction from the first imaging position.
  • the candidate area search process of step 105 is executed immediately after the end of the first imaging.
  • this candidate area search processing the low resolution image acquired in the first imaging is processed, and based on the processing result, an area including a portion having a possibility of the reference mark is searched as a candidate area in the image. . Thereby, one or more candidate regions are set in the low resolution image.
  • step 106 motion estimation of two low resolution images is performed, and candidate areas searched by the candidate area search process are determined.
  • multi-frame super resolution processing is performed to create a super resolution image of the candidate area.
  • the motion estimation of two low resolution images may use, for example, normalized correlation, phase limited correlation, or the like, or use the servo movement amount of the head moving device 25 for moving the camera 36 for mark imaging as it is. It is good. If there are a plurality of candidate areas searched by the candidate area search process, as shown in FIG. 5, a super resolution image is created for each candidate area.
  • step 107 the process proceeds to step 107, and the shape, size, luminance value, etc. of the possible portion of the reference mark in the super-resolution image of each candidate area are recognized, and the portion is determined based on the recognition result. Whether it is a mark or not is determined based on the shape, size, luminance value, etc., and a candidate area where a reference mark actually exists is specified. If there is only one candidate area searched by the candidate area search process, it is confirmed that a reference mark is present in the super-resolution image of the candidate area.
  • step 108 the position of the reference mark shown in the super-resolution image of the candidate area identified in step 107 is recognized, and the program is ended.
  • the low resolution image picked up first is processed to search at least one region including a portion having a possibility of the reference mark as a candidate region in the image. Since candidate area search processing is executed, candidates are obtained even if the position of the fiducial mark captured in the low resolution image captured by the camera 36 for capturing a mark is largely shifted because the conveyance accuracy of the conveyor 13 is poor.
  • the area search process can limit an area including a possible portion of the reference mark in the image as a candidate area. Also, a pattern or the like having a shape similar to the reference mark is reflected in the low resolution image captured by the mark imaging camera 36, and the pattern or the like similar to the reference mark and the reference mark are distinguished and recognized.
  • a candidate area search process can limit a plurality of areas including a portion having a possibility of the reference mark as a plurality of candidate areas by the candidate area search processing, and one of the plurality of candidate areas A fiducial mark can be included.
  • the candidate area search process is performed in parallel with the operation of moving the camera 36 for mark imaging to the next imaging position after the first (first) imaging is completed, the last (second time) Unlike the case where the candidate area search process is performed after the end of imaging, it is possible to prevent the start of the multi-frame super resolution process from being delayed by the candidate area search process after the end of the last imaging.
  • multi-frame super-resolution processing is performed using only a plurality of low-resolution images after the last imaging and limited to candidate areas searched in the candidate area search process
  • the time required for multi-frame super-resolution processing can be shortened compared to the case where multi-frame super-resolution processing is performed on the entire region.
  • the super-resolution image of the candidate area searched in the candidate area search process is created to recognize the reference mark, the reference mark can be recognized with high accuracy using the super-resolution image of the candidate area.
  • a region including a pattern or the like having a shape similar to the reference mark is searched as a candidate region
  • a pattern or the like similar to the reference mark using the super-resolution image of the candidate region is used as the reference mark. It can distinguish and recognize, and it can prevent that a pattern etc. of a shape similar to a fiducial mark are misrecognized as a fiducial mark.
  • candidate area search processing may be performed for each reference mark to search at least one area including a possible portion of the reference mark as a candidate area of the reference mark.
  • the recognition target of the circuit board 12 has been described as the reference mark
  • the one-dimensional code indicating the board information of the circuit board 12 a code such as a two-dimensional code, a character, a symbol or a mark is an image
  • the present invention may be practiced by using any one of codes, characters, symbols, and marks indicating substrate information as recognition targets.
  • the codes, characters, symbols, and marks indicating the board information of the circuit board 12 also tend to be miniaturized similarly to the reference marks.
  • the present invention is not limited to a component mounting machine, and is a component insertion assembly machine including a substrate processing apparatus provided with an image processing apparatus that recognizes an object to be recognized such as a reference mark of a circuit board carried by a conveyor. It goes without saying that the present invention can be implemented with various modifications without departing from the scope of the present invention, such as application to a screen printing machine, an appearance inspection machine or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Abstract

対基板作業装置（部品実装機）は、移動装置（２５）によりカメラ（３６）の視野内に回路基板（１３）の基準マーク（認識対象）が収まる範囲内で当該カメラを移動させて複数回撮像することで異なる位置で撮像した複数枚の画像を取得してマルチフレーム超解像処理により超解像画像を作成して基準マークを認識する画像処理装置（制御装置３１）を備える。この画像処理装置は、最初に撮像した画像を処理して当該画像内で基準マークの可能性のある部分を含む少なくとも１つの領域を候補領域として探索する候補領域探索処理を、最初の撮像終了後にカメラを次の撮像位置へ移動させる動作と並行して実行し、最後の撮像終了後に前記複数枚の画像を用いて前記候補領域探索処理で探索された候補領域に対してマルチフレーム超解像処理を実行して当該候補領域の超解像画像を作成して基準マークを認識する。

Description

対基板作業装置
　本明細書は、コンベアで搬入された回路基板の基準マーク等の認識対象を画像認識する画像処理装置を備えた対基板作業装置に関する技術を開示したものである。
　例えば、部品実装基板を生産する部品実装ラインに設置された部品実装機、部品挿入組立機、スクリーン印刷機、外観検査機等においては、コンベアで搬入された回路基板の位置を検出するために、特許文献１（特開２０１７－５２１７号公報）等に記載されているように、コンベアで搬入された回路基板の基準マークをその上方からカメラで撮像して、その撮像画像を処理して基準マークの位置を認識し、その基準マークの位置を基準にして回路基板の位置を検出するようにしている。
特開２０１７－５２１７号公報 国際公開ＷＯ２０１５／０４９７２３号公報
　近年、回路基板の部品実装密度の高密度化や実装部品の微小化が進むに従って、回路基板の基準マークも微小化される傾向がある。例えば、回路基板に、５０マイクロメートルから５００マイクロメートルの大きさの基準マークが設けられている場合もある。このため、上記特許文献１に記載されているように、１回の撮像で取得した低解像度の画像を処理する通常の画像処理では、微小な基準マークを精度良く認識することが困難な場合があり、その結果、基準マークの位置検出精度が悪化したり、撮像画像に写り込んだ基準マーク以外のものを基準マークと誤認識して基準マークの位置を誤検出する可能性があった。
　このような課題を解決するために、本発明者らは、特許文献２（国際公開ＷＯ２０１５／０４９７２３号公報）に記載されたマルチフレーム超解像処理技術を回路基板の基準マークの画像認識に応用して、回路基板の基準マークをマルチフレーム超解像処理により認識する技術を研究開発しているが、その研究開発過程で、次のような新たな課題が判明した。
　すなわち、マルチフレーム超解像処理を行う場合、カメラの視野内に回路基板の基準マークが収まる範囲内で当該カメラを移動させて複数回撮像することで、異なる位置で撮像した複数枚の低解像度画像を取得してマルチフレーム超解像処理により超解像画像を作成して基準マークを認識することになる。しかし、マルチフレーム超解像処理は、通常の画像処理と比べて演算量が多いため、画像処理時間が長くなり、サイクルタイムが長くなって生産性が低下する要因となる。尚、１枚の低解像度画像から高解像度画像を推定するシングルフレーム超解像処理であっても、画像処理時間が長くなる問題が、同様に発生する。
　この対策として、低解像度画像の全領域に対して超解像処理を行うのではなく、特許文献２のように、低解像度画像の一部の領域に超解像処理を行う領域を限定して超解像処理を行うことが考えられる。この特許文献２では、部品実装機の吸着ノズルに吸着した部品を画像認識するために、カメラの視野内に部品を収めて撮像した低解像度画像のうちの部品を含む領域を超解像処理の対象領域として限定して、この対象領域のみに対して超解像処理を行うことで、超解像処理の演算量を減らして画像処理時間を短縮するようにしている。
　この特許文献２のように、吸着ノズルに吸着した部品を認識対象とする場合は、吸着ノズルに吸着した部品を、上向きに固定したカメラの上方の撮像位置へ移動させて撮像するため、カメラで撮像した低解像度画像内の部品（認識対象）の位置の誤差は、吸着ノズルの位置制御により部品吸着位置ずれ量程度の小さい寸法に収めることが可能である。このため、吸着ノズルの位置から超解像処理の対象領域を正確に限定することは比較的容易である。
　しかし、コンベアで搬入される回路基板の基準マークを認識対象とする場合は、コンベアの搬送精度が悪いため、カメラで撮像した低解像度画像に写った基準マークの位置のばらつきが大きくなり、しかも、回路基板の基準マークの周辺（カメラの視野内）には、基準マークと類似した形状のパターン等が形成されている場合があるため、低解像度画像に写った基準マークと類似した形状のパターン等を基準マークと区別して認識することが困難な場合がある。このため、回路基板の基準マークを認識対象とする場合は、カメラで撮像した低解像度画像内に超解像処理の対象領域を正しく限定することは困難であり、これが回路基板の基準マークの画像認識に対して特許文献２の超解像処理の適用を困難とする要因となっている。
　尚、回路基板の認識対象は、基準マークの他に、基板情報を示す一次元コード、二次元コード等のコード、文字、記号、マーク等があり、これらの認識対象も、基準マークと同様に微小化される傾向があるため、基準マークの画像認識と同様の課題が生じる。
　上記課題を解決するために、回路基板を作業位置に搬入するコンベアと、前記作業位置に搬入された回路基板の認識対象を含む領域を撮像するカメラと、前記作業位置に搬入された前記回路基板と前記カメラを相対的に移動させる移動装置と、前記移動装置により前記カメラの視野内に前記回路基板の認識対象が収まる範囲内で当該カメラと前記回路基板を相対的に移動させて撮像することで画像を取得して超解像処理により超解像画像を作成して前記認識対象を認識する画像処理装置とを備えた対基板作業装置において、前記画像処理装置は、撮像した画像を処理して当該画像内で前記認識対象の可能性のある部分を含む少なくとも１つの領域を候補領域として探索する候補領域探索処理を実行し、前記候補領域探索処理で探索された前記候補領域に対して超解像処理を実行して当該候補領域の超解像画像を作成して前記認識対象を認識するものである。この際、候補領域探索処理で探索した候補領域が複数存在する場合には、候補領域毎に超解像画像を作成して当該超解像画像の認識結果に基づいて当該超解像画像に写った前記認識対象の可能性のある部分が当該認識対象であるか否かを識別するようにすれば良い。
　この構成では、撮像した画像を処理して当該画像内で認識対象の可能性のある部分を含む少なくとも１つの領域を候補領域として探索する候補領域探索処理を実行するようにしているため、コンベアの搬送精度が悪いためにカメラで撮像した画像に写った認識対象の位置が大きくずれていても、候補領域探索処理によって当該画像内で認識対象の可能性のある部分を含む領域を候補領域として限定することができる。また、カメラで撮像した画像に認識対象と類似した形状のパターン等が写り込んでいて、認識対象と類似した形状のパターン等と当該認識対象とを区別して認識することが困難な場合には、候補領域探索処理によって当該画像内で認識対象の可能性のある部分を含む複数の領域を複数の候補領域として限定することができ、その複数の候補領域のいずれかに認識対象を含ませることができる。画像処理装置は、超解像処理として、マルチフレーム超解像処理を実行してもよく、シングルフレーム超解像処理を実行してもよい。移動装置は、作業位置に位置決めされ静止している回路基板に対してカメラを移動させる構成であってもよく、作業位置に搬入された回路基板を、固定されたカメラに対して移動させる構成であってもよく、回路基板とカメラの両者を移動させる構成であってもよい。
　尚、前記画像処理装置は、前記移動装置により前記カメラの視野内に前記回路基板の認識対象が納まる範囲内で当該カメラと前記回路基板を相対的に移動させて複数撮像することで異なる位置で撮像した複数枚の画像を取得してマルチフレーム超解像処理により超解像画像を作成してもよい。更に、前記画像処理装置は、最初に撮像した画像を処理して当該画像内で前記認識対象の可能性のある部分を含む少なくとも１つの領域を候補領域として探索する候補領域探索処理を、最初の撮像終了後に、次の撮像位置へ前記カメラと前記回路基板を相対的に移動させる動作と並行して実行し、最後の撮像終了後に前記複数枚の画像を用いて前記候補領域探索処理で探索された前記候補領域に対してマルチフレーム超解像処理を実行してもよい。
　この構成では、候補領域探索処理は、最初の撮像終了後にカメラを次の撮像位置へ移動させる動作と並行して実行するようにしているため、最後の撮像終了後に候補領域探索処理を実行する場合とは異なり、最後の撮像終了後に候補領域探索処理によってマルチフレーム超解像処理の開始が遅れることを回避できる。
　更に、最後の撮像終了後に複数枚の画像を用いて候補領域探索処理で探索された候補領域に限定してマルチフレーム超解像処理を実行するようにしているため、撮像した画像の全領域に対してマルチフレーム超解像処理を行う場合と比較して、マルチフレーム超解像処理の時間を短縮することができる。しかも、候補領域探索処理で探索された候補領域の超解像画像を作成して認識対象を認識するようにしているため、当該候補領域の超解像画像を用いて認識対象を精度良く認識できると共に、認識対象と類似した形状のパターン等を含む領域が候補領域として探索されている場合には、当該候補領域の超解像画像を用いて認識対象と類似した形状のパターン等を認識対象と区別して認識することができ、認識対象と類似した形状のパターン等を認識対象と誤認識することを防止できる。
　尚、最後の撮像が終了するまでに候補領域探索処理が終了する場合が多いと思われるが、最後の撮像を終了した時点で候補領域探索処理が終了していない場合には、当該候補領域探索処理が終了してから候補領域に対してマルチフレーム超解像処理を実行するようにしても良い。
　或は、最後の撮像を終了した時点で候補領域探索処理が終了していない場合には、所定数の候補領域を探索した時点又は所定時間が経過した時点で、認識対象を含む候補領域を探索できたと判断して、当該候補領域探索処理を終了して候補領域に対してマルチフレーム超解像処理を実行するようにしても良い。
図１は一実施例の部品実装機の主要部の構成を示す側面図である。 図２は部品実装機の制御系の構成を示すブロック図である。 図３は基準マーク画像認識動作制御プログラムの処理の流れを示すフローチャートである。 図４はマーク撮像用のカメラで最初に撮像した低解像度の画像内で基準マークの可能性のある部分を含む候補領域を探索した一例を説明する図である。 図５は候補領域に対してマルチフレーム超解像処理を実行して当該候補領域の超解像画像を作成した一例を説明する図である。 図６は基準マーク画像認識動作におけるマーク撮像用のカメラの撮像と候補領域探索処理とマルチフレーム超解像処理の実行タイミングを説明するタイミングチャートである。
　以下、対基板作業装置の一例として部品実装機に適用して具体化した一実施例を説明する。
　まず、図１に基づいて部品実装機の構成を説明する。
　部品実装機のベース台１１上には、回路基板１２を搬送するコンベア１３が設けられている（以下、このコンベア１３による回路基板１２の搬送方向をＸ方向とし、その直角方向をＹ方向とする）。このコンベア１３を構成する２本のコンベアレール１３ａ，１３ｂとコンベアベルト１４ａ，１４ｂを支持する支持部材１５ａ，１５ｂのうち、片方の支持部材１５ａを、一定位置に固定し、その反対側の支持部材１５ｂのＹ方向位置を送りねじ機構（図示せず）等によってガイドレール１６に沿って調整することで、コンベア１３の幅（コンベアレール１３ａ，１３ｂの間隔）を回路基板１２の幅に合わせて調整できるようになっている。
　また、ベース台１１上のコンベア１３の側方には、フィーダセット台２２が設けられ、このフィーダセット台２２に複数のフィーダ２３がＹ方向に着脱可能にセットされている。各フィーダ２３には、多数の部品を等ピッチで収容した部品供給テープが巻回されたリール２０がセットされ、このリール２０から引き出された部品供給テープの先頭の部品が部品吸着位置（吸着ノズル２６で部品を吸着する位置）に位置するようにセットされる。
　この部品実装機には、実装ヘッド２４を水平方向（ＸＹ方向）及び上下方向（Ｚ方向）に移動させるヘッド移動装置２５（図２参照）が設けられている。実装ヘッド２４には、フィーダ２３により部品吸着位置に送られた部品を吸着する１本又は複数本の吸着ノズル２６が下向きに保持されている。また、部品実装機には、ヘッド移動装置２５（移動装置）によって実装ヘッド２４と一体的に移動して回路基板１２の基準マークをその上方から撮像するマーク撮像用のカメラ３６と、吸着ノズル２６に吸着した部品をその下方から撮像する部品撮像用のカメラ３５（図２参照）とが設けられている。
　図２に示すように、部品実装機の制御装置３１には、キーボード、マウス、タッチパネル等の入力装置３２と、後述する図３の基準マーク画像認識動作制御プログラムや画像データ等を記憶するハードディスク、ＲＡＭ、ＲＯＭ等の記憶装置３３と、液晶ディスプレイ、ＣＲＴ等の表示装置３４等が接続されている。
　この部品実装機の制御装置３１は、１台又は複数台のコンピュータ（１個又は複数個のＣＰＵ）によって構成され、コンベア１３の各機能の動作を制御すると共に、マーク撮像用のカメラ３６や部品撮像用のカメラ３５で撮像した画像を処理して各々の認識対象を認識する画像処理装置としても機能する。具体的には、部品実装機の制御装置３１は、コンベア１３により所定の作業位置に搬入されてクランプされた回路基板１２の認識対象である基準マークをその上方からマーク撮像用のカメラ３６で複数回撮像して、後述するマルチフレーム超解像処理により基準マークを認識し、この基準マークの位置を基準にして回路基板１２の各部品実装位置を計測した後、実装ヘッド２４を部品吸着位置→部品撮像位置→部品実装位置の経路で移動させて、フィーダ２３から供給される部品を実装ヘッド２４の吸着ノズル２６で吸着して当該部品を部品撮像用のカメラ３５で撮像して、その撮像画像を処理して当該部品の吸着位置（Ｘ，Ｙ）と角度θを計測し、当該部品の吸着位置（Ｘ，Ｙ）や角度θのずれを補正して当該部品を回路基板１１に実装するという動作を制御する。
　更に、部品実装機の制御装置３１は、マルチフレーム超解像処理を実行する画像処理装置としても機能し、後述する図３の基準マーク画像認識動作制御プログラムを実行することで、マーク撮像用のカメラ３６の視野内に回路基板１２の基準マークが収まる範囲内で当該カメラ３６を移動させて複数回撮像することで、異なる位置で撮像した複数枚の低解像度の画像を取得してマルチフレーム超解像処理により超解像画像を作成して基準マークを認識する。この際、制御装置３１は、マルチフレーム超解像処理の時間を短縮するために、最初に撮像した低解像度の画像を処理して当該画像内で基準マークの可能性のある部分を含む少なくとも１つの領域を候補領域として探索する候補領域探索処理を、最初の撮像終了後にマーク撮像用のカメラ３６を次の撮像位置へ移動させる動作と並行して実行し、最後の撮像終了後に複数枚の低解像度の画像を用いて前記候補領域探索処理で探索された候補領域に対してマルチフレーム超解像処理を実行して当該候補領域の超解像画像を作成して基準マークを認識して基準マークの位置（Ｘ，Ｙ）を計測する。
　ここで、「基準マークの可能性のある部分」とは、最初に撮像した低解像度の画像の処理結果だけでは、基準マークと区別するのが困難な部分（つまり基準マークと誤認識する可能性のある部分）と基準マークとの両方を含む意味である。候補領域のサイズは、基準マークの可能性のある部分全体が含まれるサイズであれば良い。一般に、候補領域のサイズ（面積）が小さいほど、マルチフレーム超解像処理の時間を短くできるため、候補領域のサイズは小さい方が好ましい。候補領域のサイズは、予め設定された一定値であっても良いし、制御装置３１が候補領域探索処理で認識した基準マークの可能性のある部分のサイズに応じて候補領域のサイズを自動的に設定するようにしても良い。或は、作業者が入力装置３２の手動操作で候補領域のサイズを設定できるようにしても良い。
　図４に示すように、候補領域探索処理によって探索した候補領域が複数存在する場合には、図５に示すように、候補領域毎に超解像画像を作成して当該超解像画像に写った基準マークの可能性のある部分が基準マークであるか否かを識別する。
　この場合、候補領域探索処理で候補領域とするか否か（基準マークの可能性があるか否か）を判定する判定基準は、一定であっても良いし、変更可能としても良い。
　一般に、判定基準が厳しめの基準であると、候補領域探索処理で発見される候補領域の数が少なくなり、その分、マルチフレーム超解像処理の時間を短縮できる利点があるが、回路基板１２の基準マークの周辺のデザインや、基準マークのサイズ、形状、材質、輝度値によっては、最初に撮像した低解像度の画像から基準マークの可能性のある部分を発見し難くなって、基準マークを含む候補領域の探索に失敗する可能性がある。
　一方、判定基準が緩めの基準であると、最初に撮像した低解像度の画像から基準マークの可能性のある部分を発見し易くなって、基準マークを含む候補領域をより確実に発見できる利点があるが、その反面、候補領域探索処理で発見される候補領域の数が増えてしまい、その分、マルチフレーム超解像処理の時間が長くなる可能性がある。
　そこで、回路基板１２の基準マークの周辺のデザインや、基準マークのサイズ、形状、材質、輝度値によって、最初に撮像した低解像度の画像から基準マークの可能性のある部分を発見する難易度が変化することを考慮して、回路基板１２の基準マークの周辺のデザインや、基準マークのサイズ、形状、材質、輝度値の少なくとも１つに基づいて判定基準を変更可能としても良い。この判定基準の変更は、制御装置３１が自動的に行っても良いし、作業者が入力装置３２の手動操作で行っても良い。
　また、１回の候補領域探索処理で候補領域を１つも発見できなかった場合には、判定基準を緩和して候補領域探索処理を再実行する処理を繰り返すようにしても良い。このようにすれば、最初に撮像した低解像度の画像に基準マークが写っている場合は、１回目の候補領域探索処理で基準マークを含む候補領域の探索に失敗しても、２回目以降の候補領域探索処理で基準マークを含む候補領域の探索に成功することができる。尚、候補領域探索処理を所定回数繰り返しても候補領域を１つも発見できなかった場合には、最初に撮像した低解像度の画像に基準マークが写っていないと判断して、部品実装機をエラー停止させて、表示や音声等で作業者に警告するようにしても良い。この場合、制御装置３１が自動的に最初の撮像からやり直すようにしても良く、その際、マーク撮像用のカメラ３６の撮像位置を当該カメラ３６の視野内に基準マークが収まるように修正するようにすると良い。
　また、図６に示すように、最後（図６の例では２回目）の撮像が終了するまでに候補領域探索処理が終了する場合が多いと思われるが、回路基板１２の基準マークの周辺のデザインや、基準マークのサイズ、形状、材質、輝度値によっては、候補領域探索処理の時間が延びて、最後の撮像を終了した時点で候補領域探索処理が終了していない可能性がある。そこで、最後の撮像を終了した時点で候補領域探索処理が終了していない場合には、当該候補領域探索処理が終了してから候補領域に対してマルチフレーム超解像処理を実行するようにしても良い。
　或は、最後の撮像を終了した時点で候補領域探索処理が終了していない場合には、所定数の候補領域を探索した時点又は所定時間が経過した時点で、基準マークを含む候補領域を探索できたと判断して、当該候補領域探索処理を終了して候補領域に対してマルチフレーム超解像処理を実行するようにしても良い。
　尚、マーク撮像用のカメラ３６によって基準マークを３回以上撮像して３枚以上の低解像度の画像を取得する場合でも、候補領域探索処理は、１枚目（最初）の低解像度の画像に対してのみ行えば良い。この場合、２枚目以降の低解像度の画像は、マルチフレーム超解像処理を行う際に１枚目の低解像度の画像と共に使用される。
　制御装置３１は、マルチフレーム超解像処理により作成した各候補領域の超解像画像を表示装置３４に表示すると共に、候補領域以外の領域には当該超解像画像と同じ倍率で拡大した低解像度画像（例えばバイキュービック拡大画像等）又は所定の輝度値（例えば２５６階調グレースケールのカメラであれば０や２５５等）の背景を表示する。これにより、作業者は、表示装置３４に表示された各候補領域の超解像画像を目視で確認することができ、いずれかの候補領域に基準マークが含まれていて基準マークの認識が正しく行われていることを目視で確認することができる。
　以上説明した本実施例の基準マークの画像認識は、制御装置３１によって図３の基準マーク画像認識動作制御プログラムに従って実行される。図３の基準マーク画像認識動作制御プログラムは、マーク撮像用のカメラ３６による基準マークの撮像回数が２回の場合の制御例である。従って、「１回目の撮像」が「最初の撮像」、「２回目の撮像」が「最後の撮像」となる。
　図３の基準マーク画像認識動作制御プログラムは、部品実装機の稼働中（生産中）にコンベア１３により回路基板１２が所定の作業位置に搬入される毎に制御装置３１によって実行される。本プログラムが起動されると、まず、ステップ１０１で、ヘッド移動装置２５によってマーク撮像用のカメラ３６を回路基板１２の基準マークの上方に位置する１回目の撮像位置へ移動させて、当該カメラ３６の視野内に回路基板１２の基準マークを収めた状態にする。この後、ステップ１０２に進み、マーク撮像用のカメラ３６で１回目の撮像を行い、基準マークとその周辺部分を含む領域を撮像した低解像度の画像を取得する。
　この後、ステップ１０３→１０４のマーク撮像用のカメラ３６の移動及び２回目の撮像とステップ１０５の候補領域探索処理とを並列して実行する。
　具体的には、１回目の撮像終了後に、ステップ１０３→１０４の処理を実行して、ヘッド移動装置２５によってマーク撮像用のカメラ３６をその視野内に基準マークが収まる範囲内で２回目の撮像位置へ移動させて２回目の撮像を行う。この際、２回目の撮像位置は、１回目の撮像位置からＸ方向に例えば０．５画素、Ｙ方向に例えば０．５画素だけ離れた位置に設定しても良い。
　このマーク撮像用のカメラ３６の移動及び２回目の撮像と並行して、１回目の撮像終了直後からステップ１０５の候補領域探索処理を実行する。この候補領域探索処理では、１回目の撮像で取得した低解像度の画像を処理して、その処理結果に基づいて当該画像内で基準マークの可能性のある部分を含む領域を候補領域として探索する。これにより、低解像度の画像内に１つ又は複数の候補領域を設定する。
　以上のようにして、２回目の撮像と候補領域探索処理を終了した後、ステップ１０６に進み、２枚の低解像度の画像のモーション推定を行い、前記候補領域探索処理で探索された候補領域に対してマルチフレーム超解像処理を実行して当該候補領域の超解像画像を作成する。２枚の低解像度の画像のモーション推定は、例えば、正規化相関や位相限定相関等を用いても良いし、マーク撮像用のカメラ３６を移動させるヘッド移動装置２５のサーボ移動量をそのまま使用しても良い。候補領域探索処理で探索した候補領域が複数存在する場合には、図５に示すように、候補領域毎に超解像画像を作成する。
　この後、ステップ１０７に進み、各候補領域の超解像画像に写った基準マークの可能性のある部分の形状、寸法、輝度値等を認識して、その認識結果に基づいて当該部分が基準マークであるか否かを形状、寸法、輝度値等に基づいて判定して、実際に基準マークが存在する候補領域を特定する。候補領域探索処理で探索した候補領域が１つのみの場合は、当該候補領域の超解像画像に基準マークが存在することを確認する。
　この後、ステップ１０８に進み、上記ステップ１０７で特定した候補領域の超解像画像に写った基準マークの位置を認識して本プログラムを終了する。
　以上説明した本実施例によれば、最初（１回目）に撮像した低解像度の画像を処理して当該画像内で基準マークの可能性のある部分を含む少なくとも１つの領域を候補領域として探索する候補領域探索処理を実行するようにしているため、コンベア１３の搬送精度が悪いためにマーク撮像用のカメラ３６で撮像した低解像度の画像に写った基準マークの位置が大きくずれていても、候補領域探索処理によって当該画像内で基準マークの可能性のある部分を含む領域を候補領域として限定することができる。また、マーク撮像用のカメラ３６で撮像した低解像度の画像に基準マークと類似した形状のパターン等が写り込んでいて、基準マークと類似した形状のパターン等と基準マークとを区別して認識することが困難な場合には、候補領域探索処理によって当該画像内で基準マークの可能性のある部分を含む複数の領域を複数の候補領域として限定することができ、その複数の候補領域のいずれかに基準マークを含ませることができる。
　しかも、候補領域探索処理は、最初（１回目）の撮像終了後にマーク撮像用のカメラ３６を次の撮像位置へ移動させる動作と並行して実行するようにしているため、最後（２回目）の撮像終了後に候補領域探索処理を実行する場合とは異なり、最後の撮像終了後に候補領域探索処理によってマルチフレーム超解像処理の開始が遅れることを回避できる。
　更に、最後の撮像終了後に複数枚の低解像度の画像を用いて候補領域探索処理で探索された候補領域に限定してマルチフレーム超解像処理を実行するようにしているため、低解像度画像の全領域に対してマルチフレーム超解像処理を行う場合と比較して、マルチフレーム超解像処理の時間を短縮することができる。しかも、候補領域探索処理で探索された候補領域の超解像画像を作成して基準マークを認識するようにしているため、当該候補領域の超解像画像を用いて基準マークを精度良く認識できると共に、基準マークと類似した形状のパターン等を含む領域が候補領域として探索されている場合には、当該候補領域の超解像画像を用いて基準マークと類似した形状のパターン等を基準マークと区別して認識することができ、基準マークと類似した形状のパターン等を基準マークと誤認識することを防止できる。
　尚、上記実施例では、マーク撮像用のカメラ３６の視野内に基準マークを１個のみ収めて撮像するようにしたが、マーク撮像用のカメラ３６の視野内に複数の基準マークを収めて撮像するようにしても良い。この場合は、基準マーク毎に候補領域探索処理を行って当該基準マークの可能性のある部分を含む少なくとも１つの領域を当該基準マークの候補領域として探索するようにすれば良い。
　また、上記実施例では、回路基板１２の認識対象を基準マークとして説明したが、回路基板１２の基板情報を示す一次元コード、二次元コード等のコード、文字、記号、マークのいずれかを画像認識するシステムでは、基板情報を示すコード、文字、記号、マークのいずれかを認識対象として本発明を実施しても良い。回路基板１２の基板情報を示すコード、文字、記号、マークも、基準マークと同様に微小化される傾向があるためである。
　その他、本発明は、部品実装機に限定されず、コンベアで搬入された回路基板の基準マーク等の認識対象を画像認識する画像処理装置を備えた対基板作業装置である、部品挿入組立機、スクリーン印刷機、外観検査機等に適用して実施できる等、要旨を逸脱しない範囲内で種々変更して実施できることは言うまでもない。
　１２…回路基板、１３…コンベア、２４…実装ヘッド、２５…ヘッド移動装置（移動装置）、３１…制御装置（画像処理装置）、３６…マーク撮像用のカメラ（カメラ）

Claims (10)

  1. 　回路基板を作業位置に搬入するコンベアと、
    　前記作業位置に搬入された回路基板の認識対象を含む領域を撮像するカメラと、
    　前記作業位置に搬入された前記回路基板と前記カメラを相対的に移動させる移動装置と、
    　前記移動装置により前記カメラの視野内に前記回路基板の認識対象が収まる範囲内で当該カメラと前記回路基板を相対的に移動させて撮像することで画像を取得して超解像処理により超解像画像を作成して前記認識対象を認識する画像処理装置とを備え、
    　前記画像処理装置は、撮像した画像を処理して当該画像内で前記認識対象の可能性のある部分を含む少なくとも１つの領域を候補領域として探索する候補領域探索処理を実行し、前記候補領域探索処理で探索された前記候補領域に対して超解像処理を実行して当該候補領域の超解像画像を作成して前記認識対象を認識する、対基板作業装置。
  2. 　前記画像処理装置は、前記候補領域が複数存在する場合には、前記候補領域毎に超解像画像を作成して当該超解像画像の認識結果に基づいて当該超解像画像に写った前記認識対象の可能性のある部分が当該認識対象であるか否かを識別する、請求項１に記載の対基板作業装置。
  3. 　前記画像処理装置は、前記候補領域探索処理で前記候補領域とするか否かを判定する判定基準を、前記回路基板の認識対象の周辺のデザイン、前記認識対象のサイズ、形状、材質、輝度値の少なくとも１つに基づいて変更可能に構成されている、請求項１又は２に記載の対基板作業装置。
  4. 　前記認識対象は、前記回路基板の基準位置となる基準マーク又は基板情報を示すコード、文字、記号、マークのいずれかである、請求項１乃至３のいずれかに記載の対基板作業装置。
  5. 　前記画像処理装置は、前記移動装置により前記カメラの視野内に前記回路基板の認識対象が収まる範囲内で当該カメラと前記回路基板を相対的に移動させて複数撮像することで異なる位置で撮像した複数枚の画像を取得してマルチフレーム超解像処理により超解像画像を作成する、請求項１乃至４のいずれかに記載の対基板作業装置。
  6. 　前記画像処理装置は、最初に撮像した画像を処理して当該画像内で前記認識対象の可能性のある部分を含む少なくとも１つの領域を候補領域として探索する候補領域探索処理を、最初の撮像終了後に、次の撮像位置へ前記カメラと前記回路基板を相対的に移動させる動作と並行して実行し、最後の撮像終了後に前記複数枚の画像を用いて前記候補領域探索処理で探索された前記候補領域に対してマルチフレーム超解像処理を実行する、請求項５に記載の対基板作業装置。
  7. 　前記画像処理装置は、最後の撮像を終了した時点で前記候補領域探索処理が終了していない場合には、当該候補領域探索処理が終了してから前記候補領域に対してマルチフレーム超解像処理を実行する、請求項６に記載の対基板作業装置。
  8. 　前記画像処理装置は、最後の撮像を終了した時点で前記候補領域探索処理が終了していない場合には、所定数の候補領域を探索した時点又は所定時間が経過した時点で、当該候補領域探索処理を終了して前記候補領域に対してマルチフレーム超解像処理を実行する、請求項６に記載の対基板作業装置。
  9. 　前記画像処理装置で処理した画像を表示する表示装置を備え、
    　前記画像処理装置は、前記表示装置に表示する画像のうち、前記候補領域には前記超解像画像を表示し、それ以外の領域には当該超解像画像と同じ倍率で拡大した低解像度画像又は所定の輝度値の背景を表示する、請求項１乃至８のいずれかに記載の対基板作業装置。
  10. 　前記移動装置は、前記回路基板に部品を実装する実装ヘッドを移動させるヘッド移動装置であり、
    　前記カメラは、前記ヘッド移動装置に前記実装ヘッドと一緒に移動するように設けられている、請求項１乃至９のいずれかに記載の対基板作業装置。
PCT/JP2017/022841 2017-06-21 2017-06-21 対基板作業装置 WO2018235186A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2017/022841 WO2018235186A1 (ja) 2017-06-21 2017-06-21 対基板作業装置
US16/614,840 US11210764B2 (en) 2017-06-21 2017-06-21 Apparatus for performing work on substrate
EP17915148.5A EP3644702B1 (en) 2017-06-21 2017-06-21 Apparatus for performing work on substrate
CN201780092306.6A CN110771277B (zh) 2017-06-21 2017-06-21 对基板作业装置
JP2019524768A JP7094282B2 (ja) 2017-06-21 2017-06-21 対基板作業装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/022841 WO2018235186A1 (ja) 2017-06-21 2017-06-21 対基板作業装置

Publications (1)

Publication Number Publication Date
WO2018235186A1 true WO2018235186A1 (ja) 2018-12-27

Family

ID=64735876

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/022841 WO2018235186A1 (ja) 2017-06-21 2017-06-21 対基板作業装置

Country Status (5)

Country Link
US (1) US11210764B2 (ja)
EP (1) EP3644702B1 (ja)
JP (1) JP7094282B2 (ja)
CN (1) CN110771277B (ja)
WO (1) WO2018235186A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020170341A1 (ja) * 2019-02-19 2020-08-27 株式会社Ｆｕｊｉ 基準マーク特定装置、基準マーク特定方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340879B (zh) * 2018-12-17 2023-09-01 台达电子工业股份有限公司 基于上采样的影像定位系统及其方法
CN113522884A (zh) * 2021-06-28 2021-10-22 合肥国轩高科动力能源有限公司 一种自动修正极柱清洗轨迹的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111599A (ja) * 1994-10-11 1996-04-30 Fujitsu Ltd 位置合わせ方法および装置
JP2009273005A (ja) * 2008-05-09 2009-11-19 Omron Corp 部品実装基板の外観検査用画像の保存方法および復元方法、ならびに画像保存処理装置
WO2015049723A1 (ja) 2013-10-01 2015-04-09 富士機械製造株式会社 組立機
WO2015083220A1 (ja) * 2013-12-02 2015-06-11 富士機械製造株式会社 組立機
JP2017005217A (ja) 2015-06-16 2017-01-05 富士機械製造株式会社 挿入部品実装方法及び挿入部品実装装置
WO2017098561A1 (ja) * 2015-12-07 2017-06-15 富士機械製造株式会社 基板用の画像処理装置および画像処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02213983A (ja) 1989-02-15 1990-08-27 Mitsubishi Electric Corp ワイヤボンデイング装置の認識方法
JP2903823B2 (ja) * 1992-01-10 1999-06-14 三菱電機株式会社 パターンの認識装置
JP4715009B2 (ja) * 2001-03-26 2011-07-06 ソニー株式会社 ワークの基準マーク認識方法
JP4787694B2 (ja) * 2006-07-14 2011-10-05 ヤマハ発動機株式会社 実装機
US8878950B2 (en) * 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5877639B2 (ja) * 2010-12-27 2016-03-08 富士機械製造株式会社 画像生成装置および画像生成方法
JP5798371B2 (ja) * 2011-05-09 2015-10-21 富士機械製造株式会社 基準マークモデルテンプレート作成方法
KR102266001B1 (ko) * 2012-06-28 2021-06-16 유니버셜 인스트루먼츠 코퍼레이션 융통성 있는 조립 기계, 시스템 및 방법
US9635246B2 (en) * 2013-06-21 2017-04-25 Qualcomm Incorporated Systems and methods to super resolve a user-selected region of interest
EP3065522B1 (en) * 2013-10-31 2017-11-22 Fuji Machine Mfg. Co., Ltd. Component-mounting device
WO2015136669A1 (ja) * 2014-03-13 2015-09-17 富士機械製造株式会社 画像処理装置および基板生産システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111599A (ja) * 1994-10-11 1996-04-30 Fujitsu Ltd 位置合わせ方法および装置
JP2009273005A (ja) * 2008-05-09 2009-11-19 Omron Corp 部品実装基板の外観検査用画像の保存方法および復元方法、ならびに画像保存処理装置
WO2015049723A1 (ja) 2013-10-01 2015-04-09 富士機械製造株式会社 組立機
WO2015083220A1 (ja) * 2013-12-02 2015-06-11 富士機械製造株式会社 組立機
JP2017005217A (ja) 2015-06-16 2017-01-05 富士機械製造株式会社 挿入部品実装方法及び挿入部品実装装置
WO2017098561A1 (ja) * 2015-12-07 2017-06-15 富士機械製造株式会社 基板用の画像処理装置および画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3644702A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020170341A1 (ja) * 2019-02-19 2020-08-27 株式会社Ｆｕｊｉ 基準マーク特定装置、基準マーク特定方法
JPWO2020170341A1 (ja) * 2019-02-19 2021-12-02 株式会社Fuji 基準マーク特定装置、基準マーク特定方法
JP7078791B2 (ja) 2019-02-19 2022-05-31 株式会社Fuji 基準マーク特定装置、基準マーク特定方法

Also Published As

Publication number Publication date
JP7094282B2 (ja) 2022-07-01
EP3644702B1 (en) 2022-07-13
CN110771277B (zh) 2021-06-01
US20200202492A1 (en) 2020-06-25
EP3644702A1 (en) 2020-04-29
JPWO2018235186A1 (ja) 2020-02-27
EP3644702A4 (en) 2020-05-27
CN110771277A (zh) 2020-02-07
US11210764B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
JP4629584B2 (ja) 実装システムおよび電子部品の実装方法
JP6159800B2 (ja) フィーダ調整装置
JP5318334B2 (ja) 対象物の位置検出方法及び装置
JP7094282B2 (ja) 対基板作業装置
JP6125917B2 (ja) テープフィーダの部品向き確認システム
WO2017081773A1 (ja) 基板用の画像処理装置および画像処理方法
JP6608543B2 (ja) 画像処理システム及び画像処理方法
JP5756713B2 (ja) 基板処理装置、基板処理システム
EP3370493B1 (en) Base plate position searching device and component mounting machine
JP4927776B2 (ja) 部品実装方法
JP6904978B2 (ja) 部品装着機
JP7253476B2 (ja) 部品認識データ作成方法および部品認識データ作成プログラム
JP5071091B2 (ja) 電子部品実装用装置および１次元バーコードの読取り方法
JP5627530B2 (ja) 部品方向判定装置及び部品方向判定方法
JP6621639B2 (ja) 基板用の画像処理装置
CN110678060B (zh) 图像处理装置、安装装置、图像处理方法、存储介质
US20240155821A1 (en) Component mounting apparatus, component mounting method, and component positional relationship information acquiring method
JP5152120B2 (ja) 部品実装用装置及び部品実装用装置における基板情報読み取り方法
JP2013084050A (ja) フラットパネル表示基板製造装置、および、フラットパネル表示基板製造装置の画像処理方法
JP4885139B2 (ja) Ｔｃｐハンドリング装置
JP2020136599A (ja) データ作成装置、決定装置、装着作業機、及び、装着作業実行方法
JP2013239755A (ja) 部品実装用装置における段取り替え方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17915148

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019524768

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017915148

Country of ref document: EP

Effective date: 20200121