WO2017081736A1 - リード先端位置画像認識方法及びリード先端位置画像認識システム - Google Patents

リード先端位置画像認識方法及びリード先端位置画像認識システム Download PDF

Info

Publication number
WO2017081736A1
WO2017081736A1 PCT/JP2015/081520 JP2015081520W WO2017081736A1 WO 2017081736 A1 WO2017081736 A1 WO 2017081736A1 JP 2015081520 W JP2015081520 W JP 2015081520W WO 2017081736 A1 WO2017081736 A1 WO 2017081736A1
Authority
WO
WIPO (PCT)
Prior art keywords
lead
image
tip
image recognition
learning
Prior art date
Application number
PCT/JP2015/081520
Other languages
English (en)
French (fr)
Inventor
雅史 天野
秀一郎 鬼頭
梅崎　太造
Original Assignee
富士機械製造株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士機械製造株式会社 filed Critical 富士機械製造株式会社
Priority to PCT/JP2015/081520 priority Critical patent/WO2017081736A1/ja
Priority to EP15908260.1A priority patent/EP3376843A4/en
Priority to JP2017549889A priority patent/JP6727228B2/ja
Priority to CN201580084427.7A priority patent/CN108353534B/zh
Priority to US15/772,825 priority patent/US10380457B2/en
Publication of WO2017081736A1 publication Critical patent/WO2017081736A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0813—Controlling of single components prior to mounting, e.g. orientation, component geometry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/04—Mounting of components, e.g. of leadless components

Definitions

  • the present invention relates to a lead tip position image recognition method and a lead tip position image recognition method that recognizes the center position of the lead tip by processing an image captured by a camera of the lead tip of an electronic component inserted into a through hole of a circuit board. It is an invention related to the system.
  • the leading end of the lead of the electronic component is picked up by the camera from below, and the image is processed using general pattern matching to obtain the center of the leading end of the lead. After the position is recognized, the position shift of the electronic component is corrected based on the recognition result, and the lead of the electronic component is positioned directly above the through hole of the circuit board.
  • the tip of the lead of the electronic component is stably formed into a circular shape, the degree of difficulty in image processing is not so high.
  • the tip shape of the lead is not stable, and even if it is an electronic part of the same product type, as shown in FIG. ), (B), the tip of the lead is burred, and the lead tip is blurred with scattered light (halation), as shown in FIGS.
  • FIG. 4 (e) the tip of the lead is deformed into an ellipse or the like, or as shown in FIG. 4 (f), the tip of the lead is partially cut out. ), As shown in (h), it may appear in the middle.
  • the shape of the tip of the lead appears in various shapes depending on the state of the cut surface of the tip of the lead. Even if image processing is used, it is difficult to accurately recognize the tip of the lead, and there is a drawback that the recognition accuracy of the center position of the tip of the lead is poor.
  • the problem to be solved by the present invention is to make it possible to accurately recognize the center position of the lead tip from the lead image captured by the camera even if the shape of the lead tip is not stable. is there.
  • the present invention processes an image (hereinafter referred to as “lead image”) obtained by capturing an image of a tip of a lead of an electronic component to be inserted into a through hole of a circuit board with an image recognition device.
  • the lead tip position image recognition method for recognizing the center position of the tip of the lead, the output when the operator designates the center position of the tip of the lead in the lead image and inputs the lead image to the image recognition device is output.
  • a learning step for learning to be the center position of the tip of the lead designated by the operator, and a lead image obtained by imaging the tip of the lead of the electronic component with the camera is input to the image recognition device.
  • a recognition step of outputting the center position of the tip of the lead is input to the image recognition device.
  • the image recognition apparatus may be configured using a machine learning system such as a neural network.
  • the process switches to a learning step, and the lead image in which the image processing error has occurred is input to the image recognition device. It is preferable to learn that the output at that time is the center position of the tip of the lead specified by the operator. In this way, if learning is performed using a lead image in which an image processing error has occurred, even if a similar lead image is subsequently input to the image recognition device, no image processing error occurs, and the center position of the tip of the lead is accurate. Since it can be recognized well, the recognition accuracy of the center position of the tip of the lead can be increased while reducing the frequency of occurrence of image processing errors.
  • the lead image is subjected to at least one of rotation, mapping, luminance change, and shape change to generate a plurality of lead images, and each of the plurality of lead images is input to an image recognition device.
  • the output at this time may be learned so as to be the center position of the tip of the lead designated by the operator. In this way, even if there are few lead images used for learning, teacher data (combination of “input” and “correct output”) can be increased, and learning can be performed efficiently. The recognition accuracy of the center position can be increased.
  • the mounting is based on the recognition result of the image recognition device.
  • the learning process is performed. It is also possible to learn so that the output when the lead image in which the positioning error has occurred is input to the image recognition device is the center position of the tip of the lead designated by the operator.
  • a learning device that learns the relationship (teacher data) between the lead image input to the image recognition device and the center position of the leading end of the output lead is provided separately from the image recognition device, and the result learned by the learning device is recognized as an image. You may make it transmit to an apparatus. In this way, since it is not necessary to learn the teacher data in the image recognition device, it is not necessary to increase the calculation capability of the image recognition device to the calculation capability corresponding to the learning of the teacher data.
  • the learning device and the image recognition device can share the recognition of the center position of the tip of the head efficiently.
  • the image recognizing device may perform both learning of teacher data and recognition of the center position of the tip of the lead.
  • the image recognition apparatus is configured to be able to switch between a recognition mode for inputting a lead image and outputting the center position of the tip of the lead and a learning mode for learning teacher data, and an operator can operate in the learning mode.
  • the image recognition apparatus includes a designation unit that designates the center position of the tip of the lead in the lead image, and the image recognition apparatus is configured such that the center position of the tip of the lead in the lead image designated by the operator in the learning mode is the lead image. It is sufficient to learn so that the output becomes the input when.
  • FIG. 1 is a block diagram showing the configuration of a lead tip position image recognition system according to a first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a process of imaging the tip of the lead of the electronic component with a camera.
  • FIG. 3 is a view for explaining the process of inserting the lead of the electronic component into the through hole of the circuit board.
  • 4A to 4H are views showing lead images in which the shape of the tip of the lead is shown in various shapes.
  • FIG. 5 is a diagram for explaining a configuration example of a neural network.
  • FIG. 6 is a diagram showing an image of pixel data of the input layer and output layer of the neural network when positive sample data is used as the teacher data.
  • FIG. 7 is a diagram showing an image of pixel data of the input layer and the output layer of the neural network when negative sample data is used as the teacher data.
  • FIG. 8 is a diagram for explaining a method of detecting a region where a lead exists in a captured image by raster scanning.
  • FIG. 9 is a diagram for explaining a method for detecting a region where a lead exists in a captured image by blob analysis.
  • FIG. 10 is a flowchart showing the flow of processing of the component placement machine control program.
  • FIG. 11 is a flowchart showing the flow of processing of the learning processing program.
  • FIG. 12 is a block diagram showing the configuration of the lead tip position image recognition system according to the second embodiment of the present invention.
  • the head moving device 14 that moves the mounting head 13 that holds the electronic component 12, the component supply device 15 that supplies the electronic component 12, the conveyor 17 that transports the circuit board 16, and the mounting head 13 hold it.
  • a component imaging camera 18 for imaging the electronic component 12 from its lower surface side, a mark imaging camera 19 for imaging a reference mark or the like of the circuit board 16 from above, and the like are provided.
  • the component imaging camera 18 is fixed upward between the component supply device 15 and the conveyor 17, and an illumination device 20 that illuminates the electronic component 12 held by the mounting head 13 from below is attached to the upper portion thereof. ing.
  • the mark imaging camera 19 is attached to the mounting head 13 downward, and is moved integrally with the mounting head 13 by the head moving device 14.
  • the control device 21 of the component mounting machine 11 is configured by a computer or the like, holds the electronic component 12 supplied by the component supply device 15 with the mounting head 13, and moves it above the circuit board 16 by the head moving device 14. The operation of inserting the lead 22 of the electronic component 12 into the through hole 23 of the circuit board 16 is controlled.
  • control device 21 of the component mounting machine 11 is also equipped with a function as the image recognition device 25, and before moving the electronic component 12 held by the mounting head 13 to above the circuit board 16, the component imaging camera 18.
  • the leading end (lower end) of the lead 22 of the electronic component 12 is imaged by the camera 18 from below to obtain a lead image, and this lead image is input to the image recognition device 25.
  • the center position of the tip of the lead 22 is output.
  • the control device 21 and the image recognition device 25 may be configured by separate computers or a single computer.
  • the image recognition device 25 is configured using a machine learning system such as a neural network or deep learning, and uses supervised learning (supervised learning) in a learning mode (learning process) to input an image in a lead image as an input. Learning the relationship (teacher data) between the shape of the tip of the lead 22 and the center position of the lead 22 as an output, and then in the recognition mode (recognition process), the center of the tip of the lead 22 from the input lead image It is configured so that the position can be recognized with high accuracy.
  • supervised learning supervised learning
  • learning process learning process
  • learning of the teacher data may be performed before the start of production.
  • learning of the teacher data is performed every time an image processing error or a positioning error occurs.
  • the “image processing error” is an error meaning that the recognition process has failed to recognize the center position of the tip of the lead 22 in the lead image, and the “positioning error” is held in the mounting head 13. This means that in the inserting step of positioning and inserting the lead 22 of the electronic component 12 into the through hole 23 of the circuit board 16, it has failed to insert the lead 22 of the electronic component 12 into the through hole 23 of the circuit board 16. It is an error.
  • the teacher data learning method displays a lead image in which an image processing error or a positioning error has occurred on a display device 26 such as a liquid crystal display or a CRT, and an operator looks at the lead image displayed on the display device 26,
  • the operation unit 27 (designating means) such as a keyboard, a mouse, a touch panel, etc. is operated to designate the center position of the tip of the lead 22 in the lead image and input it to the image recognition device 25.
  • the image recognition device 25 learns that the output when the lead image in which the image processing error or the positioning error has occurred is input is the center position of the tip of the lead 22 specified by the operator.
  • a lead image having burrs is rotated by a predetermined angle, and a plurality of lead images having different rotation angles by a predetermined angle are created and learned.
  • the center position of the tip of the lead 22 can be accurately recognized from the lead image regardless of the direction in which the burr occurs.
  • the signal flows to the input layer, the intermediate layer (hidden layer), and the output layer.
  • the intermediate layer may be one layer or two or more layers.
  • a neural network refers to all models in which neurons (nodes) in each layer that form a network by synaptic connections have a problem-solving ability by changing weights (synaptic connection strength) by learning.
  • each neuron in the intermediate layer and the output layer receives stimuli from each neuron in the previous layer, and the stimuli are weighted and added together and passed to the neurons in the next layer.
  • what is important is weighting, and by changing the weighting in the learning process of the teacher data and adjusting it to output the optimal value, “correct output” with high accuracy even for “unknown input” You will be able to get
  • a lead image of 80 [pixel] ⁇ 80 [pixel] is input to the input layer, and in the output layer, where the input lead image is 80 [pixel] ⁇ 80 [pixel]. Is the center position of the tip of the lead 22 is output.
  • FIG. 6 shows an example of input and output of 10 [pixel] ⁇ 10 [pixel] for easy illustration.
  • the output layer may be made larger than the input layer.
  • the input layer is 80 [pixel] ⁇ 80 [pixel]
  • the output layer may be designed as 160 [pixel] ⁇ 160 [pixel] or 320 [pixel] ⁇ 320 [pixel].
  • the learning of the teacher data may be learned and stored for each type of electronic component 12, or may be learned and stored by sharing a plurality of types.
  • the processing range corresponding to the input layer of the neural network is sequentially searched for the captured image by raster scanning or the like as shown in FIG. May be detected and applied to the input layer of the neural network.
  • blob analysis or the like may be used instead of the raster scan. For example, by performing binarization processing on the captured image and performing blob analysis or the like, as shown in FIG. 9, candidate regions in which the lead 22 may be present in the captured image are detected and input to the neural network is performed. You may make it give to a layer. In the blob analysis or the like, a portion other than the lead 22 is detected or the position detection accuracy is low even if the lead 22 is detected, but only the lead 22 can be detected with high position detection accuracy by a post-processing neural network.
  • the control device 21 of the component placement machine 11 executes the programs shown in FIGS. 10 and 11 in cooperation with the image recognition device 25, whereby the electronic component 12 supplied by the component supply device 15 is replaced with the placement head of the component placement machine 11. 13 to control the operation of inserting the lead 22 of the electronic component 12 into the through hole 23 of the circuit board 16 by recognizing the center position of the tip of the lead 22 of the electronic component 12 and performing image processing.
  • the teacher data is learned each time an error or positioning error occurs.
  • the component mounting machine control program of FIG. 10 is a program that holds the electronic component 12 supplied by the component supply device 15 and controls the operation until the lead 22 of the electronic component 12 is inserted into the through hole 23 of the circuit board 16. And is activated at the timing when the holding operation of the electronic component 12 is started.
  • this program is started, first, in step 101, the electronic component 12 supplied by the component supply device 15 is held by the mounting head 13 of the component mounting machine 11, and the imaging position above the camera 18 for component imaging. Move to. Thereafter, the process proceeds to step 102, and the leading end (lower end) of the lead 22 of the electronic component 12 is imaged by the camera 18 from below to obtain a lead image.
  • step 103 where the lead image is input to the image recognition device 25 and image processing for outputting the center position of the tip of the lead 22 is executed.
  • step 104 determines whether or not an image processing error has occurred (whether or not it has failed to recognize the center position of the tip of the lead 22 in the lead image). As a result, if it is determined that an image processing error has occurred, the process proceeds to step 107 and the learning processing program of FIG. 11 is executed.
  • step 104 the process proceeds to step 105 where the electronic component 12 held by the mounting head 13 of the component mounting machine 11 is moved above the circuit board 16. Based on the center position of the tip of the lead 22 output from the image recognition device 25, the positional deviation of the electronic component 12 is corrected so that the lead 22 of the electronic component 12 is directly above the through hole 23 of the circuit board 16. After positioning, the mounting head 13 is lowered and the lead 22 of the electronic component 12 is inserted into the through hole 23 of the circuit board 16.
  • step 106 it is determined whether or not a positioning error has occurred (whether or not the lead 22 of the electronic component 12 has failed to be inserted into the through hole 23 of the circuit board 16). If not, the program is terminated. If a positioning error has occurred, the process proceeds to step 107 and the learning processing program of FIG. 11 is executed.
  • the learning processing program of FIG. 11 is a program executed in step 107 of FIG. 10 when an image processing error or positioning error occurs.
  • this program is started, first, in step 201, a lead image in which an image processing error or positioning error has occurred is displayed on the liquid crystal display device 26.
  • the operator displays the lead image on the display device 26. While watching the lead image, the operation unit 27 is operated to wait until the center position of the tip of the lead 22 in the lead image is designated.
  • step 203 the output when the lead image in which an image processing error or positioning error has occurred is input to the image recognition device 25 is output.
  • learning is performed so that the center position of the tip of the lead 22 specified by the operator is obtained.
  • This learning process may be performed by the image recognition device 25 itself or by the control device 21 of the component mounting machine 11. In the latter case, the result (weighting) learned by the control device 21 of the component mounting machine 11 is transmitted to the image recognition device 25.
  • the shape and output of the tip of the lead 22 in the lead image that is an input of the image recognition device 25 can be obtained.
  • the relationship (teacher data) with the center position of the tip of a certain lead 22 is learned, and the center position of the tip of the lead 22 can be accurately recognized from the input lead image.
  • the image recognition device 25 when an image processing error that cannot recognize the center position of the tip of the lead 22 in the lead image occurs, an output when the lead image in which the image processing error has occurred is input to the image recognition device 25. However, even if a similar lead image is input to the image recognition device 25 thereafter, no image processing error occurs and the lead 22 is learned.
  • the center position of the tip can be recognized with high accuracy. Thereby, the recognition accuracy of the center position of the tip of the lead 22 can be increased while reducing the frequency of occurrence of image processing errors.
  • the first embodiment when a positioning error occurs in which the lead 22 cannot be inserted into the through hole 23 of the circuit board 16, an output when the lead image in which the positioning error has occurred is input to the image recognition device 25 is Since the learning is performed so as to be the center position of the tip of the lead 22 designated by the person, the recognition accuracy of the center position of the tip of the lead 22 when a similar lead image is input to the image recognition device 25 thereafter. The frequency of occurrence of positioning errors can be reduced.
  • the computing device 21 and the image recognizing device 25 of the component mounting machine 11 have a sufficient computing capacity. Therefore, the control device 21 and the image recognizing device 25 of the component mounting machine 11 learn the teacher data and read 22.
  • the center position of the leading edge of the component is both recognized, but generally, a high calculation capability is required for learning of the teacher data, and therefore the control device 21 and the image recognition device 25 of the component mounting machine 11 are required.
  • the computing ability is insufficient.
  • a learning device 31 having a high computing capacity is provided in addition to the component mounting machine 11, and the learning device 31 is connected to the component mounting machine 11 through a network.
  • the learning device 31 learns the relationship (teacher data) between the lead image input to the image recognition device 26 of the component mounting machine 11 and the center position of the tip of the lead 22 to be output, and the learning result (weighting) is used as the component.
  • the image is transmitted to the image recognition device 25 of the mounting machine 11.
  • the learning device 31 may be configured by using a production management computer that manages a production line including the component mounting machine 11, or a learning computer may be newly provided.
  • the learning device 31 may be connected to a plurality of component placement machines 11 via a network, and the learning data of the plurality of component placement devices 11 may be learned by one learning device 31.
  • the teacher data (lead image and the center position of the tip of the lead 22 specified by the operator) may be generated on the component mounting machine 11 side and transmitted to the learning device 31, or only the lead image is learned.
  • the lead image is transmitted to the device 31 and the lead image is displayed on the display screen of the learning device 31, and the operator designates the center position of the tip of the lead 22 in the lead image displayed on the display screen of the learning device 31.
  • the teacher data and learning results are stored in the production line server and the storage device of the component mounting machine 11, and the learning results are transmitted to other component mounting machines 11 in the production line, or a new lead image is added to the teacher data. May be used for re-learning.
  • edge information (contour boundary line, edge gradient, etc.) of the lead 22 may be used as input lead image data, and component mounting
  • the employee of the manufacturing company of the machine 11 may learn the teacher data using an in-house learning device and provide the learning result (weighting) to the user of the component mounting machine 11 without departing from the gist.
  • various modifications can be made within the scope.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

部品装着機（１１）の装着ヘッド（１３）に保持した電子部品（１２）を部品撮像用のカメラ（１８）の上方の撮像位置へ移動させて、該電子部品のリード（２２）の先端をその下方から該カメラで撮像してリード画像を取得し、このリード画像を、ニューラルネットワーク等で構成された画像認識装置（２５）に入力して画像処理して当該リードの先端の中心位置を出力する。この際、画像処理エラーが発生する度に、画像処理エラーが発生したリード画像を表示装置（２６）に表示し、作業者が、この表示装置に表示されたリード画像中のリードの先端の中心位置を指定して画像認識装置に入力する。これにより、画像認識装置は、画像処理エラーが発生したリード画像を入力したときの出力が、作業者が指定したリードの先端の中心位置となるように学習する。

Description

リード先端位置画像認識方法及びリード先端位置画像認識システム
　本発明は、回路基板のスルーホールに挿入する電子部品のリードの先端をカメラで撮像した画像を処理して該リードの先端の中心位置を認識するリード先端位置画像認識方法及びリード先端位置画像認識システムに関する発明である。
　部品装着機（部品挿入組立装置）を使用して電子部品のリードを回路基板のスルーホールに挿入する場合、例えば、特許文献１（国際公開ＷＯ２０１３／１８３１２３号公報）に記載されているように、部品装着機の装着ヘッドのチャック装置や吸着ノズル等で電子部品を保持して回路基板の上方へ移動させ、該電子部品のリードの先端（下端）を回路基板のスルーホールの真上に位置決めして該電子部品を下降させることで、該電子部品のリードを回路基板のスルーホールに挿入するようにしている。この際、装着ヘッドに保持した電子部品の位置は、電子部品毎にばらばらに位置ずれしているため、装着ヘッドに保持した電子部品を回路基板の上方へ移動させる前に、部品撮像用のカメラの上方の撮像位置へ移動させて、該電子部品のリードの先端をその下方から該カメラで撮像し、その画像を一般的なパターンマッチングを用いて画像処理することで、該リードの先端の中心位置を認識した後、その認識結果に基づいて該電子部品の位置ずれを修正して該電子部品のリードを回路基板のスルーホールの真上に位置決めするようにしている。
国際公開ＷＯ２０１３／１８３１２３号公報
　ところで、電子部品のリードの先端の形状が安定して円形状に成形されていれば、画像処理の難易度はさほど高くないが、近年の電子部品はその用途により、軸状のリード（挿入ピン）が作成されるが、その先端はカットされた切断面となるため、正常な部品であっても、リードの先端形状が安定せず、同じ品種の電子部品であっても、図４（ａ）、（ｂ）に示すように、リードの先端にバリが付いて写ったり、図４（ｃ）、（ｄ）に示すように、リードの先端が散乱光でぼやけて写ったり（ハレーション）、図４（ｅ）に示すように、リードの先端が楕円状等に変形して写ったり、図４（ｆ）に示すように、リードの先端が部分的に欠けて写ったり、図４（ｇ）、（ｈ）に示すように、中抜けして写ったりすることがある。このように、同じ品種の電子部品であっても、リードの先端の切断面の状態によって、リードの先端の形状が様々な形状に写るため、これらのリード画像を従来の一般的なパターンマッチングを用いて画像処理しても、リードの先端を精度良く認識することは困難であり、リードの先端の中心位置の認識精度が悪いという欠点があった。
　そこで、本発明が解決しようとする課題は、リードの先端の形状が安定していなくても、それをカメラで撮像したリード画像からリードの先端の中心位置を精度良く認識できるようにすることである。
　上記課題を解決するために、本発明は、回路基板のスルーホールに挿入する電子部品のリードの先端をカメラで撮像した画像（以下「リード画像」という）を画像認識装置で処理して該リードの先端の中心位置を認識するリード先端位置画像認識方法において、作業者が前記リード画像中のリードの先端の中心位置を指定して、当該リード画像を前記画像認識装置に入力したときの出力が、前記作業者が指定した当該リードの先端の中心位置となるように学習する学習工程と、前記電子部品のリードの先端を前記カメラで撮像して取得したリード画像を前記画像認識装置に入力して当該リードの先端の中心位置を出力する認識工程とを含むことを特徴とするものである。このようにすれば、リードの先端の形状が安定していなくても、学習工程によって、入力であるリード画像中のリードの先端の形状と出力であるリードの先端の中心位置との関係（教師データ）を学習して、入力されるリード画像からリードの先端の中心位置を精度良く認識できるようになる。
　この場合、画像認識装置は、例えば、ニューラルネットワーク等の機械学習システムを用いて構成すれば良い。
　また、前記認識工程で、リード画像中のリードの先端の中心位置を認識できない画像処理エラーが発生したときに学習工程に切り換えて、前記画像処理エラーが発生したリード画像を画像認識装置に入力したときの出力が、作業者が指定したリードの先端の中心位置となるように学習するようにすると良い。このように、画像処理エラーが発生したリード画像を用いて学習すれば、その後、同様のリード画像が画像認識装置に入力されても、画像処理エラーとならず、リードの先端の中心位置を精度良く認識できるため、画像処理エラーの発生頻度を低減しながらリードの先端の中心位置の認識精度を高めることができる。
　また、前記学習工程で、リード画像に回転、写像、輝度変化、形状変化のうちの少なくとも１つの処理を施して複数のリード画像を生成し、前記複数のリード画像の各々を画像認識装置に入力したときの出力が、作業者が指定したリードの先端の中心位置となるように学習するようにしても良い。このようにすれば、学習に用いるリード画像が少なくても、教師データ（「入力」と「正しい出力」との組み合わせ）を増やすことができて、効率良く学習することができ、リードの先端の中心位置の認識精度を高めることができる。
　また、部品装着機の装着ヘッドに保持した電子部品をその下面側から部品撮像用のカメラで撮像してリードの先端の中心位置を画像認識する場合は、画像認識装置の認識結果に基づいて装着ヘッドに保持した電子部品のリードを回路基板のスルーホールに位置決めして挿入する挿入工程で、前記電子部品のリードを前記回路基板のスルーホールに挿入できない位置決めエラーが発生したときに、学習工程に切り換えて、前記位置決めエラーが発生したリード画像を前記画像認識装置に入力したときの出力が、作業者が指定したリードの先端の中心位置となるように学習するようにしても良い。このように、位置決めエラーが発生したリード画像を用いて学習すれば、その後、同様のリード画像が画像認識装置に入力されたときのリードの先端の中心位置の認識精度を高めることができて、位置決めエラーの発生頻度を低減することができる。
　一般的には、教師データの学習には高い演算能力が必要になるため、画像認識装置で教師データの学習を行うには、画像認識装置の演算能力が不足する可能性がある。
　そこで、画像認識装置に入力するリード画像と出力するリードの先端の中心位置との関係（教師データ）を学習する学習装置を、画像認識装置とは別に設け、学習装置で学習した結果を画像認識装置に送信するようにしても良い。このようにすれば、画像認識装置で教師データの学習を行わずに済むため、画像認識装置の演算能力を教師データの学習に対応した演算能力まで高める必要がなくなると共に、教師データの学習とリードの先端の中心位置の認識とを学習装置と画像認識装置で分担して能率良く行うことができる。
　本発明は、画像認識装置の演算能力が高ければ、画像認識装置で、教師データの学習とリードの先端の中心位置の認識とを両方とも行うようにしても良い。この場合は、画像認識装置を、リード画像を入力してリードの先端の中心位置を出力する認識モードと、教師データを学習する学習モードとを切り換え可能に構成すると共に、学習モード時に作業者がリード画像中のリードの先端の中心位置を指定する指定手段を備え、前記画像認識装置は、学習モード時に作業者が前記指定手段で指定したリード画像中のリードの先端の中心位置が当該リード画像を入力したときの出力となるように学習するようにすれば良い。
図１は本発明の実施例１のリード先端位置画像認識システムの構成を示すブロック図である。 図２は電子部品のリードの先端をカメラで撮像する工程を説明する図である。 図３は電子部品のリードを回路基板のスルーホールに挿入する工程を説明する図である。 図４（ａ）～（ｈ）はリードの先端の形状が様々な形状に写ったリード画像を示す図である。 図５はニューラルネットワークの構成例を説明する図である。 図６は教師データとしてポジティブサンプルのデータを用いた場合のニューラルネットワークの入力層と出力層の画素データのイメージを示す図である。 図７は教師データとしてネガティブサンプルのデータを用いた場合のニューラルネットワークの入力層と出力層の画素データのイメージを示す図である。 図８はラスタースキャンにより撮像画像中のリードが存在する領域を検出する方法を説明する図である。 図９はブロブ解析により撮像画像中のリードが存在する領域を検出する方法を説明する図である。 図１０は部品装着機制御プログラムの処理の流れを示すフローチャートである。 図１１は学習処理プログラムの処理の流れを示すフローチャートである。 図１２は本発明の実施例２のリード先端位置画像認識システムの構成を示すブロック図である。
　以下、本発明を実施するための形態を具体化した２つの実施例１，２を説明する。
　本発明の実施例１を図１乃至図１１に基づいて説明する。
　まず、図１乃至図３を用いて部品装着機全体の構成を説明する。
　部品装着機１１には、電子部品１２を保持する装着ヘッド１３を移動させるヘッド移動装置１４、電子部品１２を供給する部品供給装置１５、回路基板１６を搬送するコンベア１７、装着ヘッド１３に保持した電子部品１２をその下面側から撮像する部品撮像用のカメラ１８、回路基板１６の基準マーク等を上方から撮像するマーク撮像用のカメラ１９等が設けられている。部品撮像用のカメラ１８は、部品供給装置１５とコンベア１７との間に上向きに固定され、その上部には、装着ヘッド１３に保持した電子部品１２をその下方から照明する照明装置２０が取り付けられている。一方、マーク撮像用のカメラ１９は、装着ヘッド１３に下向きに取り付けられ、ヘッド移動装置１４によって装着ヘッド１３と一体的に移動するようになっている。
　部品装着機１１の制御装置２１は、コンピュータ等によって構成され、部品供給装置１５によって供給される電子部品１２を装着ヘッド１３で保持して、ヘッド移動装置１４によって回路基板１６の上方へ移動させて該電子部品１２のリード２２を該回路基板１６のスルーホール２３に挿入する動作を制御する。
　更に、部品装着機１１の制御装置２１は、画像認識装置２５としての機能も搭載され、装着ヘッド１３に保持した電子部品１２を回路基板１６の上方へ移動させる前に、部品撮像用のカメラ１８の上方の撮像位置へ移動させて、該電子部品１２のリード２２の先端（下端）をその下方から該カメラ１８で撮像してリード画像を取得し、このリード画像を画像認識装置２５に入力して当該リード２２の先端の中心位置を出力するように構成されている。尚、制御装置２１と画像認識装置２５は、別々のコンピュータで構成しても良いし、１つのコンピュータで構成しても良い。
　この画像認識装置２５は、ニューラルネットワーク、ディープラーニング等の機械学習システムを用いて構成され、学習モード（学習工程）で、教師あり学習（教師付き学習）を用いて、入力であるリード画像中のリード２２の先端の形状と出力であるリード２２の先端の中心位置との関係（教師データ）を学習し、その後、認識モード（認識工程）で、入力されるリード画像からリード２２の先端の中心位置を精度良く認識できるように構成されている。
　この場合、教師データの学習は、生産開始前に行うようにしても良いが、本実施例１では、画像処理エラーや位置決めエラーが発生する度に、教師データの学習を行うようにしている。ここで、「画像処理エラー」は、認識工程でリード画像中のリード２２の先端の中心位置を認識するのに失敗したことを意味するエラーであり、「位置決めエラー」は、装着ヘッド１３に保持した電子部品１２のリード２２を回路基板１６のスルーホール２３に位置決めして挿入する挿入工程で、電子部品１２のリード２２を回路基板１６のスルーホール２３に挿入するのに失敗したことを意味するエラーである。
　教師データの学習法は、画像処理エラーや位置決めエラーが発生したリード画像を液晶ディスプレイやＣＲＴ等の表示装置２６に表示し、作業者が、この表示装置２６に表示されたリード画像を見ながら、キーボード、マウス、タッチパネル等の操作部２７（指定手段）を操作してリード画像中のリード２２の先端の中心位置を指定して画像認識装置２５に入力する。これにより、画像認識装置２５は、画像処理エラーや位置決めエラーが発生したリード画像を入力したときの出力が、作業者が指定したリード２２の先端の中心位置となるように学習する。
　この際、リード画像に回転、写像、輝度変化、形状変化のうちの少なくとも１つの処理を施して複数のリード画像を生成し、前記複数のリード画像の各々を画像認識装置２５に入力したときの出力が、作業者が指定したリード２２の先端の中心位置となるように学習するようにしても良い。このようにすれば、学習に用いるリード画像が少なくても、教師データ（「入力」と「正しい出力」との組み合わせ）を増やすことができて、効率良く学習することができ、リード２２の先端の中心位置の認識精度を高めることができる。
　例えば、リード２２の先端にバリが発生する方向は多様であるため、バリのあるリード画像を所定角度ずつ回転させて、回転角度が所定角度ずつ異なる複数のリード画像を作成して学習するようにすれば、バリがどの様な方向に発生しても、リード画像からリード２２の先端の中心位置を精度良く認識することができる。
　画像認識装置２５を図５に示すニューラルネットワークを用いて構成する場合、信号は、入力層、中間層（隠れ層）、出力層へと流れる。中間層は、１層でも良いし、２層以上であっても良い。ニューラルネットワークは、シナプスの結合によりネットワークを形成した各層のニューロン（ノード）が学習によって重み付け（シナプスの結合強度）を変化させて問題解決能力を持つようなモデル全般を指す。ニューラルネットワークは、中間層と出力層の各ニューロンが前の層の各ニューロンからの刺激を受け取り、その刺激が重みを付けて足し合わされ、次の層のニューロンに受け渡されていく。ここで、重要なのは重み付けであり、教師データの学習過程で重み付けを変化させて、最適な値を出力するように調整することによって、「未知の入力」に対しても高い精度で「正しい出力」を得ることができるようになる。
　本実施例１では、入力層には、例えば、８０[pixel] ×８０[pixel] のリード画像を入力し、出力層では、入力されたリード画像の８０[pixel] ×８０[pixel] の何処がリード２２の先端の中心位置であるかを出力する。図６は、図示し易いように、１０[pixel] ×１０[pixel] の入力と出力の一例を示している。
　リード２２の先端の中心位置の認識精度を高めるには、出力層を入力層よりも大きくすれば良い。例えば、入力層が８０[pixel] ×８０[pixel] であれば、出力層を１６０[pixel] ×１６０[pixel] や、３２０[pixel] ×３２０[pixel] のように設計すれば良い。これにより、入力画像に対してサブピクセルレベルでの位置認識が可能となる。
　教師データとしては、図６に示すようなポジティブサンプルであるリード画像の入出力だけでなく、図７に示すようなネガティブサンプルであるリード２２以外の部分の入出力を追加して、リード２２の誤検出を防止するようにしても良い。
　教師データの学習は、電子部品１２の品種毎に学習・記憶しても良いし、複数の品種を共用して学習・記憶しても良い。
　リード２２の位置決め処理では、撮像画像に対してニューラルネットワークの入力層に相当する処理範囲を、図８に示すように、ラスタースキャン等で順番に探索していくことで、撮像画像中のリード２２が存在する領域を検出してニューラルネットワークの入力層に与えるようにしても良い。
　或は、ラスタースキャンに代えて、ブロブ解析等を用いても良い。例えば、撮像画像を２値化処理して、ブロブ解析等を行うことで、図９に示すように、撮像画像中のリード２２が存在する可能性がある候補領域を検出してニューラルネットワークの入力層に与えるようにしても良い。ブロブ解析等ではリード２２以外の部分を検出する、もしくはリード２２を検出しても位置検出精度が低いが、後処理のニューラルネットワークによってリード２２のみを高い位置検出精度で検出することができる。
　部品装着機１１の制御装置２１が画像認識装置２５と共同して図１０及び図１１の各プログラムを実行することで、部品供給装置１５によって供給される電子部品１２を部品装着機１１の装着ヘッド１３で保持して、該電子部品１２のリード２２の先端の中心位置を画像認識して、該電子部品１２のリード２２を回路基板１６のスルーホール２３に挿入する動作を制御すると共に、画像処理エラーや位置決めエラーが発生する度に教師データの学習を行う。以下、図１０及び図１１の各プログラムの処理内容を説明する。
［部品装着機制御プログラム］
　図１０の部品装着機制御プログラムは、部品供給装置１５によって供給される電子部品１２を保持して該電子部品１２のリード２２を回路基板１６のスルーホール２３に挿入するまでの動作を制御するプログラムであり、該電子部品１２の保持動作を開始するタイミングで起動される。本プログラムが起動されると、まず、ステップ１０１で、部品供給装置１５によって供給される電子部品１２を部品装着機１１の装着ヘッド１３で保持して、部品撮像用のカメラ１８の上方の撮像位置へ移動させる。この後、ステップ１０２に進み、該電子部品１２のリード２２の先端（下端）をその下方から該カメラ１８で撮像してリード画像を取得する。
　この後、ステップ１０３に進み、リード画像を画像認識装置２５に入力して当該リード２２の先端の中心位置を出力する画像処理を実行する。その後、ステップ１０４に進み、画像処理エラーが発生したか否か（リード画像中のリード２２の先端の中心位置を認識するのに失敗したか否か）を判定する。その結果、画像処理エラーが発生したと判定されれば、ステップ１０７に進み、図１１の学習処理プログラムを実行する。
　一方、上記ステップ１０４で、画像処理エラーが発生していないと判定されれば、ステップ１０５に進み、部品装着機１１の装着ヘッド１３に保持した電子部品１２を回路基板１６の上方へ移動させて、画像認識装置２５から出力されるリード２２の先端の中心位置に基づいて、該電子部品１２の位置ずれを修正して該電子部品１２のリード２２を回路基板１６のスルーホール２３の真上に位置決めした後、該装着ヘッド１３を下降させて該電子部品１２のリード２２を回路基板１６のスルーホール２３に挿入する。
　この後、ステップ１０６に進み、位置決めエラーが発生したか否か（電子部品１２のリード２２を回路基板１６のスルーホール２３に挿入するのに失敗した否か）を判定し、位置決めエラーが発生していなければ、本プログラムを終了するが、位置決めエラーが発生していれば、ステップ１０７に進み、図１１の学習処理プログラムを実行する。
［学習処理プログラム］
　図１１の学習処理プログラムは、画像処理エラーや位置決めエラーが発生したときに前記図１０のステップ１０７で実行されるプログラムである。本プログラムが起動されると、まず、ステップ２０１で、画像処理エラーや位置決めエラーが発生したリード画像を液晶表示装置２６に表示し、次のステップ２０２で、作業者が、この表示装置２６に表示されたリード画像を見ながら、操作部２７を操作してリード画像中のリード２２の先端の中心位置を指定するまで待機する。
　その後、作業者がリード画像中のリード２２の先端の中心位置を指定した時点で、ステップ２０３に進み、画像処理エラーや位置決めエラーが発生したリード画像を画像認識装置２５に入力したときの出力が、作業者が指定したリード２２の先端の中心位置となるように学習する。この学習処理は、画像認識装置２５自身で行っても良いし、部品装着機１１の制御装置２１で行っても良い。後者の場合は、部品装着機１１の制御装置２１で学習した結果（重み付け）を画像認識装置２５に送信する。
　以上説明した本実施例１によれば、電子部品１２のリード２２の先端の形状が安定していなくても、画像認識装置２５の入力であるリード画像中のリード２２の先端の形状と出力であるリード２２の先端の中心位置との関係（教師データ）を学習して、入力するリード画像からリード２２の先端の中心位置を精度良く認識できる。
　しかも、本実施例１では、リード画像中のリード２２の先端の中心位置を認識できない画像処理エラーが発生したときに、画像処理エラーが発生したリード画像を画像認識装置２５に入力したときの出力が、作業者が指定したリードの先端の中心位置となるように学習するようにしたので、その後、同様のリード画像が画像認識装置２５に入力されても、画像処理エラーとならず、リード２２の先端の中心位置を精度良く認識できる。これにより、画像処理エラーの発生頻度を低減しながらリード２２の先端の中心位置の認識精度を高めることができる。
　更に、本実施例１では、リード２２を回路基板１６のスルーホール２３に挿入できない位置決めエラーが発生したときに、位置決めエラーが発生したリード画像を画像認識装置２５に入力したときの出力が、作業者が指定したリード２２の先端の中心位置となるように学習するようにしたので、その後、同様のリード画像が画像認識装置２５に入力されたときのリード２２の先端の中心位置の認識精度を高めることができて、位置決めエラーの発生頻度を低減することができる。
　上記実施例１では、部品装着機１１の制御装置２１や画像認識装置２５の演算能力に余裕があるため、部品装着機１１の制御装置２１や画像認識装置２５で、教師データの学習とリード２２の先端の中心位置の認識とを両方とも行うようにしたが、一般的には、教師データの学習には高い演算能力が必要になるため、部品装着機１１の制御装置２１や画像認識装置２５で教師データの学習を行うには、演算能力が不足する可能性がある。
　そこで、本発明の実施例２では、図１２に示すように、部品装着機１１以外に、高い演算能力を持つ学習装置３１を設けて、この学習装置３１を部品装着機１１とネットワークで接続し、この学習装置３１で、部品装着機１１の画像認識装置２６に入力するリード画像と出力するリード２２の先端の中心位置との関係（教師データ）を学習し、その学習結果（重み付け）を部品装着機１１の画像認識装置２５に送信するようにしている。
　この場合、学習装置３１は、部品装着機１１を含む生産ラインを管理する生産管理用コンピュータを用いて構成しても良いし、学習のためのコンピュータを新たに設けても良い。また、学習装置３１は、複数の部品装着機１１とネットワークで接続して、複数の部品装着機１１における教師データの学習を１台の学習装置３１で行うようにしても良い。
　また、教師データ（リード画像と作業者が指定したリード２２の先端の中心位置）は、部品装着機１１側で作成して学習装置３１へ送信するようにしても良いし、リード画像のみを学習装置３１へ送信して、学習装置３１の表示画面にリード画像を表示し、作業者が、該学習装置３１の表示画面に表示されたリード画像中のリード２２の先端の中心位置を指定するようにしても良い。
　尚、教師データや学習結果は、生産ラインのサーバや部品装着機１１の記憶装置に保存しておき、学習結果を生産ラインの他の部品装着機１１に送信したり、教師データに新しいリード画像を追加して、再学習に用いるようにしても良い。
　本発明は、上記実施例１，２に限定されず、例えば、入力するリード画像のデータとして、リード２２のエッジ情報（輪郭境界線、エッジ勾配等）等を用いても良く、また、部品装着機１１の製造会社の社員が社内の学習装置を使用して教師データを学習し、その学習結果（重み付け）を部品装着機１１の使用者に提供するようにしても良い等、要旨を逸脱しない範囲内で種々変更して実施できることは言うまでもない。
　１１…部品装着機、１２…電子部品、１３…装着ヘッド、１５…部品供給装置、１６…回路基板、１８…部品撮像用のカメラ、２１…部品装着機の制御装置、２２…リード、２３…スルーホール、２５…画像認識装置、２６…表示装置、２７…操作部（指定手段）、３１…学習装置

Claims (11)

  1. 　回路基板のスルーホールに挿入する電子部品のリードの先端をカメラで撮像した画像（以下「リード画像」という）を画像認識装置で処理して該リードの先端の中心位置を認識するリード先端位置画像認識方法において、
    　作業者が前記リード画像中のリードの先端の中心位置を指定して、当該リード画像を前記画像認識装置に入力したときの出力が、前記作業者が指定した当該リードの先端の中心位置となるように学習する学習工程と、
    　前記電子部品のリードの先端を前記カメラで撮像して取得したリード画像を前記画像認識装置に入力して当該リードの先端の中心位置を出力する認識工程と
    　を含むことを特徴とするリード先端位置画像認識方法。
  2. 　前記画像認識装置は、ニューラルネットワークを用いて構成されていることを特徴とする請求項１に記載のリード先端位置画像認識方法。
  3. 　前記認識工程で、前記リードの先端の中心位置を認識できない画像処理エラーが発生したときに前記学習工程に切り換えて、前記画像処理エラーが発生した前記リード画像を前記画像認識装置に入力したときの出力が、前記作業者が指定した前記リードの先端の中心位置となるように学習することを特徴とする請求項１又は２に記載のリード先端位置画像認識方法。
  4. 　前記学習工程で、前記リード画像に回転、写像、輝度変化、形状変化のうちの少なくとも１つの処理を施して複数のリード画像を生成し、前記複数のリード画像の各々を前記画像認識装置に入力したときの出力が、前記作業者が指定した前記リードの先端の中心位置となるように学習することを特徴とする請求項１乃至３のいずれかに記載のリード先端位置画像認識方法。
  5. 　前記カメラは、部品装着機の装着ヘッドに保持した電子部品をその下面側から撮像する部品撮像用のカメラであり、
    　前記画像認識装置の認識結果に基づいて前記装着ヘッドに保持した電子部品のリードを回路基板のスルーホールに位置決めして挿入する挿入工程で、前記電子部品のリードを前記回路基板のスルーホールに挿入できない位置決めエラーが発生したときに、前記学習工程に切り換えて、前記位置決めエラーが発生した前記リード画像を前記画像認識装置に入力したときの出力が、前記作業者が指定した前記リードの先端の中心位置となるように学習することを特徴とする請求項１乃至４のいずれかに記載のリード先端位置画像認識方法。
  6. 　回路基板のスルーホールに挿入する電子部品のリードの先端をカメラで撮像した画像（以下「リード画像」という）を画像認識装置で処理して該リードの先端の中心位置を認識するリード先端位置画像認識システムにおいて、
    　前記画像認識装置は、前記リード画像を入力して前記リードの先端の中心位置を出力するように構成され、
    　前記画像認識装置に入力する前記リード画像と出力する前記リードの先端の中心位置との関係を学習してその学習結果を前記画像認識装置に送信する学習装置と、
    　作業者が前記リード画像中のリードの先端の中心位置を指定する指定手段とを備え、
    　前記学習装置は、前記作業者が前記指定手段で指定した前記リード画像中のリードの先端の中心位置が当該リード画像を前記画像認識装置に入力したときの出力となるように学習することを特徴とするリード先端位置画像認識システム。
  7. 　回路基板のスルーホールに挿入する電子部品のリードの先端をカメラで撮像した画像（以下「リード画像」という）を画像認識装置で処理して該リードの先端の中心位置を認識するリード先端位置画像認識システムにおいて、
    　前記画像認識装置は、前記リード画像を入力して前記リードの先端の中心位置を出力する認識モードと、入力する前記リード画像と出力する前記リードの先端の中心位置との関係を学習する学習モードとを切り換え可能であり、
    　前記学習モード時に作業者が前記リード画像中のリードの先端の中心位置を指定する指定手段を備え、
    　前記画像認識装置は、前記学習モード時に前記作業者が前記指定手段で指定した前記リード画像中のリードの先端の中心位置が当該リード画像を入力したときの出力となるように学習することを特徴とするリード先端位置画像認識システム。
  8. 　前記画像認識装置は、ニューラルネットワークを用いて構成されていることを特徴とする請求項７に記載のリード先端位置画像認識システム。
  9. 　前記画像認識装置は、前記認識モード時に前記リード画像中のリードの先端の中心位置を認識できない画像処理エラーが発生したときに前記学習モードに切り換えて、前記画像処理エラーが発生した前記リード画像を入力したときの出力が、前記作業者が指定した前記リードの先端の中心位置となるように学習することを特徴とする請求項７又は８に記載のリード先端位置画像認識システム。
  10. 　前記画像認識装置は、前記学習モード時に前記リード画像に回転、写像、輝度変化、形状変化のうちの少なくとも１つの処理を施して複数のリード画像を生成し、前記複数のリード画像の各々を入力したときの出力が、前記作業者が指定した前記リードの先端の中心位置となるように学習することを特徴とする請求項７乃至９のいずれかに記載のリード先端位置画像認識システム。
  11. 　部品装着機に搭載されたリード先端位置画像認識システムであって、
    　前記カメラは、前記部品装着機の装着ヘッドに保持した電子部品をその下面側から撮像する部品撮像用のカメラであり、
    　前記画像認識装置の認識結果に基づいて前記装着ヘッドに保持した電子部品のリードを回路基板のスルーホールに位置決めして挿入する挿入工程で、前記電子部品のリードを前記回路基板のスルーホールに挿入できない位置決めエラーが発生したときに、前記画像認識装置は、前記学習モードに切り換えて、前記位置決めエラーが発生した前記リード画像を入力したときの出力が、前記作業者が指定した前記リードの先端の中心位置となるように学習することを特徴とする請求項７乃至１０のいずれかに記載のリード先端位置画像認識システム。
PCT/JP2015/081520 2015-11-09 2015-11-09 リード先端位置画像認識方法及びリード先端位置画像認識システム WO2017081736A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2015/081520 WO2017081736A1 (ja) 2015-11-09 2015-11-09 リード先端位置画像認識方法及びリード先端位置画像認識システム
EP15908260.1A EP3376843A4 (en) 2015-11-09 2015-11-09 ELECTRODEEND DEPOSITION PICTURE IDENTIFICATION METHOD AND ELECTRODE END POSITION IMAGE IDENTIFICATION SYSTEM
JP2017549889A JP6727228B2 (ja) 2015-11-09 2015-11-09 リード先端位置画像認識方法及びリード先端位置画像認識システム
CN201580084427.7A CN108353534B (zh) 2015-11-09 2015-11-09 引脚前端位置图像识别方法及引脚前端位置图像识别系统
US15/772,825 US10380457B2 (en) 2015-11-09 2015-11-09 Lead tip position image recognition method and lead tip position image recognition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/081520 WO2017081736A1 (ja) 2015-11-09 2015-11-09 リード先端位置画像認識方法及びリード先端位置画像認識システム

Publications (1)

Publication Number Publication Date
WO2017081736A1 true WO2017081736A1 (ja) 2017-05-18

Family

ID=58694960

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/081520 WO2017081736A1 (ja) 2015-11-09 2015-11-09 リード先端位置画像認識方法及びリード先端位置画像認識システム

Country Status (5)

Country Link
US (1) US10380457B2 (ja)
EP (1) EP3376843A4 (ja)
JP (1) JP6727228B2 (ja)
CN (1) CN108353534B (ja)
WO (1) WO2017081736A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155593A1 (ja) * 2018-02-09 2019-08-15 株式会社Ｆｕｊｉ 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法
JP2019159017A (ja) * 2018-03-09 2019-09-19 Kddi株式会社 マルチコア光ファイバの調心装置及び当該調心装置のための教師データの生成装置
WO2020012628A1 (ja) * 2018-07-13 2020-01-16 株式会社Ｆｕｊｉ 異物検出方法および電子部品装着装置
WO2023195173A1 (ja) * 2022-04-08 2023-10-12 株式会社Fuji 部品実装システム及び画像分類方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10824137B2 (en) * 2017-06-19 2020-11-03 Panasonic Intellectual Property Management Co., Ltd. Mounting board manufacturing system
WO2020084690A1 (ja) * 2018-10-23 2020-04-30 株式会社Ｆｕｊｉ 部品データ、部品データ作成方法及び部品実装機
CN113647208B (zh) * 2019-03-28 2023-08-18 松下知识产权经营株式会社 生产数据制成装置以及生产数据制成方法
CN111862196A (zh) * 2019-04-30 2020-10-30 瑞典爱立信有限公司 检测平板物体的通孔的方法、装置和计算机可读存储介质
CN110381721B (zh) * 2019-07-16 2020-07-31 深圳市中禾旭精密机械有限公司 一种卧式智能全自动高速插装系统
JP7382575B2 (ja) * 2019-11-05 2023-11-17 パナソニックＩｐマネジメント株式会社 実装条件推定装置、学習装置、実装条件推定方法、およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0545123A (ja) * 1991-08-20 1993-02-23 Matsushita Electric Ind Co Ltd リード先端位置検出装置
JPH08148893A (ja) * 1994-11-16 1996-06-07 Sony Corp 部品挿入装置
JP2003298293A (ja) * 2002-03-29 2003-10-17 Hitachi High-Tech Instruments Co Ltd 電子部品装着装置
JP2004172221A (ja) * 2002-11-18 2004-06-17 Yamagata Casio Co Ltd 部品搭載装置、部品搭載方法、及びそのプログラム
JP2012234488A (ja) * 2011-05-09 2012-11-29 Fuji Mach Mfg Co Ltd 基準マークモデルテンプレート作成方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60103700A (ja) * 1983-11-11 1985-06-07 株式会社日立製作所 部品の位置決め装置
US4813255A (en) * 1986-02-21 1989-03-21 Hewlett-Packard Company System for sensing and forming objects such as leads of electronic components
US4728195A (en) * 1986-03-19 1988-03-01 Cognex Corporation Method for imaging printed circuit board component leads
US5058177A (en) * 1988-01-04 1991-10-15 Motorola, Inc. Method for inspection of protruding features
JPH04105341A (ja) * 1990-08-24 1992-04-07 Hitachi Ltd 半導体装置のリード曲がり、浮き検出方法及び検出装置
US5119436A (en) * 1990-09-24 1992-06-02 Kulicke And Soffa Industries, Inc Method of centering bond positions
JPH08234226A (ja) * 1995-02-28 1996-09-13 Toshiba Corp 液晶基板製造用画像処理装置
US6289492B1 (en) * 1998-12-18 2001-09-11 Cognex Corporation Methods and apparatuses for defining a region on an elongated object
WO2004092903A2 (en) * 2003-04-09 2004-10-28 Discovery Partners International Spot finding algorithm using image recognition software
JP4417779B2 (ja) * 2004-05-31 2010-02-17 株式会社日立ハイテクインスツルメンツ 電子部品装着装置及び電子部品装着方法
JPWO2011086889A1 (ja) * 2010-01-12 2013-05-16 日本電気株式会社 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
CN103249295B (zh) * 2012-02-08 2017-07-07 Juki株式会社 电子部件安装方法、电子部件安装装置以及电子部件安装系统
KR101866179B1 (ko) 2012-06-06 2018-06-11 가부시키가이샤 후지 부품 삽입 조립 장치
JP6019409B2 (ja) * 2013-11-13 2016-11-02 パナソニックＩｐマネジメント株式会社 電子部品実装装置及び電子部品実装方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0545123A (ja) * 1991-08-20 1993-02-23 Matsushita Electric Ind Co Ltd リード先端位置検出装置
JPH08148893A (ja) * 1994-11-16 1996-06-07 Sony Corp 部品挿入装置
JP2003298293A (ja) * 2002-03-29 2003-10-17 Hitachi High-Tech Instruments Co Ltd 電子部品装着装置
JP2004172221A (ja) * 2002-11-18 2004-06-17 Yamagata Casio Co Ltd 部品搭載装置、部品搭載方法、及びそのプログラム
JP2012234488A (ja) * 2011-05-09 2012-11-29 Fuji Mach Mfg Co Ltd 基準マークモデルテンプレート作成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3376843A4 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019155593A1 (ja) * 2018-02-09 2019-08-15 株式会社Ｆｕｊｉ 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法
CN111656883A (zh) * 2018-02-09 2020-09-11 株式会社富士 元件图像识别用学习完成模型生成系统及元件图像识别用学习完成模型生成方法
JPWO2019155593A1 (ja) * 2018-02-09 2020-10-22 株式会社Ｆｕｊｉ 部品画像認識用学習済みモデル作成システム及び部品画像認識用学習済みモデル作成方法
CN111656883B (zh) * 2018-02-09 2021-07-30 株式会社富士 元件图像识别用学习完成模型生成系统及方法
US11386546B2 (en) 2018-02-09 2022-07-12 Fuji Corporation System for creating learned model for component image recognition, and method for creating learned model for component image recognition
JP2019159017A (ja) * 2018-03-09 2019-09-19 Kddi株式会社 マルチコア光ファイバの調心装置及び当該調心装置のための教師データの生成装置
WO2020012628A1 (ja) * 2018-07-13 2020-01-16 株式会社Ｆｕｊｉ 異物検出方法および電子部品装着装置
JPWO2020012628A1 (ja) * 2018-07-13 2021-02-25 株式会社Ｆｕｊｉ 異物検出方法および電子部品装着装置
EP3822619A4 (en) * 2018-07-13 2021-07-21 Fuji Corporation METHOD AND DEVICE FOR DETECTING FOREIGN MATERIALS
JP7050926B2 (ja) 2018-07-13 2022-04-08 株式会社Fuji 異物検出方法および電子部品装着装置
WO2023195173A1 (ja) * 2022-04-08 2023-10-12 株式会社Fuji 部品実装システム及び画像分類方法

Also Published As

Publication number Publication date
JPWO2017081736A1 (ja) 2018-08-23
EP3376843A1 (en) 2018-09-19
US10380457B2 (en) 2019-08-13
EP3376843A4 (en) 2019-02-13
JP6727228B2 (ja) 2020-07-22
CN108353534B (zh) 2020-11-24
CN108353534A (zh) 2018-07-31
US20180314918A1 (en) 2018-11-01

Similar Documents

Publication Publication Date Title
WO2017081736A1 (ja) リード先端位置画像認識方法及びリード先端位置画像認識システム
KR102300951B1 (ko) 기판 검사 장치 및 스크린 프린터의 결함 유형 결정 방법
US20210073973A1 (en) Method and apparatus for component fault detection based on image
CN105849774B (zh) 图像对照装置、图像传感器、处理系统、图像对照方法
KR20210008352A (ko) 촬상된 품목의 결함을 검출하기 위한 시스템 및 방법
JP2017096749A (ja) 位置決め方法、外観検査装置、プログラム、コンピュータ可読記録媒体および外観検査方法
JP2007047930A (ja) 画像処理装置及び検査装置
US10664939B2 (en) Position control system, position detection device, and non-transitory recording medium
JP2023134688A (ja) ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法
US20230162344A1 (en) Appearance inspection apparatus and appearance inspection method
JP6894335B2 (ja) 部品計数装置、部品計数方法およびプログラム
JP5769559B2 (ja) 画像処理装置、画像処理プログラム、ロボット装置及び画像処理方法
CN117730347A (zh) 基于数字图像的感兴趣区域（roi）自动生成一个或多个机器视觉作业
KR20180092033A (ko) 부품 등록기
US20220284699A1 (en) System and method of object detection using ai deep learning models
JP5960433B2 (ja) 画像処理装置及び画像処理方法
CN115375610A (zh) 检测方法及装置、检测设备和存储介质
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其系统
CN114518079A (zh) 一种孔内特征检测系统及检测方法
JP5921190B2 (ja) 画像処理装置及び画像処理方法
JPWO2016185615A1 (ja) 部品向き判定データ作成装置及び部品向き判定データ作成方法
KR102579226B1 (ko) 딥러닝을 활용한 비원형 용기 생산 공정의 머신비전 검사 시스템
JP6418739B2 (ja) 評価装置、表面実装機、評価方法
TWM578373U (zh) 半導體設備
JP5778685B2 (ja) ボールグリッドアレイデバイスの位置合わせ及び検査のためのシステム及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15908260

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017549889

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15772825

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2015908260

Country of ref document: EP