WO2018083745A1 - 画像処理用部品形状データ作成システム及び画像処理用部品形状データ作成方法 - Google Patents

画像処理用部品形状データ作成システム及び画像処理用部品形状データ作成方法 Download PDF

Info

Publication number
WO2018083745A1
WO2018083745A1 PCT/JP2016/082498 JP2016082498W WO2018083745A1 WO 2018083745 A1 WO2018083745 A1 WO 2018083745A1 JP 2016082498 W JP2016082498 W JP 2016082498W WO 2018083745 A1 WO2018083745 A1 WO 2018083745A1
Authority
WO
WIPO (PCT)
Prior art keywords
shape data
component
minimum unit
image processing
unit
Prior art date
Application number
PCT/JP2016/082498
Other languages
English (en)
French (fr)
Inventor
博史 大池
秀一郎 鬼頭
杉山　健二
Original Assignee
株式会社Ｆｕｊｉ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｆｕｊｉ filed Critical 株式会社Ｆｕｊｉ
Priority to CN201680090303.4A priority Critical patent/CN109964247B/zh
Priority to PCT/JP2016/082498 priority patent/WO2018083745A1/ja
Priority to JP2018548492A priority patent/JP6802854B2/ja
Priority to EP16920499.7A priority patent/EP3537374A4/en
Priority to US16/345,782 priority patent/US10872405B2/en
Publication of WO2018083745A1 publication Critical patent/WO2018083745A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Definitions

  • the present specification discloses an image processing component shape data creation system and an image processing component shape data creation method for creating image processing component shape data used when recognizing a component mounted by a component mounter. It is.
  • the image processing component shape data (dimensions of the body part of the component, the position of the lead, The component is image-recognized using data representing the appearance characteristics such as width, length, pitch, number, etc., and the amount of displacement of the suction position of the component and the quality of the suction posture are determined.
  • the part for which image processing part shape data is to be created is imaged with a camera. Then, there is one in which image processing component shape data is created using the captured image (Patent Document 1).
  • the operation for designating the edge position of the measurement target portion is performed on the four sides of the wire frame, and then the measurement surrounded by the four sides of the wire frame is performed. And so as to create a component shape data for image processing to measure the shape data of the target portion (e.g. height and width, etc.).
  • the accuracy required to measure the shape data of the measurement target part of the part (the minimum unit of measurement values) ) Requires a finer precision (minimum unit of lower digits) as the part becomes smaller.
  • the smallest unit of measured values is the smallest unit with the smallest possible digit so that the required measurement accuracy can be ensured even with the smallest of the parts for which image processing part shape data is created. (For example, 1 ⁇ m).
  • the image processing component shape data A display unit that displays a component image obtained by imaging a component to be created, and a wire frame that surrounds the measurement target portion of the component image displayed on the display unit is drawn on the component image while being drawn.
  • a wire frame drawing unit that moves the position of the side of the wire frame according to the drag operation, and a minimum unit (effective minimum digit) for measuring the shape data of the measurement target portion surrounded by the wire frame
  • the minimum unit specified by the minimum unit specification unit and the minimum unit specified by the minimum unit specification unit and the shape data of the measurement target part surrounded by the wire frame Is measured with an accuracy is obtained by a structure in which a component shape data creating section that creates a component shape data for the image processing.
  • a minimum unit designating unit that designates the minimum unit for measuring the shape data of the measurement target part surrounded by the wire frame is provided, so that the measurement is performed according to the size and type of the measurement target part.
  • the minimum unit required for measuring the shape data of the target portion can be specified.
  • the minimum unit of measurement value is specified as the minimum unit of the lower digit for small parts (small measurement target part), and the minimum unit of measurement value is specified for large parts (large measurement target part) Can be specified as the minimum unit of digits corresponding to the size or type of the part or measurement target part.
  • the shape data of the measurement target part can be measured with the accuracy of the minimum unit appropriately specified according to the size and type of the measurement target part, and the operator can measure the measurement value after measuring the shape data. Therefore, it is possible to improve the workability and efficiently create the image processing part shape data by eliminating the troublesome work such as manually rounding off the unnecessary lower digits.
  • the position of the side of the wire frame is there is a high possibility of deviation from the position that is the minimum unit required for measurement of the measurement target portion.
  • the measurement value of the measurement target part can be specified by automatically omitting the numerical value of the lower digit of the measurement value of the measurement target part from the specified minimum unit by rounding off.
  • the wire frame drawing unit may shift the position of the side of the wire frame by the minimum unit designated by the minimum unit designating unit according to the drag operation of the operator.
  • the position of the side of the wire frame that moves in pitch according to the drag operation always matches the position of the minimum unit specified in the minimum unit specification section
  • the minimum unit of the measurement value of the measurement target part always matches the minimum unit specified in the minimum unit specification section, and the function of automatically omitting unnecessary digits by rounding off becomes unnecessary.
  • an edge position designating unit for designating each edge position of the measurement target portion of the component image displayed on the display unit.
  • the shape data for the image processing may be created by measuring the shape data of the measurement target portion whose position is specified with the accuracy of the minimum unit specified by the minimum unit specifying unit. Even in this case, the measurement of the shape data of the measurement target part can be performed with the accuracy of the minimum unit appropriately specified according to the size and type of the measurement target part, and the operator after the measurement of the shape data However, there is no need to perform troublesome work such as rounding off the numerical values of unnecessary lower digits of the measured values manually.
  • the minimum unit required for measuring the body part is larger than the minimum unit required for measuring the lead.
  • the minimum unit designating unit designates the minimum unit for measuring the shape data of each measurement target part for each measurement target part when there are a plurality of measurement target parts in the component image. You may make it do. In this way, even when the minimum units necessary for measurement of a plurality of measurement target portions of the component image are different, an appropriate minimum unit can be designated for each measurement target portion.
  • the minimum unit designating unit may select and designate a minimum unit to be used for measuring the shape data of the measurement target portion from a plurality of preset minimum units, or The operator may input and specify the minimum unit corresponding to the size or type of the measurement target portion within the range of the minimum unit that can be specified.
  • the minimum unit specifying unit automatically specifies the minimum unit to be used for measuring the shape data of the measurement target part based on the information of the measurement target part of the part for which the image processing part shape data is to be created. You may make it do. For example, when the measurement target portion is an electrode such as a lead or a bump, it may be possible to automatically specify a predetermined minimum unit suitable for the measurement.
  • the minimum unit designating unit may automatically designate the minimum unit used for measuring the shape data of the measurement target part based on the size of the wire frame surrounding the measurement target part.
  • the minimum unit suitable for the size of the measurement target part can be automatically specified such that the minimum unit used for the measurement automatically increases as the size of the measurement target part increases. it can.
  • the minimum unit designation unit includes a manual designation mode in which an operator selects or inputs a minimum unit to be used for measuring shape data of the measurement target portion, and a minimum used for measurement of the shape data of the measurement target portion. It may be configured such that the operator can specify the minimum unit by switching the automatic specification mode in which the unit is automatically specified. In this way, for example, a skilled worker can manually specify the minimum unit suitable for measurement of the measurement target portion based on experience by selecting the manual specification mode, If there is little experience of the worker or priority is given to workability, the automatic designation mode can be selected to prevent a worker with little experience from specifying the wrong minimum unit and reduce the amount of work while reducing the amount of work. Processing part shape data can be created efficiently.
  • FIG. 1 is a block diagram illustrating the configuration of the image processing component shape data creation system according to the first embodiment.
  • FIG. 2 is a diagram illustrating a display example of a component image and a wire frame.
  • FIG. 3 is a flowchart showing the flow of processing in the first half of the image processing component shape data creation program.
  • FIG. 4 is a flowchart showing the flow of processing in the latter half of the image processing component shape data creation program.
  • FIG. 5 is a flowchart showing the flow of processing of the minimum unit automatic designation program.
  • the image processing component shape data creation system includes a computer 11 such as a personal computer, a camera 12 that captures an image processing component shape data creation target, a keyboard, a mouse, a touch panel, and the like. 3, the display unit 14 (display unit) such as a liquid crystal display or a CRT, and each program shown in FIGS.
  • the storage device 15 stores various data such as part shape data.
  • the storage device 15 is configured using a rewritable nonvolatile storage medium (for example, a hard disk device or the like) that retains stored data even when the power is turned off.
  • the computer 11 of the image processing component shape data creation system of the first embodiment is provided outside the component mounter (outside the component mount line), and is a production management computer for the component mount line via the network. And each component mounter are communicably connected.
  • the computer 11 Since the computer 11 executes each program shown in FIGS. 3 to 5 described later, as shown in FIG. 2, the computer 11 surrounds a measurement target portion (for example, a body portion) in the component image displayed on the display device 14.
  • the wire frame W is drawn to overlap the part image and functions as a “wire frame drawing unit” that moves the position of the side of the wire frame W according to the drag operation of the operator, and is surrounded by the wire frame W It also functions as a “minimum unit designation unit” that designates the minimum unit (valid minimum digit) when measuring the shape data of the measurement target portion.
  • the computer 11 executes the image processing component shape data creation program shown in FIGS. 3 and 4 to be described later, so that the shape data of the measurement target portion surrounded by the wire frame W can be obtained with the specified minimum unit accuracy. It also functions as a “part shape data creation unit” that measures and creates part shape data for image processing.
  • (1) Function as Wire Frame Drawing Unit As shown in FIG. 2, a wire frame W for enclosing a measurement target portion in a component image displayed on the display device 14 is drawn so as to overlap the component image. Then, the operator operates the mouse or the like of the input device 13 and clicks and holds the resize handle H at the center of the side of the wire frame W with the mouse pointer M. In this state, the mouse pointer M is moved to the end of the measurement target portion. A drag operation for moving in the direction approaching the edge position (leftward in the display example of FIG. 2) is performed to match the position of the side of the wire frame W with the edge position of the measurement target portion. The operator performs the drag operation for each of the four sides of the wire frame W, thereby matching the four sides of the wire frame W with the edge positions in the four directions of the measurement target portion.
  • the position of the side of the wire frame W is moved according to the drag operation of the operator, it is considered that the position of the side of the wire frame W is moved by one pixel (or by the smallest unit of the smallest digit).
  • the measurement value of the measurement target part can be specified by automatically omitting the numerical value of the lower digit of the measurement value of the measurement target part from the specified minimum unit by rounding off.
  • the position of the side of the wire frame W is pitch-shifted by a specified minimum unit according to the drag operation of the operator.
  • the minimum unit is 1 mm
  • the position of the side of the wire frame W is not moved until the movement amount of the drag operation reaches 0.5 mm which is the median value of the minimum unit, and exceeds 0.5 mm.
  • the position of the side of the wire frame W is moved by 1 mm as a minimum unit.
  • the position of the side of the wire frame W that moves in pitch according to the drag operation always matches the position that is the specified minimum unit, and the minimum unit of the measurement value of the measurement target portion is specified.
  • the unit always matches the minimum unit, and the function of automatically omitting unnecessary digits by rounding off becomes unnecessary.
  • the minimum unit required for measuring the body part is less than the minimum unit required for lead measurement. large.
  • a minimum unit for measuring the shape data of each measurement target portion is specified for each measurement target portion. . In this way, even when the minimum units necessary for measurement of a plurality of measurement target portions of the component image are different, an appropriate minimum unit can be designated for each measurement target portion.
  • a mode for specifying the minimum unit for measuring the shape data of the measurement target portion surrounded by the wire frame W is specified by the operator selecting or inputting the minimum unit.
  • the operator can switch between “mode” and “automatic designation mode” for automatically designating the minimum unit by operating the input device 13 to designate the minimum unit.
  • “Manual specification mode” the operator specifies the minimum unit using either “Selection specification” or “Input specification”.
  • selection designation a plurality of minimum units that can be selected are displayed on the display device 14. For example, a plurality of minimum units such as 1 ⁇ m, 0.01 mm, 0.1 mm, 1 mm, 1 mil (0.0254 mm), 0.01 in (0.254 mm), 0.1 in (2.54 mm) are displayed on the display device 14. Then, the operator selects and designates one of the smallest units by operating the mouse of the input device 13 in consideration of the size and type of the measurement target portion among the plurality of smallest units that can be selected. To do.
  • the operator operates the keyboard of the input device 13 within the range of the minimum unit that can be specified, and inputs and specifies the minimum unit corresponding to the size and type of the measurement target portion.
  • “input designation” not only the minimum unit that can be selected by “selection designation” but also a minimum unit that cannot be selected by “selection designation” (for example, 5 ⁇ m, 0.5 mm, 2 mm, etc.) can be input.
  • the minimum unit can be entered as any numerical value within the unit range.
  • the minimum unit can be designated by using a numerical value of, for example, 1/10 of the size of the body part as a guide. good. If the measurement target portion is a lead, the minimum unit may be specified uniformly, for example, 0.1 mm. It goes without saying that only one of “selection designation” and “input designation” may be used.
  • the minimum unit used for measuring the shape data of the measurement target part is automatically specified by one of the following specification methods (a) to (c). Even in this case, for example, when the measurement target part of the part is a body part, the minimum unit is specified with a numerical value of, for example, 1/10 of the size of the body part as a guide, and when the measurement target part is a lead, the minimum unit Is uniformly specified to be 0.1 mm, for example.
  • the computer 11 takes in information such as the size and type of the measurement target part of the part for which image processing part shape data is to be created, and based on the information such as the size and type of the measurement target part of the part Automatically specify the minimum unit to be used for measuring the shape data of the part to be measured.
  • information such as the size and type of the measurement target portion of the component may be input to the computer 11 by an operator by operating the keyboard of the input device 13 or the like, or may be external to a production management computer or the like of the component mounting line.
  • the computer 11 may transmit information such as the size and type of the measurement target part of the part to the computer 11.
  • the computer 11 processes the part image to roughly recognize the area estimated as the part to be measured, measures the size of the area, and based on the measured value of the size, Automatically specify the minimum unit to be used for measuring shape data.
  • the shape data of the measurement target portion is used for measurement based on the size of the wire frame W.
  • the worker can designate the minimum unit by switching between the “manual designation mode” and the “automatic designation mode” as in the first embodiment, for example, the skilled worker can select “manual designation mode”.
  • ⁇ Mode '' you can manually specify the minimum unit suitable for measurement of the measurement target part based on experience etc., while if the worker's experience is low or workability is prioritized,
  • the “automatic designation mode” it is possible to prevent an operator with little experience from designating an incorrect minimum unit, and to efficiently create image processing component shape data while reducing the amount of work.
  • the computer 11 measures the measurement target portion surrounded by the wire frame W in which the four sides of the wire frame W are matched with the edge positions in the four directions of the measurement target portion by a drag operation.
  • the shape data for image processing (for example, the dimension in the X direction and the dimension in the Y direction) is measured with the accuracy of the designated minimum unit, and the image processing component shape data is created.
  • the lead row on the measurement target side of the part is surrounded by the wire frame W
  • the length of each lead is measured
  • the side of the wire frame W (the end of the lead row) Specify the lead side edge that is separated from the lead pitch by the mouse pointer M to measure the lead pitch, and further divide the dimension between the sides of the wire frame W (the length of the lead row) by the lead pitch.
  • the number of leads is obtained, and the position of each lead is calculated from the position of the wire frame W (position of the lead row) and the number of leads.
  • the lead width may be measured by specifying the lead side edge separated from the side of the wire frame W (the end of the lead row) by the lead width with the mouse pointer M, The lead width may be measured by surrounding one lead with the wire frame W.
  • the entire bump formation pattern area is surrounded by the wire frame W, and the bump pitch, bump diameter, and each bump are measured in the same manner as the measurement of the lead shape data described above. What is necessary is just to measure the position.
  • step 101 the component for which image processing component shape data is to be created is set at the imaging position within the visual field range of the camera 12. Wait until Thereafter, when the part is set at the imaging position, the process proceeds to step 102 where the part is imaged by the camera 12 and the part image is displayed on the display device 14 in the next step 103.
  • step 104 a wire frame W for enclosing the measurement target portion in the component image displayed on the display device 14 is drawn on the component image.
  • step 105 it is determined whether or not the designation mode for designating the minimum unit is “manual designation mode”. If it is not “manual designation mode”, that is, if it is “automatic designation mode”, step Proceeding to step 107, a minimum unit automatic designation program shown in FIG.
  • step 105 the process proceeds to step 106 and waits until the operator selects or inputs the minimum unit, and when the operator selects or inputs the minimum unit, In step 108, the minimum unit selected or input by the operator is designated as the minimum unit used for measuring the shape data of the measurement target portion.
  • the processing in steps 105 to 108 serves as a minimum unit designation unit.
  • step 107 or 108 After the minimum unit is specified in step 107 or 108, the process proceeds to step 109 in FIG. 4 and waits until the operator performs a drag operation. Thereafter, when the worker performs a drag operation, the process proceeds to step 110, and the position of the side of the wire frame W is set in the drag operation direction by the minimum unit specified in step 107 or 108 in accordance with the drag operation of the worker. Move the pitch.
  • steps 104 and 109 to 110 serve as a wire frame drawing unit.
  • step 111 it is determined whether or not all the drag operations on the four sides of the wire frame W have been completed, and if there are still sides of the wire frame W for which the drag operation has not been completed, the above steps are performed.
  • the processing of 109 to 111 is repeated.
  • the process proceeds to step 112.
  • the shape data (for example, the X direction dimension and the Y direction dimension) of the enclosed measurement target part is measured, and in the next step 113, image processing component shape data is created based on the measurement value of the shape data. It memorize
  • the processing in steps 112 to 113 serves as a part shape data creation unit.
  • the minimum unit automatic designation program in FIG. 5 is a subroutine executed in step 107 of the image processing component shape data creation program in FIGS. 3 and 4 described above when the “automatic designation mode” is selected. It plays the role of a minimum unit specification part that automatically specifies the minimum unit.
  • step 201 it is determined whether or not the computer 11 has acquired information such as the size and type of the measurement target portion of the part for which image processing part shape data is to be created. If information such as the size and type of the target portion has been acquired, the process proceeds to step 202, and the minimum used for measuring the shape data of the measurement target portion based on the acquired information such as the size and type of the measurement target portion. The unit is automatically specified and this program is terminated.
  • step 201 determines whether information such as the size and type of the measurement target portion has been acquired. If it is determined in step 201 that information such as the size and type of the measurement target portion has not been acquired, the process proceeds to step 203, and the region estimated by processing the component image is determined as the measurement target portion of the component. Recognize roughly and measure the size of the area. Thereafter, the process proceeds to step 204, and based on the measurement value of the size of the area estimated as the measurement target portion, the minimum unit used for measuring the shape data of the measurement target portion is automatically specified, and this program is executed. finish.
  • the image processing component shape data created by the image processing component shape data creation system of the first embodiment is transferred to the production management computer of the component mounting line.
  • the production management computer transfers image processing component shape data used for image recognition of the component mounted on each component mounter to each component mounter. Thereby, each component mounting machine recognizes an image of the component sucked by the suction nozzle using the received image processing component shape data.
  • the minimum unit for measuring the shape data of the measurement target portion surrounded by the wire frame W is specified in the manual specification mode or the automatic specification mode.
  • the minimum unit necessary for measuring the shape data of the measurement target part can be designated according to the size and type of the part.
  • the minimum unit of measurement values is specified as the minimum unit of the lower digits, and for large parts (large measurement target parts)
  • the minimum unit can be specified as the minimum unit of the upper digit, and the minimum unit of the digit can be specified according to the size or type of the part or measurement target part.
  • the shape data of the measurement target part can be measured with the accuracy of the minimum unit appropriately specified according to the size and type of the measurement target part, and the operator can measure the measurement value after measuring the shape data. Therefore, it is possible to improve the workability and efficiently create the image processing part shape data by eliminating the troublesome work such as manually rounding off the unnecessary lower digits.
  • Example 2 will be described. However, description of the substantially same parts as those in the first embodiment will be omitted or simplified, and different parts will be mainly described.
  • the measurement target portion of the component image displayed on the display device 14 is specified by being surrounded by the wire frame W.
  • the component image displayed on the display device 14 is specified.
  • an edge position designation portion in which an operator designates the edge position with a mouse pointer M or the like, and the measurement target portion in which each edge position is designated by the edge position designation portion.
  • a minimum unit designating unit that designates a minimum unit for measuring shape data, and shape data of the measurement target portion in which each edge position is designated by the edge position designating unit is designated by the minimum unit designating unit.
  • a component shape data creating unit that creates the image processing component shape data by measuring with a minimum unit accuracy.
  • the operator designates each edge position of the measurement target portion with the mouse pointer M or the like, and measures the shape data of the measurement target portion with the designated minimum unit accuracy.
  • the other points are substantially the same as those of the first embodiment.
  • the measurement of the shape data of the measurement target part can be performed with the accuracy of the minimum unit appropriately specified according to the size and type of the measurement target part, and the operator after the measurement of the shape data
  • it is not necessary to perform troublesome work such as rounding off the numerical values of unnecessary lower digits of the measured values manually, and the same effect as in the first embodiment can be obtained.
  • the image processing component shape data creation system of the present invention is not limited to the first and second embodiments, and may be mounted on a component mounter.
  • the component sucked by the suction nozzle of the component mounter is imaged with the component recognition camera of the component mounter, and the component image is captured by the component mounter.
  • the image processing component shape data may be recreated by displaying on the display unit. In this way, when the cause of the error that occurred in the component mounter is a mismatch in the image processing component shape data, the image processing component shape data that is compatible with the image processing system of the component mounter is corrected. It is possible to reduce the frequency of error of the component mounter and improve the image recognition accuracy of the component.
  • the present invention is not limited to the first and second embodiments.
  • the side drag operation method of the wire frame W may be changed, and various modifications can be made without departing from the scope of the invention. Needless to say.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

部品実装機で実装する部品を画像認識する際に使用する画像処理用部品形状データを作成する画像処理用部品形状データ作成システムにおいて、画像処理用部品形状データの作成対象となる部品を撮像した部品画像を表示する表示部と、前記表示部に表示された部品画像のうちの計測対象部分を囲むためのワイヤフレームを当該部品画像に重ねて描画すると共に作業者のドラッグ操作に応じて前記ワイヤフレームの辺の位置を移動させるワイヤフレーム描画部と、前記ワイヤフレームで囲まれた前記計測対象部分の形状データを計測する際の最小単位を指定する最小単位指定部と、前記ワイヤフレームで囲まれた前記計測対象部分の形状データを前記最小単位指定部で指定された最小単位の精度で計測して前記画像処理用部品形状データを作成する部品形状データ作成部とを備えた構成としている。

Description

画像処理用部品形状データ作成システム及び画像処理用部品形状データ作成方法
　本明細書は、部品実装機で実装する部品を画像認識する際に使用する画像処理用部品形状データを作成する画像処理用部品形状データ作成システム及び画像処理用部品形状データ作成方法を開示したものである。
　一般に、部品実装機においては、吸着ノズルに吸着した部品をカメラで撮像して当該部品を画像認識する際に、予め作成した画像処理用部品形状データ（部品のボディ部分の寸法、リードの位置、幅、長さ、ピッチ、本数等の外観上の特徴を表すデータ）を使用して当該部品を画像認識して当該部品の吸着位置のずれ量や吸着姿勢の良否を判定するようにしている。従来より、部品実装機のユーザー側で画像処理用部品形状データを作成する場合は、部品のＣＡＤデータを利用する方法の他に、画像処理用部品形状データの作成対象となる部品をカメラで撮像して、その撮像画像を用いて画像処理用部品形状データを作成するようにしたものがある（特許文献１）。
　この種の画像処理用部品形状データ作成システムでは、カメラで撮像した部品画像のうちのどの部分を計測するかを作業者が指定する必要があり、そのために、表示装置の画面に表示された部品画像のうちの計測対象部分（例えば部品のボディ部分、リードの列等）を囲むためのワイヤフレームを当該部品画像に重ねて描画して、作業者がマウスを操作して、表示装置の画面に表示されたマウスポインタでワイヤフレームの辺の中央のサイズ変更ハンドルをクリックして、ドラッグ操作して当該ワイヤフレームの辺の位置を計測対象部分の端縁位置に近付ける方向に移動させて両者を合致させることで当該計測対象部分の端縁位置を指定する操作を、当該ワイヤフレームの４辺について行ってから、当該ワイヤフレームの４辺で囲まれた計測対象部分の形状データ（例えば縦横の寸法等）を計測して画像処理用部品形状データを作成するようにしている。
特開２０１１－２１１０８８号公報
　ところで、画像処理用部品形状データの作成対象となる部品には、サイズの異なる様々な部品が存在するが、部品の計測対象部分の形状データを計測するのに必要な精度（計測値の最小単位）は、部品が小さくなるほど、より細かな精度（より下位の桁の最小単位）が要求される。この関係から、従来は、画像処理用部品形状データの作成対象となる部品のうちの最小の部品でも必要な計測精度を確保できるように、計測値の最小単位を可能な限り小さい桁の最小単位（例えば１μｍ）に設定するようにしている。
　この場合、大型の部品でも、最小の部品と同じ精度で計測されるため、大型の部品では計測値の最小単位が必要な計測精度を超えて、本来的に不要な下位の桁まで計測することになってしまう。このため、大型の部品では、形状データの計測後に作業者が計測値のうちの不要な下位の桁の数値を手入力で四捨五入する作業が必要となり、その作業が煩わしいという欠点があった。
　上記課題を解決するために、部品実装機で実装する部品を画像認識する際に使用する画像処理用部品形状データを作成する画像処理用部品形状データ作成システムにおいて、前記画像処理用部品形状データの作成対象となる部品を撮像した部品画像を表示する表示部と、前記表示部に表示された部品画像のうちの計測対象部分を囲むためのワイヤフレームを当該部品画像に重ねて描画すると共に作業者のドラッグ操作に応じて前記ワイヤフレームの辺の位置を移動させるワイヤフレーム描画部と、前記ワイヤフレームで囲まれた前記計測対象部分の形状データを計測する際の最小単位（有効な最小桁）を指定する最小単位指定部と、前記ワイヤフレームで囲まれた前記計測対象部分の形状データを前記最小単位指定部で指定された最小単位の精度で計測して前記画像処理用部品形状データを作成する部品形状データ作成部とを備えた構成としたものである。
　この構成では、ワイヤフレームで囲まれた計測対象部分の形状データを計測する際の最小単位を指定する最小単位指定部を備えているため、計測対象部分のサイズや種類等に応じて、当該計測対象部分の形状データの計測に必要な最小単位を指定することができる。その結果、小型の部品（小さい計測対象部分）に対しては計測値の最小単位を下位の桁の最小単位に指定し、大型の部品（大きい計測対象部分）に対しては計測値の最小単位を上位の桁の最小単位に指定するというように、部品や計測対象部分のサイズや種類等に応じた桁の最小単位に指定することができる。これにより、計測対象部分の形状データの計測を当該計測対象部分のサイズや種類等に応じて適正に指定された最小単位の精度で行うことができて、形状データの計測後に作業者が計測値のうちの不要な下位の桁の数値を手入力で四捨五入する等の煩わしい作業を行わずに済み、作業性を向上できて、画像処理用部品形状データを能率良く作成できる。
　ところで、作業者のドラッグ操作に応じてワイヤフレームの辺の位置を移動させる際に、ワイヤフレームの辺の位置を１画素ずつ（又は最も小さい桁の最小単位ずつ）移動させることが考えられるが、この場合、大型の部品（大きい計測対象部分）では、作業者がドラッグ操作でワイヤフレームの辺の位置を計測対象部分の端縁位置に合致させたときに、当該ワイヤフレームの辺の位置が当該計測対象部分の計測に必要な最小単位となる位置からずれる可能性が高い。この場合でも、当該計測対象部分の計測値のうちの指定された最小単位よりも下位の桁の数値を自動的に四捨五入等により省略するようにすれば、当該計測対象部分の計測値を指定された最小単位の精度で求めることができるが、不要な桁の数値を自動的に四捨五入等により省略する機能が必要になる。
　そこで、前記ワイヤフレーム描画部は、作業者のドラッグ操作に応じてワイヤフレームの辺の位置を前記最小単位指定部で指定された最小単位ずつピッチ移動させるようにしても良い。このようにすれば、ドラッグ操作に応じてピッチ移動するワイヤフレームの辺の位置と最小単位指定部で指定された最小単位となる位置とが常に一致して、計測対象部分の計測値の最小単位が最小単位指定部で指定された最小単位と常に一致するようになり、不要な桁の数値を自動的に四捨五入等により省略する機能が不要になる。
　尚、ワイヤフレーム描画部に代えて、表示部に表示された部品画像のうちの計測対象部分の各端縁位置を指定する端縁位置指定部を備え、この端縁位置指定部で各端縁位置が指定された計測対象部分の形状データを最小単位指定部で指定された最小単位の精度で計測して記画像処理用部品形状データを作成するようにしても良い。このようにしても、計測対象部分の形状データの計測を当該計測対象部分のサイズや種類等に応じて適正に指定された最小単位の精度で行うことができて、形状データの計測後に作業者が計測値のうちの不要な下位の桁の数値を手入力で四捨五入する等の煩わしい作業を行わずに済む。
　例えば、リード付き部品のボディ部分とリードをそれぞれ計測対象部分とする場合、ボディ部分の計測に必要な最小単位は、リードの計測に必要な最小単位よりも大きい。この点を考慮して、前記最小単位指定部は、部品画像に複数の計測対象部分が存在する場合に、各計測対象部分毎に各計測対象部分の形状データを計測する際の最小単位を指定するようにしても良い。このようにすれば、部品画像の複数の計測対象部分の計測に必要な最小単位が異なる場合でも、各計測対象部分毎に適正な最小単位を指定することができる。
　また、前記最小単位指定部は、計測対象部分の形状データの計測に使用する最小単位を予め設定された複数の最小単位の中から作業者が選択して指定するようにしても良いし、或は、指定可能な最小単位の範囲内で作業者が計測対象部分のサイズや種類等に応じた最小単位を入力して指定するようにしても良い。
　或は、前記最小単位指定部は、画像処理用部品形状データの作成対象となる部品の計測対象部分の情報に基づいて当該計測対象部分の形状データの計測に使用する最小単位を自動的に指定するようにしても良い。例えば、計測対象部分がリードやバンプ等の電極である場合は、それらの計測に適した所定の最小単位を自動的に指定することが考えられる。
　また、前記最小単位指定部は、計測対象部分を囲むワイヤフレームのサイズに基づいて当該計測対象部分の形状データの計測に使用する最小単位を自動的に指定するようにしても良い。このようにすれば、例えば、計測対象部分のサイズが大きくなるほど、その計測に使用する最小単位を自動的に大きくするという、計測対象部分のサイズに適した最小単位を自動的に指定することができる。
　また、前記最小単位指定部は、計測対象部分の形状データの計測に使用する最小単位を作業者が選択又は入力して指定するマニュアル指定モードと、計測対象部分の形状データの計測に使用する最小単位を自動的に指定する自動指定モードとを作業者が切り換えて最小単位を指定できるように構成しても良い。このようにすれば、例えば、熟練した作業者は、マニュアル指定モードを選択することで、経験等に基づいて計測対象部分の計測に適した最小単位を手動で指定することができ、一方、作業者の経験が少ない場合や作業性を優先する場合は、自動指定モードを選択することで、経験が少ない作業者が間違った最小単位を指定することを防止できると共に、作業量を軽減しながら画像処理用部品形状データを能率良く作成できる。
図１は実施例１の画像処理用部品形状データ作成システムの構成を示すブロック図である。 図２は部品画像とワイヤフレームの表示例を示す図である。 図３は画像処理用部品形状データ作成プログラムの前半部の処理の流れを示すフローチャートである。 図４は画像処理用部品形状データ作成プログラムの後半部の処理の流れを示すフローチャートである。 図５は最小単位自動指定プログラムの処理の流れを示すフローチャートである。
　以下、２つの実施例１，２を説明する。
　実施例１を図１乃至図５に基づいて説明する。
　図１に示すように、画像処理用部品形状データ作成システムは、パーソナルコンピュータ等のコンピュータ１１と、画像処理用部品形状データの作成対象となる部品を撮像するカメラ１２と、キーボード、マウス、タッチパネル等の入力装置１３と、液晶ディスプレイ、ＣＲＴ等の表示装置１４（表示部）と、後述する画像処理用部品形状データを作成する際に実行する図３乃至図５の各プログラム及び作成した画像処理用部品形状データ等の各種データを記憶する記憶装置１５とを備えた構成となっている。この記憶装置１５は、電源オフ時でも記憶データを保持する書き換え可能な不揮発性の記憶媒体（例えばハードディスク装置等）を用いて構成されている。
　本実施例１の画像処理用部品形状データ作成システムのコンピュータ１１は、図示はしないが、部品実装機の外部（部品実装ラインの外部）に設けられ、ネットワークを介して部品実装ラインの生産管理コンピュータや各部品実装機に対して通信可能に接続されている。
　コンピュータ１１は、後述する図３乃至図５の各プログラムを実行することで、図２に示すように、表示装置１４に表示された部品画像のうちの計測対象部分（例えばボディ部分）を囲むためのワイヤフレームＷを当該部品画像に重ねて描画し且つ作業者のドラッグ操作に応じてワイヤフレームＷの辺の位置を移動させる「ワイヤフレーム描画部」として機能すると共に、ワイヤフレームＷで囲まれた計測対象部分の形状データを計測する際の最小単位（有効な最小桁）を指定する「最小単位指定部」としても機能する。更に、コンピュータ１１は、後述する図３及び図４の画像処理用部品形状データ作成プログラムを実行することで、ワイヤフレームＷで囲まれた計測対象部分の形状データを指定された最小単位の精度で計測して画像処理用部品形状データを作成する「部品形状データ作成部」としても機能する。
　以下、コンピュータ１１が後述する図３乃至図５の各プログラムを実行することで実現される各機能（１）～（３）について説明する。
　（１）ワイヤフレーム描画部としての機能
　図２に示すように、表示装置１４に表示された部品画像のうちの計測対象部分を囲むためのワイヤフレームＷを当該部品画像に重ねて描画する。そして、作業者が入力装置１３のマウス等を操作して、ワイヤフレームＷの辺の中央のサイズ変更ハンドルＨをマウスポインタＭでクリックして掴み、その状態でマウスポインタＭを計測対象部分の端縁位置に近付ける方向（図２の表示例では左方向）に移動させるドラッグ操作を行って、ワイヤフレームＷの辺の位置を計測対象部分の端縁位置に合致させる。作業者は、このドラッグ操作をワイヤフレームＷの４辺について１辺ずつ行うことで、ワイヤフレームＷの４辺を計測対象部分の４方向の端縁位置に合致させる。
　ところで、作業者のドラッグ操作に応じてワイヤフレームＷの辺の位置を移動させる際に、ワイヤフレームＷの辺の位置を１画素ずつ（又は最も小さい桁の最小単位ずつ）移動させることが考えられるが、この場合、大型の部品（大きい計測対象部分）では、作業者がドラッグ操作でワイヤフレームＷの辺の位置を計測対象部分の端縁位置に合致させたときに、当該ワイヤフレームＷの辺の位置が当該計測対象部分の計測に必要な最小単位となる位置からずれる可能性が高い。この場合でも、当該計測対象部分の計測値のうちの指定された最小単位よりも下位の桁の数値を自動的に四捨五入等により省略するようにすれば、当該計測対象部分の計測値を指定された最小単位の精度で求めることができるが、不要な桁の数値を自動的に四捨五入等により省略する機能が必要になる。
　そこで、本実施例１では、作業者のドラッグ操作に応じてワイヤフレームＷの辺の位置を指定された最小単位ずつピッチ移動させる。この際、例えば、最小単位が１ｍｍの場合、ドラッグ操作の移動量が最小単位の中央値である０．５ｍｍに達するまではワイヤフレームＷの辺の位置を移動させず、０．５ｍｍを超えた瞬間に、ワイヤフレームＷの辺の位置を最小単位である１ｍｍだけピッチ移動させる。このようにすれば、ドラッグ操作に応じてピッチ移動するワイヤフレームＷの辺の位置と指定された最小単位となる位置とが常に一致して、計測対象部分の計測値の最小単位が指定された最小単位と常に一致するようになり、不要な桁の数値を自動的に四捨五入等により省略する機能が不要になる。
　（２）最小単位指定部としての機能
　例えば、リード付き部品のボディ部分とリードをそれぞれ計測対象部分とする場合、ボディ部分の計測に必要な最小単位は、リードの計測に必要な最小単位よりも大きい。この点を考慮して、本実施例１では、部品画像に複数の計測対象部分が存在する場合に、各計測対象部分毎に各計測対象部分の形状データを計測する際の最小単位を指定する。このようにすれば、部品画像の複数の計測対象部分の計測に必要な最小単位が異なる場合でも、各計測対象部分毎に適正な最小単位を指定することができる。
　更に、本実施例１では、ワイヤフレームＷで囲まれた計測対象部分の形状データを計測する際の最小単位を指定するモードを、作業者が最小単位を選択又は入力して指定する「マニュアル指定モード」と、最小単位を自動的に指定する「自動指定モード」とを作業者が入力装置１３を操作して切り換えて最小単位を指定できるように構成されている。
　この場合、「マニュアル指定モード」では、作業者が「選択指定」と「入力指定」のどちらか一方を使用して最小単位を指定する。「選択指定」では、表示装置１４に選択可能な複数の最小単位を表示する。例えば、１μｍ、０．０１ｍｍ、０．１ｍｍ、１ｍｍ、１ｍｉｌ（０．０２５４ｍｍ）、０．０１ｉｎ（０．２５４ｍｍ）、０．１ｉｎ（２．５４ｍｍ）等、複数の最小単位を表示装置１４に表示して、これら選択可能な複数の最小単位の中から作業者が計測対象部分のサイズや種類等を考慮して入力装置１３のマウス等を操作していずれか１つの最小単位を選択して指定する。
　一方、「入力指定」では、指定可能な最小単位の範囲内で作業者が入力装置１３のキーボード等を操作して計測対象部分のサイズや種類等に応じた最小単位を入力して指定する。「入力指定」では、「選択指定」で選択可能な最小単位に限らず、「選択指定」で選択できない最小単位（例えば５μｍ、０．５ｍｍ、２ｍｍ等）も入力可能であり、指定可能な最小単位の範囲内で任意の数値で最小単位を入力可能となっている。
　「選択指定」、「入力指定」のいずれの場合も、例えば、部品の計測対象部分がボディ部分の場合は、ボディ部分のサイズの例えば１／１０の数値を目安にして最小単位を指定すれば良い。また、計測対象部分がリードの場合は、最小単位を一律に例えば０．１ｍｍに指定すれば良い。尚、「選択指定」と「入力指定」のどちらか一方のみを使用可能な構成としても良いことは言うまでもない。
　「自動指定モード」では、例えば、次のいずれかの指定方法(a) ～(c) で、計測対象部分の形状データの計測に使用する最小単位を自動的に指定する。この場合でも、例えば、部品の計測対象部分がボディ部分の場合は、ボディ部分のサイズの例えば１／１０の数値を目安にして最小単位を指定し、計測対象部分がリードの場合は、最小単位を一律に例えば０．１ｍｍに指定する。
　(a) コンピュータ１１が画像処理用部品形状データの作成対象となる部品の計測対象部分のサイズや種類等の情報を取り込んで、その部品の計測対象部分のサイズや種類等の情報に基づいて当該計測対象部分の形状データの計測に使用する最小単位を自動的に指定する。この際、部品の計測対象部分のサイズや種類等の情報は、作業者が入力装置１３のキーボード等を操作してコンピュータ１１に入力しても良いし、部品実装ラインの生産管理コンピュータ等の外部のコンピュータから部品の計測対象部分のサイズや種類等の情報をコンピュータ１１に送信するようにしても良い。
　(b) コンピュータ１１が部品画像を処理して部品の計測対象部分と推定される領域を大雑把に認識して、その領域のサイズを計測し、そのサイズの計測値に基づいて当該計測対象部分の形状データの計測に使用する最小単位を自動的に指定する。
　(c) ドラッグ操作によりワイヤフレームＷの４辺を計測対象部分の４方向の端縁位置に合致させた後、そのワイヤフレームＷのサイズに基づいて当該計測対象部分の形状データの計測に使用する最小単位を自動的に指定する。この場合は、計測対象部分の計測値のうちの指定された最小単位よりも下位の桁の数値を自動的に四捨五入等により省略する処理を行う。尚、計測対象部分を囲むワイヤフレームＷのサイズに基づいて最小単位を指定する場合は、ワイヤフレームＷの辺をドラッグ操作する段階では、最小単位が指定されていないため、コンピュータ１１は、作業者のドラッグ操作に応じてワイヤフレームＷの辺の位置を１画素ずつ（又は最も小さい桁の最小単位ずつ）移動させる。
　本実施例１のように、作業者が「マニュアル指定モード」と「自動指定モード」とを作業者が切り換えて最小単位を指定できるようにすれば、例えば、熟練した作業者は、「マニュアル指定モード」を選択することで、経験等に基づいて計測対象部分の計測に適した最小単位を手動で指定することができ、一方、作業者の経験が少ない場合や作業性を優先する場合は、「自動指定モード」を選択することで、経験が少ない作業者が間違った最小単位を指定することを防止できると共に、作業量を軽減しながら画像処理用部品形状データを能率良く作成できる。
　尚、「マニュアル指定モード」と「自動指定モード」のどちらか一方のみを使用可能な構成としても良いことは言うまでもない。
　（３）部品形状データ作成部としての機能
　コンピュータ１１は、ドラッグ操作によりワイヤフレームＷの４辺が計測対象部分の４方向の端縁位置に合致された当該ワイヤフレームＷで囲まれた計測対象部分の形状データ（例えばＸ方向寸法とＹ方向寸法等）を指定された最小単位の精度で計測して画像処理用部品形状データを作成する。
　例えば、リードを計測対象部分とする場合は、部品の計測対象サイドのリードの列をワイヤフレームＷで囲んで、各リードの長さを計測すると共に、ワイヤフレームＷの辺（リード列の端）からリードピッチ分だけ離れたリード側縁をマウスポインタＭで指定することで、リードピッチを計測し、更に、ワイヤフレームＷの両辺間の寸法（リード列の長さ）をリードピッチで割り算することでリードの本数を求めると共に、ワイヤフレームＷの位置（リード列の位置）とリードの本数とから各リードの位置を計算する。リードの幅の計測は、ワイヤフレームＷの辺（リード列の端）からリードの幅分だけ離れたリード側縁をマウスポインタＭで指定することで、リードの幅を計測しても良いし、ワイヤフレームＷで１本のリードを囲ってリードの幅を計測しても良い。
　部品下面のバンプを計測対象部分とする場合は、バンプの形成パターン領域全体をワイヤフレームＷで囲んで、上述したリードの形状データの計測と同様の方法で、バンプのピッチ、バンプ径、各バンプの位置を計測すれば良い。
　以上説明した各機能（１）～（３）は、コンピュータ１１によって図３乃至図５の各プログラムを実行することで実現される。尚、図３乃至図５の各プログラムの一部の処理をハードウエアで処理するようにしても良い。以下、図３乃至図５の各プログラムの処理を説明する。
［画像処理用部品形状データ作成プログラム］
　図３及び図４の画像処理用部品形状データ作成プログラムが起動されると、まず、ステップ１０１で、画像処理用部品形状データの作成対象となる部品がカメラ１２の視野範囲内の撮像位置にセットされるまで待機する。その後、部品が撮像位置にセットされた時点で、ステップ１０２に進み、カメラ１２で部品を撮像して、次のステップ１０３で、表示装置１４に部品画像を表示する。
　この後、ステップ１０４に進み、表示装置１４に表示された部品画像のうちの計測対象部分を囲むためのワイヤフレームＷを当該部品画像に重ねて描画する。この後、ステップ１０５に進み、最小単位を指定する指定モードが「マニュアル指定モード」であるか否かを判定し、「マニュアル指定モード」でない場合、つまり「自動指定モード」である場合は、ステップ１０７に進み、後述する図５の最小単位自動指定プログラムを実行して、計測対象部分の形状データの計測に使用する最小単位を自動的に指定する。
　一方、上記ステップ１０５で、「マニュアル指定モード」と判定されれば、ステップ１０６に進み、作業者が最小単位を選択又は入力するまで待機し、作業者が最小単位を選択又は入力した時点で、ステップ１０８に進み、作業者が選択又は入力した最小単位を、計測対象部分の形状データの計測に使用する最小単位として指定する。上記ステップ１０５～１０８の処理が最小単位指定部としての役割を果たす。
　上記ステップ１０７又は１０８で最小単位を指定した後、図４のステップ１０９に進み、作業者がドラッグ操作を行うまで待機する。その後、作業者がドラッグ操作を行った時点で、ステップ１１０に進み、作業者のドラッグ操作に応じてワイヤフレームＷの辺の位置を前記ステップ１０７又は１０８で指定された最小単位ずつドラッグ操作方向にピッチ移動させる。上記ステップ１０４及び１０９～１１０の処理がワイヤフレーム描画部としての役割を果たす。
　この後、ステップ１１１に進み、ワイヤフレームＷの４辺のドラッグ操作が全て終了したか否かを判定し、まだ、ドラッグ操作が終了していないワイヤフレームＷの辺が残っていれば、上記ステップ１０９～１１１の処理を繰り返す。これにより、ワイヤフレームＷの４辺のドラッグ操作が全て終了してワイヤフレームＷの４辺が計測対象部分の４方向の端縁位置に合致された時点で、ステップ１１２に進み、ワイヤフレームＷで囲まれた計測対象部分の形状データ（例えばＸ方向寸法とＹ方向寸法等）を計測して、次のステップ１１３で、その形状データの計測値に基づいて画像処理用部品形状データを作成して記憶装置１５に記憶して、本プログラムを終了する。上記ステップ１１２～１１３の処理が部品形状データ作成部としての役割を果たす。
［最小単位自動指定プログラム］
　図５の最小単位自動指定プログラムは、「自動指定モード」が選択されている場合に、上述した図３及び図４の画像処理用部品形状データ作成プログラムのステップ１０７で実行されるサブルーチンであり、最小単位を自動的に指定する最小単位指定部としての役割を果たす。
　本プログラム起動されると、まず、ステップ２０１で、コンピュータ１１が画像処理用部品形状データの作成対象となる部品の計測対象部分のサイズや種類等の情報を取得したか否かを判定し、計測対象部分のサイズや種類等の情報を取得していれば、ステップ２０２に進み、取得した計測対象部分のサイズや種類等の情報に基づいて、当該計測対象部分の形状データの計測に使用する最小単位を自動的に指定して、本プログラムを終了する。
　一方、上記ステップ２０１で、計測対象部分のサイズや種類等の情報を取得していないと判定されれば、ステップ２０３に進み、部品画像を処理して部品の計測対象部分と推定される領域を大雑把に認識して、その領域のサイズを計測する。この後、ステップ２０４に進み、計測対象部分と推定される領域のサイズの計測値に基づいて、当該計測対象部分の形状データの計測に使用する最小単位を自動的に指定して、本プログラムを終了する。
　本実施例１の画像処理用部品形状データ作成システムで作成した画像処理用部品形状データは、部品実装ラインの生産管理コンピュータへ転送される。生産管理コンピュータは、各部品実装機で実装する部品の画像認識に使用する画像処理用部品形状データを各部品実装機に転送する。これにより、各部品実装機は、受信した画像処理用部品形状データを使用して、吸着ノズルに吸着した部品を画像認識する。
　以上説明した本実施例１によれば、ワイヤフレームＷで囲まれた計測対象部分の形状データを計測する際の最小単位をマニュアル指定モード又は自動指定モードで指定するようにしているため、計測対象部分のサイズや種類等に応じて、当該計測対象部分の形状データの計測に必要な最小単位を指定することができる。その結果、例えば、小型の部品（小さい計測対象部分）に対しては計測値の最小単位を下位の桁の最小単位に指定し、大型の部品（大きい計測対象部分）に対しては計測値の最小単位を上位の桁の最小単位に指定するというように、部品や計測対象部分のサイズや種類等に応じた桁の最小単位に指定することができる。これにより、計測対象部分の形状データの計測を当該計測対象部分のサイズや種類等に応じて適正に指定された最小単位の精度で行うことができて、形状データの計測後に作業者が計測値のうちの不要な下位の桁の数値を手入力で四捨五入する等の煩わしい作業を行わずに済み、作業性を向上できて、画像処理用部品形状データを能率良く作成できる。
　次に、実施例２を説明する。但し、上記実施例１と実質的に同じ部分については説明を省略又は簡略化し、主として異なる部分について説明する。
　上記実施例１では、表示装置１４に表示された部品画像のうちの計測対象部分をワイヤフレームＷで囲んで指定するようにしたが、本実施例２では、表示装置１４に表示された部品画像のうちの計測対象部分の各端縁位置を作業者がマウスポインタＭ等で指定する端縁位置指定部と、前記端縁位置指定部で前記各端縁位置が指定された前記計測対象部分の形状データを計測する際の最小単位を指定する最小単位指定部と、前記端縁位置指定部で前記各端縁位置が指定された前記計測対象部分の形状データを前記最小単位指定部で指定された最小単位の精度で計測して前記画像処理用部品形状データを作成する部品形状データ作成部とを備えた構成となっている。
　要するに、本実施例２では、作業者が計測対象部分の各端縁位置をマウスポインタＭ等で指定して、その計測対象部分の形状データを指定された最小単位の精度で計測するようにしたものであり、それ以外の点は前記実施例１と実質的に同じである。
　このようにしても、計測対象部分の形状データの計測を当該計測対象部分のサイズや種類等に応じて適正に指定された最小単位の精度で行うことができて、形状データの計測後に作業者が計測値のうちの不要な下位の桁の数値を手入力で四捨五入する等の煩わしい作業を行わずに済み、前記実施例１と同様の効果を得ることができる。
　本発明の画像処理用部品形状データ作成システムは、上記実施例１，２に限定されず、部品実装機に搭載しても良い。この場合、部品実装機で発生したエラーの原因究明時に、当該部品実装機の吸着ノズルに吸着した部品を当該部品実装機の部品認識用のカメラで撮像して、その部品画像を当該部品実装機の表示部に表示して画像処理用部品形状データを作成し直すようにしても良い。このようにすれば、部品実装機で発生したエラーの原因が画像処理用部品形状データのミスマッチである場合に、当該部品実装機の画像処理システムに適合した画像処理用部品形状データに修正することができ、部品実装機のエラーの発生頻度を低減できると共に、部品の画像認識精度を向上できる。
　その他、本発明は、上記実施例１，２に限定されず、例えば、ワイヤフレームＷの辺のドラッグ操作方法を変更しても良い等、要旨を逸脱しない範囲内で種々変更して実施できることは言うまでもない。
　１１…コンピュータ（ワイヤフレーム描画部，最小単位指定部，部品形状データ作成部）、１２…カメラ、１３…入力装置、１４…表示装置（表示部）、Ｈ…サイズ変更ハンドル、Ｍ…マウスポインタ、Ｗ…ワイヤフレーム

Claims (11)

  1. 　部品実装機で実装する部品を画像認識する際に使用する画像処理用部品形状データを作成する画像処理用部品形状データ作成システムにおいて、
    　前記画像処理用部品形状データの作成対象となる部品を撮像した部品画像を表示する表示部と、
    　前記表示部に表示された部品画像のうちの計測対象部分を囲むためのワイヤフレームを当該部品画像に重ねて描画すると共に作業者のドラッグ操作に応じて前記ワイヤフレームの辺の位置を移動させるワイヤフレーム描画部と、
    　前記ワイヤフレームで囲まれた前記計測対象部分の形状データを計測する際の最小単位を指定する最小単位指定部と、
    　前記ワイヤフレームで囲まれた前記計測対象部分の形状データを前記最小単位指定部で指定された最小単位の精度で計測して前記画像処理用部品形状データを作成する部品形状データ作成部と
    　を備える、画像処理用部品形状データ作成システム。
  2. 　前記ワイヤフレーム描画部は、作業者のドラッグ操作に応じて前記ワイヤフレームの辺の位置を前記最小単位指定部で指定された最小単位ずつピッチ移動させる、請求項１に記載の画像処理用部品形状データ作成システム。
  3. 　部品実装機で実装する部品を画像認識する際に使用する画像処理用部品形状データを作成する画像処理用部品形状データ作成システムにおいて、
    　前記画像処理用部品形状データの作成対象となる部品を撮像した部品画像を表示する表示部と、
    　前記表示部に表示された部品画像のうちの計測対象部分の各端縁位置を指定する端縁位置指定部と、
    　前記端縁位置指定部で前記各端縁位置が指定された前記計測対象部分の形状データを計測する際の最小単位を指定する最小単位指定部と、
    　前記端縁位置指定部で前記各端縁位置が指定された前記計測対象部分の形状データを前記最小単位指定部で指定された最小単位の精度で計測して前記画像処理用部品形状データを作成する部品形状データ作成部と
    　を備える、画像処理用部品形状データ作成システム。
  4. 　前記最小単位指定部は、前記部品画像に複数の計測対象部分が存在する場合に、各計測対象部分毎に各計測対象部分の形状データを計測する際の最小単位を指定する、請求項１乃至３のいずれかに記載の画像処理用部品形状データ作成システム。
  5. 　前記最小単位指定部は、前記計測対象部分の形状データの計測に使用する最小単位を予め設定された複数の最小単位の中から作業者が選択して指定する、請求項１乃至４のいずれかに記載の画像処理用部品形状データ作成システム。
  6. 　前記最小単位指定部は、前記計測対象部分の形状データの計測に使用する最小単位を指定可能な最小単位の範囲内で作業者が入力して指定する、請求項１乃至４のいずれかに記載の画像処理用部品形状データ作成システム。
  7. 　前記最小単位指定部は、前記画像処理用部品形状データの作成対象となる部品の計測対象部分の情報に基づいて当該計測対象部分の形状データの計測に使用する最小単位を自動的に指定する、請求項１乃至４のいずれかに記載の画像処理用部品形状データ作成システム。
  8. 　前記最小単位指定部は、前記計測対象部分を囲む前記ワイヤフレームのサイズに基づいて当該計測対象部分の形状データの計測に使用する最小単位を自動的に指定する、請求項１又は２に記載の画像処理用部品形状データ作成システム。
  9. 　前記最小単位指定部は、前記計測対象部分の形状データの計測に使用する最小単位を作業者が選択又は入力して指定するマニュアル指定モードと、前記計測対象部分の形状データの計測に使用する最小単位を自動的に指定する自動指定モードとを作業者が切り換えて最小単位を指定できるように構成されている、請求項１乃至４のいずれかに記載の画像処理用部品形状データ作成システム。
  10. 　部品実装機で実装する部品を画像認識する際に使用する画像処理用部品形状データを作成する画像処理用部品形状データ作成方法において、
    　前記画像処理用部品形状データの作成対象となる部品を撮像した部品画像を表示する表示処理と、
    　前記表示部に表示された部品画像のうちの計測対象部分を囲むためのワイヤフレームを当該部品画像に重ねて描画すると共に作業者のドラッグ操作に応じて前記ワイヤフレームの辺の位置を移動させるワイヤフレーム描画処理と、
    　前記ワイヤフレームで囲まれた前記計測対象部分の形状データを計測する際の最小単位を指定する最小単位指定処理と、
    　前記ワイヤフレームで囲まれた前記計測対象部分の形状データを前記最小単位指定処理で指定された最小単位の精度で計測して前記画像処理用部品形状データを作成する部品形状データ作成処理と
    　を含む、画像処理用部品形状データ作成方法。
  11. 　部品実装機で実装する部品を画像認識する際に使用する画像処理用部品形状データを作成する画像処理用部品形状データ作成方法において、
    　前記画像処理用部品形状データの作成対象となる部品を撮像した部品画像を表示する表示処理と、
    　前記表示部に表示された部品画像のうちの計測対象部分の各端縁位置を指定する端縁位置指定処理と、
    　前記端縁位置指定処理で前記各端縁位置が指定された前記計測対象部分の形状データを計測する際の最小単位を指定する最小単位指定処理と、
    　前記端縁位置指定処理で前記各端縁位置が指定された前記計測対象部分の形状データを前記最小単位指定処理で指定された最小単位の精度で計測して前記画像処理用部品形状データを作成する部品形状データ作成処理と
    　を含む、画像処理用部品形状データ作成方法。
PCT/JP2016/082498 2016-11-01 2016-11-01 画像処理用部品形状データ作成システム及び画像処理用部品形状データ作成方法 WO2018083745A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201680090303.4A CN109964247B (zh) 2016-11-01 2016-11-01 图像处理用元件形状数据生成系统及图像处理用元件形状数据生成方法
PCT/JP2016/082498 WO2018083745A1 (ja) 2016-11-01 2016-11-01 画像処理用部品形状データ作成システム及び画像処理用部品形状データ作成方法
JP2018548492A JP6802854B2 (ja) 2016-11-01 2016-11-01 画像処理用部品形状データ作成システム及び画像処理用部品形状データ作成方法
EP16920499.7A EP3537374A4 (en) 2016-11-01 2016-11-01 IMAGE PROCESSING COMPONENT FORM CREATING DATA SYSTEM AND IMAGE PROCESSING COMPONENT FORM CREATING DATA METHOD
US16/345,782 US10872405B2 (en) 2016-11-01 2016-11-01 System for creating component shape data for image processing, and method for creating component shape data for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/082498 WO2018083745A1 (ja) 2016-11-01 2016-11-01 画像処理用部品形状データ作成システム及び画像処理用部品形状データ作成方法

Publications (1)

Publication Number Publication Date
WO2018083745A1 true WO2018083745A1 (ja) 2018-05-11

Family

ID=62075875

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/082498 WO2018083745A1 (ja) 2016-11-01 2016-11-01 画像処理用部品形状データ作成システム及び画像処理用部品形状データ作成方法

Country Status (5)

Country Link
US (1) US10872405B2 (ja)
EP (1) EP3537374A4 (ja)
JP (1) JP6802854B2 (ja)
CN (1) CN109964247B (ja)
WO (1) WO2018083745A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021157077A1 (ja) * 2020-02-07 2021-08-12 株式会社Ｆｕｊｉ 吸着位置調整装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10135686A (ja) * 1996-10-25 1998-05-22 Sanyo Electric Co Ltd データ処理装置及び電子部品装着装置
JP2011233737A (ja) * 2010-04-28 2011-11-17 Hitachi High-Tech Instruments Co Ltd 電子部品装着方法、電子部品装着装置及びノズルデータ作成方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3678895B2 (ja) * 1997-09-30 2005-08-03 株式会社日立ハイテクインスツルメンツ 電子部品装着装置
JP3558074B2 (ja) * 2001-12-10 2004-08-25 株式会社村田製作所 測定誤差の補正方法、電子部品の良否判定方法および電子部品特性測定装置
JP4760111B2 (ja) * 2005-04-26 2011-08-31 株式会社セガ 映像オブジェクト表現用データ構造生成プログラム、映像オブジェクト表現用データ構造生成方法、映像ソフト開発装置、映像処理プログラム、映像処理方法、映像処理装置、映像オブジェクト表現用データ構造、および、記録媒体
JP5926881B2 (ja) 2010-03-30 2016-05-25 富士機械製造株式会社 画像処理用部品データ作成方法及び画像処理用部品データ作成装置
JP5728878B2 (ja) * 2010-10-13 2015-06-03 オムロン株式会社 画像処理装置および画像処理方法
JP5561214B2 (ja) * 2011-03-15 2014-07-30 オムロン株式会社 画像処理装置および画像処理プログラム
JP5776080B2 (ja) * 2011-06-30 2015-09-09 株式会社ミツトヨ 円形状特性測定方法、装置及びプログラム
CA2906207C (en) * 2013-05-30 2019-09-03 Charles Anthony Smith Hud object design and display method
JP2015004641A (ja) * 2013-06-24 2015-01-08 株式会社日立ハイテクノロジーズ ウエハ外観検査装置
KR101509054B1 (ko) * 2013-08-30 2015-04-07 한국표준과학연구원 광소자-회전형 뮬러-행렬 타원계측기 및 이를 이용한 시료의 뮬러-행렬 측정 방법
CN105701467B (zh) * 2016-01-13 2019-03-05 河海大学常州校区 一种基于人体形态特征的多人异常行为识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10135686A (ja) * 1996-10-25 1998-05-22 Sanyo Electric Co Ltd データ処理装置及び電子部品装着装置
JP2011233737A (ja) * 2010-04-28 2011-11-17 Hitachi High-Tech Instruments Co Ltd 電子部品装着方法、電子部品装着装置及びノズルデータ作成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3537374A4 *

Also Published As

Publication number Publication date
JP6802854B2 (ja) 2020-12-23
JPWO2018083745A1 (ja) 2019-07-04
EP3537374A4 (en) 2019-10-23
CN109964247A (zh) 2019-07-02
CN109964247B (zh) 2023-05-05
US20200058120A1 (en) 2020-02-20
US10872405B2 (en) 2020-12-22
EP3537374A1 (en) 2019-09-11

Similar Documents

Publication Publication Date Title
US8565515B2 (en) Three-dimensional recognition result displaying method and three-dimensional visual sensor
US20140286565A1 (en) Robot system and image processing method
US20160224215A1 (en) Method and device for selecting entity in drawing
JP2019061504A5 (ja) 表示制御方法、制御方法、及びプログラム
US20160093068A1 (en) Image measurement apparatus and guidance display method of image measurement apparatus
WO2018083745A1 (ja) 画像処理用部品形状データ作成システム及び画像処理用部品形状データ作成方法
CN107909633B (zh) 虚拟鼠标绘图工具及绘图方法
CN111033412A (zh) 伺服马达调整装置及伺服马达调整方法
JP2017151806A (ja) 情報処理プログラム、情報処理システム、情報処理方法、および情報処理装置
US10027885B2 (en) Image measuring apparatus
CN111596813B (zh) 对象操控方法、主机装置及计算机可读存储介质
WO2018078714A1 (ja) 画像処理用部品形状データ作成システム及び画像処理用部品形状データ作成方法
US11288423B2 (en) Component shape data creation system for image processing and component shape data creation method for image processing
JP5358946B2 (ja) グラフ表示機能を備えた電子機器及びプログラム
CN113053498B (zh) 超声设备的人机交互方法、超声设备和存储介质
JPWO2020188660A1 (ja) 把持位置姿勢登録装置、把持位置姿勢登録方法及びプログラム
WO2018100620A1 (ja) 情報処理装置及び情報処理方法
JP2015219609A (ja) 情報処理方法、情報処理装置及び記録媒体
US20080228439A1 (en) Method and apparatus for measuring distance with graphic data
JP5852893B2 (ja) ワーク加工の角度を入力設定する加工機および加工機における角度入力設定方法
JP2001242982A (ja) 作図支援方法及びｃａｄプログラムを記憶してなる媒体
JPH03152620A (ja) 画像表示装置
JPH0736606A (ja) 波形データ解析システム
JPH0488560A (ja) 図面の引出し線の角度補正処理方法およびその装置
JPH10142261A (ja) 表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16920499

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018548492

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016920499

Country of ref document: EP

Effective date: 20190603