WO2016185615A1 - 部品向き判定データ作成装置及び部品向き判定データ作成方法 - Google Patents

部品向き判定データ作成装置及び部品向き判定データ作成方法 Download PDF

Info

Publication number
WO2016185615A1
WO2016185615A1 PCT/JP2015/064655 JP2015064655W WO2016185615A1 WO 2016185615 A1 WO2016185615 A1 WO 2016185615A1 JP 2015064655 W JP2015064655 W JP 2015064655W WO 2016185615 A1 WO2016185615 A1 WO 2016185615A1
Authority
WO
WIPO (PCT)
Prior art keywords
component
image
orientation
determination data
difference
Prior art date
Application number
PCT/JP2015/064655
Other languages
English (en)
French (fr)
Inventor
一也 小谷
雅史 天野
Original Assignee
富士機械製造株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士機械製造株式会社 filed Critical 富士機械製造株式会社
Priority to PCT/JP2015/064655 priority Critical patent/WO2016185615A1/ja
Priority to US15/571,947 priority patent/US11357149B2/en
Priority to EP15892614.7A priority patent/EP3300473B1/en
Priority to JP2017518710A priority patent/JP6480575B2/ja
Priority to CN201580079860.1A priority patent/CN107535090B/zh
Publication of WO2016185615A1 publication Critical patent/WO2016185615A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/081—Integration of optical monitoring devices in assembly lines; Processes using optical monitoring devices specially adapted for controlling devices or machines in assembly lines
    • H05K13/0818—Setup of monitoring devices prior to starting mounting operations; Teaching of monitoring devices for specific products; Compensation of drifts during operation, e.g. due to temperature shifts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Definitions

  • the present invention relates to a component orientation determination data creation apparatus and component orientation determination data creation for creating component orientation determination data for determining the orientation of a component whose orientation (front / back, left / right, etc.) is difficult to determine by image recognition of the external shape of the component.
  • the invention relates to a method.
  • Patent Document 1 Japanese Patent Laid-Open No. 2-44235
  • a polarity mark is provided on the component, and the polarity is determined by image processing.
  • this method cannot be applied to a component that is not provided with a polarity mark.
  • an area in which the luminance value is remarkably different depending on the orientation of the front and back of the component is specified by the component orientation determination data included in the image processing data used in the image processing.
  • the component orientation determination data is created by a skilled worker having data creation skills through trial and error.
  • the creation of the component orientation determination data is performed by a skilled worker having data creation skills through trial and error, so the creation of the component orientation determination data is difficult and has little experience. It is difficult for low-skilled workers to create appropriate part orientation determination data, and even skilled workers repeat trial and error, so it takes time to create appropriate part orientation determination data. There is.
  • a problem to be solved by the present invention is to enable an operator with a low level of skill in creating part orientation determination data to easily create appropriate part orientation judgment data in a short time.
  • the present invention determines the orientation of a component by comparing the luminance value of the determination region specified by the component orientation determination data in the component image captured by the camera with a determination threshold value.
  • the component orientation determination data creation device for creating the component orientation determination data used in the component orientation determination system a plurality of orientations captured by changing the orientation of the component that is the creation target of the component orientation determination data with respect to the camera. The difference image between the image of the component in the correct orientation and the image of the component in the other orientation is calculated, and an area in which the luminance difference is the maximum or greater than or equal to the predetermined value is obtained.
  • the component orientation determination data including position information for designating the determination region in the region is calculated.
  • the difference image between the image of the component in the correct orientation and the image of the component in the other orientation is calculated as in the present invention, the luminance difference between the image of the component in the correct orientation and the image of the component in the other orientation is maximized or
  • An area that is equal to or greater than a predetermined value that is, an area in which two images can be clearly distinguished
  • a predetermined value that is, an area in which two images can be clearly distinguished
  • the imaging conditions for example, lighting conditions such as camera exposure time, lighting pattern, illumination brightness, etc.
  • the luminance difference waveform of the difference image also changes.
  • the luminance difference and / or the area of the determination area is selected from all the imaging conditions by repeating the process of calculating the difference image using the images of the parts of the plurality of orientations captured by changing the imaging condition and obtaining the determination area. It is preferable to select an imaging condition that maximizes the optimum imaging condition and include information on the optimum imaging condition in the component orientation determination data. In this way, even a worker with a low level of skill in creating the component orientation determination data can easily create the component orientation determination data including information on the optimum imaging conditions in a short time.
  • a determination threshold value is calculated based on the luminance value of the determination region of the image of the component in the correct orientation and the luminance value of the determination region of the image of the component in the other direction or the luminance difference of the determination region of the difference image,
  • the determination threshold value may be included in the component orientation determination data.
  • component orientation determination data including an appropriate determination threshold value that makes it easy to discriminate between an image of a component in the correct orientation and an image of a component in another orientation is used as a low-skilled work for creating component orientation determination data. Even a person can create it easily and in a short time.
  • the direction of the component necessary for creating the component orientation determination data varies depending on the shape of the component. For example, when creating component orientation determination data for determining the upside-down inversion of a component that is difficult to determine whether it is upside down (upside down) in the image recognition of the external shape of the component, the image of the component with the correct orientation and the upside down component It is sufficient to acquire the image of the image and calculate the difference image between the two images.
  • the image of the component in the orientation, the image of the component rotated 90 °, 180 °, 270 ° horizontally, and the difference image between the image of the component in the correct orientation and the image of the component rotated 90 ° horizontally, the correct orientation The difference image between the image of the part and the image of the part horizontally rotated by 180 °, and the difference image between the image of the component in the correct orientation and the image of the component rotated horizontally by 270 ° are respectively calculated, and the calculated three difference images
  • a region where the luminance difference is maximum or a predetermined value or more is obtained, a determination region candidate is set in each region, and an image of a component in the correct orientation is selected from all the determination region candidates of the three difference images. Brightness difference and / or the area may be so selected as finally the determination region determination area candidate having the maximum and.
  • the present invention includes instruction means for instructing an operator about the orientation of a part to be imaged in order to acquire images of parts in a plurality of directions necessary for creation of part orientation determination data, and the operator follows the instruction from the instruction means. It is also possible to set the component at the imaging position in the designated direction and take an image with the camera to obtain an image of the component in the designated direction. In this way, an image of a component having a direction necessary for creating the component orientation determination data can be easily acquired even by an operator having a low level of skill in creating the component orientation determination data.
  • the component orientation data can be created by inputting the orientation data of the component and capturing an image of the component in the orientation required for creating the component orientation judgment data.
  • FIG. 1 is a block diagram illustrating a configuration example of a component orientation determination data creation device according to an embodiment of the present invention.
  • FIG. 2 is a flowchart showing the flow of processing of the component orientation determination data creation program.
  • FIG. 3 is a diagram showing an image obtained by arranging and arranging components in two directions necessary for creating component orientation determination data of a resistor component.
  • FIG. 4 is a diagram for explaining the difference image calculation process for creating the component orientation determination data of the resistance component and the component orientation determination data calculation process.
  • FIG. 5 is a diagram showing an image obtained by arranging and arranging components in four directions necessary for creating component orientation determination data of a capacitor component.
  • FIG. 6 is a diagram for explaining difference image calculation processing for creating component orientation determination data for capacitor components and component orientation determination data calculation processing.
  • FIG. 1 is a block diagram illustrating a configuration example of a component orientation determination data creation device according to an embodiment of the present invention.
  • FIG. 2 is a flowchart showing the flow of processing of the component orientation determination data
  • FIG. 7 is a diagram showing an image obtained by arranging and arranging components in four directions necessary for creating component orientation determination data of a BGA component.
  • FIG. 8 is a diagram for explaining difference image calculation processing and component orientation determination data calculation processing for creating component orientation determination data for a BGA component.
  • the component orientation determination data creation device includes a computer 11 such as a personal computer, a camera 12 that captures a component for which component orientation determination data is to be created and acquires a grayscale image (grayscale image), a keyboard, a mouse, a touch panel, and the like.
  • Input device 13 input means
  • a display device 14 such as a liquid crystal display or CRT
  • storage device 15 in which a component orientation determination data creation program of FIG.
  • the computer 11 creates image processing data to be used for image processing of a component sucked by a suction nozzle of a component mounting machine, and a component for which it is difficult to determine the orientation (front / back, left / right, etc.) of the component by image recognition of the outer shape of the component.
  • the component orientation determination data creation program of FIG. 2 the component image acquisition process (step 101) by the component image acquisition unit, the difference image calculation unit
  • the component orientation determination data is generated by executing the difference image calculation processing (step 102) according to the above and the component orientation determination data calculation processing (step 103) by the component orientation determination data calculation means.
  • This component orientation determination data is included in the image processing data, and when image processing is performed on the component sucked by the suction nozzle of the component mounter, the luminance of the determination region specified by the component orientation determination data in the component image The direction of the part is determined by comparing the value with a determination threshold value.
  • the camera 12 is repeatedly imaged by changing the orientation of the component for which the component orientation determination data is to be created, and images of components having a plurality of orientations necessary for creating the component orientation determination data are obtained. get.
  • an instruction function (instruction means) that instructs the operator on the orientation of the part to be imaged is installed, and the data on the orientation of the part necessary to create part orientation determination data
  • the orientation of the component to be imaged is indicated to the operator by display on the display device 14 or by voice.
  • the operator can input the orientation of the part to be imaged by the camera 12 by the input device 13, and an image of a new part in which the part orientation data necessary for creating the part orientation determination data is not registered is imaged.
  • the orientation of the component to be set at the imaging position is determined, the orientation data of the component is input, and the image of the component in the orientation necessary for creating the component orientation determination data is captured. I am doing so.
  • two or more of the same parts for which the component orientation determination data is to be created can be used, two or more parts are set in the imaging position with their orientations changed from each other, and two or more in the field of view of the camera 12 It is also possible to obtain an image in which two or more parts having different orientations are arranged in one image. Of course, only one component may be accommodated in the field of view of the camera 12, and only one direction may be imaged by one imaging.
  • difference image calculation process a difference image between the image of the component in the correct direction selected from the images of the components in the plurality of directions and the image of the component in the other direction is calculated.
  • a detailed calculation method of the difference image will be described later using three examples.
  • component orientation determination data calculation processing an area in which the difference in luminance among the difference images is maximized or exceeds a predetermined value (that is, an area where the image of the component in the correct orientation and the image of the component in another orientation can be clearly distinguished) is obtained. Then, component orientation determination data including position information for designating a determination region for determining the orientation of the component in the region is calculated.
  • the imaging conditions for example, the illumination conditions such as the exposure time of the camera 12, the lighting pattern, and the brightness of the illumination
  • the luminance difference waveform of the difference image also changes.
  • the process of calculating the difference image using the images of the parts of the plurality of orientations imaged by changing the imaging conditions and obtaining the determination area is repeated a predetermined number of times, and the luminance difference of the determination area and all of the imaging conditions are determined.
  • the imaging condition that maximizes the area is selected as the optimum imaging condition, and information on the optimum imaging condition is included in the component orientation determination data.
  • the determination threshold is set based on the luminance value of the determination area of the image of the component of the correct orientation and the luminance value of the determination area of the image of the component of the other direction or the luminance difference of the determination area of the difference image, for example, The determination threshold value is included in the component orientation determination data.
  • B Brightness value of the determination area of the image of the component in the other direction
  • the orientation of the parts necessary for creating the part orientation judgment data varies depending on the shape of the parts.
  • a resistance component as shown in FIG. 3, since the thickness of the component is thin and flat, it is only necessary to determine whether the component is upside down (reversed from front to back). Can be determined by recognition).
  • it is difficult to determine whether to flip upside down in the image recognition of the external shape of the component it is necessary to create component orientation determination data for determining upside down.
  • an image of a component in the correct orientation (normal suction) and an image of a component upside down (back surface suction) may be acquired.
  • the component orientation determination data of the resistance component is created through the following processes [1-1] to [1-7]. [1-1] Set the correct orientation (normal suction) and upside down (back side suction) parts at the imaging position.
  • [1-2] ⁇ Set the predetermined imaging conditions (for example, lighting conditions such as camera 12 exposure time, lighting pattern, lighting brightness, etc.) and flip the image of the component in the correct orientation (normal suction) upside down
  • the camera 12 captures an image of the part (back surface suction).
  • the part outline data is automatically created by the automatic part outline data creation process. Instead of the automatic creation process of the part outline data, the operator may input the outline dimension of the part with the input device 13.
  • [1-4] Process the image of the component in the correct orientation (normal suction) to recognize the external shape of the component, obtain the center position and rotation angle of the component, and image of the component inverted upside down (backside suction) Is processed to recognize the outer shape of the part, and the center position and the rotation angle of the part are obtained.
  • the difference image of the two images is calculated by matching the center position and rotation angle of the components of the two images (see FIG. 4), and the luminance difference of the difference images is the maximum or a predetermined value or more.
  • An area that is, an area where two images can be clearly distinguished
  • position information of the area is temporarily stored in a memory such as a RAM together with imaging conditions.
  • a determination threshold value is calculated based on the luminance value of the determination area of the image and the luminance value of the determination area of the image of the part upside down (back side suction) or the luminance difference of the determination area of the difference image.
  • the optimum imaging conditions, the position information of the determination area, and the determination threshold value thus obtained are stored in the storage device 15 as component orientation determination data in association with the component identification information.
  • the size (area) of the determination region is set so as to ensure a certain size or more that can reliably recognize the determination region in consideration of a positional deviation error in image recognition.
  • the component orientation determination data of this capacitor component is created through the following processes [2-1] to [2-9]. [2-1] A component in the correct orientation (normal suction), a component that falls 90 ° (side suction), a component that falls 180 ° (back suction), and a component that falls 270 ° (side suction) are set at the imaging position.
  • Parts outline data is automatically created by automatic creation process of parts outline data. Instead of the automatic creation process of the part outline data, the operator may input the outline dimension of the part with the input device 13.
  • [2-4] Process the image of the component in each direction to recognize the external shape of the component in each direction, and obtain the center position and rotation angle of the component in each direction.
  • the difference image between the two images is calculated by combining the center position and the rotation angle of the part image with the correct orientation (normal suction) and the part image 90 ° overturned (side suction) [Fig. a) Reference], an area of the difference image where the luminance difference is maximum or a predetermined value or more is obtained, and the position information of the area is temporarily stored in a memory such as a RAM together with the imaging conditions.
  • the difference image between the two images is calculated by combining the center position and the rotation angle of the part image with the correct orientation (normal suction) and 180 degree overturned (back side suction).
  • c) Reference an area of the difference image where the luminance difference is maximum or a predetermined value or more is obtained, and position information of the area is temporarily stored in a memory such as a RAM together with imaging conditions.
  • the difference image between the two images is calculated by matching the center position and rotation angle of the image of the part in the correct orientation (normal suction) and the image of the part that has fallen 270 ° (side suction) [Fig. b)]], an area in which the luminance difference is maximum or greater than a predetermined value in the difference image is obtained, and position information of the area is temporarily stored in a memory such as a RAM together with imaging conditions.
  • the optimum imaging conditions thus obtained, the position information of the determination areas of the three difference images, and the determination threshold are stored in the storage device 15 as component orientation determination data in association with the component identification information.
  • the size (area) of the determination region is set so as to ensure a certain size or more that can reliably recognize the determination region in consideration of a positional deviation error in image recognition.
  • the component orientation determination data for the capacitor component includes a total of five determination regions.
  • the final determination area is an OR (logical sum) of the determination areas obtained from the three difference images shown in FIGS.
  • the component orientation determination data of the BGA component is created through the following processes [3-1] to [3-9].
  • [3-1] Set the correct orientation (0 °) component, 90 ° horizontally rotated component, 180 ° horizontally rotated component, and 270 ° horizontally rotated component at the imaging position.
  • Parts outline data is automatically created by automatic creation process of parts outline data. Instead of the automatic creation process of the part outline data, the operator may input the outline dimension of the part with the input device 13.
  • [3-4] Process the image of the component in each direction to recognize the outline of the component in each direction, and obtain the center position and rotation angle of the component in each direction.
  • the difference image between the two images is calculated by matching the center position and rotation angle of the component image of the correct orientation (0 °) and the component image rotated 90 ° horizontally [see FIG. 8 (a)].
  • a memory such as a RAM
  • the difference image between the two images is calculated by matching the center position and rotation angle of the image of the component in the correct orientation (0 °) and the image of the component rotated 180 ° horizontally [see FIG.
  • the difference image an area where the luminance difference is maximum or a predetermined value or more is obtained, and the position information of the area is temporarily stored in a memory such as a RAM together with the imaging conditions.
  • the difference image between the two images is calculated by matching the center position and the rotation angle of the image of the component in the correct orientation (0 °) and the image of the component rotated 270 ° horizontally [see FIG. 8 (c).
  • a memory such as a RAM
  • the luminance value of the image of the component image of the correct orientation (0 °) obtained under the optimum imaging condition and the luminance value of the image of the image of the component of the other direction or the luminance difference of the determination region of each difference image The determination threshold value is calculated based on The optimum imaging conditions, the position information of the determination area, and the determination threshold value thus obtained are stored in the storage device 15 as component orientation determination data in association with the component identification information.
  • the size (area) of the determination region is set so as to ensure a certain size or more that can reliably recognize the determination region in consideration of a positional deviation error in image recognition.
  • the determination area candidate having the maximum luminance difference and / or area with respect to the image of the component in the correct orientation (0 °) is finally determined from these four determination area candidates. Selected as a region.
  • the luminance between the image of the component in the correct orientation and the image of the component in the other orientation is calculated.
  • a region where the difference is the maximum or a predetermined value or more that is, a region where the two images can be clearly distinguished
  • the luminance difference and / or the area of the determination region from among all the imaging conditions by repeating the process of calculating the difference image using the images of the parts of the plurality of orientations captured by changing the imaging condition and obtaining the determination region.
  • the optimal imaging condition Is selected as the optimal imaging condition, and the information on the optimal imaging condition is included in the component orientation determination data.
  • the component orientation determination data including the imaging condition information can be created easily and in a short time.
  • a determination threshold value is calculated based on the luminance value of the determination region of the image of the component in the correct orientation and the luminance value of the determination region of the image of the component in the other direction or the luminance difference of the determination region of the difference image, Since the determination threshold value is included in the component orientation determination data, the component orientation determination data including an appropriate determination threshold value that makes it easy to distinguish between an image of a component in the correct orientation and an image of a component in another orientation. Even an operator having a low level of skill in creating the component orientation determination data can easily create it in a short time.
  • the component orientation determination data may be created using a component mounter.
  • the component for which the component orientation determination data is created is attracted to the suction nozzle of the component mounter. Then, the component may be imaged from the lower surface side with a component recognition camera of the component mounter.
  • an optimal imaging condition search method and a determination threshold value calculation method may be appropriately changed. Needless to say, this can be done.

Landscapes

  • Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

カメラ（１２）で撮像した部品の画像のうちの部品向き判定データで指定された判定領域の輝度値を判定しきい値と比較して当該部品の向きを判定する部品向き判定システムで使用する前記部品向き判定データを作成する部品向き判定データ作成装置において、前記カメラに対して前記部品向き判定データの作成対象となる部品の向きを変えて撮像した複数の向きの部品の画像を取得して正しい向きの部品の画像と他の向きの部品の画像との差分画像を演算する。そして、この差分画像のうちの輝度差が最大又は所定値以上となる領域を求めて当該領域内に前記判定領域を指定する位置情報を含む前記部品向き判定データを演算する。部品向き判定データには、判定領域の位置情報の他に、最適な撮像条件の情報と判定しきい値が含まれる。

Description

部品向き判定データ作成装置及び部品向き判定データ作成方法
　本発明は、部品の外形の画像認識では向き（表裏、左右等）の判定が困難な部品の向きを判定するための部品向き判定データを作成する部品向き判定データ作成装置及び部品向き判定データ作成方法に関する発明である。
　部品実装機で回路基板に部品を実装するときに、部品の向き（表裏、左右等）を間違えて実装すると、部品の端子や電極が回路基板のランドに正しく接続されないため、不良基板を製造してしまうことになる。そこで、部品実装機の吸着ノズルに吸着した部品をその下面側からカメラで撮像して、画像処理によって部品の向きを判定することが一般に行われている。
　従来より、画像処理によって部品の向きを判定する手法の一つとして、特許文献１（特開平２－４４２３５号公報）に記載されているように、部品に極性マークを設けて、画像処理によって極性マークを認識して部品の向きを判定する手法があるが、この手法は、極性マークが設けられていない部品には適用できない。
　また、部品の外形の画像認識のみで、極性マークが無くても、表裏、左右等の向きを判定できる部品もあるが、部品の外形の画像認識のみでは、部品の向きを判定できない場合も多い。
　例えば、表裏反転（上下反転）しても、画像認識で同じ外形と認識される部品は、その外形からは部品の表裏を判定できないが、この場合でも、表裏で輝度値が顕著に異なる領域が存在する部品は、画像処理により表裏で輝度値が顕著に異なる領域の輝度値を求めて、その領域の輝度値を判定しきい値と比較して、部品の表裏を判定することが行われている。
　この場合、部品の表裏等の向きによって輝度値が顕著に異なる領域は、画像処理で使用する画像処理データに含まれる部品向き判定データで指定するようにしている。この部品向き判定データの作成は、データ作成スキルを持った熟練作業者が試行錯誤して行うようにしている。
特開平２－４４２３５号公報
　上述したように、部品向き判定データの作成は、データ作成スキルを持った熟練作業者が試行錯誤して行うようにしているため、部品向き判定データの作成作業は難易度が高く、経験の少ない熟練度の低い作業者では適切な部品向き判定データを作成するのが難しく、しかも、熟練作業者でも試行錯誤の繰り返しとなるため、適切な部品向き判定データを作成するのに時間がかかるという欠点がある。
　そこで、本発明が解決しようとする課題は、部品向き判定データ作成に関する熟練度の低い作業者でも、適切な部品向き判定データを簡単に且つ短時間で作成できるようにすることである。
　上記課題を解決するために、本発明は、カメラで撮像した部品の画像のうちの部品向き判定データで指定された判定領域の輝度値を判定しきい値と比較して当該部品の向きを判定する部品向き判定システムで使用する前記部品向き判定データを作成する部品向き判定データ作成装置において、前記カメラに対して前記部品向き判定データの作成対象となる部品の向きを変えて撮像した複数の向きの部品の画像を取得して正しい向きの部品の画像と他の向きの部品の画像との差分画像を演算し、その差分画像のうちの輝度差が最大又は所定値以上となる領域を求めて当該領域内に前記判定領域を指定する位置情報を含む前記部品向き判定データを演算するようにしたものである。
　本発明のように、正しい向きの部品の画像と他の向きの部品の画像との差分画像を演算すれば、正しい向きの部品の画像と他の向きの部品の画像との輝度差が最大又は所定値以上となる領域（つまり２つの画像を明瞭に区別できる領域）を差分画像の輝度差の波形から簡単に自動判定することができる。これにより、部品向き判定データ作成に関する熟練度の低い作業者でも、適切な部品向き判定データを簡単に且つ短時間で作成することができる。
　この場合、撮像条件（例えば、カメラの露光時間や、ライティングパターン、照明の明るさ等の照明条件等）が変化すると、差分画像の輝度差の波形も変化するため、差分画像のうちの輝度差の最大値も変化する。輝度差が大きいほど、２つの画像を区別しやすくなるため、部品向き判定データの作成対象となる部品の形状、材質、光沢度等に応じて最適な撮像条件が変化する可能性がある。
　そこで、撮像条件を変更して撮像した複数の向きの部品の画像を用いて差分画像を演算して判定領域を求める処理を繰り返して全ての撮像条件の中から判定領域の輝度差及び／又は面積が最大となる撮像条件を最適な撮像条件として選び出してその最適な撮像条件の情報を部品向き判定データに含ませるようにすると良い。このようにすれば、部品向き判定データ作成に関する熟練度の低い作業者でも、最適な撮像条件の情報を含む部品向き判定データを簡単に且つ短時間で作成することができる。
　更に、正しい向きの部品の画像の判定領域の輝度値と他の向きの部品の画像の判定領域の輝度値又は差分画像の判定領域の輝度差とに基づいて判定しきい値を算出して、その判定しきい値を部品向き判定データに含ませるようにしても良い。このようにすれば、正しい向きの部品の画像と他の向きの部品の画像とを判別しやすい適切な判定しきい値を含む部品向き判定データを、部品向き判定データ作成に関する熟練度の低い作業者でも、簡単に且つ短時間で作成することができる。
　部品向き判定データの作成に必要な部品の向きは、部品の形状等によって異なってくる。
　例えば、部品の外形の画像認識では上下反転（表裏反転）の判定が困難な部品の上下反転を判定するための部品向き判定データを作成する場合は、正しい向きの部品の画像と上下反転した部品の画像を取得して両画像の差分画像を演算するようにすれば良い。
　また、部品の外形の画像認識では、正しい向きと、９０°、１８０°、２７０°転倒の判定が困難な部品の向きを判定するための部品向き判定データを作成する場合は、正しい向きの部品の画像と、９０°、１８０°、２７０°転倒した部品の画像を取得して、前記正しい向きの部品の画像と９０°転倒した部品の画像との差分画像、前記正しい向きの部品の画像と１８０°転倒した部品の画像との差分画像、前記正しい向きの部品の画像と２７０°転倒した部品の画像との差分画像をそれぞれ演算し、演算した３つの差分画像について、それぞれ輝度差が最大又は所定値以上となる領域を求めて各領域内に判定領域を設定し、前記３つの差分画像の全ての前記判定領域を指定する位置情報を含む前記部品向き判定データを演算するようにすれば良い。
　また、部品の外形の画像認識では、正しい向きと、９０°、１８０°、２７０°水平回転した向きの判定が困難な部品の向きを判定するための部品向き判定データを作成する場合は、正しい向きの部品の画像と、９０°、１８０°、２７０°水平回転した部品の画像を取得して、前記正しい向きの部品の画像と９０°水平回転した部品の画像との差分画像、前記正しい向きの部品の画像と１８０°水平回転した部品の画像との差分画像、前記正しい向きの部品の画像と２７０°水平回転した部品の画像との差分画像をそれぞれ演算し、演算した３つの差分画像について、それぞれ輝度差が最大又は所定値以上となる領域を求めて各領域内に判定領域候補を設定し、前記３つの差分画像の全ての前記判定領域候補の中から正しい向きの部品の画像に対して輝度差及び／又は面積が最大となる判定領域候補を最終的に前記判定領域として選択するようにすれば良い。
　本発明は、部品向き判定データの作成に必要な複数の向きの部品の画像を取得するために撮像する部品の向きを作業者に指示する指示手段を備え、前記指示手段の指示に従って作業者が撮像位置に部品を指示された向きにセットしてカメラで撮像して、指示された向きの部品の画像を取得するようにしても良い。このようにすれば、部品向き判定データの作成に必要な向きの部品の画像を、部品向き判定データ作成に関する熟練度の低い作業者でも、簡単に取得することができる。
　或は、カメラで撮像する部品の向きを作業者が入力する入力手段を備えた構成としても良い。このようにすれば、部品向き判定データの作成に必要な部品の向きのデータが登録されていない新規の部品についても、作業者自身の判断で、撮像位置にセットする部品の向きを決めて、当該部品の向きのデータを入力して、部品向き判定データの作成に必要な向きの部品の画像を撮像して部品向き判定データを作成することができる。
図１は本発明の一実施例における部品向き判定データ作成装置の構成例を示すブロック図である。 図２は部品向き判定データ作成プログラムの処理の流れを示すフローチャートである。 図３は抵抗部品の部品向き判定データの作成に必要な２つの向きの部品を並べて撮像した画像を示す図である。 図４は抵抗部品の部品向き判定データを作成する差分画像演算処理と部品向き判定データ演算処理を説明する図である。 図５はコンデンサ部品の部品向き判定データの作成に必要な４つの向きの部品を並べて撮像した画像を示す図である。 図６はコンデンサ部品の部品向き判定データを作成する差分画像演算処理と部品向き判定データ演算処理を説明する図である。 図７はＢＧＡ部品の部品向き判定データの作成に必要な４つの向きの部品を並べて撮像した画像を示す図である。 図８はＢＧＡ部品の部品向き判定データを作成する差分画像演算処理と部品向き判定データ演算処理を説明する図である。
　以下、本発明を実施するための形態を具体化した一実施例を図面を用いて説明する。
　まず、図１に基づいて部品向き判定データ作成装置の構成例を説明する。
　部品向き判定データ作成装置は、パーソナルコンピュータ等のコンピュータ１１と、部品向き判定データの作成対象となる部品を撮像してグレースケール画像（濃淡画像）を取得するカメラ１２と、キーボード、マウス、タッチパネル等の入力装置１３（入力手段）と、液晶ディスプレイ、ＣＲＴ等の表示装置１４と、後述する図２の部品向き判定データ作成プログラム等が記憶された記憶装置１５を備えた構成となっている。
　コンピュータ１１は、部品実装機の吸着ノズルに吸着した部品の画像処理に使用する画像処理データを作成すると共に、部品の外形の画像認識では部品の向き（表裏、左右等）の判定が困難な部品の向きを判定するための部品向き判定データを作成するために、図２の部品向き判定データ作成プログラムを実行することで、部品画像取得手段による部品画像取得処理（ステップ１０１）、差分画像演算手段による差分画像演算処理（ステップ１０２）、部品向き判定データ演算手段による部品向き判定データ演算処理（ステップ１０３）を実行して部品向き判定データを作成する。この部品向き判定データは、画像処理データに含まれ、部品実装機の吸着ノズルに吸着した部品を画像処理する際に、該部品の画像のうちの部品向き判定データで指定された判定領域の輝度値を判定しきい値と比較して該部品の向きを判定するようにしている。
　部品画像取得処理では、カメラ１２に対して部品向き判定データの作成対象となる部品の向きを変えて撮像する処理を繰り返して、部品向き判定データの作成に必要な複数の向きの部品の画像を取得する。
　この際、部品を撮像位置にセットする作業は作業者が行うが、部品向き判定データの作成に必要な部品の向きが作業者には分からない可能性があるため、部品向き判定データの作成に必要な複数の向きの部品の画像を取得するために、撮像する部品の向きを作業者に指示する指示機能（指示手段）を搭載し、部品向き判定データの作成に必要な部品の向きのデータが記憶装置１５に登録されている部品を撮像する場合は、撮像する部品の向きを表示装置１４の表示や音声で作業者に指示するようにしている。
　また、カメラ１２で撮像する部品の向きを作業者が入力装置１３によって入力可能となっており、部品向き判定データの作成に必要な部品の向きのデータが登録されていない新規の部品を撮像する場合は、作業者自身の判断で、撮像位置にセットする部品の向きを決めて、当該部品の向きのデータを入力して、部品向き判定データの作成に必要な向きの部品の画像を撮像するようにしている。
　部品向き判定データの作成対象となる同一の部品を２個以上使用可能な場合は、２個以上の部品を互いに向きを変えて撮像位置に並べてセットして、カメラ１２の視野内に２個以上の部品を収めて撮像して、１回の撮像で向きの異なる２つ以上の部品を並べた画像を取得するようにしても良い。勿論、カメラ１２の視野内に部品を１個のみ収めて、１回の撮像で１つの向きのみを撮像するようにしても良い。
　差分画像演算処理では、複数の向きの部品の画像の中から選択した正しい向きの部品の画像と他の向きの部品の画像との差分画像を演算する。この差分画像の詳しい演算方法は、後で３つの例を用いて説明する。
　部品向き判定データ演算処理では、差分画像のうちの輝度差が最大又は所定値以上となる領域（つまり正しい向きの部品の画像と他の向きの部品の画像とを明瞭に区別できる領域）を求めて当該領域内に部品の向きを判定する判定領域を指定する位置情報を含む部品向き判定データを演算する。
　この場合、撮像条件（例えば、カメラ１２の露光時間や、ライティングパターン、照明の明るさ等の照明条件）が変化すると、差分画像の輝度差の波形も変化するため、差分画像のうちの輝度差の最大値も変化する。輝度差が大きいほど、２つの画像を区別しやすくなるため、部品向き判定データの作成対象となる部品の形状、材質、光沢度等に応じて最適な撮像条件が変化する可能性がある。
　そこで、撮像条件を変更して撮像した複数の向きの部品の画像を用いて差分画像を演算して判定領域を求める処理を所定回数繰り返して、全ての撮像条件の中から判定領域の輝度差及び／又は面積が最大となる撮像条件を最適な撮像条件として選び出してその最適な撮像条件の情報を部品向き判定データに含ませるようにしている。
　更に、正しい向きの部品の画像の判定領域の輝度値と他の向きの部品の画像の判定領域の輝度値又は差分画像の判定領域の輝度差とに基づいて判定しきい値を例えば下記の式により算出して、その判定しきい値を部品向き判定データに含ませるようにしている。
　　　　　　　判定しきい値＝（Ａ＋Ｂ）／２
　　　　　　　　　　　　　＝Ａ－Δ／２
　　　　　　　　　　Ａ：正しい向きの部品の画像の判定領域の輝度値
　　　　　　　　　　Ｂ：他の向きの部品の画像の判定領域の輝度値
　　　　　　　　　　Δ：差分画像の判定領域の輝度差（＝Ａ－Ｂ）
　ところで、部品向き判定データの作成に必要な部品の向きは、部品の形状等によって異なる。例えば、図３に示すような抵抗部品の場合、偏平な直方体形状で、部品の厚みが薄いため、上下反転（表裏反転）のみを判定すれば良い（水平方向の回転角度は部品の外形の画像認識により判定できる）。しかし、部品の外形の画像認識では上下反転の判定が困難であるため、上下反転を判定するための部品向き判定データを作成する必要がある。この場合は、図３に示すように、正しい向き（正常吸着）の部品の画像と上下反転（裏面吸着）した部品の画像を取得すれば良い。
　以下、図３の抵抗部品の部品向き判定データを作成する方法を説明する。この抵抗部品の部品向き判定データは、次の[1-1] ～[1-7] の処理を経て作成される。
　[1-1] 正しい向き（正常吸着）の部品と上下反転（裏面吸着）した部品を撮像位置にセットする。
　[1-2] 所定の撮像条件（例えば、カメラ１２の露光時間や、ライティングパターン、照明の明るさ等の照明条件等）に設定して、正しい向き（正常吸着）の部品の画像と上下反転（裏面吸着）した部品の画像をカメラ１２で撮像する。
　[1-3] 部品外形データの自動作成処理により部品外形データを自動的に作成する。尚、部品外形データの自動作成処理に代えて、作業者が部品の外形寸法を入力装置１３によって入力するようにしても良い。
　[1-4] 正しい向き（正常吸着）の部品の画像を処理して該部品の外形を認識して、該部品の中心位置と回転角度を求めると共に、上下反転（裏面吸着）した部品の画像を処理して該部品の外形を認識して、該部品の中心位置と回転角度を求める。
　[1-5] ２つの画像の部品の中心位置と回転角度を合わせて２つの画像の差分画像を演算し（図４参照）、その差分画像のうちの輝度差が最大又は所定値以上となる領域（つまり２つの画像を明瞭に区別できる領域）を求めて当該領域の位置情報を撮像条件と共にＲＡＭ等のメモリに一時記憶する。
　[1-6] 上記[1-2] から[1-5] までの工程を一巡する毎に、撮像条件を変更して、上記[1-2] から[1-5] までの処理を所定回数繰り返す。これにより、所定数の撮像条件で、差分画像のうちの輝度差が最大又は所定値以上となる領域を求めて当該領域の位置情報を撮像条件と共にＲＡＭ等のメモリに一時記憶する。
　[1-7] 記憶した全ての撮像条件の中から判定領域の輝度差及び／又は面積が最大となる撮像条件を最適な撮像条件として選び出して、最適な撮像条件で求めた差分画像のうちの輝度差が最大又は所定値以上となる領域の中心部分（図形中心又は重心）に部品の向きを判定する判定領域を設定すると共に、最適な撮像条件で求めた正しい向き（正常吸着）の部品の画像の判定領域の輝度値と上下反転（裏面吸着）した部品の画像の判定領域の輝度値又は差分画像の判定領域の輝度差とに基づいて判定しきい値を算出する。このようにして求めた最適な撮像条件と判定領域の位置情報と判定しきい値を、部品の識別情報等と関連付けて部品向き判定データとして記憶装置１５に記憶する。尚、判定領域のサイズ（面積）は、画像認識の位置ずれ誤差を考慮して判定領域を確実に認識できる一定サイズ以上を確保するように設定される。
　また、図５に示すようなコンデンサ部品の場合、両端面が正方形の直方体形状で、部品の厚みが厚いため、正しい向き（正常吸着）と、９０°転倒（側面吸着）、１８０°転倒（裏面吸着）、２７０°転倒（側面吸着）の４つの向きを判定する必要がある（水平方向の回転角度は部品の外形の画像認識により判定できる）。しかし、部品の外形の画像認識では上記４つの向きの判定が困難であるため、上記４つの向きを判定するための部品向き判定データを作成する必要がある。この場合は、図５に示すように、正しい向きの部品の画像と、９０°、１８０°、２７０°転倒した部品の画像を取得すれば良い。
　以下、図５のコンデンサ部品の部品向き判定データを作成する方法を説明する。このコンデンサ部品の部品向き判定データは、次の[2-1] ～[2-9] の処理を経て作成される。
　[2-1] 正しい向き（正常吸着）の部品、９０°転倒（側面吸着）の部品、１８０°転倒（裏面吸着）の部品、２７０°転倒（側面吸着）の部品を撮像位置にセットする。
　[2-2] 所定の撮像条件に設定して、上記４つの向きの部品の画像をカメラ１２で撮像する。
　[2-3] 部品外形データの自動作成処理により部品外形データを自動的に作成する。尚、部品外形データの自動作成処理に代えて、作業者が部品の外形寸法を入力装置１３によって入力するようにしても良い。
　[2-4] 各向きの部品の画像を処理して各向きの部品の外形を認識して、各向きの部品の中心位置と回転角度を求める。
　[2-5] 正しい向き（正常吸着）の部品の画像と９０°転倒（側面吸着）した部品の画像の部品の中心位置と回転角度を合わせて両画像の差分画像を演算し［図６（ａ）参照］、その差分画像のうちの輝度差が最大又は所定値以上となる領域を求めて当該領域の位置情報を撮像条件と共にＲＡＭ等のメモリに一時記憶する。
　[2-6] 正しい向き（正常吸着）の部品の画像と１８０°転倒（裏面吸着）した部品の画像の部品の中心位置と回転角度を合わせて両画像の差分画像を演算し［図６（ｃ）参照］、その差分画像のうちの輝度差が最大又は所定値以上となる領域を求めて当該領域の位置情報を撮像条件と共にＲＡＭ等のメモリに一時記憶する。
　[2-7] 正しい向き（正常吸着）の部品の画像と２７０°転倒（側面吸着）した部品の画像の部品の中心位置と回転角度を合わせて両画像の差分画像を演算し［図６（ｂ）参照］、その差分画像のうちの輝度差が最大又は所定値以上となる領域を求めて当該領域の位置情報を撮像条件と共にＲＡＭ等のメモリに一時記憶する。
　[2-8] 上記[2-2] から[2-7] までの工程を一巡する毎に、撮像条件を変更して、上記[2-2] から[2-7] までの処理を所定回数繰り返す。これにより、所定数の撮像条件で、３つの差分画像のうちの輝度差が最大又は所定値以上となる領域を求めて当該領域の位置情報を撮像条件と共にＲＡＭ等のメモリに一時記憶する。
　[2-9] 記憶した全ての撮像条件の中から判定領域の輝度差及び／又は面積が最大となる撮像条件を最適な撮像条件として選び出して、最適な撮像条件で求めた３つの差分画像のうちの輝度差が最大又は所定値以上となる領域の中心部分（図形中心又は重心）に部品の向きを判定する判定領域を設定すると共に、最適な撮像条件で求めた正しい向き（正常吸着）の部品の画像の判定領域の輝度値と他の向きの部品の画像の判定領域の輝度値又は各差分画像の判定領域の輝度差とに基づいて判定しきい値を算出する。このようにして求めた最適な撮像条件と３つの差分画像の判定領域の位置情報と判定しきい値を、部品の識別情報等と関連付けて部品向き判定データとして記憶装置１５に記憶する。尚、判定領域のサイズ（面積）は、画像認識の位置ずれ誤差を考慮して判定領域を確実に認識できる一定サイズ以上を確保するように設定される。
　図６（ａ）、（ｂ）に示す２つの差分画像では、それぞれ判定領域が１箇所ずつ設定され、図６（ｃ）に示す差分画像では、輝度差が最大又は所定値以上となる領域が３箇所となるため、その領域の中心部分に設定する判定領域も３箇所となる。これにより、コンデンサ部品の部品向き判定データには、合計５箇所の判定領域が含まれる。最終的な判定領域は、図６（ａ）～（ｃ）に示す３つの差分画像で求めた判定領域のＯＲ（論理和）となる。
　また、図７に示すようなＢＧＡ部品の場合、偏平な正方形状であるため、正しい向き（０°）と、９０°、１８０°、２７０°水平回転した向きを判定すれば良いが、部品の外形の画像認識では上記４つの向きの判定が困難であるため、上記４つの向きを判定するための部品向き判定データを作成する必要がある。この場合は、図７に示すように、正しい向き（０°）の部品の画像と、９０°、１８０°、２７０°水平回転した部品の画像を取得すれば良い。
　以下、図７のＢＧＡ部品の部品向き判定データを作成する方法を説明する。このＢＧＡ部品の部品向き判定データは、次の[3-1] ～[3-9] の処理を経て作成される。
　[3-1] 正しい向き（０°）の部品、９０°水平回転した部品、１８０°水平回転した部品、２７０°水平回転した部品を撮像位置にセットする。
　[3-2] 所定の撮像条件に設定して、上記４つの向きの部品の画像をカメラ１２で撮像する。
　[3-3] 部品外形データの自動作成処理により部品外形データを自動的に作成する。尚、部品外形データの自動作成処理に代えて、作業者が部品の外形寸法を入力装置１３によって入力するようにしても良い。
　[3-4] 各向きの部品の画像を処理して各向きの部品の外形を認識して、各向きの部品の中心位置と回転角度を求める。
　[3-5] 正しい向き（０°）の部品の画像と９０°水平回転した部品の画像の部品の中心位置と回転角度を合わせて両画像の差分画像を演算し［図８（ａ）参照］、その差分画像のうちの輝度差が最大又は所定値以上となる領域を求めて当該領域の位置情報を撮像条件と共にＲＡＭ等のメモリに一時記憶する。
　[3-6] 正しい向き（０°）の部品の画像と１８０°水平回転した部品の画像の部品の中心位置と回転角度を合わせて両画像の差分画像を演算し［図８（ｂ）参照］、その差分画像のうちの輝度差が最大又は所定値以上となる領域を求めて当該領域の位置情報を撮像条件と共にＲＡＭ等のメモリに一時記憶する。
　[3-7] 正しい向き（０°）の部品の画像と２７０°水平回転した部品の画像の部品の中心位置と回転角度を合わせて両画像の差分画像を演算し［図８（ｃ）参照］、その差分画像のうちの輝度差が最大又は所定値以上となる領域を求めて当該領域の位置情報を撮像条件と共にＲＡＭ等のメモリに一時記憶する。
　[3-8] 上記[3-2] から[3-7] までの工程を一巡する毎に、撮像条件を変更して、上記[3-2] から[3-7] までの処理を所定回数繰り返す。これにより、所定数の撮像条件で、３つの差分画像のうちの輝度差が最大又は所定値以上となる領域を求めて当該領域の位置情報を撮像条件と共にＲＡＭ等のメモリに一時記憶する。
　[3-9] 記憶した全ての撮像条件の中から判定領域の輝度差及び／又は面積が最大となる撮像条件を最適な撮像条件として選び出して、最適な撮像条件で求めた３つの差分画像のうちの輝度差が最大又は所定値以上となる領域の中心部分（図形中心又は重心）に判定領域候補を設定し、前記３つの差分画像の全ての前記判定領域候補のＯＲ（論理和）を求め、正しい向き（０°）の部品の画像に対して輝度差及び／又は面積が最大となる判定領域候補を最終的に判定領域として選択する。更に、最適な撮像条件で求めた正しい向き（０°）の部品の画像の判定領域の輝度値と他の向きの部品の画像の判定領域の輝度値又は各差分画像の判定領域の輝度差とに基づいて判定しきい値を算出する。このようにして求めた最適な撮像条件と判定領域の位置情報と判定しきい値を、部品の識別情報等と関連付けて部品向き判定データとして記憶装置１５に記憶する。尚、判定領域のサイズ（面積）は、画像認識の位置ずれ誤差を考慮して判定領域を確実に認識できる一定サイズ以上を確保するように設定される。
　図８（ａ）～（ｃ）に示す３つの差分画像では、それぞれ判定領域候補が２箇所ずつ設定され、３つの差分画像の判定領域候補のＯＲ（論理和）で４箇所の判定領域候補が求められるが、最後の処理で、これら４箇所の判定領域候補の中から正しい向き（０°）の部品の画像に対して輝度差及び／又は面積が最大となる判定領域候補が最終的に判定領域として選択される。
　以上説明した本実施例のように、正しい向きの部品の画像と他の向きの部品の画像との差分画像を演算すれば、正しい向きの部品の画像と他の向きの部品の画像との輝度差が最大又は所定値以上となる領域（つまり２つの画像を明瞭に区別できる領域）を差分画像の輝度差の波形から簡単に自動判定することができる。これにより、部品向き判定データ作成に関する熟練度の低い作業者でも、適切な部品向き判定データを簡単に且つ短時間で作成することができると共に、部品向き判定データの精度を向上でき、不良基板の生産を防止できる。
　しかも、撮像条件を変更して撮像した複数の向きの部品の画像を用いて差分画像を演算して判定領域を求める処理を繰り返して全ての撮像条件の中から判定領域の輝度差及び／又は面積が最大となる撮像条件を最適な撮像条件として選び出してその最適な撮像条件の情報を部品向き判定データに含ませるようにしたので、部品向き判定データ作成に関する熟練度の低い作業者でも、最適な撮像条件の情報を含む部品向き判定データを簡単に且つ短時間で作成することができる。
　更に、正しい向きの部品の画像の判定領域の輝度値と他の向きの部品の画像の判定領域の輝度値又は差分画像の判定領域の輝度差とに基づいて判定しきい値を算出して、その判定しきい値を部品向き判定データに含ませるようにしたので、正しい向きの部品の画像と他の向きの部品の画像とを判別しやすい適切な判定しきい値を含む部品向き判定データを、部品向き判定データ作成に関する熟練度の低い作業者でも、簡単に且つ短時間で作成することができる。
　尚、本発明は、部品実装機を使用して部品向き判定データを作成するようにしても良く、この場合には、部品向き判定データの作成対象となる部品を部品実装機の吸着ノズルに吸着して、その部品を下面側から部品実装機の部品認識用のカメラで撮像するようにすれば良い。
　その他、本発明は、上記実施例に限定されず、例えば、最適な撮像条件の探索方法や判定しきい値の算出方法を適宜変更しても良い等、要旨を逸脱しない範囲内で種々変更して実施できることは言うまでもない。
　１１…コンピュータ（差分画像演算手段，部品向き判定データ演算手段，指示手段）、１２…カメラ、１３…入力装置（入力手段）、１４…表示装置、１５…記憶装置

Claims (12)

  1. 　カメラで撮像した部品の画像のうちの部品向き判定データで指定された判定領域の輝度値を判定しきい値と比較して当該部品の向きを判定する部品向き判定システムで使用する前記部品向き判定データを作成する部品向き判定データ作成装置において、
    　前記カメラに対して前記部品向き判定データの作成対象となる部品の向きを変えて撮像した複数の向きの部品の画像を取得して正しい向きの部品の画像と他の向きの部品の画像との差分画像を演算する差分画像演算手段と、
    　前記差分画像のうちの輝度差が最大又は所定値以上となる領域を求めて当該領域内に前記判定領域を指定する位置情報を含む前記部品向き判定データを演算する部品向き判定データ演算手段と
    　を備えていることを特徴とする部品向き判定データ作成装置。
  2. 　撮像条件を変更して撮像した前記複数の向きの部品の画像を用いて前記差分画像演算手段により前記差分画像を演算して前記部品向き判定データ演算手段により前記判定領域を求める処理を繰り返して全ての撮像条件の中から前記判定領域の輝度差及び／又は面積が最大となる撮像条件を最適な撮像条件として選び出してその最適な撮像条件の情報を前記部品向き判定データに含ませる最適撮像条件探索手段を備えていることを特徴とする請求項１に記載の部品向き判定データ作成装置。
  3. 　前記部品向き判定データ演算手段は、前記正しい向きの部品の画像の判定領域の輝度値と前記他の向きの部品の画像の判定領域の輝度値又は前記差分画像の判定領域の輝度差とに基づいて前記判定しきい値を算出して、その判定しきい値を前記部品向き判定データに含ませることを特徴とする請求項１又は２に記載の部品向き判定データ作成装置。
  4. 　部品の外形の画像認識では上下反転の判定が困難な部品の上下反転を判定するための前記部品向き判定データを作成する部品向き判定データ作成装置であって、
    　前記差分画像演算手段は、前記正しい向きの部品の画像と上下反転した部品の画像を取得して両画像の差分画像を演算することを特徴とする請求項１乃至３のいずれかに記載の部品向き判定データ作成装置。
  5. 　部品の外形の画像認識では、正しい向きと、９０°、１８０°、２７０°転倒の判定が困難な部品の向きを判定するための前記部品向き判定データを作成する部品向き判定データ作成装置であって、
    　前記差分画像演算手段は、前記正しい向きの部品の画像と、９０°、１８０°、２７０°転倒した部品の画像を取得して、前記正しい向きの部品の画像と９０°転倒した部品の画像との差分画像、前記正しい向きの部品の画像と１８０°転倒した部品の画像との差分画像、前記正しい向きの部品の画像と２７０°転倒した部品の画像との差分画像をそれぞれ演算し、
    　前記部品向き判定データ演算手段は、前記差分画像演算手段で演算した３つの差分画像について、それぞれ輝度差が最大又は所定値以上となる領域を求めて各領域内に前記判定領域を設定し、前記３つの差分画像の全ての前記判定領域を指定する位置情報を含む前記部品向き判定データを演算することを特徴とする請求項１乃至３のいずれかに記載の部品向き判定データ作成装置。
  6. 　部品の外形の画像認識では、正しい向きと、９０°、１８０°、２７０°水平回転した向きの判定が困難な部品の向きを判定するための前記部品向き判定データを作成する部品向き判定データ作成装置であって、
    　前記差分画像演算手段は、前記正しい向きの部品の画像と、９０°、１８０°、２７０°水平回転した部品の画像を取得して、前記正しい向きの部品の画像と９０°水平回転した部品の画像との差分画像、前記正しい向きの部品の画像と１８０°水平回転した部品の画像との差分画像、前記正しい向きの部品の画像と２７０°水平回転した部品の画像との差分画像をそれぞれ演算し、
    　前記部品向き判定データ演算手段は、前記差分画像演算手段で演算した３つの差分画像について、それぞれ輝度差が最大又は所定値以上となる領域を求めて各領域内に判定領域候補を設定し、前記３つの差分画像の全ての前記判定領域候補の中から前記正しい向きの部品の画像に対して輝度差及び／又は面積が最大となる判定領域候補を最終的に前記判定領域として選択することを特徴とする請求項１乃至３のいずれかに記載の部品向き判定データ作成装置。
  7. 　前記部品向き判定データの作成に必要な前記複数の向きの部品の画像を取得するために撮像する部品の向きを作業者に指示する指示手段を備え、前記指示手段の指示に従って作業者が撮像位置に部品を指示された向きにセットして前記カメラで撮像して、指示された向きの部品の画像を取得することを特徴とする請求項１乃至６のいずれかに記載の部品向き判定データ作成装置。
  8. 　前記カメラで撮像する部品の向きを作業者が入力する入力手段を備えていることを特徴とする請求項１乃至７のいずれかに記載の部品向き判定データ作成装置。
  9. 　カメラで撮像した部品の画像のうちの部品向き判定データで指定された判定領域の輝度値を判定しきい値と比較して当該部品の向きを判定する部品向き判定システムで使用する前記部品向き判定データを作成する部品向き判定データ作成方法において、
    　前記カメラに対して前記部品向き判定データの作成対象となる部品の向きを変えて撮像する処理を繰り返して前記部品向き判定データの作成に必要な複数の向きの部品の画像を取得する部品画像取得処理と、
    　前記複数の向きの部品の画像の中から選択した正しい向きの部品の画像と他の向きの部品の画像との差分画像を演算する差分画像演算処理と、
    　前記差分画像のうちの輝度差が最大又は所定値以上となる領域を求めて当該領域内に前記判定領域を指定する位置情報を含む前記部品向き判定データを演算する部品向き判定データ演算処理と
    　を含むことを特徴とする部品向き判定データ作成方法。
  10. 　部品の外形の画像認識では上下反転の判定が困難な部品の上下反転を判定するための前記部品向き判定データを作成する部品向き判定データ作成方法であって、
    　前記部品画像取得処理で、前記正しい向きの部品の画像と上下反転した部品の画像を取得し、
    　前記差分画像演算処理で、前記正しい向きの部品の画像と上下反転した部品の画像を取得して両画像の差分画像を演算することを特徴とする請求項９に記載の部品向き判定データ作成方法。
  11. 　部品の外形の画像認識では、正しい向きと、９０°、１８０°、２７０°転倒の判定が困難な部品の向きを判定するための前記部品向き判定データを作成する部品向き判定データ作成方法であって、
    　前記部品画像取得処理で、前記正しい向きの部品の画像と、９０°、１８０°、２７０°転倒した部品の画像を取得し、
    　前記差分画像演算処理で、前記正しい向きの部品の画像と９０°転倒した部品の画像との差分画像、前記正しい向きの部品の画像と１８０°転倒した部品の画像との差分画像、前記正しい向きの部品の画像と２７０°転倒した部品の画像との差分画像をそれぞれ演算し、
    　前記部品向き判定データ演算処理で、前記差分画像演算処理で演算した３つの差分画像について、それぞれ輝度差が最大又は所定値以上となる領域を求めて各領域内に前記判定領域を設定し、前記３つの差分画像の全ての前記判定領域を指定する位置情報を含む前記部品向き判定データを演算することを特徴とする請求項９に記載の部品向き判定データ作成方法。
  12. 　部品の外形の画像認識では、正しい向きと、９０°、１８０°、２７０°水平回転した向きの判定が困難な部品の向きを判定するための前記部品向き判定データを作成する部品向き判定データ作成方法であって、
    　前記部品画像取得処理で、前記正しい向きの部品の画像と、９０°、１８０°、２７０°水平回転した部品の画像を取得し、
    　前記差分画像演算処理で、前記正しい向きの部品の画像と９０°水平回転した部品の画像との差分画像、前記正しい向きの部品の画像と１８０°水平回転した部品の画像との差分画像、前記正しい向きの部品の画像と２７０°水平回転した部品の画像との差分画像をそれぞれ演算し、
    　前記部品向き判定データ演算処理で、前記差分画像演算処理で演算した３つの差分画像について、それぞれ輝度差が最大又は所定値以上となる領域を求めて各領域内に判定領域候補を設定し、前記３つの差分画像の全ての前記判定領域候補の中から前記正しい向きの部品の画像に対して輝度差及び／又は面積が最大となる判定領域候補を最終的に前記判定領域として選択することを特徴とする請求項９に記載の部品向き判定データ作成方法。
PCT/JP2015/064655 2015-05-21 2015-05-21 部品向き判定データ作成装置及び部品向き判定データ作成方法 WO2016185615A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2015/064655 WO2016185615A1 (ja) 2015-05-21 2015-05-21 部品向き判定データ作成装置及び部品向き判定データ作成方法
US15/571,947 US11357149B2 (en) 2015-05-21 2015-05-21 Component orientation determination data creation device and component orientation determination data creation method
EP15892614.7A EP3300473B1 (en) 2015-05-21 2015-05-21 Component orientation determination data creation device and component orientation determination data creation method
JP2017518710A JP6480575B2 (ja) 2015-05-21 2015-05-21 部品向き判定データ作成装置及び部品向き判定データ作成方法
CN201580079860.1A CN107535090B (zh) 2015-05-21 2015-05-21 元件方向判定数据生成装置及元件方向判定数据生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/064655 WO2016185615A1 (ja) 2015-05-21 2015-05-21 部品向き判定データ作成装置及び部品向き判定データ作成方法

Publications (1)

Publication Number Publication Date
WO2016185615A1 true WO2016185615A1 (ja) 2016-11-24

Family

ID=57319681

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/064655 WO2016185615A1 (ja) 2015-05-21 2015-05-21 部品向き判定データ作成装置及び部品向き判定データ作成方法

Country Status (5)

Country Link
US (1) US11357149B2 (ja)
EP (1) EP3300473B1 (ja)
JP (1) JP6480575B2 (ja)
CN (1) CN107535090B (ja)
WO (1) WO2016185615A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11386546B2 (en) * 2018-02-09 2022-07-12 Fuji Corporation System for creating learned model for component image recognition, and method for creating learned model for component image recognition
EP4081010A4 (en) * 2019-12-16 2022-12-28 Fuji Corporation COMPONENT MOUNTING DEVICE

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0221247A (ja) * 1988-07-08 1990-01-24 Matsushita Electric Ind Co Ltd 電子部品の表裏反転検出方法
JPH06123611A (ja) * 1992-10-12 1994-05-06 Shinko Electric Co Ltd 部品姿勢判別装置の教示方法
JP2009076796A (ja) * 2007-09-24 2009-04-09 Fuji Mach Mfg Co Ltd 電子部品向き検査装置及び電子部品向き検査方法並びに電子部品装着機
JP2009094375A (ja) * 2007-10-11 2009-04-30 Fuji Mach Mfg Co Ltd 部品吸着姿勢判別方法及び部品吸着姿勢判別システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0244235A (ja) 1988-08-03 1990-02-14 Matsushita Electric Ind Co Ltd 電子部品の極性検査方法
US5416335A (en) * 1994-04-15 1995-05-16 Seagate Technology, Inc. Automated visual inspection system for determining the set positions of a row of dip switches
US6711293B1 (en) * 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US6490369B1 (en) * 1999-07-06 2002-12-03 Fanuc Robotics North America Method of viewing and identifying a part for a robot manipulator
US7454053B2 (en) * 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
JP2010054269A (ja) * 2008-08-27 2010-03-11 Toshiba Corp 外観検査方法、プログラムおよび外観検査装置
JP5307617B2 (ja) * 2009-04-27 2013-10-02 三菱電機株式会社 基板の実装状態検査方法および基板の実装状態検査装置
JP5877639B2 (ja) * 2010-12-27 2016-03-08 富士機械製造株式会社 画像生成装置および画像生成方法
JP6083747B2 (ja) 2012-10-24 2017-02-22 国立研究開発法人産業技術総合研究所 位置姿勢検出システム
JP6389651B2 (ja) * 2013-09-10 2018-09-12 Juki株式会社 検査方法、実装方法、及び実装装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0221247A (ja) * 1988-07-08 1990-01-24 Matsushita Electric Ind Co Ltd 電子部品の表裏反転検出方法
JPH06123611A (ja) * 1992-10-12 1994-05-06 Shinko Electric Co Ltd 部品姿勢判別装置の教示方法
JP2009076796A (ja) * 2007-09-24 2009-04-09 Fuji Mach Mfg Co Ltd 電子部品向き検査装置及び電子部品向き検査方法並びに電子部品装着機
JP2009094375A (ja) * 2007-10-11 2009-04-30 Fuji Mach Mfg Co Ltd 部品吸着姿勢判別方法及び部品吸着姿勢判別システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3300473A4 *

Also Published As

Publication number Publication date
EP3300473B1 (en) 2024-01-24
US20180124963A1 (en) 2018-05-03
CN107535090A (zh) 2018-01-02
CN107535090B (zh) 2020-09-01
EP3300473A4 (en) 2018-06-20
JPWO2016185615A1 (ja) 2018-03-08
US11357149B2 (en) 2022-06-07
JP6480575B2 (ja) 2019-03-13
EP3300473A1 (en) 2018-03-28

Similar Documents

Publication Publication Date Title
US10363664B2 (en) Information processing apparatus, information processing method, and recording medium
US11972589B2 (en) Image processing device, work robot, substrate inspection device, and specimen inspection device
CN106020436A (zh) 图像分析装置及图像分析方法
CN108353534B (zh) 引脚前端位置图像识别方法及引脚前端位置图像识别系统
JP6472801B2 (ja) 部品データ取扱装置および部品データ取扱方法並びに部品実装システム
JP2015133049A (ja) 画像照合装置、画像センサ、処理システム、画像照合方法
JP5919212B2 (ja) 目視照合支援装置およびその制御方法
JP6016760B2 (ja) 作業確認システム
WO2016185615A1 (ja) 部品向き判定データ作成装置及び部品向き判定データ作成方法
JPWO2005096130A1 (ja) 撮像装置の指示位置検出方法および装置、撮像装置の指示位置検出用プログラム
CN111199533B (zh) 图像处理装置
CN105718929B (zh) 全天候未知环境下高精度快速圆形目标定位方法和系统
JP2006060101A (ja) 部品データ作成方法及び部品データ作成装置
JP2017130592A (ja) 部品データ取扱装置および部品データ取扱方法並びに部品実装システム
JP4382649B2 (ja) アライメントマーク認識方法，アライメントマーク認識装置および接合装置
JP4815592B2 (ja) 物体検出方法
JP2013010157A (ja) ロボット制御システム、ロボットシステム及びマーカー処理方法
JP6277044B2 (ja) 基板処理装置および実装機
CN104251687B (zh) 一种基于镜面图像处理的零件表面平整度检测方法
JP2019054027A (ja) 位置特定方法および位置特定装置ならびに部品実装装置
JPH11132737A (ja) 画像処理方法
JP2006234793A (ja) 部品位置検出方法および装置
JP6794215B2 (ja) 基板検査装置
KR20170083779A (ko) 야구 게임 시스템
JP4251005B2 (ja) 画像処理方法及びその装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15892614

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017518710

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15571947

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE