JP4255115B2 - Captured image processing apparatus and captured image processing method for electronic component mounter - Google Patents
Captured image processing apparatus and captured image processing method for electronic component mounter Download PDFInfo
- Publication number
- JP4255115B2 JP4255115B2 JP2003158768A JP2003158768A JP4255115B2 JP 4255115 B2 JP4255115 B2 JP 4255115B2 JP 2003158768 A JP2003158768 A JP 2003158768A JP 2003158768 A JP2003158768 A JP 2003158768A JP 4255115 B2 JP4255115 B2 JP 4255115B2
- Authority
- JP
- Japan
- Prior art keywords
- suction
- component
- electronic component
- captured image
- suction nozzle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Supply And Installment Of Electrical Components (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、吸着ノズルに吸着した電子部品をカメラで撮像してその撮像画像データに基づいて該電子部品の外観情報及び/又は吸着位置情報を検出するようにした電子部品実装機の撮像画像処理装置及び撮像画像処理方法に関するものである。
【0002】
【従来の技術】
一般に、電子部品実装機は、吸着ノズルにおける電子部品の吸着異常を検出する機能を備えている。電子部品の吸着異常の態様には、例えば、不良部品の吸着、異なる部品の吸着、部品の立ち吸着、吸着ミスによる吸着部品無しがある。吸着ノズルに吸着した電子部品をカメラで撮像する場合は、カメラの撮像画像から取り込んだ吸着部品の外観情報に基づいて不良部品や異なる部品を検出するようにしているが、従来の画像処理技術では撮像画像から吸着部品無しの状態を認識することはできなかった。
【0003】
そのため、従来は、吸着ノズルの真空吸引系に真空センサを設けて、吸着ノズルの部品吸着動作後の真空度を真空センサで検出して、その真空度によって吸着部品の有無を判定するようにしている。
【0004】
しかしながら、小径の吸着ノズルを使用する場合は、吸着部品有りと吸着部品無しの場合で、真空度の差が小さくなるため、吸着部品の有無を正確に判定できない。また、部品が立ち吸着されている場合は、吸着ノズルの先端から真空漏れが発生することがあるため、部品の立ち吸着を吸着部品無しと誤判定する可能性がある。
【0005】
このような問題を解決するために、特許文献1(特開2000−136904号公報)に記載されているように、吸着ノズルに吸着した電子部品を反射光照明により撮像して電子部品を画像認識し、その結果、吸着異常と認識された場合には、反射光照明を透過光照明に切り換えて、再度、画像認識して、吸着部品の有無を判定するようにしたものがある。
【0006】
【特許文献1】
特開2000−136904号公報(第2頁〜第3頁等)
【0007】
【発明が解決しようとする課題】
しかしながら、上記特許文献1の電子部品実装機では、反射光照明と透過光照明の2種類の照明装置が必要となるため、照明装置のコストが高くなると共に、照明装置の設置スペースを2箇所に確保する必要があり、照明装置全体の構成が大型化する欠点がある。
【0008】
本発明はこのような事情を考慮してなされたものであり、従ってその目的は、既存の電子部品実装機に対して、ソフトウェア(プログラム)の追加又は変更のみで吸着ノズルの吸着部品の有無を判定する機能を持たせることができる電子部品実装機の撮像画像処理装置及び撮像画像処理方法を提供することにある。
【0009】
【課題を解決するための手段】
上記目的を達成するために、本発明は、予め、吸着ノズルに電子部品を吸着していない状態で該吸着ノズル及びその周囲の背景部分をカメラで撮像して得られた撮像画像(以下「吸着部品無し背景画像」という)に基づいてマスク処理値を設定して記憶手段に記憶しておき、吸着ノズルの部品吸着動作後にカメラの撮像画像を取り込み、該撮像画像の各ピクセル(画素)の輝度を前記マスク処理値と比較して、該マスク処理値以上の輝度のピクセル数(反射光照明の場合)又は該マスク処理値以下の輝度のピクセル数(透過光照明の場合)に基づいて該吸着ノズルの吸着部品の有無を判定するようにしたものである。後述するように、マスク処理値は、吸着部品無し背景画像のピクセルの輝度の頻度分布を表す輝度ヒストグラムの近似式の曲線が頻度0の線と交わる輝度に設定されている。
【0010】
一般に、カメラ付きの電子部品実装機では、反射光照明を用い、カメラの撮像画像に写る吸着ノズル及びその周囲の背景部分を黒色に着色することで、電子部品の画像とそれ以外の背景画像とを区別しやすいようにしている。従って、予め、吸着ノズルに電子部品を吸着していない状態を撮像して得られた吸着部品無し背景画像に基づいてマスク処理値を設定しておけば、撮像画像の各ピクセルの輝度を前記マスク処理値と比較して、該マスク処理値以上の輝度のピクセル数(反射光照明の場合)又は該マスク処理値以下の輝度のピクセル数(透過光照明の場合)を計数することで、吸着部品の画像の面積(吸着部品の大きさ)に比例するピクセル数を求めることができ、吸着部品の有無を精度良く判定することができる。これにより、既存の電子部品実装機に対して、ソフトウェア(プログラム)の追加又は変更のみで吸着ノズルの吸着部品の有無を判定する機能を持たせることができる。
【0011】
本発明は、予め、吸着部品無し背景画像のピクセルの輝度の頻度分布を表す輝度ヒストグラムを作成して、その輝度ヒストグラムに基づいて前記マスク処理値を設定するようにしているため、輝度ヒストグラムによってノイズ等を排除することができ、マスク処理値の精度を高めることができる。
【0012】
更に、本発明は、輝度ヒストグラムの近似式の曲線が頻度0の線と交わる輝度を前記マスク処理値として設定するようにしているため、撮像画像に写る吸着ノズル及びその周囲の背景部分をマスキングするためのマスク処理値を精度良く設定することができる。
【0013】
また、吸着部品有りと判断する最小のピクセル数を、吸着ノズルで吸着可能な最小の電子部品を立ち吸着したときの撮像画像に基づいて設定するようにすると良い。このようにすれば、吸着ノズルに小さなごみ等が吸着されたときに、ごみ等を吸着部品と誤判定することを回避することができる。
【0014】
また、カメラの撮像画像のピクセルを間引きしてサンプリングするようにしても良い。つまり、吸着部品の有無を検出する際には、吸着部品の形状を正確に認識する必要はなく、ある程度大雑把に認識できれば良いため、吸着部品の外観情報を正確に認識する場合よりも少ないピクセル数で吸着部品を認識すれば良い。このため、吸着部品の有無を検出する際の画像処理時に、間引き処理を行うことが可能となり、それによって、コンピュータの演算速度を高速化し、且つ、演算負荷を軽減することができる。
尚、吸着部品無しと判定した場合には、再度、吸着ノズルの部品吸着動作を実行し、吸着部品有りと判定した場合には、画像処理による部品認識が正常に行われたか否かを判定し、画像処理による部品認識が正常に行われなかったと判定したときに、前記吸着ノズルに吸着されている部品を所定の廃棄場所に廃棄するようにすると良い。
【0015】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。本発明は、吸着ノズルに吸着した電子部品を撮像するカメラを備えた電子部品実装機であれば、そのシステム構成を問わず、全ての機種に適用できるため、電子部品実装機の機械的構成の説明は省略する。尚、カメラを備えた電子部品実装機の一例は、例えば特開2000−294990号公報に記載されている。
【0016】
本実施形態の電子部品実装機では、反射光照明を用い、カメラの撮像画像に写る吸着ノズル11及びその周囲の背景部分12(バックプレート等)を黒色に着色している。
【0017】
次に、撮像画像に写る吸着ノズル11及びその周囲の背景部分12をマスキングするためのマスク処理値を設定する方法を説明する。まず、吸着ノズル11に電子部品を吸着していない状態で該吸着ノズル11及びその周囲の背景部分12をカメラで撮像して、吸着部品無し背景画像を取得する。
【0018】
この後、この吸着部品無し背景画像のピクセル(画素)の輝度の頻度分布を表す輝度ヒストグラムを作成する(図3参照)。この際、吸着部品無し背景画像の全てのピクセルをサンプリングして全てのピクセルに関する輝度ヒストグラムを作成しても良いが、吸着部品無し背景画像のピクセルを1個おきに間引きしてサンプリングすることで、サンプリング数を1/2に減らしても良い。
【0019】
図3に示すように、輝度ヒストグラムは、横軸(X軸)の目盛りを輝度0から255までの256階調(8ビットの場合)とし、縦軸(Y軸)の目盛りを頻度とする。ノイズを除去するために、頻度が例えば5未満を切り捨てる。つまり、頻度が5未満は、頻度0とみなす。輝度ヒストグラムには、2つのピークが出来る。一方のピークは、吸着ノズル11の周囲の背景部分12(バックプレート等)の画像によるピークであり、他方のピークは、吸着ノズル11の画像によるピークである。
【0020】
そして、輝度ヒストグラムの2つのピークのうち輝度が大きい方のピークを検索する。この際、輝度ヒストグラムが輝度100以下の領域に分布することを考慮して、例えば、輝度100から降順に頻度が落ち込むピーク輝度を求める。
【0021】
この後、求めたピーク輝度から次の二次元多項式の近似式を求める(図3における2点鎖線)。
Y=aX2 +bX+c
Y:頻度
X:輝度
a,b,c:係数
【0022】
尚、二次元多項式に限定されず、1次元多項式又は3次元以上の多項式でも良い。要は、輝度ヒストグラムの近似式が得られれば良い。本実施形態では、二次元多項式の近似式を用いるものとする。
【0023】
この後、輝度ヒストグラムの二次元多項式の近似式の曲線が頻度0(Y=0)の線と交わる輝度Xを求め、これをマスク処理値として設定する。このマスク処理値は、画像処理を行うコンピュータの記憶装置(記憶手段)に記憶される。
【0024】
二次元多項式の近似式の曲線が頻度0の線と交わる輝度X(マスク処理値)は二次方程式(aX2 +bX+c=0)の解の公式から算出すれば良い。
【0025】
【数1】
【0026】
上記解の公式から輝度Xを算出する場合、近似式の曲線が頻度0(Y=0)の線と交わらない場合があるので、二次方程式の判別式(b2 −4ac)がプラス値であるか否かで、輝度X(マスク処理値)を算出可能か否かを判定する。もし、判別式(b2 −4ac)がマイナス値であれば、輝度Xを算出不能(解なし)と判断して、マスク処理値の設定エラーとする。
【0027】
次に、吸着部品有りと判断する最小のピクセル数(判定ピクセル数)の設定方法を説明する。本実施形態では、吸着部品有りと判断する最小のピクセル数(判定ピクセル数)を、吸着ノズル11で吸着可能な最小の電子部品を立ち吸着したときの撮像画像に基づいて設定する。以下、これを具体的に説明する。
【0028】
吸着ノズル11で吸着可能な最小の電子部品Aのサイズを、図4に示すように0.6mm×0.3mm×0.25mmとする。正常な吸着状態では、部品Aの0.6mm×0.3mmの面が撮像されるが、立ち吸着状態では、部品Aの最小面(0.3mm×0.25mmの面)が撮像される。
【0029】
1ピクセルの大きさ(ユニット値)が例えば40μmの場合の部品Aの最小面の画像のピクセル数は、縦:0.25mm/40μm=6.25(ピクセル)であり、横:0.3mm/40μm=7.5(ピクセル)である。従って、部品Aの最小面の画像の総ピクセル数は、6.25×7.5=46.875(ピクセル)となる。本実施形態では、部品Aの最小面の画像のピクセルを1個おきに間引きしてサンプリングするため、部品Aの最小面の画像の総ピクセル数は、面積で1/4に相当する12(ピクセル)となる。この12(ピクセル)が判定ピクセル数となる。この判定ピクセル数は、画像処理を行うコンピュータの記憶装置(記憶手段)に記憶される。
【0030】
吸着ノズル11の部品吸着動作後にカメラの撮像画像を1ピクセルおきに間引きしてサンプリングし、マスク処理値以上の輝度のピクセル数が判定ピクセル数以上存在すれば、吸着部品有りと判定し、判定ピクセル数未満であれば、吸着部品無しと判定する。尚、判定ピクセル数は、1ピクセルの大きさ(ユニット値)から求めるので、カメラの分解能の違いによって異なってくる。
【0031】
以上説明した吸着部品有無の判定は、画像処理を行うコンピュータによって図5のプログラムに従って実行される。本プログラムは、吸着ノズル11の部品吸着動作後に起動され、まず、ステップ101で、カメラの撮像画像を1ピクセルおきに間引きしてサンプリングする。この後、ステップ102に進み、サンプリングしたピクセルの中に、マスク処理値以上の輝度のピクセルが存在するか否かを判定し、マスク処理値以上の輝度のピクセルが存在しなければ、ステップ108に進み、吸着部品無しと判定する。この場合は、ステップ107に進み、再度、吸着ノズル11の部品吸着動作を繰り返す。
【0032】
一方、ステップ102でマスク処理値以上の輝度のピクセルが存在すると判定された場合は、ステップ103に進み、マスク処理値以上の輝度のピクセル数が判定ピクセル数以上であるか否かを判定する。もし、マスク処理値以上の輝度のピクセル数が判定ピクセル数未満であれば、吸着ノズル11で吸着可能な最小の電子部品Aよりも小さいごみ等を撮像したものと判断して、ステップ108に進み、吸着部品無しと判定し、再度、吸着ノズル11の部品吸着動作を繰り返す(ステップ107)。
【0033】
これに対して、マスク処理値以上の輝度のピクセル数が判定ピクセル数以上存在すれば、ステップ104に進み、吸着部品有りと判定する。この場合は、ステップ105に進み、画像処理による部品認識が正常に行われたか否かを判定し、部品認識が正常に行われなかった場合(例えば不良部品の吸着、異なる部品の吸着の場合)は、ステップ109に進み、吸着ノズル11に吸着されている部品を所定の廃棄場所に廃棄する。
【0034】
上記ステップ105で、部品認識が正常に行われたと判定されれば、ステップ106に進み、吸着ノズル11に吸着されている部品を回路基板の所定位置に実装する。この後、ステップ107に進み、吸着ノズル11に新たな電子部品を吸着する。
【0035】
以上説明した本実施形態によれば、予め、吸着ノズル11に電子部品を吸着していない状態で該吸着ノズル11及びその周囲の背景部分12をカメラで撮像して得られた吸着部品無し背景画像に基づいてマスク処理値を設定しておき、吸着ノズル11の部品吸着動作後にカメラの撮像画像を取り込み、該撮像画像の各ピクセルの輝度を前記マスク処理値と比較して、該マスク処理値以上の輝度のピクセル数が判定ピクセル数以上であるか否かで、該吸着ノズル11の吸着部品の有無を判定するようにしたので、既存の電子部品実装機に対して、ソフトウェア(プログラム)の追加又は変更のみで吸着ノズル11の吸着部品の有無を判定する機能を持たせることができる。
【0036】
しかも、マスク処理値を設定する際に、吸着部品無し背景画像のピクセルの輝度の頻度分布を表す輝度ヒストグラムを作成して、その輝度ヒストグラムに基づいて前記マスク処理値を設定するようにしたので、輝度ヒストグラムによってノイズ等を排除することができ、撮像画像に写る吸着ノズル11及びその周囲の背景部分12をマスキングするためのマスク処理値を精度良く設定することができる。
【0037】
また、吸着部品有りと判断する最小のピクセル数(判定ピクセル数)を、吸着ノズル11で吸着可能な最小の電子部品Aを立ち吸着したときの撮像画像に基づいて設定するようにしたので、吸着ノズル11に小さなごみ等が吸着されたときに、ごみ等を吸着部品と誤判定することを回避することができる。
【0038】
また、本実施形態では、吸着部品の有無を検出する際に、吸着部品の外観情報を正確に認識する場合よりも少ないピクセル数で吸着部品を認識すれば良いということに着目して、カメラの撮像画像のピクセルを間引きしてサンプリングするようにしたので、コンピュータの演算速度を高速化し、且つ、演算負荷を軽減することができる利点もある。
しかしながら、本発明は、間引き処理を行わず、撮像画像の全てのピクセルの輝度をサンプリングするようにしても良いことは言うまでもない。
【0039】
また、本実施形態では、反射光照明を用いて吸着部品を撮像するようにしたが、透過光照明を用いて吸着部品を撮像するシステムにも本発明を適用することができる。透過光照明を用いる場合は、反射光照明の場合とは反対に、吸着部品の画像が黒色(輝度0)となり、それ以外の部分の輝度が大きくなるため、マスク処理値以下の輝度のピクセル数が判定ピクセル数以上であるか否かで、該吸着ノズル11の吸着部品の有無を判定するようにすれば良い。
【0040】
また、本発明による吸着部品有無の判定と真空センサによる吸着部品有無の判定とを併用して、判定精度を更に高めるようにしても良い。
【図面の簡単な説明】
【図1】本発明の一実施形態における吸着ノズルとその周囲の背景部分(バックプレート等)を概略的に示す正面図
【図2】吸着部品無し背景画像を概略的に示す図
【図3】輝度ヒストグラムを示す図
【図4】吸着ノズルで吸着可能な最小の電子部品のサイズを説明する斜視図
【図5】吸着部品有無判定プログラムの処理の流れを示すフローチャート
【符号の説明】
11…吸着ノズル、12…背景部分(バックプレート等)。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image pick-up image processing of an electronic component mounting machine in which an electronic component picked up by a pick-up nozzle is picked up by a camera and appearance information and / or pick-up position information of the electronic component is detected based on the picked-up image data. The present invention relates to an apparatus and a captured image processing method.
[0002]
[Prior art]
In general, an electronic component mounting machine has a function of detecting a suction abnormality of an electronic component in a suction nozzle. Examples of abnormal suction of electronic parts include, for example, suction of defective parts, suction of different parts, stand-by suction of parts, and no suction parts due to suction mistakes. When imaging electronic parts sucked by the suction nozzle with a camera, defective parts or different parts are detected based on the appearance information of the picked-up parts taken from the captured image of the camera, but with conventional image processing technology It was not possible to recognize the absence of suction parts from the captured image.
[0003]
Therefore, conventionally, a vacuum sensor is provided in the vacuum suction system of the suction nozzle, the degree of vacuum after the suction operation of the parts of the suction nozzle is detected by the vacuum sensor, and the presence / absence of suction parts is determined based on the degree of vacuum. Yes.
[0004]
However, when a small-diameter suction nozzle is used, the difference in the degree of vacuum is small between the case where the suction component is present and the case where there is no suction component, and therefore the presence / absence of the suction component cannot be accurately determined. Further, when a component is sucked and picked up, a vacuum leak may occur from the tip of the suction nozzle, and there is a possibility that the stand-by suction of the component is erroneously determined as no suction component.
[0005]
In order to solve such a problem, as described in Patent Document 1 (Japanese Patent Laid-Open No. 2000-136904), an electronic component picked up by a suction nozzle is imaged by reflected light illumination to recognize the electronic component as an image. As a result, when it is recognized that the suction is abnormal, the reflected light illumination is switched to the transmitted light illumination, the image is recognized again, and the presence or absence of the suction component is determined.
[0006]
[Patent Document 1]
JP 2000-136904 A (pages 2 to 3 etc.)
[0007]
[Problems to be solved by the invention]
However, since the electronic component mounting machine of Patent Document 1 requires two types of illumination devices, reflected light illumination and transmitted light illumination, the cost of the illumination device is increased and the installation space for the illumination device is reduced to two locations. It is necessary to ensure, and there exists a fault which the structure of the whole illuminating device enlarges.
[0008]
The present invention has been made in consideration of such circumstances. Therefore, the object of the present invention is to determine whether or not there is a suction nozzle suction component by adding or changing software (program) to an existing electronic component mounting machine. An object of the present invention is to provide a captured image processing apparatus and a captured image processing method of an electronic component mounting machine that can have a function of determining.
[0009]
[Means for Solving the Problems]
In order to achieve the above-described object, the present invention provides a captured image (hereinafter referred to as “suction”) obtained by capturing the suction nozzle and the surrounding background portion with a camera in a state in which the electronic component is not suctioned to the suction nozzle in advance. The mask processing value is set on the basis of the “component-free background image” and stored in the storage means, the captured image of the camera is captured after the component suction operation of the suction nozzle, and the brightness of each pixel of the captured image is obtained. Is compared with the mask processing value, and based on the number of pixels having a luminance equal to or higher than the mask processing value (for reflected light illumination) or the number of pixels having a luminance equal to or lower than the mask processing value (for transmitted light illumination). The presence / absence of the suction component of the nozzle is determined. As will be described later, the mask processing value is set to the luminance at which the curve of the approximate expression of the luminance histogram representing the frequency distribution of the luminance of the pixels of the background image without the suction component intersects with the frequency zero line.
[0010]
Generally, in an electronic component mounting machine with a camera, reflected light illumination is used, and the suction nozzle and the surrounding background portion appearing in the captured image of the camera are colored black, so that the image of the electronic component and the other background image It is easy to distinguish. Therefore, if the mask processing value is set in advance based on the background image without the suction component obtained by imaging the state in which the electronic component is not attracted to the suction nozzle, the brightness of each pixel of the captured image is set to the mask. By comparing the processing value with the number of pixels having a luminance equal to or higher than the mask processing value (in the case of reflected light illumination) or the number of pixels having a luminance lower than the mask processing value (in the case of transmitted light illumination), the suction component The number of pixels proportional to the area of the image (the size of the suction component) can be obtained, and the presence or absence of the suction component can be accurately determined. Thereby, the function which determines the presence or absence of the adsorption | suction component of an adsorption nozzle can be given only to addition or a change of software (program) with respect to the existing electronic component mounting machine.
[0011]
The present invention is, in advance, to create a luminance histogram representing a frequency distribution of the luminance of the pixels of the adsorbed components without background image, because you have to set the mask processing value based on the luminance histogram, the brightness histogram Noise and the like can be eliminated, and the accuracy of the mask processing value can be increased.
[0012]
Furthermore, the present invention, since the approximate expression of the curve of the luminance histogram is to set the brightness intersecting the
[0013]
Further, it is preferable to set the minimum number of pixels to be determined as having an adsorbing component based on a captured image when the smallest electronic component that can be adsorbed by the adsorbing nozzle is adsorbed. In this way, when small dust or the like is sucked by the suction nozzle, it can be avoided that the dust or the like is erroneously determined as a suction component.
[0014]
Further, sampling may be performed by thinning out pixels of a captured image of the camera. In other words, when detecting the presence or absence of a suction component, it is not necessary to accurately recognize the shape of the suction component, and it is sufficient if it can be recognized roughly to some extent, so the number of pixels is smaller than when the appearance information of the suction component is accurately recognized. It is sufficient to recognize the suction part. For this reason, it is possible to perform a thinning process at the time of image processing when detecting the presence / absence of a suction component, thereby increasing the calculation speed of the computer and reducing the calculation load.
If it is determined that there is no suction component, the suction nozzle component suction operation is executed again. If it is determined that there is a suction component, it is determined whether or not the component recognition by image processing has been performed normally. When it is determined that the component recognition by the image processing is not normally performed, the component sucked by the suction nozzle may be discarded in a predetermined disposal place.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. Since the present invention can be applied to all models regardless of the system configuration as long as it is an electronic component mounting machine provided with a camera that images an electronic component sucked by the suction nozzle, the mechanical configuration of the electronic component mounting machine Description is omitted. An example of an electronic component mounting machine equipped with a camera is described in, for example, Japanese Patent Application Laid-Open No. 2000-294990.
[0016]
In the electronic component mounting machine of the present embodiment, reflected light illumination is used, and the
[0017]
Next, a method for setting a mask processing value for masking the
[0018]
Thereafter, a luminance histogram representing the frequency distribution of luminance of pixels (pixels) of the background image without the suction component is created (see FIG. 3). At this time, all the pixels of the background image without the suction component may be sampled to create a luminance histogram for all the pixels, but by sampling every other pixel of the background image without the suction component, The number of samplings may be reduced to ½.
[0019]
As shown in FIG. 3, in the luminance histogram, the scale on the horizontal axis (X axis) is 256 gradations (in the case of 8 bits) from
[0020]
Then, the peak having the higher luminance of the two peaks in the luminance histogram is searched. At this time, considering that the luminance histogram is distributed in an area of luminance 100 or less, for example, a peak luminance whose frequency falls in descending order from the luminance 100 is obtained.
[0021]
Thereafter, an approximate expression of the following two-dimensional polynomial is obtained from the obtained peak luminance (two-dot chain line in FIG. 3).
Y = aX 2 + bX + c
Y: Frequency X: Luminance a, b, c: Coefficient
The present invention is not limited to a two-dimensional polynomial, and may be a one-dimensional polynomial or a three-dimensional or higher polynomial. In short, it is only necessary to obtain an approximate expression of the luminance histogram. In this embodiment, an approximate expression of a two-dimensional polynomial is used.
[0023]
Thereafter, the luminance X at which the curve of the approximate expression of the two-dimensional polynomial of the luminance histogram intersects with the line of frequency 0 (Y = 0) is obtained, and this is set as the mask processing value. This mask processing value is stored in a storage device (storage means) of a computer that performs image processing.
[0024]
The luminance X (mask processing value) at which the curve of the approximate expression of the two-dimensional polynomial crosses the line with the
[0025]
[Expression 1]
[0026]
When the luminance X is calculated from the above solution formula, the curve of the approximate expression may not intersect the line of frequency 0 (Y = 0), so the discriminant (b 2 -4ac) of the quadratic equation is a positive value. Whether or not brightness X (mask processing value) can be calculated is determined based on whether or not there is. If the discriminant (b 2 -4ac) is a negative value, it is determined that the luminance X cannot be calculated (no solution), and a mask processing value setting error occurs.
[0027]
Next, a method for setting the minimum number of pixels (determination pixel number) for determining that there is a suction component will be described. In the present embodiment, the minimum number of pixels (determination pixel number) for determining that there is a suction component is set based on the captured image when the minimum electronic component that can be suctioned by the
[0028]
The size of the smallest electronic component A that can be sucked by the
[0029]
When the size (unit value) of one pixel is 40 μm, for example, the number of pixels of the image of the minimum surface of the part A is vertical: 0.25 mm / 40 μm = 6.25 (pixels), and horizontal: 0.3 mm / 40 μm = 7.5 (pixels). Therefore, the total number of pixels of the image of the minimum surface of the part A is 6.25 × 7.5 = 46.875 (pixels). In this embodiment, every other pixel of the image of the minimum surface of the component A is sampled and sampled, so the total number of pixels of the image of the minimum surface of the component A is 12 (pixels) corresponding to 1/4 in area. ) This 12 (pixel) is the number of determination pixels. The number of determination pixels is stored in a storage device (storage means) of a computer that performs image processing.
[0030]
After the component suction operation of the
[0031]
The determination of the presence or absence of the suction component described above is executed by a computer that performs image processing according to the program of FIG. This program is started after the component suction operation of the
[0032]
On the other hand, if it is determined in
[0033]
On the other hand, if the number of pixels having a luminance equal to or higher than the mask processing value is equal to or greater than the determination pixel number, the process proceeds to step 104, where it is determined that there is a suction component. In this case, the process proceeds to step 105, where it is determined whether or not component recognition by image processing has been performed normally, and when component recognition has not been performed normally (for example, in the case of suction of a defective component or suction of a different component). Advances to step 109 and discards the component sucked by the
[0034]
If it is determined in
[0035]
According to the present embodiment described above, the background image without the suction component obtained by imaging the
[0036]
Moreover, when setting the mask processing value, a luminance histogram representing the frequency distribution of the luminance of the pixels of the background image without the suction component is created, and the mask processing value is set based on the luminance histogram. Noise or the like can be eliminated by the luminance histogram, and a mask processing value for masking the
[0037]
In addition, since the minimum number of pixels (determination pixel number) for determining that there is a suction component is set based on the captured image when the minimum electronic component A that can be suctioned by the
[0038]
Further, in this embodiment, when detecting the presence or absence of the suction component, paying attention to the fact that the suction component may be recognized with a smaller number of pixels than when the appearance information of the suction component is accurately recognized, Since the pixels of the picked-up image are thinned and sampled, there are advantages that the calculation speed of the computer can be increased and the calculation load can be reduced.
However, it goes without saying that the present invention may sample the luminance of all pixels of the captured image without performing the thinning process.
[0039]
In the present embodiment, the suction component is imaged using the reflected light illumination. However, the present invention can also be applied to a system that images the suction component using the transmitted light illumination. When using transmitted light illumination, contrary to the case of reflected light illumination, the image of the suction component is black (luminance 0), and the luminance of the other parts is increased. Whether or not there is a suction component of the
[0040]
Further, the determination accuracy may be further enhanced by using the determination of the presence / absence of the suction component according to the present invention together with the determination of the presence / absence of the suction component by the vacuum sensor.
[Brief description of the drawings]
FIG. 1 is a front view schematically showing a suction nozzle and a surrounding background portion (back plate or the like) in one embodiment of the present invention. FIG. 2 is a view schematically showing a background image without suction parts. FIG. 4 is a perspective view illustrating the size of the smallest electronic component that can be picked up by the suction nozzle. FIG. 5 is a flowchart showing the processing flow of the suction component presence / absence determination program.
11 ... Suction nozzle, 12 ... Background part (back plate etc.)
Claims (7)
前記吸着ノズルに電子部品を吸着していない状態で該吸着ノズル及びその周囲の背景部分を前記カメラで撮像して得られた撮像画像(以下「吸着部品無し背景画像」という)に基づいて予め設定されたマスク処理値を記憶する記憶手段と、
前記吸着ノズルの部品吸着動作後に前記カメラの撮像画像を取り込み、該撮像画像の各ピクセルの輝度を前記マスク処理値と比較して、該マスク処理値以上の輝度のピクセル数又は該マスク処理値以下の輝度のピクセル数に基づいて該吸着ノズルの吸着部品の有無を判定する吸着部品有無判定手段とを備え、
前記マスク処理値は、前記吸着部品無し背景画像のピクセルの輝度の頻度分布を表す輝度ヒストグラムの近似式の曲線が頻度0の線と交わる輝度に設定されていることを特徴とする電子部品実装機の撮像画像処理装置。In an imaging image processing apparatus of an electronic component mounting machine that images an electronic component sucked by a suction nozzle with a camera and detects appearance information and / or suction position information of the electronic component based on the captured image data.
Preliminarily set based on a captured image obtained by imaging the suction nozzle and the surrounding background portion with the camera (hereinafter referred to as “background image without suction component”) in a state where the suction nozzle does not suck the electronic component. Storage means for storing the processed mask processing value;
The captured image of the camera is captured after the component suction operation of the suction nozzle, the brightness of each pixel of the captured image is compared with the mask processing value, and the number of pixels having a brightness greater than or equal to the mask processing value or less than the mask processing value and a suction part existence determining means determines the presence or absence of adsorption part of the adsorber nozzles based on the number of luminance pixels,
The electronic component mounting machine , wherein the mask processing value is set to a luminance at which a curve of an approximate expression of a luminance histogram representing a frequency distribution of luminance of pixels of the background image without the adsorbing component intersects a frequency zero line The captured image processing apparatus.
予め、前記吸着ノズルに電子部品を吸着していない状態で該吸着ノズル及びその周囲の背景部分を前記カメラで撮像して得られた撮像画像(以下「吸着部品無し背景画像」という)のピクセルの輝度の頻度分布を表す輝度ヒストグラムを作成して、その輝度ヒストグラムの近似式の曲線が頻度0の線と交わる輝度をマスク処理値として設定して記憶手段に記憶しておき、
前記吸着ノズルの部品吸着動作後に前記カメラの撮像画像を取り込み、該撮像画像の各ピクセルの輝度を前記マスク処理値と比較して、該マスク処理値以上の輝度のピクセル数又は該マスク処理値以下の輝度のピクセル数に基づいて該吸着ノズルの吸着部品の有無を判定することを特徴とする電子部品実装機の撮像画像処理方法。In the captured image processing method of an electronic component mounting machine for imaging an electronic component sucked by a suction nozzle with a camera and detecting appearance information and / or suction position information of the electronic component based on the captured image data,
Pixels of a captured image (hereinafter referred to as “background image without suction component”) obtained by capturing the suction nozzle and the surrounding background portion with the camera in a state where the electronic component is not suctioned to the suction nozzle in advance. A luminance histogram representing the frequency distribution of luminance is created, the luminance at which the curve of the approximate expression of the luminance histogram intersects with the frequency zero line is set as a mask processing value and stored in the storage means,
The captured image of the camera is captured after the component suction operation of the suction nozzle, the brightness of each pixel of the captured image is compared with the mask processing value, and the number of pixels having a brightness greater than or equal to the mask processing value or less than the mask processing value An image processing method for an electronic component mounting machine, wherein the presence or absence of a suction component of the suction nozzle is determined on the basis of the number of pixels of luminance.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003158768A JP4255115B2 (en) | 2003-06-04 | 2003-06-04 | Captured image processing apparatus and captured image processing method for electronic component mounter |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003158768A JP4255115B2 (en) | 2003-06-04 | 2003-06-04 | Captured image processing apparatus and captured image processing method for electronic component mounter |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004363262A JP2004363262A (en) | 2004-12-24 |
JP4255115B2 true JP4255115B2 (en) | 2009-04-15 |
Family
ID=34052012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003158768A Expired - Lifetime JP4255115B2 (en) | 2003-06-04 | 2003-06-04 | Captured image processing apparatus and captured image processing method for electronic component mounter |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4255115B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7545514B2 (en) * | 2005-09-14 | 2009-06-09 | Cyberoptics Corporation | Pick and place machine with improved component pick image processing |
JP5665648B2 (en) * | 2011-05-09 | 2015-02-04 | 富士機械製造株式会社 | Adsorbent detection method and component mounting apparatus in suction nozzle of component mounting head |
JP5787440B2 (en) * | 2011-07-13 | 2015-09-30 | 富士機械製造株式会社 | Image processing device for component mounter |
JP5969238B2 (en) * | 2012-03-27 | 2016-08-17 | 株式会社ディスコ | How to determine the presence or absence of a plate workpiece |
EP4007479A4 (en) * | 2019-07-23 | 2022-08-03 | Fuji Corporation | Data management device |
-
2003
- 2003-06-04 JP JP2003158768A patent/JP4255115B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2004363262A (en) | 2004-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6748104B1 (en) | Methods and apparatus for machine vision inspection using single and multiple templates or patterns | |
JP4601134B2 (en) | Method and apparatus for defect detection based on shape features | |
EP3751976B1 (en) | System for creating learned model for component image recognition, and method for creating learned model for component image recognition | |
WO2012026347A1 (en) | Electronic blackboard system and program | |
JP4008291B2 (en) | Pattern inspection apparatus, pattern inspection method, and program | |
JP2003304100A (en) | Method and system for managing mounting of component and mounting system | |
CN112084964A (en) | Product identification apparatus, method and storage medium | |
JP4255115B2 (en) | Captured image processing apparatus and captured image processing method for electronic component mounter | |
JP2012099792A (en) | Component suction/inspection device and method | |
KR20220036803A (en) | System and method for detecting fiducial mark on the pcb | |
US20220207686A1 (en) | System and method for inspecting an object for defects | |
JP2010025597A (en) | Flaw detector, flaw detecting method, and program | |
JP5730114B2 (en) | Component rotation angle detection device, image processing component data creation device, component rotation angle detection method, and image processing component data creation method | |
KR101126759B1 (en) | Method of teaching for electronic parts information in chip mounter | |
JP2017147360A (en) | Electronic component inspecting method, electronic component mounting method, and electronic component mounting device | |
JP2004325146A (en) | Method and device for recognizing part | |
JPH02251714A (en) | Method for inspecting polarity of mounted polar part and visual inspection method for mounting board | |
KR100213345B1 (en) | Apparatus for adjusting adjustable component and method for detecting adjusting groove | |
JP4380864B2 (en) | Component detection method and apparatus | |
JP3695859B2 (en) | Component position detection method | |
KR20200023712A (en) | Apparatus and Method for Classifying Electronic Components | |
KR100190719B1 (en) | A detecting apparatus of holding fault and method thereof | |
KR100190707B1 (en) | Apparatus and its method for checking the absorption error of part using picture processing device | |
JPH05304394A (en) | Method and device for mounting component | |
JPH0658741A (en) | Detection method for part inclination |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090126 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090126 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4255115 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120206 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130206 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140206 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |