JP4514230B2 - Component suction posture discrimination method and component suction posture discrimination system - Google Patents
Component suction posture discrimination method and component suction posture discrimination system Download PDFInfo
- Publication number
- JP4514230B2 JP4514230B2 JP2006315102A JP2006315102A JP4514230B2 JP 4514230 B2 JP4514230 B2 JP 4514230B2 JP 2006315102 A JP2006315102 A JP 2006315102A JP 2006315102 A JP2006315102 A JP 2006315102A JP 4514230 B2 JP4514230 B2 JP 4514230B2
- Authority
- JP
- Japan
- Prior art keywords
- suction
- adsorption
- abnormal
- component
- normal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012850 discrimination method Methods 0.000 title description 2
- 238000001179 sorption measurement Methods 0.000 claims description 162
- 230000002159 abnormal effect Effects 0.000 claims description 99
- 238000013528 artificial neural network Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims 1
- 230000013016 learning Effects 0.000 description 31
- 230000036544 posture Effects 0.000 description 26
- 238000002474 experimental method Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Supply And Installment Of Electrical Components (AREA)
- Image Analysis (AREA)
Description
本発明は、電子部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、画像処理技術によって部品の吸着姿勢が正常吸着か斜め吸着かを判別する部品吸着姿勢判別方法及び部品吸着姿勢判別システムに関する発明である。 The present invention relates to a component suction posture determination method and a component suction posture determination system for imaging a component sucked by a suction nozzle of an electronic component mounting machine with a camera and determining whether the suction posture of the component is normal suction or oblique suction by image processing technology. It is invention regarding.
一般に、電子部品実装機においては、吸着ノズルに部品を吸着し、この部品を回路基板上に移送して回路基板の所定位置に実装するようにしている。更に、吸着ノズルに吸着した部品をその下面側から撮像するカメラを設置して、このカメラで撮像した部品画像によって部品の種類を確認したり、吸着ノズルに対する部品の吸着位置のずれを補正するようにしている。 In general, in an electronic component mounting machine, a component is sucked by a suction nozzle, and the component is transferred onto a circuit board and mounted at a predetermined position on the circuit board. In addition, a camera that captures the part sucked by the suction nozzle from the lower surface side is installed, and the type of the part is confirmed by the part image picked up by the camera, or the deviation of the suction position of the part with respect to the suction nozzle is corrected. I have to.
ところで、通常は、図18の(a)に示すように、吸着ノズル1に部品2が水平に吸着された状態になるが、図18の(b)に示すように、何らかの原因で吸着ノズル1に部品2が斜めに吸着された状態になることがある。このような斜め吸着(異常吸着)は実装不良の原因となるため、特許文献1(特開平6−216584号公報)に示すように、斜め吸着を検出する手段として光センサを用い、吸着ノズル1に吸着した部品2の両側に、光センサの発光素子3と受光素子4とをその光軸5が正常な吸着姿勢の部品2の下面よりも僅かに低い位置を通過するように配置したものがある。このものは、図18の(a)に示すように、部品2の吸着姿勢が正常吸着であれば、光軸5が部品2で遮断されないが、図18の(b)に示すように、部品2の吸着姿勢が斜め吸着である場合は、その部品2の下部で光軸5が遮断されることで、斜め吸着が検出されるようになっている。
Normally, as shown in FIG. 18A, the
しかしながら、この構成では、斜め吸着を検出する手段として、光センサ(発光素子3と受光素子4)を設ける必要があり、その分、コストアップする欠点がある。
However, in this configuration, it is necessary to provide an optical sensor (the
そこで、特許文献2(特開2006−114821号公報)に示すように、予め、想定される正常な吸着姿勢の部品画像の外形線と交差する複数本のシークラインを当該部品画像の中心線に関して対称な位置に設定し、対称な位置関係にあるシークライン上の輝度の変化パターンを比較することで、部品の吸着姿勢が正常吸着か斜め吸着かを判別するようにしたものがある。
しかし、上記特許文献2の技術では、正常吸着と異常吸着(斜め吸着)とを判別する判別基準を設計開発者が設定するため、設計開発者の主観によって判別基準がばらついてしまい、その分、異常吸着の判別率が悪くなってしまう。
However, in the technique of the above-mentioned
この課題を解決するために、本出願人は、特願2006−149799号の明細書に示すように、予め、正常吸着の部品画像と異常吸着(斜め吸着)の部品画像をそれぞれ多数収集し、各部品画像から特徴量を抽出した後、それらの特徴量のデータの統計的な分布を判別分析法により評価して正常吸着と異常吸着とを判別するための判別基準を設定してメモリに記憶しておき、以後、電子部品実装機の稼働中に吸着ノズルに部品を吸着する毎に、前記カメラで撮像した部品画像から特徴量を抽出し、その特徴量から前記判別基準に従って当該部品の吸着姿勢が正常吸着か異常吸着かを判別する技術を開発した。 In order to solve this problem, as shown in the specification of Japanese Patent Application No. 2006-149799, the present applicant previously collects a large number of normal suction component images and abnormal suction (diagonal suction) component images, After extracting feature quantities from each part image, the statistical distribution of the feature quantity data is evaluated by a discriminant analysis method, and a discrimination criterion for discriminating between normal adsorption and abnormal adsorption is set and stored in the memory. After that, every time a component is sucked to the suction nozzle while the electronic component mounting machine is in operation, a feature amount is extracted from the component image picked up by the camera, and the component is sucked from the feature amount according to the determination criterion. A technology has been developed to determine whether the posture is normal or abnormal.
しかし、この判別分析法を用いた判別方法では、異常吸着の判別率が従来よりも向上するものの、まだ93.1[%]にとどまっており、まだまだ異常吸着の判別率を改善する必要がある。 However, in the discrimination method using this discriminant analysis method, although the discrimination rate of abnormal adsorption is improved as compared with the prior art, it is still 93.1 [%], and it is still necessary to improve the discrimination rate of abnormal adsorption. .
本発明はこのような事情を考慮してなされたものであり、従ってその目的は、電子部品実装機の吸着ノズルに吸着した部品の異常吸着を精度良く検出するシステムをソフトウエアの変更・追加のみで安価に構成できる部品吸着姿勢判別方法及び部品吸着姿勢判別システムを提供することにある。 The present invention has been made in view of such circumstances. Therefore, the object of the present invention is to change or add software only to a system that accurately detects abnormal suction of components sucked by a suction nozzle of an electronic component mounting machine. Another object of the present invention is to provide a component suction posture determination method and a component suction posture determination system that can be configured inexpensively.
上記目的を達成するために、請求項1,3に係る発明は、電子部品実装機の吸着ノズルに吸着した部品をカメラで撮像し、画像処理技術によって当該部品の吸着姿勢が正常吸着か異常吸着かを判別するものにおいて、予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中に前記カメラで撮像した部品の画像データを前記ニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別するものであって、前記ニューラルネットワークは、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の4つのパターンに区分してそれぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する4つの出力層を有するように構成し、各出力層の出力値を比較して正常吸着と異常吸着とを判別することを特徴とするものである。 In order to achieve the above object, according to the first and third aspects of the present invention, a part picked up by a pick-up nozzle of an electronic component mounting machine is picked up by a camera, and the pick-up posture of the part is normal pick-up or abnormal pick-up by image processing technology. In order to determine whether or not, a lot of normal suction part image data and abnormal part image data collected in advance are learned as neural network data as teacher data, and captured by the camera while the electronic component mounting machine is in operation. Image data of a part is input to the neural network, and based on an output value of the neural network, it is determined whether the suction posture of the part is normal suction or abnormal suction. There are four types of postures: normal adsorption, abnormal adsorption by right diagonal adsorption, abnormal adsorption by left diagonal adsorption, and abnormal adsorption by lateral adsorption. It is configured to have four output layers that output numerical values according to the degree of similarity between teacher data and input data of each pattern divided into turns , and compare the output values of each output layer with normal adsorption. It is characterized by distinguishing from abnormal adsorption.
このようにすれば、光センサ等の追加を必要とせず、現状の電子部品実装機に対してもソフトウエアの変更・追加のみで部品の異常吸着を検出するシステムを安価に構成できる。しかも、ニューラルネットワークによる学習効果によって部品の吸着姿勢が正常吸着か異常吸着かを精度良く判別することができ、異常吸着の判別率を判別分析法よりも高めることができる。 In this way, a system for detecting abnormal suction of components can be configured at low cost by only changing or adding software to an existing electronic component mounting machine without requiring addition of an optical sensor or the like. In addition, the learning effect by the neural network can accurately determine whether the suction posture of the component is normal suction or abnormal suction, and the discrimination rate of abnormal suction can be higher than that of the discriminant analysis method.
本発明を研究する過程で、様々な異常吸着の画像を観察した結果、異常吸着のパターンは、図4〜図6に示すように、大別して3つのパターン(右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着)に分類できることが判明した。 As a result of observing various abnormal adsorption images in the course of studying the present invention, the abnormal adsorption patterns are roughly divided into three patterns (abnormal adsorption by right diagonal adsorption, diagonal left), as shown in FIGS. It was found that it can be classified into abnormal adsorption by adsorption and abnormal adsorption by lateral adsorption .
そこで、請求項1,3に係る発明では、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の4つのパターンに区分して、それぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する4つの出力層を設けるようにしたものである。このようにすれば、異常吸着をパターン毎に判別できるため、正常吸着のものを異常吸着と誤判定する頻度をほぼゼロとすることができて、異常吸着と誤判定することによる部品のロスや電子部品実装機の停止によるサイクルタイムロスをほぼ無くすことができる。
Therefore, in the inventions according to
この場合、請求項2,4のように、複数の出力層の中から出力値が最大となる出力層を選択して正常吸着と異常吸着とを判別するようにすれば良い。例えば、出力値が最大となる出力層が正常吸着のグループに区分されるものであれば、正常吸着と判定し、出力値が最大となる出力層が異常吸着のグループに区分されるものであれば、異常吸着と判定すれば良い。
In this case, as in
以下、本発明を実施するための最良の形態を具体化した2つの実施例1,2を説明する。 Hereinafter, two Examples 1 and 2, which embody the best mode for carrying out the present invention, will be described.
本発明に関連する参考例としての実施例1を図1乃至図13に基づいて説明する。
まず、図1に基づいて電子部品実装機全体の概略構成を説明する。
X軸スライド11は、X軸ボールねじ12によってX軸方向(図1の左右方向)にスライド移動可能に設けられ、このX軸スライド11に対して、Y軸スライド13がY軸ボールねじ14によってY軸方向(図1の紙面垂直方向)にスライド移動可能に設けられている。
A first embodiment as a reference example related to the present invention will be described with reference to FIGS.
First, a schematic configuration of the entire electronic component mounting machine will be described with reference to FIG.
The
Y軸スライド13には、吸着ヘッド15が設けられ、この吸着ヘッド15に昇降可能に設けられた吸着ホルダ16に吸着ノズル17が下向きに取り付けられている。吸着ホルダ16の下面には、吸着ノズル17に吸着した部品18の背景を明るくするためのバックライト19が設けられている。
The Y-
X軸スライド11には、吸着ノズル17に吸着した部品18をその下面側から一対の反射鏡20,21を介して撮像するCCDカメラ等のカメラ22が下向きに設けられている。このカメラ22で撮像した部品画像によって、吸着ノズル17に対する部品18の吸着位置のずれを補正するようにしている。
The
一方の反射鏡20は、吸着ノズル17に吸着した部品18の下方に位置するように設けられ、この反射鏡20の下方には、吸着ノズル17に吸着した部品18をその下面側から照明するためのフロントライト23が設けられている。この反射鏡20は、フロントライト23の光を上方に透過させるようにハーフミラー処理が施されている。
One reflecting
この電子部品実装機の制御装置(図示せず)は、吸着ノズル17に吸着した部品18をその下面側からカメラ22で撮像し、画像処理技術によって該部品18の吸着姿勢が“正常吸着”か“異常吸着”かを判別する。以下、この吸着姿勢の判別方法を詳しく説明する。
This electronic component mounting machine control device (not shown) images the
本実施例1では、出力層の数を1とした3階層型ニューラルネットワークを用いて部品18の吸着姿勢を次のようにして判別する。
図2に示すように、カメラ22で撮像した画像中の部品の位置と角度を検出して、角度補正・位置補正を施し、部品部分のみを例えば32×24[画素]のサイズで切り出した8bitグレースケール画像を部品画像データとして用いる。以下に説明する判別試験で教師データとテストデータとして使用した部品画像の一部が図3〜図6に示されている。
In the first embodiment, the suction posture of the
As shown in FIG. 2, the position and angle of the component in the image captured by the
図3は正常吸着の画像例を示している。
図4は左斜め吸着の画像例を示している。左斜め吸着は、部品の左電極側面が見えている吸着状態であり、これも異常吸着の一種である。
図5は右斜め吸着の画像例を示している。右斜め吸着は、部品の右電極側面が見えている吸着状態であり、異常吸着の一種である。
FIG. 3 shows an image example of normal adsorption.
FIG. 4 shows an example of an image of left diagonal suction. Left diagonal adsorption is an adsorption state in which the left electrode side surface of the component is visible, and this is also a kind of abnormal adsorption.
FIG. 5 shows an example of an image of right diagonal suction. The right diagonal adsorption is an adsorption state in which the right electrode side surface of the component is visible, and is a kind of abnormal adsorption.
図6は横吸着の画像例を示している。横吸着は、部品の本来の側面が下向きに見えている吸着状態であり、これも異常吸着の一種である。
本例で使用した異常吸着の画像は、従来の外形サイズによる検出方法では異常吸着を全く検出できなかったものばかりである。
FIG. 6 shows an example of lateral suction image. Lateral suction is a suction state in which the original side surface of a component is seen downward, and this is also a kind of abnormal suction.
The abnormal suction images used in this example are only those in which abnormal suction could not be detected by the conventional detection method based on the external size.
図7に示すように、本例で使用した部品画像の枚数は、正常吸着画像が3657枚、異常吸着画像が6644枚(内訳は、左斜め吸着画像が3268枚、右斜め吸着画像が3332枚、横吸着画像が44枚)、合計10301枚である。これらの画像の中から、正常吸着画像を377枚、異常吸着画像を753枚(内訳は、左斜め吸着画像が368枚、右斜め吸着画像が362枚、横吸着画像が23枚)だけ選択して、合計1130枚の画像を教師データとして用いる。残りの画像は、テストデータとしてニューラルネットワークの性能評価に用いる。 As shown in FIG. 7, the number of component images used in this example is 3657 normal suction images, 6644 abnormal suction images (breakdown includes 3268 left diagonal suction images and 3332 right diagonal suction images). , 44 horizontal suction images), a total of 10301 sheets. From these images, select only 377 normal suction images and 753 abnormal suction images (including 368 left diagonal suction images, 362 right diagonal suction images, and 23 horizontal suction images). Thus, a total of 1130 images are used as teacher data. The remaining images are used for performance evaluation of the neural network as test data.
本実施例1では、図8に示す3階層型ニューラルネットワークを使用する。
この3階層型ニューラルネットワークは、入力層のニューロン数を32×24、中間層のニューロン数を128、出力層の数を1つとしている。出力層の出力値が“1.0”に近いほど“正常吸着”を示し、“0.0”に近いほど“異常吸着”を示している。
In the first embodiment, a three-layer neural network shown in FIG. 8 is used.
In this three-layer neural network, the number of neurons in the input layer is 32 × 24, the number of neurons in the intermediate layer is 128, and the number of output layers is one. As the output value of the output layer is closer to “1.0”, “normal adsorption” is indicated, and as “0.0” is indicated, “abnormal adsorption” is indicated.
学習方法は、バックプロパゲーション法を用いた。学習に際して、ニューラルネットワークのパラメータを、学習係数α=0.9、バイアス更新係数β=0.7と設定した。シグモイド関数の傾きはU0=5.0を用いた。 As a learning method, a back propagation method was used. In learning, the parameters of the neural network were set as a learning coefficient α = 0.9 and a bias update coefficient β = 0.7. The slope of the sigmoid function was U0 = 5.0.
バックプロパゲーション法による学習は、図9の(a)に示すように、同じ教師データをN回繰り返して学習させた後、次の教師データを学習させる。また、学習を行う教師データの順序は、学習の度にランダムに入れ替える。本例では、繰り返し回数N=10とした。 In learning by the back propagation method, as shown in FIG. 9A, the same teacher data is repeatedly learned N times, and then the next teacher data is learned. In addition, the order of the teacher data for learning is changed randomly at each learning. In this example, the number of repetitions N = 10.
それぞれの教師データを学習させる際には、図9の(b)に示すように、画像を平行・回転移動させて誤差を加える。また、図9の(c)に示すように、1つの教師データに対して、水平方向に反転した画像と、垂直方向に反転した画像と、水平・垂直方向に反転した画像も同時に学習させる。 When learning each teacher data, as shown in FIG. 9B, an error is added by parallel / rotating the image. Further, as shown in FIG. 9C, for one teacher data, an image inverted in the horizontal direction, an image inverted in the vertical direction, and an image inverted in the horizontal and vertical directions are learned at the same time.
以上説明した3階層型ニューラルネットワークによる教師データの学習は、電子部品実装機の制御装置によって図10の学習プログラムに従って実行される。図10の学習プログラムは、電子部品実装作業を行う前に実行される。本プログラムが起動されると、まずステップ101で、図3に示すような正常吸着の部品画像と図4、図5、図6に示すような異常吸着(左斜め吸着、右斜め吸着、横吸着)の部品画像をそれぞれ多数収集する。
The teacher data learning by the three-layer neural network described above is executed according to the learning program of FIG. 10 by the control device of the electronic component mounting machine. The learning program in FIG. 10 is executed before performing the electronic component mounting work. When this program is started, first, in
この後、ステップ102に進み、画像中の部品の位置・角度を検出した後、ステップ103に進み、xy座標に合わせて、画像中の部品の位置・角度を修正して、x軸とy軸を部品の縦横の中心線に一致させて、画像中の部品部分のみを32×24[画素]のサイズで切り出す。この際、x軸を部品の長手方向に設定し、部品の両端部の電極がy軸に関して対称位置に位置するように角度補正・位置補正を施し、部品部分のみを切り出す。 Thereafter, the process proceeds to step 102, and after detecting the position / angle of the part in the image, the process proceeds to step 103, where the position / angle of the part in the image is corrected according to the xy coordinates, and the x-axis and y-axis Are matched with the vertical and horizontal center lines of the component, and only the component portion in the image is cut out with a size of 32 × 24 [pixel]. At this time, the x-axis is set in the longitudinal direction of the component, and angle correction and position correction are performed so that the electrodes at both ends of the component are located at symmetrical positions with respect to the y-axis, and only the component portion is cut out.
そして、次のステップ104で、正常吸着画像と異常吸着画像の中からそれぞれ所定数の画像を選択して教師データを作成する。この後、ステップ105に進み、教師データを図8のニューラルネットワークに入力して正常吸着画像と異常吸着画像を学習する。
In the
この後、ステップ106に進み、学習回数が所定回数以上になったか否かを判定し、学習回数が所定回数未満であれば、上記ステップ105に戻り、ニューラルネットワークの学習を繰り返す。これにより、学習回数が所定回数以上になるまで、ニューラルネットワークの学習を繰り返す。学習回数の繰り返し回数(所定回数)は、平均誤り率(図12参照)を目標値以内に収めるのに必要な学習回数に設定すれば良い。
なお、この図10の学習プログラムは、電子部品実装機の制御装置とは別のコンピュータで実行しても良い。
Thereafter, the process proceeds to step 106, where it is determined whether or not the number of learning is equal to or greater than a predetermined number. If the number of learning is less than the predetermined number, the process returns to step 105 and the neural network learning is repeated. Thereby, the learning of the neural network is repeated until the number of times of learning becomes a predetermined number or more. The number of learning repetitions (predetermined number) may be set to the number of learnings necessary to keep the average error rate (see FIG. 12) within the target value.
The learning program in FIG. 10 may be executed by a computer different from the control device for the electronic component mounting machine.
一方、図11の部品吸着姿勢判別プログラムは、上記図10の学習プログラムと共に特許請求の範囲でいう吸着姿勢判別手段としての役割を果たす。本プログラムは、電子部品実装機の稼働中に吸着ノズル17に部品を吸着する毎に起動され、当該部品の吸着姿勢を次のようにして判別する。
On the other hand, the component suction posture determination program in FIG. 11 plays a role as the suction posture determination means in the claims together with the learning program in FIG. This program is started every time a component is sucked to the
本プログラムが起動されると、まずステップ201で、吸着ノズル17に吸着した部品の画像をカメラ22で撮像して取り込む。この後、ステップ202に進み、画像中の部品の位置・角度を検出した後、ステップ203に進み、xy座標に合わせて、画像中の部品の位置・角度を修正して、x軸とy軸を部品の縦横の中心線に一致させて、画像中の部品部分のみを32×24[画素]のサイズで切り出す。この際、x軸を部品の長手方向に設定し、部品の両端部の電極がy軸に関して対称位置に位置するように角度補正・位置補正を施し、部品部分のみを切り出す。
When this program is started, first, in
そして、次のステップ204で、切り出した画像データを教師データを図8のニューラルネットワークに入力して、次のステップ205で、ニューラルネットワークの出力層の出力値が判定閾値以上であるか否かで、部品の吸着姿勢が正常吸着か異常吸着かを判別する。出力層の出力値は、1.0に近いほど正常吸着を示し、0.0に近いほど異常吸着を示している。
Then, in the
本発明者は、上述した方法で、図7の教師データを用いてニューラルネットワークの学習を行い、図7のテストデ−タを用いて判別実験を行った。この判別実験で、各学習回数毎のニューラルネットワークを用いて平均誤り率の変化を測定した結果を図12に示す。 The inventor performed the neural network learning using the teacher data shown in FIG. 7 by the method described above, and performed a discrimination experiment using the test data shown in FIG. In this discrimination experiment, the result of measuring the change in average error rate using a neural network for each number of learning times is shown in FIG.
この判別実験結果を調べると、学習回数が約1500回を越えるあたりから安定して平均誤り率が0.5[%]程度に収まることが判明した。図13に示すように、実際には正常吸着であるにも拘らず、異常吸着であると誤判定したものが27例あり、逆に、異常吸着のものを正常吸着であると誤判定したものが17例あった。 Examining the results of this discrimination experiment, it was found that the average error rate was stable within about 0.5 [%] after the number of learnings exceeded about 1500 times. As shown in FIG. 13, there are 27 cases that were actually judged to be abnormal adsorption despite being normal adsorption, and conversely, those that were abnormal adsorption were judged to be normal adsorption. There were 17 cases.
この判別実験での判別率は、次式で算出され、99.5[%]という高い判別率が得られ、誤り率は0.5[%]であった。
判別率=(3253+5874)/(3280+5891)×100[%]
=99.5[%]
誤り率=100−99.5[%]
=0.5[%]
The discrimination rate in this discrimination experiment was calculated by the following equation, a high discrimination rate of 99.5 [%] was obtained, and the error rate was 0.5 [%].
Discrimination rate = (3253 + 5874) / (3280 + 5891) × 100 [%]
= 99.5 [%]
Error rate = 100-99.5 [%]
= 0.5 [%]
以上説明した本実施例1によれば、予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中にカメラ22で撮像した部品の画像データをニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別するようにしたので、部品の吸着姿勢が正常吸着か異常吸着かを精度良く判別することができ、異常吸着の判別率を判別分析法よりも高めることができる。しかも、光センサ等の追加を必要とせず、現状の電子部品実装機に対してもソフトウエアの変更・追加のみで部品の異常吸着を検出するシステムを安価に構成できる利点がある。 According to the first embodiment described above, a large number of normally picked-up component image data and abnormally picked-up component image data are learned by a neural network as teacher data, and the camera is operated while the electronic component mounting machine is in operation. Since the image data of the part imaged in 22 is input to the neural network and it is determined whether the suction posture of the part is normal suction or abnormal suction based on the output value of the neural network, the suction posture of the part is It can discriminate between normal adsorption and abnormal adsorption with high accuracy, and the abnormal adsorption discrimination rate can be increased as compared with the discriminant analysis method. In addition, there is an advantage that a system for detecting abnormal adsorption of components can be configured at low cost by only changing or adding software to the current electronic component mounting machine without adding an optical sensor or the like.
上記実施例1において、正常吸着のものを異常吸着と誤判別した画像を観察すると、それらの画像の中に、明らかに正常吸着であるものが含まれていることが判明した。逆に、異常吸着のものを正常吸着と誤判別した画像を観察すると、それらの画像の中に、明らかに異常吸着であるものが含まれていることが判明した。この原因は、異常吸着には何種類かのパターンがあるにも拘らず、それらをまとめて1つの“異常吸着”というパターンに分類しているため、ニューラルネットワーク内に少なからず混乱が生じてしまっているからではないかと推測される。 In Example 1 above, it was found that when images with normal adsorption were misidentified as abnormal adsorption, the images clearly contained normal adsorption. On the other hand, when observing images in which abnormally adsorbed ones were misidentified as normal adsorbed, it was found that those images were clearly abnormally adsorbed. The reason for this is that despite the fact that there are several types of abnormal adsorption, they are grouped together into one “abnormal adsorption” pattern, resulting in some confusion in the neural network. It is presumed that it is because.
本発明を研究する過程で、様々な異常吸着の画像を観察した結果、異常吸着のパターンは、図4、図5、図6に示すように、大別して3つのパターン(右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着)に分類できることが判明した。 As a result of observing various abnormal adsorption images in the course of studying the present invention, the abnormal adsorption patterns are roughly divided into three patterns (abnormal adsorption by right diagonal adsorption) as shown in FIGS. It was found that it can be classified into an abnormal adsorption due to left diagonal adsorption and an abnormal adsorption due to lateral adsorption).
そこで、本発明の実施例2では、図14及び図15に示すように、異常吸着のパターンを、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の3つのパターンに区分し、それによって、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の4つのパターンに区分して、それぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する4つの出力層を設けるようにしている。 Therefore, in the second embodiment of the present invention, as shown in FIGS. 14 and 15, the abnormal adsorption pattern is divided into three patterns: abnormal adsorption by right diagonal adsorption, abnormal adsorption by left diagonal adsorption, and abnormal adsorption by lateral adsorption. In this way, the component adsorption posture is divided into four patterns: normal adsorption, abnormal adsorption by right diagonal adsorption, abnormal adsorption by left diagonal adsorption, and abnormal adsorption by lateral adsorption. Four output layers for outputting numerical values corresponding to the degree of similarity with input data are provided.
本実施例2では、図14に示す3階層型ニューラルネットワークを使用し、入力層のニューロン数を32×24、中間層のニューロン数を128、出力層の数を4とすると共に、4つの出力層1〜4の中から出力値が最大となる出力層を選択して正常吸着と異常吸着とを判別する。
In the second embodiment, the three-layer neural network shown in FIG. 14 is used, the number of neurons in the input layer is 32 × 24, the number of neurons in the intermediate layer is 128, the number of output layers is 4, and four outputs are output. The output layer having the maximum output value is selected from the
この場合、図15に示すように、出力層1が正常吸着の教師データと入力データとの類似度に応じた数値を出力し、出力層2が左斜め吸着の教師データと入力データとの類似度に応じた数値を出力し、出力層3が右斜め吸着の教師データと入力データとの類似度に応じた数値を出力し、出力層4が横吸着の教師データと入力データとの類似度に応じた数値を出力する。学習方法はバックプロパゲーション法を用い、前記実施例1と同様の方法で学習した。
In this case, as shown in FIG. 15, the
例えば、出力層1の出力値が他の出力層2〜4の出力値よりも大きければ、“正常吸着”と判定し、出力層2〜4のいずれかの出力値が出力層1の出力値よりも大きければ、“異常吸着”と判定する。これを具体例で説明すると、
出力層1(正常吸着)の出力値 =0.3
出力層2(左斜め吸着)の出力値=0.8
出力層3(右斜め吸着)の出力値=0.1
出力層4(横吸着)の出力値 =0.2
という出力が得られた場合、出力層2(左斜め吸着)の出力値(0.8)が最大であり、出力層2(左斜め吸着)の出力値(0.8)が出力層1(正常吸着)の出力値(0.3)よりも大きいため、“異常吸着”と判定される。
For example, if the output value of the
Output value of output layer 1 (normal adsorption) = 0.3
Output value of output layer 2 (left diagonal adsorption) = 0.8
Output value of output layer 3 (right oblique adsorption) = 0.1
Output value of output layer 4 (lateral adsorption) = 0.2
The output value (0.8) of the output layer 2 (left oblique adsorption) is the maximum, and the output value (0.8) of the output layer 2 (left oblique adsorption) is the output layer 1 ( Since it is larger than the output value (0.3) of “normal adsorption”, it is determined as “abnormal adsorption”.
本実施例2においても、図7の教師データを用いてニューラルネットワークの学習を行い、図7のテストデ−タを用いて判別実験を行った。この判別実験で、各学習回数毎のニューラルネットワークを用いて平均誤り率の変化を測定した結果を図16に示す。 Also in the second embodiment, the neural network was learned using the teacher data shown in FIG. 7, and a discrimination experiment was conducted using the test data shown in FIG. In this discrimination experiment, the result of measuring the change in average error rate using a neural network for each number of learning times is shown in FIG.
この判別実験結果から、学習回数が約1200回を越えるあたりから安定して平均誤り率が1.5[%]程度に収まることが判明した。図17に示すように、実際には正常吸着であるにも拘らず、異常吸着であると誤判定したものは全くなかったが、異常吸着のものを正常吸着であると誤判定したものが134例あった。 From the result of this discrimination experiment, it was found that the average error rate was stable within about 1.5 [%] from the time when the number of learning exceeded about 1200 times. As shown in FIG. 17, although there was actually normal adsorption, none of them was erroneously determined to be abnormal adsorption, but what was abnormally determined to be abnormal adsorption was 134. There was an example.
この判別実験での判別率と誤り率は次式で算出される。
判別率=(3280+5757)/(3280+5891)×100[%]
=98.5[%]
誤り率=100−98.5[%]
=1.5[%]
The discrimination rate and error rate in this discrimination experiment are calculated by the following equations.
Discrimination rate = (3280 + 5757) / (3280 + 5891) × 100 [%]
= 98.5 [%]
Error rate = 100-98.5 [%]
= 1.5 [%]
出力層の数が1つのニューラルネットワークを用いた前記実施例1の場合、誤り率は、0.5[%]程度であったが、本実施例2では、ニューラルネットワークの出力層の数を4つに増やすことで、誤り率が1.5[%]程度に上昇した。しかしながら、正常吸着の画像を異常吸着であると誤判別する例が全く無くなった。 In the first embodiment in which the number of output layers is one neural network, the error rate is about 0.5 [%]. In the second embodiment, the number of output layers of the neural network is four. As a result, the error rate increased to about 1.5%. However, there has been no example of misclassifying a normal suction image as abnormal suction.
このように、本実施例2では、誤判別した画像は、全て異常吸着のものを正常吸着と誤判別したものばかりである。これらの誤判別画像を観察すると、誤判別画像の中には、その部品を回路基板に実装しても、実装精度上、実質的に問題のない吸着状態のものが多く含まれていることが判明した。従って、実質的な誤判別率はもっと低くなると思われる。よって、本実施例2のように、ニューラルネットワークの出力層の数を“正常吸着”、“左斜め吸着”、“右斜め吸着”、“横吸着”の4つに増やすことによって、性能のよい部品異常吸着判別器を構成できる。 As described above, in the second embodiment, the images that are erroneously determined are all images that are erroneously determined to be abnormally attracted from those that are abnormally attracted. When these misclassification images are observed, the misclassification images may contain a large number of adsorption states that have no problem in terms of mounting accuracy even if the component is mounted on the circuit board. found. Therefore, the substantial misclassification rate seems to be lower. Therefore, as in the second embodiment, the number of output layers of the neural network is increased to four of “normal adsorption”, “left diagonal adsorption”, “right diagonal adsorption”, and “lateral adsorption”, thereby improving the performance. A component abnormal suction discriminator can be configured.
ところで、正常吸着のものを異常吸着と誤判定すると、部品のロス及び電子部品実装機の停止によりサイクルタイムロスにつながるので、正常吸着のものを異常吸着と誤判定する頻度をできる限り低下させることが望ましい。これに対し、異常吸着のものを正常吸着と誤判別する例は、先述したように、実装上、実質的に問題にならない場合が多く含まれるため、明らかな誤判定でなければ許容できる。 By the way, misjudging normal adsorption as abnormal adsorption leads to cycle time loss due to component loss and electronic component mounting machine stoppage, so the frequency of misidentifying normal adsorption as abnormal adsorption can be reduced as much as possible. desirable. On the other hand, as described above, examples of misidentifying an abnormally adsorbed item as normal adsorbed include many cases that do not cause a substantial problem in mounting.
本実施例2のように、異常吸着のパターンが大別して3つのパターンに区分されることを考慮して、ニューラルネットワークの出力層の数を4つに増やすことで、ニューラルネットワーク内部の矛盾が解消され、結果として、正常吸着のものを異常吸着と誤判別する例が無くなり、異常吸着と誤判定することによる部品のロスや電子部品実装機の停止によるサイクルタイムロスを無くすことができる。 In consideration of the fact that abnormal adsorption patterns are roughly divided into three patterns as in the second embodiment, the number of output layers of the neural network is increased to four, thereby eliminating inconsistencies in the neural network. As a result, there is no example of misidentifying normal adsorption as abnormal adsorption, and it is possible to eliminate the loss of components due to the erroneous determination of abnormal adsorption and the cycle time loss due to the stop of the electronic component mounting machine.
人間が斜め吸着の画像を見た場合、画像中でどこか「異常である」と判定するに至る特徴的な部分があると考えられる。前記実施例1のように、出力層が1つのニューラルネットワークで構成した場合、異常吸着と判定する画像領域が非常に広範囲にわたるのではないかと推測される。 When a human sees an obliquely picked up image, it is considered that there is a characteristic part that leads to determination of “abnormal” somewhere in the image. As in the first embodiment, when the output layer is constituted by one neural network, it is presumed that the image area determined to be abnormal adsorption covers a very wide range.
一方、本実施例2のように、出力層を4つにして異常吸着の判別パターンを増やした場合、左斜め吸着の場合は左側の電極部分の画像領域に対して反応し、逆に、右斜め吸着の場合は右側の電極部分の画像領域に対して反応し、横吸着の場合は、部品上下の画像領域に反応するといった具合に、問題をより簡単な問題の集合と考えることによって、より安定した判別器を構成することが可能となる。 On the other hand, when the abnormal adsorption determination pattern is increased by using four output layers as in the second embodiment, in the case of the left diagonal adsorption, the reaction is performed on the image area of the left electrode portion, and conversely, In the case of diagonal adsorption, it reacts to the image area of the right electrode part, in the case of lateral adsorption, it reacts to the image area above and below the part, etc. A stable classifier can be configured.
前記実施例1のように、出力層が1つの場合は、右側電極部分、左側電極部分、部品上下領域を総合的に見て判定するので、正常吸着の場合でも、部品が少しずつ異なっていると、累積的に異常吸着と誤判別されることがあるのではないかと推測される。 As in the first embodiment, when there is one output layer, the right electrode portion, the left electrode portion, and the upper and lower regions of the component are comprehensively determined, so even in the case of normal adsorption, the components are slightly different. Therefore, it is presumed that there is a possibility of being erroneously determined as abnormal adsorption cumulatively.
その他、本発明は、図1に示すような構成の電子部品実装機に限定されず、様々な構成の電子部品実装機に適用して実施できる。
As a further, the present invention is not limited to the electronic component mounting apparatus configured as shown in FIG. 1, it can be carried out by applying to the electronic component mounting apparatus of various configurations.
11…X軸スライド、13…Y軸スライド、17…吸着ノズル、18…部品、19…バックライト、20,21…反射鏡、22…カメラ、23フロントライト
DESCRIPTION OF
Claims (4)
前記ニューラルネットワークは、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の4つのパターンに区分してそれぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する4つの出力層を有するように構成し、各出力層の出力値を比較して正常吸着と異常吸着とを判別することを特徴とする部品吸着姿勢判別方法。 In the component suction orientation determination method, which picks up the part sucked by the suction nozzle of the electronic component mounting machine with a camera and determines whether the suction posture of the component is normal suction or abnormal suction by image processing technology, a large number of normal suction collected in advance The part image data and the abnormal part image data are learned by the neural network as teacher data, and the image data of the part imaged by the camera during operation of the electronic component mounting machine is input to the neural network, A component suction posture determination method for determining whether a suction posture of the component is normal suction or abnormal suction based on an output value of a neural network,
The neural network divides the component adsorption posture into four patterns: normal adsorption, abnormal adsorption by right diagonal adsorption, abnormal adsorption by left diagonal adsorption, and abnormal adsorption by lateral adsorption. Teacher data and input data for each pattern The component suction posture is characterized in that it has four output layers that output a numerical value corresponding to the degree of similarity with each other, and compares the output values of each output layer to discriminate between normal suction and abnormal suction How to determine.
前記吸着姿勢判別手段は、予め収集した多数の正常吸着の部品画像データと異常吸着の部品画像データを教師データとしてニューラルネットワークで学習しておき、電子部品実装機の稼働中に前記カメラで撮像した部品の画像データを前記ニューラルネットワークに入力して、当該ニューラルネットワークの出力値に基づいて当該部品の吸着姿勢が正常吸着か異常吸着かを判別する部品吸着姿勢判別システムであって、
前記ニューラルネットワークは、部品の吸着姿勢を、正常吸着、右斜め吸着による異常吸着、左斜め吸着による異常吸着、横吸着による異常吸着の4つのパターンに区分してそれぞれのパターンの教師データと入力データとの類似度に応じた数値を出力する4つの出力層を有するように構成し、各出力層の出力値を比較して正常吸着と異常吸着とを判別することを特徴とする部品吸着姿勢判別システム。 A camera that picks up an image of a component picked up by a pick-up nozzle of an electronic component mounting machine, and a pick-up posture determination unit that performs image processing on image data of the component picked up by the camera and determines whether the pick-up posture of the component is normal suction or abnormal suction In the component adsorption posture discrimination system with
The suction posture discriminating means learns a number of normal suction part image data and abnormal suction part image data collected in advance as neural data using a neural network, and picks up an image with the camera while the electronic component mounting machine is in operation. A component suction posture determination system that inputs image data of a component to the neural network and determines whether the suction posture of the component is normal suction or abnormal suction based on an output value of the neural network,
The neural network divides the component adsorption posture into four patterns: normal adsorption, abnormal adsorption by right diagonal adsorption, abnormal adsorption by left diagonal adsorption, and abnormal adsorption by lateral adsorption. Teacher data and input data for each pattern The component suction posture is characterized in that it has four output layers that output a numerical value corresponding to the degree of similarity with each other, and compares the output values of each output layer to discriminate between normal suction and abnormal suction Discriminating system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006315102A JP4514230B2 (en) | 2006-11-22 | 2006-11-22 | Component suction posture discrimination method and component suction posture discrimination system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006315102A JP4514230B2 (en) | 2006-11-22 | 2006-11-22 | Component suction posture discrimination method and component suction posture discrimination system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008130865A JP2008130865A (en) | 2008-06-05 |
JP4514230B2 true JP4514230B2 (en) | 2010-07-28 |
Family
ID=39556388
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006315102A Active JP4514230B2 (en) | 2006-11-22 | 2006-11-22 | Component suction posture discrimination method and component suction posture discrimination system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4514230B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024084588A1 (en) * | 2022-10-18 | 2024-04-25 | ヤマハ発動機株式会社 | Component mounting system and component mounting method |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2014363033B2 (en) * | 2013-12-12 | 2016-11-17 | Mes Medical Electronic Systems Ltd. | Home testing device |
JP6642474B2 (en) * | 2017-02-13 | 2020-02-05 | オムロン株式会社 | State determination device, learning device, state determination method, and program |
JP6824398B2 (en) * | 2017-05-22 | 2021-02-03 | 株式会社Fuji | Image processing equipment, multiplex communication system and image processing method |
JP6899762B2 (en) * | 2017-12-20 | 2021-07-07 | ヤマハ発動機株式会社 | Component mounting system |
EP3751976A4 (en) * | 2018-02-09 | 2021-02-24 | Fuji Corporation | System for creating learned model for component image recognition, and method for creating learned model for component image recognition |
JP6884398B2 (en) * | 2018-03-24 | 2021-06-09 | 株式会社ダイシン | Judgment device for transported objects and transport system using this |
JP7070308B2 (en) * | 2018-10-05 | 2022-05-18 | オムロン株式会社 | Estimator generator, inspection device, estimator generator method, and estimator generator |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0772094A (en) * | 1993-09-02 | 1995-03-17 | Sanyo Electric Co Ltd | Inspecting apparatus for soldering |
JPH117536A (en) * | 1997-04-25 | 1999-01-12 | Fuji Electric Co Ltd | Device and method for recognizing picture by using neural network, and converter |
JP2000307298A (en) * | 1999-04-22 | 2000-11-02 | Sony Corp | Method of mounting part |
-
2006
- 2006-11-22 JP JP2006315102A patent/JP4514230B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0772094A (en) * | 1993-09-02 | 1995-03-17 | Sanyo Electric Co Ltd | Inspecting apparatus for soldering |
JPH117536A (en) * | 1997-04-25 | 1999-01-12 | Fuji Electric Co Ltd | Device and method for recognizing picture by using neural network, and converter |
JP2000307298A (en) * | 1999-04-22 | 2000-11-02 | Sony Corp | Method of mounting part |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024084588A1 (en) * | 2022-10-18 | 2024-04-25 | ヤマハ発動機株式会社 | Component mounting system and component mounting method |
Also Published As
Publication number | Publication date |
---|---|
JP2008130865A (en) | 2008-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4514230B2 (en) | Component suction posture discrimination method and component suction posture discrimination system | |
US10776911B2 (en) | Information processing apparatus, identification system, setting method, and program | |
JP6922168B2 (en) | Surface mount line quality control system and its control method | |
JP6630545B2 (en) | Positioning method, positioning device, program, and computer-readable recording medium | |
CN111656883B (en) | Learning completion model generation system and method for component image recognition | |
KR102577448B1 (en) | Hand eye calibration method and system | |
JP2001357382A (en) | Method for positioning picture in comparing inspection, comparing inspection method and comparing inspection, device | |
JP6727228B2 (en) | Lead tip position image recognition method and lead tip position image recognition system | |
CN105180836A (en) | Control apparatus, robot, and control method | |
CN102612705B (en) | Fake-finger determination device, fake-finger determination method and fake-finger determination program | |
Ozturk et al. | Detection of PCB soldering defects using template based image processing method | |
Lin | Development of an intelligent transformer insertion system using a robot arm | |
US20020051570A1 (en) | Apparatus and method of determining image processing parameter, and recording medium recording a program for the same | |
JP2009130034A (en) | Front/back discriminating apparatus for suction component and front/back discriminating method for suction component | |
JPH08254501A (en) | Method and apparatus for visual inspection | |
JP3890800B2 (en) | Soldering state inspection method | |
JP4683429B2 (en) | Component suction posture discrimination method and component suction posture discrimination system | |
KR20220118140A (en) | Deep learning based injection quality inspection system | |
JP2021056004A (en) | Image determination device and image determination method | |
JP4744234B2 (en) | Component positioning method and apparatus | |
JP4565465B2 (en) | Component suction posture identification method and component suction posture identification system | |
JP5778685B2 (en) | System and method for alignment and inspection of ball grid array devices | |
JP2004363988A (en) | Method and apparatus for detecting vehicle | |
WO2023095505A1 (en) | Automatic defect classifier | |
JP3753500B2 (en) | Electronic component mounting method and electronic component mounting machine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091215 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100413 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100510 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4514230 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140521 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |