JP4747955B2 - Inspection control device, inspection control method, inspection system, control program, and recording medium - Google Patents
Inspection control device, inspection control method, inspection system, control program, and recording medium Download PDFInfo
- Publication number
- JP4747955B2 JP4747955B2 JP2006159086A JP2006159086A JP4747955B2 JP 4747955 B2 JP4747955 B2 JP 4747955B2 JP 2006159086 A JP2006159086 A JP 2006159086A JP 2006159086 A JP2006159086 A JP 2006159086A JP 4747955 B2 JP4747955 B2 JP 4747955B2
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- logic
- evaluation
- result
- inspection logic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 1331
- 238000011156 evaluation Methods 0.000 claims description 329
- 230000002950 deficient Effects 0.000 claims description 255
- 230000001276 controlling effect Effects 0.000 claims description 4
- 239000000047 product Substances 0.000 description 203
- 238000004519 manufacturing process Methods 0.000 description 76
- 238000000034 method Methods 0.000 description 54
- 238000010586 diagram Methods 0.000 description 23
- 238000003384 imaging method Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 9
- 239000002131 composite material Substances 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000005484 gravity Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000011179 visual inspection Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 230000000875 corresponding Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003287 optical Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 102100015879 ADSL Human genes 0.000 description 1
- 101710034880 ADSL Proteins 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006011 modification reaction Methods 0.000 description 1
- 230000000737 periodic Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Description
本発明は、生産ラインにおける生産対象物(ワーク)の良・不良を判別する検査装置に関するものであり、特に、検査に必要な各種設定を自動で行う検査制御装置、検査制御方法、検査システム、制御プログラム、および、記録媒体に関するものである。 The present invention relates to an inspection apparatus for determining whether a production object (work) is good or defective in a production line, and in particular, an inspection control apparatus, an inspection control method, an inspection system, which automatically perform various settings necessary for inspection, The present invention relates to a control program and a recording medium.
現在、生産ラインにおいて、ワークの良・不良の判別を検査装置により自動化することが可能となっている。このような検査装置では、一般に、(1)ワークの状態に関する情報を取得し、(2)ワークの状態を数値化した特徴量をどのように抽出するかを規定したルールに基づいて特徴量を抽出し、(3)あらかじめ設定された判別関数(閾値)に基づき上記特徴量を判別することによって、ワークの良・不良を判別する。 Currently, in a production line, it is possible to automatically discriminate between good and defective workpieces using an inspection device. In such an inspection apparatus, in general, (1) information on a workpiece state is acquired, and (2) a feature amount is calculated based on a rule that defines how to extract a feature amount obtained by quantifying the workpiece state. Extraction is performed, and (3) the feature quantity is discriminated based on a preset discriminant function (threshold), thereby discriminating whether the workpiece is good or bad.
具体的には、例えば、ワークを撮影した画像を用いてワークの良・不良を判別する画像処理機能を備えた検査装置では、画像処理アルゴリズム(ルール)を利用して、画像をあるパラメータ空間に写像し(特徴量の抽出)、良品・不良品を分離する閾値に基づいて、ワークの良・不良を判別する。 Specifically, for example, in an inspection apparatus having an image processing function for determining whether a work is good or bad using an image obtained by photographing the work, an image is put in a certain parameter space using an image processing algorithm (rule). Mapping (extraction of feature values) is performed to determine whether the workpiece is good or bad based on a threshold value for separating good / defective products.
したがって、検査装置がワークを良品と不良品とに正しく分離するためには、いかなるルールを採用するか、あるいは、上記閾値をいかに定めるかということ正しく選択することが欠くことのできない重要事項である。上述のように検査装置に設定される、上記ルールや上記閾値などを以下では検査ロジックと称する。すなわち、検査ロジックとは、検査装置の良・不良の判別方法を規定する、検査装置に対する制御情報のことである。 Therefore, in order for an inspection device to correctly separate a workpiece into a non-defective product and a defective product, it is indispensable to select what rule to use or how to determine the threshold value. . The rules and the threshold values set in the inspection apparatus as described above are hereinafter referred to as inspection logic. That is, the inspection logic is control information for the inspection apparatus that defines a method for determining whether the inspection apparatus is good or defective.
つまり、検査ロジックの設定を誤ってしまうと、良品を不良品と判定したり、不良品を良品と判定したりする検査不良が生じてしまう。 In other words, if the setting of the inspection logic is wrong, an inspection failure may occur in which a non-defective product is determined as a defective product or a defective product is determined as a non-defective product.
検査ロジックは、サンプルデータ(ワークの状態に関する情報)を収集し、統計的なデータに基づいて設定するのが一般的である。収集するデータ数(サンプル数)が多ければ多いほど、より精度の高い検査ロジックあるいは閾値を得られるということは言うまでもない。 In general, the inspection logic collects sample data (information on the state of the workpiece) and is set based on statistical data. Needless to say, the more data (number of samples) to be collected, the more accurate inspection logic or threshold value can be obtained.
特許文献1には、大量のデータから判別関数(閾値)を設定する外観検査方法及び装置が開示されている。具体的には、取り込んだ検査対象の画像から、該検査対象の状態を示すコードデータを生成して、各カテゴリーに選別されたサンプルの検査対象のコードデータに基づいて判別関数を求める。 Patent Document 1 discloses an appearance inspection method and apparatus for setting a discriminant function (threshold value) from a large amount of data. Specifically, code data indicating the state of the inspection object is generated from the captured image of the inspection object, and a discriminant function is obtained based on the code data of the inspection object of the sample selected for each category.
特許文献2には、複数の判定値に基づいて良否判定を行って、目視検査と近い判定結果を得られた判定値(閾値)を選択し設定する物品の検査方法および装置が開示されている。 Patent Document 2 discloses a method and apparatus for inspecting an article that performs pass / fail determination based on a plurality of determination values, and selects and sets a determination value (threshold value) obtained with a determination result close to visual inspection. .
一般的に検査装置の設定を行う生産初期には、サンプル数が少ないため、良・不良の判定を行うための閾値(判別関数/判定値)を初めから正しく設定することは不可能に近い。そのため、生産を重ねてサンプル数を増やし、適宜、現在設定されている判別関数の適否を判断してより適切な判別関数を再設定する必要がある。 Generally, at the initial stage of production when the inspection apparatus is set, since the number of samples is small, it is almost impossible to correctly set a threshold value (discriminant function / determination value) for determining good / bad. Therefore, it is necessary to increase the number of samples through repeated production, and appropriately determine the suitability of the currently set discriminant function and reset a more appropriate discriminant function.
しかし、特許文献1の装置では、誤判定(検査不良)が発生しないと再設定の要否が判断できない。結局、判別関数の適否は、人、特に経験を積んだ熟練者が判断するしかない。 However, in the apparatus of Patent Document 1, it is impossible to determine whether resetting is necessary or not unless an erroneous determination (inspection failure) occurs. After all, the appropriateness of the discriminant function can only be determined by a person, especially an experienced expert.
また、特許文献2に開示されているように、複数の判定値の中から最適なものを選ぶとはいえ、生産現場の環境の変化(生産設備の消耗や入れ替え、作業者の入れ替わりや熟練度の向上、ワークの型の変更など)に伴って、判定値の再設定が必要となるのが現状である。 In addition, as disclosed in Patent Document 2, although an optimum one is selected from a plurality of judgment values, changes in the environment of the production site (consumption and replacement of production equipment, replacement of workers and skill level) In the present situation, it is necessary to reset the judgment value with the improvement of the workpiece and the change of the workpiece type.
しかし、特許文献2の装置では、初期設定時に最適な判定値を設定することは開示されているものの、ライン稼動後にその設定を見直すといったことは考慮されていない。 However, although the device of Patent Document 2 discloses that an optimum determination value is set at the time of initial setting, it is not considered to review the setting after the line is activated.
そこで、ライン稼動後も検査装置の検査精度を維持するために、特許文献3には、RGBストライプ(BMストライプ)のパターン幅やピッチを検査する自動診断機能付きストライプパターン検査装置が開示されている。 Therefore, in order to maintain the inspection accuracy of the inspection apparatus even after line operation, Patent Document 3 discloses a stripe pattern inspection apparatus with an automatic diagnosis function that inspects the pattern width and pitch of RGB stripes (BM stripes). .
ストライプパターン検査装置は、標準ストライプパターンを定期的に検査し、検査精度を自動診断する。さらに、実際に検査したストライプパターンの検査値を傾向管理して得られた情報を、BMストライプパターンを形成する露光台へフィードバックして、露光光源の照度を自動制御する。これにより、作業者による定期校正、補正、調整作業を必要とせずとも、検査環境に検査精度を維持することができ、製造品質の維持管理が容易になる。
しかしながら、上記従来の構成では、以下の問題を生じる。 However, the above conventional configuration causes the following problems.
特許文献3の装置では、検査環境(検査装置のカメラレンズや照明の状態など)の変動を矯正できるものの、生産環境、例えば、ワーク(検査対象物)の変動には対応できないという問題を生じる。 Although the apparatus of Patent Document 3 can correct fluctuations in the inspection environment (such as the camera lens of the inspection apparatus and the illumination state), there arises a problem that it cannot cope with fluctuations in the production environment, for example, a workpiece (inspection object).
つまり、標準ストライプパターンは常に「標準」であることが前提になっている。したがって、検査対象物が変動すると、その新しい検査対象物にとって「標準」である標準ストライプパターンに交換しなければ検査精度を維持することができない。結果として、検査ロジック(この場合、標準ストライプパターン)の再設定の要否や適切な検査ロジックの選定は人が行う必要がある。 That is, it is assumed that the standard stripe pattern is always “standard”. Therefore, if the inspection object fluctuates, the inspection accuracy cannot be maintained unless it is replaced with a standard stripe pattern that is “standard” for the new inspection object. As a result, it is necessary for a person to determine whether or not to reset the inspection logic (in this case, the standard stripe pattern) and to select an appropriate inspection logic.
上記生産環境の変動としては、例えば、生産設備を調整したことで部品取り付け位置のずれ幅の平均が変わったり、部品のロットやベンダが変わったことで画像の特徴(色、写り方)が変化したりすることなどが想定される。 Examples of fluctuations in the production environment include, for example, changing the average width of component mounting positions due to adjustment of production equipment, and changing image characteristics (color, appearance) due to changes in part lots and vendors. It is supposed to do.
なお、上記の問題点は、ワークの画像から、画像処理アルゴリズムを用いて良・不良を判別する、画像処理機能を備えた検査装置に限定して生じるものではなく、上述の検査ロジックに基づいて品質検査を行う検査装置であれば、同様に生じるものである。 The above-mentioned problem does not occur only in an inspection apparatus having an image processing function for determining good / bad from an image of a work using an image processing algorithm, and is based on the above-described inspection logic. If it is an inspection device that performs quality inspection, it will occur in the same way.
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、生産環境の変動に応じて動的に検査ロジックを設定することにより検査精度を向上させる検査制御装置、検査制御方法、検査システム、制御プログラム、および、記録媒体を実現することにある。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an inspection control apparatus and an inspection control method that improve inspection accuracy by dynamically setting inspection logic according to changes in the production environment. It is to realize an inspection system, a control program, and a recording medium.
本発明に係る検査制御装置は、上記課題を解決するために、良不良の判別方法を規定する検査ロジックを用いて、対象物の良不良を判別する検査モジュールを制御する検査制御装置において、上記検査モジュールが用いるメイン検査ロジックを、複数の検査ロジックの中から選択する検査ロジック選択手段と、上記検査モジュールが上記メイン検査ロジックを用いて生成した、対象物の良不良の判別結果を示す最終検査結果と、該メイン検査ロジックと異なる検査ロジックを用いて対象物の良不良を判別した場合の判別結果を示す評価用検査結果とに基づいて、各検査ロジックの検査精度を評価する評価手段と、上記検査ロジック選択手段が選択した検査ロジックをメイン検査ロジックとして切り替える検査ロジック設定手段とを備え、上記検査ロジック選択手段は、上記評価手段が評価した評価結果に基づいて、上記メイン検査ロジックを選択することを特徴としている。 In order to solve the above-described problem, an inspection control apparatus according to the present invention uses an inspection logic that defines a method for determining whether a product is good or bad, and controls an inspection module that determines whether a target is good or bad. The inspection logic selection means for selecting the main inspection logic used by the inspection module from a plurality of inspection logics, and the final inspection indicating the result of good / bad determination of the object generated by the inspection module using the main inspection logic An evaluation means for evaluating the inspection accuracy of each inspection logic based on the result and an inspection result for evaluation indicating a determination result when the quality of the object is determined using inspection logic different from the main inspection logic; Inspection logic setting means for switching the inspection logic selected by the inspection logic selection means as the main inspection logic, and査 logic selection means, based on the evaluation result of the evaluation means to evaluate, it is characterized by selecting the main inspection logic.
本発明に係る検査制御方法は、上記課題を解決するために、良不良の判別方法を規定する検査ロジックを用いて、対象物の良不良を判別する検査モジュールを制御する検査制御装置における検査制御方法であって、上記検査モジュールが用いるメイン検査ロジックを、複数の検査ロジックの中から選択する選択ステップと、上記検査モジュールが上記メイン検査ロジックを用いて生成した、対象物の良不良の判別結果を示す最終検査結果と、該メイン検査ロジックと異なる検査ロジックを用いて対象物の良不良を判別した場合の判別結果を示す評価用検査結果とに基づいて、各検査ロジックの検査精度を評価する評価ステップと、上記検査ロジック選択手段が選択した検査ロジックをメイン検査ロジックとして切り替える切替ステップとを含み、上記選択ステップでは、上記評価ステップによる評価結果に基づいて、上記メイン検査ロジックを選択することを特徴としている。 In order to solve the above problems, an inspection control method according to the present invention uses an inspection logic that defines a method for determining good or bad, and uses an inspection control in an inspection control device that controls an inspection module for determining good or bad of an object. A method for selecting a main inspection logic used by the inspection module from a plurality of inspection logics, and a result of determining whether the object is good or defective generated by the inspection module using the main inspection logic. The inspection accuracy of each inspection logic is evaluated on the basis of the final inspection result indicating the difference between the main inspection logic and the evaluation inspection result indicating the determination result when the object is determined to be good or defective using inspection logic different from the main inspection logic. An evaluation step and a switching step for switching the inspection logic selected by the inspection logic selection means as the main inspection logic. In the above selecting step, based on the evaluation result by the evaluation step, it is characterized by selecting the main inspection logic.
上記構成および方法によれば、検査モジュールは、良不良の判別方法を規定する制御情報としての検査ロジックのうち、検査ロジック設定手段がメイン検査ロジックとして設定した検査ロジックを用いて、対象物の良不良を判別し、その判別結果を最終検査結果として出力する。最終検査結果とは、実際の生産ラインにおいて、不良の対象物を特定するのに採用される最終結果である。つまり、メイン検査ロジックに基づく判別方法によって、対象物の実際の検査が実行される。 According to the above configuration and method, the inspection module uses the inspection logic set as the main inspection logic by the inspection logic setting unit among the inspection logic as the control information that defines the good / bad determination method. A defect is determined, and the determination result is output as a final inspection result. The final inspection result is a final result that is adopted to identify a defective object in an actual production line. That is, the actual inspection of the object is executed by the determination method based on the main inspection logic.
一方、検査モジュールは、上記メイン検査ロジック以外の検査ロジックを用いて対象物の良不良を判別する。こうして、検査モジュールにより、上記検査ロジック(メイン検査ロジックを含む)ごとに判別結果が得られる。 On the other hand, the inspection module determines whether the object is good or bad using inspection logic other than the main inspection logic. In this way, the inspection module obtains a determination result for each inspection logic (including the main inspection logic).
ここで、評価手段は、検査ロジックごとの上記判別結果を評価する。このように、上記判別結果は、評価手段が検査ロジックごとにその検査精度を評価するときに参照するため、評価用検査結果であるといえる。評価方法は、具体的には、上記検査モジュールより検査ロジックごとに得られる評価用検査結果を、上記メイン検査ロジックによる最終検査結果に基づき評価して、検査精度を表す評価値を上記検査ロジックごとに算出する。 Here, the evaluation means evaluates the discrimination result for each inspection logic. Thus, the determination result is referred to when the evaluation unit evaluates the inspection accuracy for each inspection logic, and thus can be said to be an inspection result for evaluation. Specifically, the evaluation method evaluates the inspection result for evaluation obtained for each inspection logic from the inspection module based on the final inspection result by the main inspection logic, and sets an evaluation value representing inspection accuracy for each inspection logic. To calculate.
次に、検査ロジック選択手段は、各検査ロジックの評価値に基づいて、上記検査モジュールが最終検査結果を出力するのに用いるメイン検査ロジックを選択する。選択されたメイン検査ロジックは、上記検査ロジック設定手段によって上記検査モジュールに設定される。上述したとおり、上記検査モジュールは、検査ロジック設定手段がメイン検査ロジックとして設定した検査ロジックを用いて、対象物の良不良を判別し、最終検査結果を出力する。 Next, the inspection logic selection means selects the main inspection logic used by the inspection module to output the final inspection result based on the evaluation value of each inspection logic. The selected main inspection logic is set in the inspection module by the inspection logic setting means. As described above, the inspection module uses the inspection logic set by the inspection logic setting unit as the main inspection logic to determine whether the object is good or defective and outputs the final inspection result.
これにより、実際の生産ラインに流れている対象物の不良品を検出するのに採用する、検査モジュールのメイン検査ロジックは、常に、その評価値に基づいて検査ロジック選択手段によって最適なものが選択される。選択されたメイン検査ロジックは、上記検査ロジック設定手段によって、動的に設定される。 As a result, the main inspection logic of the inspection module used to detect defective products flowing in the actual production line is always selected by the inspection logic selection means based on the evaluation value. Is done. The selected main inspection logic is dynamically set by the inspection logic setting means.
したがって、例えば、生産環境の変動に伴って、すでに設定されているメイン検査ロジックの評価値よりも、他の検査ロジックの評価値の方が、検査精度が高いことを表していることが判明すれば、検査ロジック選択手段は、より検査精度が高いと評価された検査ロジックを、検査モジュールのメイン検査ロジックとして選択することができる。つまり、より高い検査精度を有する検査ロジックを、メイン検査ロジックとして検査モジュールに対して自動で動的に再設定し、検査精度を維持、あるいは、高めることができる。 Therefore, for example, as the production environment changes, it is found that the evaluation values of other inspection logics indicate that the inspection accuracy is higher than the evaluation values of the main inspection logics already set. For example, the inspection logic selection means can select the inspection logic evaluated as having higher inspection accuracy as the main inspection logic of the inspection module. That is, the inspection logic having higher inspection accuracy can be automatically and dynamically reset for the inspection module as the main inspection logic, and the inspection accuracy can be maintained or increased.
生産ラインが稼動すれば、生産環境の変動は避けられない。例えば、生産設備や検査設備の消耗・故障・入れ替えや、物理的環境の変化(温度や湿度など)、あるいは、生産作業に携わる作業者の熟練度の変動、作業者の入れ替えなどが考えられる。生産環境が変動すれば、既に設定された検査ロジックが、常に最適な(高い検査精度を維持する)検査ロジックであるとは限らなくなる。 If the production line is in operation, changes in the production environment are inevitable. For example, consumption / failure / replacement of production facilities and inspection facilities, changes in physical environment (such as temperature and humidity), changes in the skill level of workers involved in production work, replacement of workers, and the like can be considered. If the production environment fluctuates, the already set inspection logic is not always optimal (maintaining high inspection accuracy).
しかし、本発明の検査装置によれば、複数の検査ロジックのうち、評価値に基づいて常に最適なものをメイン検査ロジックとして特定することができるので、生産環境の変動に応じて動的に検査ロジックを設定することにより検査精度を向上させることが可能となる。 However, according to the inspection apparatus of the present invention, among the plurality of inspection logics, the optimum one can always be specified as the main inspection logic based on the evaluation value, so that the inspection is dynamically performed according to the change in the production environment. Inspection accuracy can be improved by setting logic.
本発明に係る検査制御装置では、上記検査ロジックは、対象物の状態を示す特徴量の計測方法と、上記特徴量を分離して良不良を判別するための閾値とを規定し、上記評価手段は、上記評価用検査結果に含まれる対象物ごとに計測された特徴量と、上記最終検査結果が示す対象物の良品数および不良品数とに基づく統計データを用いて、各検査ロジックの検査精度を表す評価値を算出することにより評価することが好ましい。 In the inspection control apparatus according to the present invention, the inspection logic defines a feature amount measuring method indicating a state of an object and a threshold value for separating the feature amount to determine good or bad, and the evaluation means Is the inspection accuracy of each inspection logic using statistical data based on the feature quantity measured for each object included in the inspection result for evaluation and the number of good and defective products of the object indicated by the final inspection result. It is preferable to evaluate by calculating an evaluation value representing.
上記構成によれば、上記評価手段は、上記評価用検査結果に含まれる、対象物ごとに計測された特徴量と、上記最終検査結果が示す対象物の良品数および不良品数とに基づく統計データを用いて、各検査ロジックの検査精度を表す評価値を算出する。ここで、上記特徴量とは、対象物の状態を数値化して示すものであり、閾値に基づいて分離することができ、これによって、対象物の良不良を判別できるようにする情報のことである。 According to the said structure, the said evaluation means is the statistical data based on the feature-value measured for every target object contained in the said test result for evaluation, and the number of good products and the number of inferior goods of the target object which the said final test result shows. Is used to calculate an evaluation value representing the inspection accuracy of each inspection logic. Here, the feature amount is information that numerically represents the state of the object and can be separated based on a threshold value, thereby enabling the determination of the quality of the object. is there.
すなわち、上述した統計データには、メイン検査ロジックが良品(あるいは不良品)と判別した対象物に対する、他の検査ロジックが計測した特徴量に基づく分布が含まれる。このような統計データから、メイン検査ロジックが良品(あるいは不良品)と判別した対象物に対し、他の検査ロジックは、いかなる特徴量に基づいてどう判別を行ったのかという情報が得られる。つまり、メイン検査ロジックの検査結果を元にして、他の各検査ロジックの検査結果を分析し、評価することができる。 In other words, the above-described statistical data includes a distribution based on a feature amount measured by another inspection logic with respect to an object determined by the main inspection logic as a non-defective product (or defective product). From such statistical data, it is possible to obtain information about how the other inspection logics have made the discrimination based on what feature quantity the object that the main inspection logic has determined to be non-defective (or defective). That is, based on the inspection result of the main inspection logic, the inspection results of other inspection logics can be analyzed and evaluated.
さらに、上記評価手段は、上記対象物の良品の集合から得られる良品特徴量と、不良品の集合から得られる不良品特徴量との差分に基づき評価値を算出することにより検査ロジックを評価してもよい。 Further, the evaluation means evaluates the inspection logic by calculating an evaluation value based on a difference between a non-defective product feature value obtained from the non-defective product set of the target object and a defective product feature value obtained from the defective product set. May be.
上記構成によれば、各検査ロジックの検査精度を、当該検査ロジックにて計測される、良品(メイン検査ロジックが判別したもの)特徴量と不良品特徴量との差分によって算出する。 According to the above configuration, the inspection accuracy of each inspection logic is calculated based on the difference between a non-defective product (determined by the main inspection logic) feature quantity and a defective product feature quantity measured by the inspection logic.
良品特徴量と不良品特徴量との差分が大きいことは、当該検査ロジックにおいて、メイン検査ロジックと同じ良品と不良品との判別が、より安全に確実に実行されていることを意味する。したがって、良品特徴量と不良品特徴量との差分が大きいほど、検査精度が高いと評価することができる。 A large difference between the non-defective product feature value and the defective product feature value means that the discrimination between the non-defective product and the defective product, which is the same as the main inspection logic, is executed more safely and reliably in the inspection logic. Therefore, it can be evaluated that the inspection accuracy is higher as the difference between the non-defective product feature amount and the defective product feature amount is larger.
なお、対象物の良品(不良品)の集合から得られる良品(不良品)特徴量を求める方法は特に限定されない。例えば、良品(不良品)の集合内の特徴量の平均値、中央値、最頻値、上限値、下限値などを良品(不良品)特徴量として用いればよい。 In addition, the method for obtaining the non-defective product (defective product) feature quantity obtained from the collection of non-defective products (defective products) of the object is not particularly limited. For example, an average value, a median value, a mode value, an upper limit value, a lower limit value, and the like of feature amounts in a set of good products (defective products) may be used as good product (defective products) feature values.
さらに、上記評価手段は、上記対象物の特徴量が閾値より小さいと良品であると判別される場合に、上記不良品の集合の特徴量の下限値である不良品下限値と上記良品の集合の特徴量の上限値である良品上限値との差分に基づき評価値を算出し、上記対象物の特徴量が閾値より大きいと良品であると判別される場合に、上記良品の集合の特徴量の下限値である良品下限値と、上記不良品の集合の特徴量の上限値である不良品上限値との差分に基づき評価値を算出することにより検査ロジックを評価してもよい。 Further, when the evaluation unit determines that the feature amount of the object is smaller than a threshold value, the evaluation unit determines that the product is a non-defective product, and the defective product lower limit value that is a lower limit value of the feature amount of the defective product set and the non-defective product set. If the evaluation value is calculated based on the difference from the upper limit value of the non-defective product, which is the upper limit value of the feature amount, and the feature value of the target object is larger than the threshold value, it is determined that the product is non-defective The inspection logic may be evaluated by calculating an evaluation value based on a difference between a non-defective product lower limit value that is a lower limit value of the non-defective product and a defective product upper limit value that is an upper limit value of the feature amount of the set of defective products.
これにより、各検査ロジックの検査精度をより正確に評価することができる。 Thereby, the inspection accuracy of each inspection logic can be more accurately evaluated.
つまり、1つの閾値によって、全対象物の特徴量をメイン検査ロジックの最終検査結果と同じく良品と不良品とに切り分けたいとき、検査ロジック特徴量に基づく良品の集合と不良品の集合との距離は、大きければ大きいほどよく、少なくとも重ならないようにしなければならない。 In other words, when it is desired to separate the feature values of all objects into non-defective products and defective products in the same way as the final inspection result of the main inspection logic by one threshold, the distance between the non-defective product set and the defective product set based on the inspection logic feature value The larger the better, the better it should not overlap.
より具体的には、上記対象物の特徴量が閾値より小さいと良品であると判別される場合、不良品の集合で計測された特徴量のうち、最小の特徴量(不良下限値)から、良品の集合で計測された特徴量のうち、最大の特徴量(良品上限値)を差し引いた値(差分)は、大きければ大きいほどより安全に最終検査結果と同じく良不良を判別できていることとなる。一方、上記差分が0以下になると、良品の集合と、不良品の集合とを正しく切り分けられない(良品を不良品と判別したり、不良品を良品と判別したりする検査不良が発生する)可能性があると判断される。 More specifically, when it is determined that the target feature is smaller than the threshold value, it is determined that the target product is a non-defective product. From among the feature values measured by the set of defective products, The larger the value (difference) obtained by subtracting the maximum feature value (non-defective product upper limit value) from the feature values measured for a good product set, the safer it is possible to discriminate between good and defective as well as the final inspection result. It becomes. On the other hand, when the difference is 0 or less, the set of non-defective products and the set of non-defective products cannot be correctly separated (inspection defects such as determining non-defective products as non-defective products or determining non-defective products as non-defective products occur). It is judged that there is a possibility.
上記対象物の特徴量が閾値より大きいと良品であると判別される場合は、上述の場合とは逆に、良品下限値から不良品上限値を差し引いた値(差分)が大きいほど評価が高く、差分が0以下であれば、検査不良が発生するほど検査精度が低いと判断される。 When it is determined that the feature amount of the object is larger than the threshold value, the evaluation is higher as the value (difference) obtained by subtracting the upper limit value of the defective product from the lower limit value of the non-defective product is larger. If the difference is 0 or less, it is determined that the inspection accuracy is low as the inspection defect occurs.
このように、上記差分が0以下になるような検査ロジックを高く評価しないようにすることで、検査不良を発生させるおそれのある低い検査精度の検査ロジックが選択されないようにすることができ、結果として、検査モジュールの検査精度を向上させることが可能となる。 In this way, by avoiding high evaluation of the inspection logic whose difference is 0 or less, it is possible to prevent selection of inspection logic with low inspection accuracy that may cause inspection failure. As a result, the inspection accuracy of the inspection module can be improved.
さらに、上記評価手段は、上記差分を上記良品特徴量の分散で除して得た商に基づき評価値を算出することにより検査ロジックを評価することが好ましい。 Further, it is preferable that the evaluation unit evaluates the inspection logic by calculating an evaluation value based on a quotient obtained by dividing the difference by the variance of the non-defective feature amount.
これにより、異なる検査ロジック間で計測される特徴量の単位が互いに異なっている場合でも、検査精度の比較、評価を行うことが可能となる。例えば、面積を特徴量として判別を行う検査ロジックと、個数を特徴量として判別を行う検査ロジックとを、共通の尺度を用いて適正に評価することが可能となる。 This makes it possible to compare and evaluate inspection accuracy even when the units of feature quantities measured between different inspection logics are different from each other. For example, it is possible to appropriately evaluate the inspection logic that performs determination using an area as a feature amount and the inspection logic that performs determination using a number as a feature amount by using a common scale.
つまり、上記差分とは、良品の集合と不良品の集合との間の距離を示しており、距離の値が大きいほど、良品不良品を安全に切り分けられているとして、評価が高くなる。良品特徴量の分散とは、良品の集合のばらつきを示しており、ばらつきの値が大きいほど、特徴量の計測手順に信頼性がなく評価が低くなる。よって、距離を良品特徴量の分散で除して求めた商が大きければ大きいほど検査精度が高いとして、共通の尺度で各検査ロジックを比較することが可能となる。 In other words, the difference indicates the distance between the non-defective product set and the non-defective product set. The larger the distance value, the higher the evaluation that the non-defective product is safely separated. The non-defective product feature amount dispersion indicates a variation of the non-defective product set, and the larger the variation value, the less reliable the feature amount measurement procedure and the lower the evaluation. Therefore, it is possible to compare inspection logics using a common scale, assuming that the larger the quotient obtained by dividing the distance by the non-defective product feature amount, the higher the inspection accuracy.
あるいは、上記評価手段は、上記対象物の良品の集合から得られる良品特徴量と上記閾値との差分、および、不良品の集合から得られる不良品特徴量と上記閾値との差分の少なくともいずれか一方に基づき評価値を算出することにより検査ロジックを評価してもよい。 Alternatively, the evaluation means is at least one of a difference between the non-defective product feature value obtained from the non-defective product set of the target object and the threshold value, and a difference between the defective product feature value obtained from the defective product set and the threshold value. The inspection logic may be evaluated by calculating an evaluation value based on one.
上記構成によれば、良品の集合と、不良品の集合との距離ではなく、両者の間にあると考えられる閾値との距離に基づいて評価値を算出する。これにより、閾値が適正に設定されている検査ロジックを評価することが可能となる。 According to the above configuration, the evaluation value is calculated based on the distance between the non-defective product set and the defective product set, not the distance between the set and the threshold value considered to be between them. Thereby, it becomes possible to evaluate the inspection logic in which the threshold is appropriately set.
さらに、上記評価手段は、(1)上記良品特徴量と、不良品特徴量との差分を差分A、(2)上記不良品特徴量と上記閾値との差分を差分B、(3)上記良品特徴量と上記閾値との差分を差分Cとして、「評価式:|差分A−差分B/差分C|」に基づき評価値を算出することにより検査ロジックを評価してもよい。 Further, the evaluation means includes (1) a difference A between the non-defective product feature quantity and the defective product feature quantity, (2) a difference B between the defective product feature quantity and the threshold value, and (3) the non-defective product. The inspection logic may be evaluated by calculating an evaluation value based on “evaluation formula: | difference A−difference B / difference C |”, where the difference between the feature amount and the threshold is the difference C.
上記構成によれば、評価手段は、良品特徴量と閾値との距離(差分C)よりも、不良品特徴量と閾値との距離(差分B)に対して重みをかけて、差分Bの方が小さい場合(すなわち、不良品の集合の方が閾値に近い場合)には、特に評価が下がるような評価値を算出する。 According to the above configuration, the evaluation means weights the distance (difference B) between the defective product feature value and the threshold value rather than the distance (difference C) between the non-defective feature value and the threshold value. Is small (that is, when the set of defective products is closer to the threshold value), an evaluation value that particularly lowers the evaluation is calculated.
これにより、不良品を良品と判別してしまうような検査ロジックの評価は低く算出され、このような検査ロジックがメイン検査ロジックとして誤って選択されるという不都合を解消することができる。 Thereby, the evaluation of the inspection logic that discriminates a defective product as a non-defective product is calculated low, and the inconvenience that such an inspection logic is erroneously selected as the main inspection logic can be solved.
これは、良品を不良品と判別してしまう検査不良よりも、不良品を良品と判別してしまう検査不良(見逃し)の方が、深刻な事故となるという考えに基づいている。見逃しをしてしまうような検査ロジックがメイン検査ロジックとして誤って選択されるおそれがなくなる。結果として、検査モジュールの検査精度を向上させることが可能となる。 This is based on the idea that an inspection failure (missing) that determines a defective product as a non-defective product is a more serious accident than an inspection failure that determines a good product as a defective product. There is no possibility that an inspection logic that may be missed is erroneously selected as the main inspection logic. As a result, the inspection accuracy of the inspection module can be improved.
なお、上述の評価式の場合、評価値の数値は小さいほど評価が高いことを意味する。 In the case of the above evaluation formula, the smaller the numerical value of the evaluation value, the higher the evaluation.
さらに、上記評価手段は、上記最終検査結果においてメイン検査ロジックにて不良品と判別された対象物のうち、上記評価用検査結果において検査ロジックにて良品と判別された対象物数に基づいて、検査ロジックを評価してもよい。 Further, the evaluation means is based on the number of objects determined to be non-defective by the inspection logic in the evaluation inspection result among the objects determined to be defective by the main inspection logic in the final inspection result. Inspection logic may be evaluated.
上記構成によれば、上記評価手段は、上述の見逃しの検査不良の発生件数に基づいて、各検査ロジックの検査精度を評価する。例えば、見逃し件数が0件の検査ロジックを高く評価したり、見逃し件数が多いものほど低く評価したりするなどして評価値を算出すればよい。 According to the said structure, the said evaluation means evaluates the test | inspection precision of each test | inspection logic based on the generation | occurrence | production number of the inspection defect of the above-mentioned miss. For example, the evaluation value may be calculated by, for example, evaluating an inspection logic with 0 missed cases highly, or evaluating a test logic with a larger number of missed cases.
これにより、見逃しをしてしまうような検査ロジックがメイン検査ロジックとして誤って選択されるおそれがなくなる。結果として、検査モジュールの検査精度を向上させることが可能となる。 As a result, there is no possibility that an inspection logic that may be overlooked is erroneously selected as the main inspection logic. As a result, the inspection accuracy of the inspection module can be improved.
上記検査ロジック設定手段は、上記検査ロジック選択手段が上記評価手段が評価した評価結果に基づき新たに選択した検査ロジックと、上記検査モジュールが使用中のメイン検査ロジックとが異なる場合に、メイン検査ロジックを切り替えることが好ましい。 The inspection logic setting unit is configured such that when the inspection logic newly selected by the inspection logic selection unit based on the evaluation result evaluated by the evaluation unit is different from the main inspection logic in use by the inspection module, Is preferably switched.
これにより、検査モジュールに現時点で設定されている元のメイン検査ロジックよりも、適正なメイン検査ロジックが新たに選択されたときに、その新しいメイン検査ロジックを用いて検査モジュールが検査を実行できるようにメイン検査ロジックを切り替えることができる。 Thus, when a proper main inspection logic is newly selected rather than the original main inspection logic currently set in the inspection module, the inspection module can perform inspection using the new main inspection logic. The main inspection logic can be switched.
さらに、上記検査ロジック設定手段は、上記評価手段が、上記検査モジュールが使用中のメイン検査ロジック以外の検査ロジックを当該メイン検査ロジックより高く評価した時にメイン検査ロジックを切り替えることをことが好ましい。 Furthermore, it is preferable that the inspection logic setting unit switches the main inspection logic when the evaluation unit evaluates inspection logic other than the main inspection logic in use by the inspection module higher than the main inspection logic.
これにより、常に、最も評価が高い検査ロジックをメイン検査ロジックに設定して検査を実行するよう検査モジュールを制御することができる。 As a result, the inspection module can be controlled to always execute the inspection by setting the inspection logic with the highest evaluation as the main inspection logic.
あるいは、上記検査ロジック設定手段は、上記評価結果に含まれる、上記検査モジュールが使用中のメイン検査ロジックの検査精度を表す評価値を監視し、該評価値の微分値に基づいて、メイン検査ロジック切り替えのタイミングを算出し、算出したタイミングにてメイン検査ロジックを切り替えてもよい。 Alternatively, the inspection logic setting means monitors an evaluation value, which is included in the evaluation result and represents an inspection accuracy of the main inspection logic in use by the inspection module, and based on a differential value of the evaluation value, The switching timing may be calculated, and the main inspection logic may be switched at the calculated timing.
上記構成によれば、上記評価手段が算出する上記検査モジュールが使用中のメイン検査ロジックの評価値を監視して、該評価値の推移を記録し、求めた微分値に基づいてメイン検査ロジックの適正な切り替えのタイミングを算出する。 According to the above configuration, the evaluation value of the main inspection logic being used by the inspection module calculated by the evaluation means is monitored, the transition of the evaluation value is recorded, and the main inspection logic is monitored based on the obtained differential value. The appropriate switching timing is calculated.
これにより、メイン検査ロジックの評価値の低下の勢いを検知して、当該メイン検査ロジックが最適でなくなる時点をあらかじめ予測することができる。したがって、例えば、評評価の逆転が起こる前に、次点の(あるいは、最も評価値の上昇率が大きい)検査ロジックに前もって切り替えておくことなどが可能となる。 Thereby, it is possible to detect the moment of decrease in the evaluation value of the main inspection logic and predict in advance the time point at which the main inspection logic is not optimal. Therefore, for example, before the evaluation evaluation is reversed, it is possible to switch to the inspection logic of the next point (or the highest rate of increase in evaluation value) in advance.
結果として、検査不良を未然に防止し、検査モジュールの検査精度を向上させることが可能となる。 As a result, it is possible to prevent an inspection failure and improve the inspection accuracy of the inspection module.
本発明の検査制御装置は、上記構成に加えて、上記検査結果を表示するよう表示部を制御する表示制御手段と、表示された検査結果と同じ検査対象の対象物に対する、ユーザによる検査のユーザ検査結果の入力を受け付ける結果入力制御手段と、上記結果入力制御手段が受け付けたユーザ検査結果に基づき、上記表示制御手段が表示部に表示した検査結果を修正する検査結果修正手段とを備えていることが好ましい。 In addition to the above-described configuration, the inspection control apparatus of the present invention includes a display control unit that controls the display unit to display the inspection result, and a user who performs an inspection on the object to be inspected that is the same as the displayed inspection result. Result input control means for receiving an input of an inspection result, and inspection result correction means for correcting the inspection result displayed on the display unit by the display control means based on the user inspection result received by the result input control means. It is preferable.
上記構成によれば、表示制御手段は表示部を制御して、検査モジュールが検査ロジックを用いて行った対象物の良不良の判別結果を示す検査結果を表示する。これにより、ユーザは、検査モジュールの検査結果を目視確認することができる。 According to the said structure, a display control means controls a display part, and displays the test result which shows the discrimination | determination result of the quality of the target object which the test | inspection module performed using the test logic. Thereby, the user can visually confirm the inspection result of the inspection module.
そして、上記結果入力制御手段は、上記対象物に対する、ユーザが検査を行って得られた結果としてのユーザ検査結果の入力を受け付ける。 And the said result input control means receives the input of the user test result as a result obtained when the user test | inspected with respect to the said target object.
最後に、上記検査結果修正手段は、上記表示制御手段が表示部に表示した検査結果が、上記結果入力制御手段が受け付けたユーザ検査結果と異なる場合、ユーザ検査結果に基づいて上記検査結果を修正する。 Finally, the inspection result correcting unit corrects the inspection result based on the user inspection result when the inspection result displayed on the display unit by the display control unit is different from the user inspection result received by the result input control unit. To do.
これにより、ユーザが検査を行った結果と異なる検査結果が検査モジュールより出力された場合でも、ユーザが、自身が行った検査結果を反映して、検査結果を修正することが可能となる。そして、修正された検査結果に基づいて、各検査ロジックの評価が行われるので、より、正確に適正なメイン検査ロジックの選択・設定を実行することが可能となる。 Thereby, even when an inspection result different from the result of the inspection performed by the user is output from the inspection module, the user can correct the inspection result by reflecting the inspection result performed by the user. Since each inspection logic is evaluated based on the corrected inspection result, it is possible to more accurately select and set the proper main inspection logic.
本発明の検査制御装置は、上記構成に加えて、各検査ロジックの統計データを用いて、検査ロジックの閾値を算出し、検査ロジックの閾値を決定する閾値調整手段を備えていることが好ましい。 In addition to the above-described configuration, the inspection control apparatus of the present invention preferably includes a threshold adjustment unit that calculates the inspection logic threshold using statistical data of each inspection logic and determines the inspection logic threshold.
これにより、検査ロジックが規定する閾値を、当該検査ロジックに基づく検査結果に応じて、常に最適に保つことが可能となる。したがって、生産環境の変動があっても、当該検査ロジックの検査精度を向上させることができる。 As a result, the threshold defined by the inspection logic can always be kept optimal according to the inspection result based on the inspection logic. Therefore, even if the production environment varies, the inspection accuracy of the inspection logic can be improved.
本発明に係る検査システムは、上記課題を解決するために、良不良の判別方法を規定する検査ロジックを用いて、対象物の良不良を判別する検査モジュールと、良不良の判別結果を示す最終検査結果を生成するのに上記検査モジュールが用いるメイン検査ロジックを選択する上述の検査制御装置とを含むことを特徴としている。 In order to solve the above problems, an inspection system according to the present invention uses an inspection logic that defines a method for determining good or bad, and uses an inspection module for determining good or bad of an object, and a final result indicating a good or bad determination result. And the above-described inspection control device that selects the main inspection logic used by the inspection module to generate the inspection result.
これにより、検査ロジックを用いて、対象物の良不良を判別する検査モジュールと、その制御を行う検査制御装置とを含んだ、生産環境の変動に応じて動的に検査ロジックを設定することにより検査精度を向上させる検査システムを構築することができる。 By using the inspection logic, the inspection logic is dynamically set according to the change in the production environment, including the inspection module for determining whether the object is good or bad and the inspection control device for controlling the inspection module. An inspection system that improves inspection accuracy can be constructed.
なお、上記検査制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記検査制御装置をコンピュータにて実現させる検査制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The inspection control apparatus may be realized by a computer. In this case, a control program for an inspection control apparatus that causes the inspection control apparatus to be realized by a computer by operating the computer as each of the means, and A computer-readable recording medium on which is recorded also falls within the scope of the present invention.
本発明に係る検査制御装置は、以上のように、上記検査モジュールが用いるメイン検査ロジックを、複数の検査ロジックの中から選択する検査ロジック選択手段と、上記検査モジュールが上記メイン検査ロジックを用いて生成した、対象物の良不良の判別結果を示す最終検査結果と、該メイン検査ロジックと異なる検査ロジックを用いて対象物の良不良を判別した場合の判別結果を示す評価用検査結果とに基づいて、各検査ロジックの検査精度を評価する評価手段と、上記検査ロジック選択手段が選択した検査ロジックをメイン検査ロジックとして切り替える検査ロジック設定手段とを備え、上記検査ロジック選択手段は、上記評価手段が評価した評価結果に基づいて、上記メイン検査ロジックを選択する。 As described above, the inspection control apparatus according to the present invention uses inspection logic selection means for selecting a main inspection logic used by the inspection module from a plurality of inspection logics, and the inspection module uses the main inspection logic. Based on the generated final inspection result indicating the determination result of the target object and the evaluation result indicating the determination result when determining the good or defective object using the inspection logic different from the main inspection logic Evaluation means for evaluating the inspection accuracy of each inspection logic, and inspection logic setting means for switching the inspection logic selected by the inspection logic selection means as main inspection logic, and the inspection logic selection means includes the evaluation means The main inspection logic is selected based on the evaluated evaluation result.
本発明に係る検査システムは、以上のように、良不良の判別方法を規定する検査ロジックを用いて、対象物の良不良を判別する検査モジュールと、良不良の判別結果を示す最終検査結果を生成するのに上記検査モジュールが用いるメイン検査ロジックを選択する、上述の検査制御装置とを含んでいる。 As described above, the inspection system according to the present invention uses the inspection logic that defines the good / bad determination method, and uses the inspection module for determining good / bad of the object, and the final inspection result indicating the good / bad determination result. Including the inspection control device described above for selecting the main inspection logic used by the inspection module to generate.
本発明に係る検査制御方法は、以上のように、上記検査モジュールが用いるメイン検査ロジックを、複数の検査ロジックの中から選択する選択ステップと、上記検査モジュールが上記メイン検査ロジックを用いて生成した、対象物の良不良の判別結果を示す最終検査結果と、該メイン検査ロジックと異なる検査ロジックを用いて対象物の良不良を判別した場合の判別結果を示す評価用検査結果とに基づいて、各検査ロジックの検査精度を評価する評価ステップと、上記検査ロジック選択手段が選択した検査ロジックをメイン検査ロジックとして切り替える切替ステップとを含み、上記選択ステップでは、上記評価ステップによる評価結果に基づいて、上記メイン検査ロジックを選択する。 As described above, in the inspection control method according to the present invention, the main inspection logic used by the inspection module is selected from a plurality of inspection logics, and the inspection module is generated using the main inspection logic. Based on the final inspection result indicating the determination result of the quality of the object and the inspection result for evaluation indicating the determination result when the quality of the object is determined using the inspection logic different from the main inspection logic, An evaluation step for evaluating the inspection accuracy of each inspection logic, and a switching step for switching the inspection logic selected by the inspection logic selection means as the main inspection logic. In the selection step, based on the evaluation result by the evaluation step, Select the main inspection logic.
したがって、生産環境の変動に応じて動的に検査ロジックを設定することにより検査精度を向上させることが可能となる。 Therefore, it is possible to improve the inspection accuracy by dynamically setting the inspection logic according to changes in the production environment.
<実施形態1>
本発明の一実施形態について図面に基づいて説明すると以下の通りである。本実施形態では、一例として、ワーク(対象物)を撮影して取得したワーク画像を、画像処理アルゴリズムを用いて特徴量を抽出し、当該抽出した特徴量を閾値に基づいて判別することにより各ワークの良・不良を判定する検査システムに適用される検査制御装置について説明する。
<Embodiment 1>
An embodiment of the present invention is described below with reference to the drawings. In the present embodiment, as an example, each of the workpiece images obtained by photographing a workpiece (object) is extracted by using an image processing algorithm, and the extracted feature amount is determined based on a threshold value. An inspection control apparatus applied to an inspection system for determining whether a workpiece is good or defective will be described.
〔検査システムの概要〕
図2は、本発明の実施形態にかかる検査制御装置を適用した検査システムの概略構成を示すブロック図である。図2に示すとおり、検査システム100は、制御部1、通信部2、操作部3、表示部4、および、記録部40を備えた構成となっている。そして、生産ラインを流れるワークWを撮影してワーク画像を生成する撮像部Cと検査システム100とは、インターネットやLAN(local area network)などで実現される、無線もしくは有線の通信網を介して接続されている。
[Outline of inspection system]
FIG. 2 is a block diagram showing a schematic configuration of an inspection system to which the inspection control device according to the embodiment of the present invention is applied. As shown in FIG. 2, the inspection system 100 includes a control unit 1, a communication unit 2, an operation unit 3, a display unit 4, and a recording unit 40. The imaging unit C that shoots the workpiece W flowing through the production line and generates a workpiece image and the inspection system 100 are connected via a wireless or wired communication network realized by the Internet, a LAN (local area network), or the like. It is connected.
通信部2は、撮像部Cから上記ワーク画像を受信するものである。通信部2が受信したワーク画像は、制御部1の入出力制御部10を介して検査モジュール20に供給される。 The communication unit 2 receives the work image from the imaging unit C. The work image received by the communication unit 2 is supplied to the inspection module 20 via the input / output control unit 10 of the control unit 1.
操作部3は、ユーザが検査システム100を動作させるための指示信号を入力するものであり、例えば、検査システム100を遠隔操作するリモコンや、検査システム100自体に設けられた操作ボタン、あるいは、検査システム100に接続された、マウスやキーボードなどで構成されている。操作部3を用いてユーザにより入力された指示信号は、入出力制御部10を介して、制御部1の各部に送られる。これにより、ユーザは検査システム100を操作することが可能となる。 The operation unit 3 is used by a user to input an instruction signal for operating the inspection system 100. For example, a remote controller for remotely operating the inspection system 100, operation buttons provided on the inspection system 100 itself, or inspection A mouse and a keyboard connected to the system 100 are included. The instruction signal input by the user using the operation unit 3 is sent to each unit of the control unit 1 via the input / output control unit 10. As a result, the user can operate the inspection system 100.
表示部4は、記録部40に記録される、ワーク画像や検査結果などの各種データを出力するものであり、例えば、LCD(液晶ディスプレイ)、PDP(プラズマディスプレイパネル)、またはCRT(cathode-ray tube)ディスプレイなどの表示装置で構成される。これにより、ユーザは、必要に応じて撮像部Cが生成したワーク画像からワークの良不良を目視検査したり、あるいは、生産ラインに流れる各ワークの良不良の検査結果を確認したりすることが可能となる。 The display unit 4 outputs various data such as work images and inspection results recorded in the recording unit 40. For example, the display unit 4 is an LCD (liquid crystal display), a PDP (plasma display panel), or a CRT (cathode-ray). tube) Consists of a display device such as a display. Thereby, the user may visually inspect the quality of the workpiece from the workpiece image generated by the imaging unit C, or may confirm the inspection result of the quality of each workpiece flowing on the production line as necessary. It becomes possible.
なお、撮像部Cを検査システム100が内蔵していてもよい。この場合、撮像部Cと検査システム100とを接続する通信網を構築する必要がなくなり、また、通信部2が不要になる。 The imaging unit C may be built in the inspection system 100. In this case, it is not necessary to construct a communication network that connects the imaging unit C and the inspection system 100, and the communication unit 2 is not necessary.
制御部1は、検査システム100を統括制御するものであり、内部に、入出力制御部10、検査モジュール20、および、検査制御部30を有している。制御部1は、記録部40に記録されている各種プログラムを読み出して、本発明の検査システムの各部を制御し、検査または検査制御などの処理を行う。 The control unit 1 performs overall control of the inspection system 100, and includes an input / output control unit 10, an inspection module 20, and an inspection control unit 30 therein. The control unit 1 reads various programs recorded in the recording unit 40, controls each unit of the inspection system of the present invention, and performs processing such as inspection or inspection control.
制御部1の検査モジュール20は、撮像部Cが生成するワーク画像を、設定された検査ロジックに基づき解析することにより、ワークWの良不良を判別するものである。検査ロジックとは、上述したとおり、検査モジュール20が実行する良不良の判別方法を規定する、検査モジュール20に対する制御情報のことである。本実施形態では、検査ロジックは、ワーク画像からワークWの特徴量を抽出するための方法を規定した画像処理アルゴリズムと、上記特徴量を良品と不良品とに分離するための閾値との組合せであるとする。画像アルゴリズムについての詳細は後述する。 The inspection module 20 of the control unit 1 determines whether the workpiece W is good or bad by analyzing the workpiece image generated by the imaging unit C based on the set inspection logic. As described above, the inspection logic is control information for the inspection module 20 that defines a good / bad discrimination method executed by the inspection module 20. In the present embodiment, the inspection logic is a combination of an image processing algorithm that defines a method for extracting a feature amount of a workpiece W from a workpiece image and a threshold value for separating the feature amount into a non-defective product and a defective product. Suppose there is. Details of the image algorithm will be described later.
制御部1の検査制御部30は、検査ロジックを管理し、検査モジュール20が用いる検査ロジックの設定を行うものであり、検査モジュール20を制御するための検査制御装置200を構成している。検査制御装置200は、操作部3、表示部4、および、制御部1の入出力制御部10を含んでいてもよい。 The inspection control unit 30 of the control unit 1 manages the inspection logic and sets the inspection logic used by the inspection module 20, and constitutes an inspection control device 200 for controlling the inspection module 20. The inspection control device 200 may include the operation unit 3, the display unit 4, and the input / output control unit 10 of the control unit 1.
記録部40は、制御部1が実行する制御プログラム、OSプログラム、および、制御部1が検査または検査制御の処理を実行するときに読み出す各種データを記録するものであり、ハードディスクなどの不揮発性の記憶装置によって構成されるものである。記録部40に記録される上記各種データとしては、例えば、撮像部Cが生成したワーク画像や、検査モジュール20が出力する検査結果などが挙げられる。 The recording unit 40 records a control program executed by the control unit 1, an OS program, and various data read out when the control unit 1 executes inspection or inspection control processing. It is constituted by a storage device. Examples of the various data recorded in the recording unit 40 include a work image generated by the imaging unit C and an inspection result output by the inspection module 20.
次に、生産環境の変動に応じて動的に検査ロジックを設定することにより検査精度を向上させることが可能な検査システム100における制御部1および記録部40の詳細について説明する。 Next, details of the control unit 1 and the recording unit 40 in the inspection system 100 capable of improving the inspection accuracy by dynamically setting the inspection logic according to the change in the production environment will be described.
〔検査システムの詳細〕
図1は、本発明の実施形態にかかる検査制御装置を適用した検査システムの要部構成を示すブロック図である。図1に示すとおり、制御部1の入出力制御部10は、内部に、画像入力制御部11、操作受付部(結果入力制御手段)12、および、表示制御部(表示制御手段)13を有する。検査モジュール20は、内部に、少なくとも1つのメイン検査部21、および、少なくとも1つのサブ検査部22を有する。検査制御部30は、内部に、検査ロジック管理部31、統計処理部32、検査ロジック評価部(評価手段)33、および、検査ロジック選択部(検査ロジック選択手段/検査ロジック設定手段)34を有する。記録部40は、ワーク情報記録部41、検査結果記録部42、統計データ記録部43、評価値記録部44、および、検査ロジック記録部45を含んでいる。
[Details of inspection system]
FIG. 1 is a block diagram showing a main configuration of an inspection system to which an inspection control apparatus according to an embodiment of the present invention is applied. As shown in FIG. 1, the input / output control unit 10 of the control unit 1 includes an image input control unit 11, an operation receiving unit (result input control unit) 12, and a display control unit (display control unit) 13. . The inspection module 20 includes at least one main inspection unit 21 and at least one sub-inspection unit 22 inside. The inspection control unit 30 includes an inspection logic management unit 31, a statistical processing unit 32, an inspection logic evaluation unit (evaluation unit) 33, and an inspection logic selection unit (inspection logic selection unit / inspection logic setting unit) 34 therein. . The recording unit 40 includes a work information recording unit 41, an inspection result recording unit 42, a statistical data recording unit 43, an evaluation value recording unit 44, and an inspection logic recording unit 45.
画像入力制御部11は、撮像部Cが生成したワーク画像を、通信部2を介して受け付けるものである。画像入力制御部11が受け付けたワーク画像は、記録部40のワーク情報記録部41に記録される。 The image input control unit 11 receives the work image generated by the imaging unit C via the communication unit 2. The work image received by the image input control unit 11 is recorded in the work information recording unit 41 of the recording unit 40.
操作受付部12は、操作部3を用いてユーザにより入力された指示信号を受け付けるものである。操作受付部12が受け付けた指示信号は、制御部1に供給され、当該指示信号が指示する処理を実行する制御部1の各部に伝達される。 The operation receiving unit 12 receives an instruction signal input by the user using the operation unit 3. The instruction signal received by the operation receiving unit 12 is supplied to the control unit 1 and transmitted to each unit of the control unit 1 that executes the process instructed by the instruction signal.
表示制御部13は、記録部40に記録される各種データを表示するよう表示部4を制御するものである。上記各種データとは、例えば、ワーク情報記録部41に記録されるワーク画像、検査結果記録部42に記録される、検査モジュール20が出力した検査結果、統計データ記録部43に記録される統計データ、評価値記録部44に記録される検査ロジックの評価値、および、検査ロジック記録部45に記録される検査ロジックなどが挙げられる。各記録部に記録される各種データの詳細については後述する。 The display control unit 13 controls the display unit 4 to display various data recorded in the recording unit 40. Examples of the various data include a work image recorded in the work information recording unit 41, an inspection result output by the inspection module 20 recorded in the inspection result recording unit 42, and statistical data recorded in the statistical data recording unit 43. And the evaluation value of the inspection logic recorded in the evaluation value recording unit 44, the inspection logic recorded in the inspection logic recording unit 45, and the like. Details of various data recorded in each recording unit will be described later.
ユーザは、操作部3を操作することによって、表示制御部13に対して、確認したいデータを表示するよう指示を入力することができ、所望のデータを閲覧することが可能となる。また、表示制御部13は、表示されたデータを操作によって変更したり、修正したりできるようにGUI(graphical user interface)画面を表示部4に表示する制御を行ってもよい。 By operating the operation unit 3, the user can input an instruction to the display control unit 13 to display data to be confirmed, and can browse desired data. Further, the display control unit 13 may perform control to display a GUI (graphical user interface) screen on the display unit 4 so that displayed data can be changed or corrected by an operation.
検査モジュール20は、検査ロジック記録部45に記録されている検査ロジックを用いて、ワークの良不良を判別するものである。より具体的には、(1)ワークを撮影したワーク画像を取得し、(2)検査ロジックに含まれる画像アルゴリズムに基づいて、ワークの特徴量を抽出し、(3)検査ロジックに含まれる閾値に基づき上記特徴量を分離して、当該ワークの良・不良を判別する。検査モジュール20は、メイン検査部21と、サブ検査部22とから構成されている。 The inspection module 20 determines whether the workpiece is good or bad by using the inspection logic recorded in the inspection logic recording unit 45. More specifically, (1) a work image obtained by photographing a work is acquired, (2) a feature amount of the work is extracted based on an image algorithm included in the inspection logic, and (3) a threshold value included in the inspection logic. Based on the above, the feature amount is separated to determine whether the workpiece is good or bad. The inspection module 20 includes a main inspection unit 21 and a sub inspection unit 22.
メイン検査部21は、良不良の判別結果を示す最終の検査結果を出力するためのメイン検査ロジックL1を用いてワークの検査を行うものである。メイン検査部21が出力した検査結果が、当該生産ラインの各ワークを良品・不良品を定める最終検査結果として採用される。 The main inspection unit 21 inspects the workpiece using the main inspection logic L1 for outputting the final inspection result indicating the good / bad determination result. The inspection result output by the main inspection unit 21 is adopted as the final inspection result for determining the non-defective product / defective product for each workpiece of the production line.
よって、メイン検査部21が出力した検査結果によって不良品として特定されたワークは、生産ラインから除外されたり、アラームを出力してユーザに不良品の存在を知らせたりして、不良品と判別されたワークが、良品の最終品として誤って排出されることがないよう適切な措置が講じられる。 Therefore, the work specified as a defective product by the inspection result output by the main inspection unit 21 is excluded from the production line, or an alarm is output to notify the user of the presence of the defective product, so that it is determined as a defective product. Appropriate measures are taken to ensure that the workpiece is not accidentally discharged as a good final product.
サブ検査部22は、検査ロジック記録部45に記録されている複数の検査ロジックのうち、上記メイン検査ロジック以外の検査ロジックL2(L3・・・)を用いて、ワークの検査を行うものである。サブ検査部22が出力した検査結果は、検査制御部30が検査ロジックの検査精度の評価を行うのに用いられる。 The sub-inspection unit 22 inspects the workpiece using the inspection logic L2 (L3...) Other than the main inspection logic among the plurality of inspection logics recorded in the inspection logic recording unit 45. . The inspection result output from the sub-inspection unit 22 is used by the inspection control unit 30 to evaluate the inspection accuracy of the inspection logic.
メイン検査部21およびサブ検査部22が出力する検査結果は、検査結果記録部42に記録される。また、メイン検査部21が出力する検査結果を含め、各検査部が各検査ロジックに基づいて出力した各検査結果は、評価用検査結果として、検査制御部30によって、検査結果記録部42から必要に応じて読み出される。 The inspection results output from the main inspection unit 21 and the sub inspection unit 22 are recorded in the inspection result recording unit 42. In addition, each inspection result output by each inspection unit based on each inspection logic, including the inspection result output by the main inspection unit 21, is required from the inspection result recording unit 42 by the inspection control unit 30 as an inspection result for evaluation. Is read in response to.
したがって、以下では、検査ロジックの評価のために検査モジュール20が出力する検査結果を評価用検査結果、生産ラインの各ワークを良品・不良品を検査するために実際に採用される検査結果を最終検査結果と称して区別する。特に区別する必要がない場合は、単に検査結果と称する。よって、メイン検査部21が出力する検査結果は、評価用検査結果として検査制御装置200によって読み出されるとともに、最終検査結果として採用され出力される。 Therefore, in the following, the inspection results output by the inspection module 20 for the evaluation of the inspection logic are the inspection results for evaluation, and the inspection results actually used for inspecting each work on the production line for non-defective / defective products are finalized. Distinguish it by calling it a test result. When it is not necessary to distinguish between them, it is simply referred to as an inspection result. Therefore, the inspection result output by the main inspection unit 21 is read by the inspection control device 200 as an evaluation inspection result, and is adopted and output as a final inspection result.
本実施形態では、検査ロジックと検査部とが1対1に対応しており、最終検査結果を出力する1つのメイン検査部21が、検査ロジック記録部45に記録される複数の検査ロジックのうち常に1つ定められるメイン検査ロジックL1(図1では検査ロジックA)を用いて最終検査結果を出力するものとする。また、各サブ検査部22(サブ検査部22a、サブ検査部22b・・・)は、それぞれ、メイン検査ロジックとは異なる検査ロジックL2、L3・・・(図1では、検査ロジックB、C・・・)を用いて、それぞれの評価用検査結果を出力するものとする。 In the present embodiment, the inspection logic and the inspection unit have a one-to-one correspondence, and one main inspection unit 21 that outputs the final inspection result is a plurality of inspection logics recorded in the inspection logic recording unit 45. It is assumed that the final inspection result is output using the main inspection logic L1 (inspection logic A in FIG. 1) that is always set to one. Each sub-inspection unit 22 (sub-inspection unit 22a, sub-inspection unit 22b...) Has inspection logics L2, L3... (In FIG. 1, inspection logics B, C,.・ ・) Shall be used to output each evaluation test result.
なお、検査モジュール20の構成は上記に限定されない。メイン検査部21およびサブ検査部22は、それぞれ少なくとも1つあればよく、メイン検査部21を複数設けてもよいし、サブ検査部22を1つ設けてもよい。なお、メイン検査部21を複数設ける場合は、各メイン検査部21が出力する検査結果からどのように最終検査結果を得るのかを定めたルール(複合判定論理式)を各メイン検査部21の組合せ(メイン検査ロジックの組合せ)ごとに関連付けて記録しておけばよい。 The configuration of the inspection module 20 is not limited to the above. There may be at least one main inspection unit 21 and at least one sub inspection unit 22, and a plurality of main inspection units 21 may be provided, or one sub inspection unit 22 may be provided. When a plurality of main inspection units 21 are provided, a rule (composite determination logical expression) that defines how to obtain the final inspection result from the inspection result output by each main inspection unit 21 is combined with each main inspection unit 21. It may be recorded in association with each (combination of main inspection logic).
検査制御部30は、検査ロジックを管理し、検査モジュール20が用いる各検査ロジックの評価に基づいて、メイン検査ロジックを選択するものである。より具体的には、(1)統計処理部32が、検査ロジックごとの検査結果を読み出して、メイン検査ロジックの最終検査結果を基準に統計処理を行い、(2)検査ロジック評価部33が、統計処理部32の出力する統計データに基づいて、各検査ロジックの検査精度を示す評価値を算出し、(3)検査ロジック選択部34が、上記評価値に基づいて、メイン検査ロジックとすべき最適な検査ロジックを選択する。検査ロジック選択部34は、選択した検査ロジックをメイン検査ロジックとして検査モジュール20のメイン検査部21に設定する。 The inspection control unit 30 manages the inspection logic and selects the main inspection logic based on the evaluation of each inspection logic used by the inspection module 20. More specifically, (1) the statistical processing unit 32 reads out the inspection result for each inspection logic, performs statistical processing based on the final inspection result of the main inspection logic, and (2) the inspection logic evaluation unit 33 Based on the statistical data output from the statistical processing unit 32, an evaluation value indicating the inspection accuracy of each inspection logic is calculated. (3) The inspection logic selection unit 34 should be the main inspection logic based on the evaluation value. Select the optimal inspection logic. The inspection logic selection unit 34 sets the selected inspection logic as the main inspection logic in the main inspection unit 21 of the inspection module 20.
検査ロジック管理部31は、検査ロジック記録部45に記録されている検査ロジックを管理するものである。具体的には、ユーザの指示に応じて、検査ロジックを新規に追加、更新、削除したり、ユーザが入力する条件に応じて、条件を満たす検査ロジックを検査ロジック記録部45から抽出してユーザに提示したり、ユーザが指定する検査ロジックをメイン検査ロジックとしてメイン検査部21に設定するよう検査ロジック選択部34を制御したりする。 The inspection logic management unit 31 manages the inspection logic recorded in the inspection logic recording unit 45. Specifically, the inspection logic is newly added, updated, or deleted according to the user's instruction, or the inspection logic satisfying the condition is extracted from the inspection logic recording unit 45 according to the condition input by the user and the user The inspection logic selection unit 34 is controlled so as to set the inspection logic designated by the user as the main inspection logic in the main inspection unit 21.
ワーク情報記録部41は、生産ラインを流れるワークを撮像部Cが撮影することにより生成したワーク画像を記録するものである。本実施形態では、生産ラインを流れるワークに対して、ワークを個々に識別するためのワークIDが付与されている。ワーク情報記録部41には、上記ワーク画像をワークIDに対応付けて記録しているものとする。 The workpiece information recording unit 41 records a workpiece image generated by the imaging unit C photographing a workpiece flowing through the production line. In this embodiment, a work ID for individually identifying a work is given to the work flowing through the production line. It is assumed that the work image recording unit 41 records the work image in association with the work ID.
検査結果記録部42は、メイン検査部21が、設定されているメイン検査ロジックを用いて、上記ワーク画像に対して良不良を判別した結果(最終検査結果)、および、サブ検査部22が、それぞれに設定されている他の検査ロジックを用いて、ワークの良不良を判別した結果(評価用検査結果)を記録するものである。 The inspection result recording unit 42 includes a result (final inspection result) that the main inspection unit 21 has determined whether the workpiece image is good or bad using the set main inspection logic, and the sub-inspection unit 22 The result (inspection result for evaluation) is recorded by determining whether the workpiece is good or bad by using another inspection logic set for each.
検査結果記録部42には、ワークIDに対応付けて、メイン検査部21が判別した良不良の最終検査結果が記録される。当該判別結果がどのメイン検査ロジックを用いて得られた結果であるのかが明確になるよう、検査ロジックごとに付与されるロジックIDも関連付けて記録する。 The inspection result recording unit 42 records the final inspection result of good or bad determined by the main inspection unit 21 in association with the work ID. In order to clarify which main inspection logic is used as the result of the determination, a logic ID assigned to each inspection logic is also recorded in association with each other.
また、ワークIDと、検査モジュール20内の各検査部に設定されている検査ロジックのロジックIDとの組合せごとに、メイン検査部21および各サブ検査部22が判別した良不良の評価用検査結果が記録される。さらに、評価用検査結果には、良不良の判別結果のみならず、検査ロジックの画像処理アルゴリズムにしたがってワーク画像から抽出された特徴量を上記組合せに関連付けて記録する。 Moreover, the inspection results for good / bad evaluation determined by the main inspection unit 21 and each sub-inspection unit 22 for each combination of the work ID and the logic ID of the inspection logic set in each inspection unit in the inspection module 20 Is recorded. Further, in the inspection result for evaluation, not only the good / bad discrimination result but also the feature quantity extracted from the work image according to the image processing algorithm of the inspection logic is recorded in association with the above combination.
統計データ記録部43は、各検査部の検査ロジックごとの評価用検査結果に基づいて、統計処理部32が統計処理を行って作成した統計データを記録するものである。具体的には、例えば、ある検査ロジックによる良品(あるいは不良品)の集合おける、特徴量の上限および/または下限を、検査ロジックごとに記録する。また、ある検査ロジックにおけるワークの特徴量をある区間ごとに分けて区間ごとに求めた度数を記録する。 The statistical data recording unit 43 records the statistical data created by the statistical processing unit 32 performing statistical processing based on the evaluation test result for each inspection logic of each inspection unit. Specifically, for example, the upper limit and / or lower limit of the feature amount in a collection of non-defective products (or defective products) by a certain inspection logic is recorded for each inspection logic. In addition, the feature amount of a work in a certain inspection logic is divided for each section, and the frequency obtained for each section is recorded.
これらの統計データは、ユーザに評価用検査結果を提示するために、例えば、ヒストグラムとして加工される。 These statistical data are processed, for example, as a histogram in order to present the test result for evaluation to the user.
なお、統計処理部32が作成する統計データは、上述の例に限定されず、各検査ロジックの評価用検査結果から統計的に求められるあらゆるデータ(平均値、中央値、分散、上限値と下限値との差分など)を含んでいてもよい。 Note that the statistical data generated by the statistical processing unit 32 is not limited to the above example, and any data (average value, median value, variance, upper limit value and lower limit value) that is statistically determined from the test results for evaluation of each test logic. Or a difference with a value).
評価値記録部44は、上記統計データから、検査ロジック評価部33が検査ロジックごとに算出した評価値を記録するものである。検査ロジック評価部33によって、メイン検査ロジックの検査結果を基準として算出された評価値は、ロジックIDに関連付けて記録される。 The evaluation value recording unit 44 records the evaluation value calculated for each inspection logic by the inspection logic evaluation unit 33 from the statistical data. The evaluation value calculated by the inspection logic evaluation unit 33 based on the inspection result of the main inspection logic is recorded in association with the logic ID.
検査ロジック記録部45は、検査モジュール20の各検査部がワークの検査に用いる検査ロジックを記録するものである。検査ロジックは、ロジックIDにより管理されており、ロジックIDに、画像処理アルゴリズムと閾値とが関連付けて記録されている。 The inspection logic recording unit 45 records inspection logic used by each inspection unit of the inspection module 20 for inspection of a workpiece. The inspection logic is managed by a logic ID, and an image processing algorithm and a threshold value are recorded in association with the logic ID.
画像処理アルゴリズムとは、検査モジュール20が、撮像部Cから取得したワーク画像からワークの特徴量を抽出する方法を定めたものである。例えば、ワーク画像から特定の検査対象となる領域を絞り込むための手順や、ワーク画像から特徴量としての数値を算出するための計算式などが画像処理アルゴリズムに含まれる。 The image processing algorithm defines a method by which the inspection module 20 extracts a workpiece feature amount from a workpiece image acquired from the imaging unit C. For example, the image processing algorithm includes a procedure for narrowing down a specific inspection target region from the work image, a calculation formula for calculating a numerical value as a feature amount from the work image, and the like.
また画像処理アルゴリズムには、上記計算式や手順をより具体的に規定するためのパラメータが用意されている。 The image processing algorithm is provided with parameters for more specifically defining the above calculation formulas and procedures.
したがって、画像処理アルゴリズムのパラメータや上記閾値に、さまざまな実際の値を設定することにより、ひとつの検査ロジックの雛型から、さまざまな画像処理アルゴリズムと閾値とからなる検査ロジックを完成させることが可能となる。 Therefore, by setting various actual values for the parameters of the image processing algorithm and the above threshold values, it is possible to complete inspection logic consisting of various image processing algorithms and threshold values from a single inspection logic template. It becomes.
以下では、検査ロジックについて具体例を挙げて説明する。 Hereinafter, the inspection logic will be described with a specific example.
(画像処理アルゴリズム1−2値重心面積)
「2値重心面積」の画像処理アルゴリズムは、ワーク画像を2値化して、白または黒の画素の面積に基づいて特徴量を抽出するアルゴリズムである。
(Image processing algorithm 1-2 value centroid area)
The “binary centroid area” image processing algorithm is an algorithm that binarizes a work image and extracts a feature amount based on the area of white or black pixels.
図3は、2値重心面積画像処理アルゴリズムに基づいて画像処理されたワーク画像を示す図であり、ワークとして、錠剤・カプセル剤などを包装するPTP(Press Through Package)シートを撮影したものである。図3(a)は、良品(PTPシートに錠剤が6つ過不足なく梱包された状態)の見本を示している。図3(b)は、不良品(錠剤が不足している状態)の見本を示している。 FIG. 3 is a diagram showing a work image that has been image-processed based on a binary centroid area image processing algorithm, and is a photograph of a PTP (Press Through Package) sheet that wraps tablets and capsules as the work. . FIG. 3A shows a sample of non-defective products (in a state where six tablets are packed in a PTP sheet without excess or deficiency). FIG.3 (b) has shown the sample of the inferior goods (state with a tablet shortage).
まず、白い錠剤を6つ梱包したPTPシート(ワーク)を撮影してワーク画像を取得する。2値重心面積画像処理アルゴリズムでは、撮像部Cから取り込んだ256階調の濃淡がついた画像を、画像の濃度差に応じて白または黒の画素に変換する手順が規定されている。白い錠剤が梱包されている部分だけが白くなるように画像処理が行われる。そして、2値重心面積画像処理アルゴリズムでは、2値化した画像から白画素部分の面積(特徴量)を計測する手順が定められている。 First, a work image is acquired by photographing a PTP sheet (work) packed with six white tablets. In the binary centroid area image processing algorithm, a procedure for converting an image with 256 gray levels taken from the imaging unit C into white or black pixels according to the density difference of the image is defined. Image processing is performed so that only the portion in which the white tablet is packed is white. In the binary centroid area image processing algorithm, a procedure for measuring the area (feature amount) of the white pixel portion from the binarized image is defined.
このように、特徴量としての白画素部分の面積が計測されると、検査ロジックにおいて当該画像処理アルゴリズムに対応する閾値と対比することができ、図3(b)に示すように、白画素の面積が閾値以下である場合に錠剤の不足を検知することが可能となる。 As described above, when the area of the white pixel portion as the feature amount is measured, it can be compared with the threshold corresponding to the image processing algorithm in the inspection logic, and as shown in FIG. When the area is equal to or smaller than the threshold value, it is possible to detect the shortage of tablets.
なお、白画素部分を特定する画像アルゴリズムと、白画素部分の配置を把握して位置を確認する画像処理アルゴリズムとを用いれば、重心位置が正しいか否かなどの検査を行うことも可能である。 In addition, if an image algorithm for specifying the white pixel portion and an image processing algorithm for checking the position by grasping the arrangement of the white pixel portion are used, it is possible to check whether or not the position of the center of gravity is correct. .
また、生産するPTPシートに梱包される錠剤に変動があって錠剤の色が白以外の別の色である場合、何色に着目するか、どう2値化を行うか、などのパラメータを変更するだけでよい。あるいは、錠剤の大きさに変動がある場合には、面積の閾値を調整すればよい。 In addition, when there are fluctuations in the tablets packed in the PTP sheet to be produced and the color of the tablets is another color other than white, parameters such as what color to focus on and how to binarize are changed. Just do it. Alternatively, if the tablet size varies, the area threshold value may be adjusted.
(画像処理アルゴリズム2−キズ汚れ)
「キズ汚れ」の画像処理アルゴリズムは、ワーク画像内に計測領域を特定し、計測領域内の濃度の変化に基づいて特徴量を抽出するアルゴリズムである。これにより、ワークの欠陥を検出することが可能となる。
(Image processing algorithm 2-scratch stain)
The “scratch stain” image processing algorithm is an algorithm for specifying a measurement area in a work image and extracting a feature amount based on a change in density in the measurement area. Thereby, it becomes possible to detect the defect of a workpiece | work.
図4は、キズ汚れ画像処理アルゴリズムに基づいて画像処理されたワーク画像を示す図である。 FIG. 4 is a diagram showing a work image that has been subjected to image processing based on a flawed dirt image processing algorithm.
キズ汚れ画像処理アルゴリズムでは、取得したワーク画像の計測領域Rを特定する手順、および、その計測領域内の濃度(明るさ)のばらつきを特徴量として抽出する手順が規定されている。 In the flaw stain image processing algorithm, a procedure for specifying the measurement region R of the acquired workpiece image and a procedure for extracting variation in density (brightness) in the measurement region as a feature amount are defined.
そして明るさのばらつきの閾値と対比してキズ・汚れなどの欠陥部分Bの有無を検査することができる。 Then, the presence or absence of a defective portion B such as a scratch or a stain can be inspected against the brightness variation threshold.
このような画像処理アルゴリズムは、無地のワークに対するキズや汚れ、あるいは、部品欠けやバリなどの外観検査に適している。 Such an image processing algorithm is suitable for visual inspection such as scratches and dirt on a plain workpiece, or missing parts or burrs.
また、キズ汚れ画像処理アルゴリズムにおいても、検出したい欠陥の性質(色・形・大きさなど)に応じて、パラメータ(計測領域や濃度のばらつきの求め方を特定する値)を適宜調節することで、さまざまな画像処理アルゴリズムを提供することができる。 Also in the flaw stain image processing algorithm, by appropriately adjusting the parameters (values that specify how to determine the measurement area and density variation) according to the nature of the defect to be detected (color, shape, size, etc.) Various image processing algorithms can be provided.
なお、画像処理アルゴリズムは、上述した例に限定されず、ワーク画像から画像処理を行うなどして特徴量を抽出する手順を定める情報であればなんでもよい。 Note that the image processing algorithm is not limited to the above-described example, and any information may be used as long as it defines a procedure for extracting a feature amount by performing image processing from a work image.
〔検査システムのフロー概略〕
次に、図5に基づいて、上述した検査モジュール20、検査制御部30の各部が行う、検査および検査制御の処理の流れの概略を説明する。図5は、検査システム100における、検査モジュール20および検査制御部30の処理の流れを示すフローチャートである。
[Outline of inspection system flow]
Next, based on FIG. 5, an outline of the flow of processing of inspection and inspection control performed by each unit of the inspection module 20 and the inspection control unit 30 described above will be described. FIG. 5 is a flowchart showing a processing flow of the inspection module 20 and the inspection control unit 30 in the inspection system 100.
(1)初期設定
初期設定ステップS1では、検査ロジック管理部31が生産ライン稼動前に、実際の良不良判別に用いるメイン検査ロジックを、検査ロジック記録部45から選択してメイン検査部21に設定する。
(1) Initial setting In the initial setting step S1, the main inspection logic used for actual good / bad determination is selected from the inspection logic recording unit 45 and set in the main inspection unit 21 before the inspection logic management unit 31 operates the production line. To do.
具体的には、ユーザが、初期ティーチングのためのサンプル画像や検査内容を入力し、検査ロジック管理部31が、検査ロジックの候補を抽出する。そして、ユーザが検査ロジック候補を評価し、その中で最適なものをメインの検査ロジックとし、その他をサブの検査ロジックとする。ユーザがメイン検査ロジックを選択(あるいは、作成)する。 Specifically, the user inputs a sample image for initial teaching and inspection contents, and the inspection logic management unit 31 extracts inspection logic candidates. Then, the user evaluates the inspection logic candidates, and the most suitable one is set as the main inspection logic, and the others are set as the sub inspection logic. The user selects (or creates) the main inspection logic.
(2)検査
検査ステップS2では、検査モジュール20のメイン検査部21およびサブ検査部22が設定された各検査ロジックで検査を行い、良品・不良品を判別する。検査ロジックに基づく、特徴量や判別結果を検査結果として検査結果記録部42に保存する。
(2) Inspection In the inspection step S2, inspection is performed by each inspection logic in which the main inspection unit 21 and the sub inspection unit 22 of the inspection module 20 are set, and a non-defective product / defective product is determined. The feature amount and the discrimination result based on the inspection logic are stored in the inspection result recording unit 42 as the inspection result.
(3)統計処理
統計処理ステップS4では、統計処理部32が、検査ロジックごとの各検査結果を検査結果記録部42から読み出し、統計的な処理を行う。
(3) Statistical Processing In the statistical processing step S4, the statistical processing unit 32 reads each inspection result for each inspection logic from the inspection result recording unit 42 and performs statistical processing.
(4)検査ロジック評価
評価ステップS5では、検査ロジック評価部33が、S4で得られる統計データに基づいて、各検査ロジックの評価値を算出する。
(4) Inspection Logic Evaluation In the evaluation step S5, the inspection logic evaluation unit 33 calculates an evaluation value for each inspection logic based on the statistical data obtained in S4.
(5)検査ロジック選択
検査ロジック選択部34は、メイン検査ロジックとして最適な検査ロジックを選択する。具体的には、各検査ロジックの評価値を比較し、現在のメイン検査ロジックが、他の検査ロジックと比較して最適であるかどうかを判定する(S6)。現在のメイン検査ロジックが候補の中で最適でないと判定した場合は(S6においてNO)、候補の中で最適と判定した検査ロジックを、新しいメイン検査ロジックとして選択し、メイン検査部21に設定する。
(5) Inspection Logic Selection The inspection logic selection unit 34 selects an optimal inspection logic as the main inspection logic. Specifically, the evaluation values of the respective inspection logics are compared, and it is determined whether or not the current main inspection logic is optimal compared with other inspection logics (S6). If it is determined that the current main inspection logic is not optimal among the candidates (NO in S6), the inspection logic determined to be optimal among the candidates is selected as a new main inspection logic and set in the main inspection unit 21. .
なお、図5のステップS3に示すとおり、検査結果を評価するための処理を実行するタイミングか否かを判定するステップを挿入してもよい。図1に示すタイミング監視部35は、検査システム100のあらゆる状態を監視して、所定の状態を検知した場合に、検査ロジックの評価ための処理を、検査制御部30の各部(ここでは、統計処理部32)が開始するよう制御するものである。 As shown in step S3 of FIG. 5, a step of determining whether or not it is time to execute a process for evaluating the inspection result may be inserted. The timing monitoring unit 35 shown in FIG. 1 monitors every state of the inspection system 100, and when a predetermined state is detected, the timing monitoring unit 35 performs a process for evaluating the inspection logic in each unit of the inspection control unit 30 (here, statistical The processing unit 32) is controlled to start.
具体的には、例えば、検査ロジック評価のための、一連の処理の実行時間を監視して、1時間に1回評価するように設定がされている場合、タイミング監視部35は、最後に処理が実行されてから1時間経過した時点を検知して、統計処理部32が処理を開始するよう制御する。 Specifically, for example, when the execution time of a series of processes for inspection logic evaluation is set to be evaluated once every hour, the timing monitoring unit 35 performs the last process Is detected, and the statistical processing unit 32 is controlled to start processing.
なお、評価の処理を実行するタイミングは、上述した例(所定時間ごとに評価する構成)に限定されない。例えば、検査モジュール20が、ワーク1つを検査するごとに毎回評価を行う構成としてもよいし、ワークを所定数検査するごとに評価を行う構成としてもよい。 Note that the timing for executing the evaluation process is not limited to the above-described example (a configuration in which the evaluation is performed every predetermined time). For example, the inspection module 20 may be configured to evaluate each time one workpiece is inspected, or may be configured to perform evaluation every time a predetermined number of workpieces are inspected.
以下、図1に示す検査システム100における検査および検査制御の処理の流れについてより詳細に説明する。 Hereinafter, the flow of inspection and inspection control processing in the inspection system 100 shown in FIG. 1 will be described in more detail.
〔検査システムのフロー詳細〕
(1)初期設定
初期設定とは、生産ラインを稼動する前に、当該ラインで生産対象となるワークの良不良を検査するためのメイン検査ロジックを選択し、メイン検査部21に設定する作業のことである。メイン検査ロジックの設定は、検査ロジック管理部31が実行する。検査ロジック管理部31は、ユーザから入力される条件や指示に応じて、メイン検査ロジックを選択し、メイン検査部21に設定する。あるいは、検査ロジック選択部34が選択する検査ロジックをメイン検査ロジックとして設定してもよい。
[Details of inspection system flow]
(1) Initial setting Initial setting refers to an operation for selecting a main inspection logic for inspecting the quality of a workpiece to be produced on the production line and setting it in the main inspection unit 21 before operating the production line. That is. The inspection logic management unit 31 executes setting of the main inspection logic. The inspection logic management unit 31 selects a main inspection logic and sets it in the main inspection unit 21 according to conditions and instructions input from the user. Alternatively, the inspection logic selected by the inspection logic selection unit 34 may be set as the main inspection logic.
図6は、検査システム100における、初期設定の処理の流れを示すフローチャートである。 FIG. 6 is a flowchart showing a flow of initial setting processing in the inspection system 100.
まず、検査ロジック管理部31は入出力制御部10を介して、サンプル画像の入力を受け付けて、ワークのサンプル画像を取得する(S101)。サンプル画像は、実際の生産ラインを流れるワークと同じものを撮影したものである。あるいは、過去に生産され、検査されたときに得たワーク画像をサンプル画像としてもよい。いずれにしてもサンプル画像は、検査に用いるワーク画像と同じように撮影されたものを準備して、これから実際に生産されるワークのワーク画像の見本として取り扱う。 First, the inspection logic management unit 31 receives an input of a sample image via the input / output control unit 10 and acquires a sample image of a workpiece (S101). The sample image is a photograph of the same workpiece that flows through the actual production line. Alternatively, a work image obtained in the past and obtained when inspected may be used as a sample image. In any case, the sample image is prepared in the same manner as the work image used for the inspection, and is handled as a sample of the work image of the work to be actually produced.
サンプル画像は、可能な限り多数、また、想定し得るあらゆるパターン(特に不良品のパターン)を準備することが好ましい。このようにすれば、精度の高いティーチングを行って、生産ラインが不安定になりがちな稼動初期においても精度の高いメイン検査ロジックを用いて検査を実行することができる。 It is preferable to prepare as many sample images as possible and any patterns that can be assumed (particularly defective patterns). In this way, highly accurate teaching can be performed, and the inspection can be executed using the highly accurate main inspection logic even in the initial operation stage where the production line tends to become unstable.
次に、稼動する生産ラインにおいて実施する検査についての情報を取得する(S102)。具体的には、ユーザがどのような検査を行いたいのか検査の内容を入力したものを受け付けることが考えられる。検査の内容としては、ワークの向きを検査する向き検査、ワークの有無、当該工程で組みつけられているべき部品の有無などを検査する有無検査、ワークのキズや汚れを確かめる検査、などが挙げられる。 Next, information about the inspection to be carried out in the production line that operates is acquired (S102). Specifically, it is conceivable to accept what the user has entered the content of the inspection what kind of inspection the user wants to perform. The contents of the inspection include a direction inspection for inspecting the direction of the workpiece, an inspection for the presence or absence of a workpiece, the presence or absence of a part that should be assembled in the relevant process, an inspection to check for scratches and dirt on the workpiece, etc. It is done.
例えば、ユーザが汚れの検査を行うことを入力した場合、検査ロジック管理部31は、汚れを検出するのに適した画像アルゴリズムによる検査ロジックを検査ロジック記録部45から抽出する。 For example, when the user inputs an inspection of dirt, the inspection logic management unit 31 extracts inspection logic based on an image algorithm suitable for detecting dirt from the inspection logic recording unit 45.
あるいは、画像のどの部分(領域)について上記画像アルゴリズムによる解析を行うべきかをユーザが指定したものを受け付けることも考えられる。例えば、ワークのエッジ部分についての検査を行いたい場合は、ユーザが検査すべき領域としてワークのエッジ部分が網羅されるように領域を指定すれば、検査ロジック管理部31は、当該領域を分析するような検査ロジックを選択、あるいは、追加することができる。 Alternatively, it may be possible to accept what part (region) of the image the user designates which of the image algorithms should be analyzed. For example, when it is desired to inspect an edge portion of a work, if the user designates an area so that the edge portion of the work is covered as an area to be inspected, the inspection logic management unit 31 analyzes the area. Such inspection logic can be selected or added.
次に、入力された1または複数のサンプル画像が、良品の見本であるのか、不良品の見本であるのかを示す情報をサンプル画像ごとに取得する(ティーチング)(S103)。なお、S101にてサンプル画像を入力するときに、当該サンプル画像に良不良の判別結果を示す情報を含めて入力してもよい。 Next, information indicating whether the input one or a plurality of sample images is a good sample or a defective sample is acquired for each sample image (teaching) (S103). In addition, when inputting a sample image in S101, you may input including the information which shows the discrimination | determination result of the quality in the said sample image.
なお、検査ロジック管理部31は、入力したサンプル画像が不良品の見本であると判定した場合は(S104においてNO)、サンプル画像のどの領域が不良箇所であるのかなどの、サンプル画像の不良箇所を特定する情報をユーザから取得してもよい(S105)。このように、不良品についての情報を多数取得することで、より適切な検査ロジックを選択、作成することができる。 If the inspection logic management unit 31 determines that the input sample image is a sample of a defective product (NO in S104), the defective portion of the sample image such as which region of the sample image is a defective portion. May be acquired from the user (S105). Thus, by acquiring a lot of information about defective products, a more appropriate inspection logic can be selected and created.
続いて、上述の各ステップにて取得した情報に基づいて、場合によっては、知識ベースや過去の事例などを参照し、検査ロジック管理部31は、画像アルゴリズムを推論する(S106)。そして、推論した画像処理アルゴリズムから検査ロジックの雛型を生成して検査ロジック記録部45に記録する(S107)。検査ロジック記録部45に記録した検査ロジックの雛型は、表示制御部13(図1)を介して、表示部4に表示するようにしてもよい(S108)。これにより、ユーザが入力した情報に基づいてどのような検査ロジックの雛型が完成したのかをユーザが確認することが可能となり、あとは、この雛型に特徴量や閾値を関連付けて設定したり、微調整したりするだけで検査ロジックを完成させることができる。 Subsequently, based on the information acquired in each step described above, the inspection logic management unit 31 infers an image algorithm by referring to a knowledge base or a past case in some cases (S106). Then, a test logic template is generated from the inferred image processing algorithm and recorded in the test logic recording unit 45 (S107). The test logic model recorded in the test logic recording unit 45 may be displayed on the display unit 4 via the display control unit 13 (FIG. 1) (S108). This makes it possible for the user to check what type of inspection logic has been completed based on the information entered by the user, and to set the feature value and threshold in association with this template. The inspection logic can be completed just by making fine adjustments.
検査ロジックの雛型を確認したユーザによって、検査ロジックの追加や、一部変更の操作が行われた場合は(S109においてYES)、検査ロジック管理部31をその指示信号を操作受付部12を介して受け付けて、指示信号に応じて検査ロジックの雛型を新規に追加したり、一部を修正したりする(S110)。 When the user who has confirmed the inspection logic template has added or changed a part of the inspection logic (YES in S109), the inspection logic management unit 31 sends the instruction signal via the operation reception unit 12. In response to the instruction signal, a new test logic template is added or a part thereof is corrected (S110).
次に、作成した検査ロジックごとに、ティーチングなどの処理によって取得した情報に基づいて、ワークの良不良を分離するための特徴量と閾値とを算出する(S110)。これにより、検査ロジックの雛型から、あらゆる特徴量と閾値とを関連付けられた検査ロジックを複数完成させて検査ロジック記録部45に記録しておくことが可能となる。ここで、2つ以上の特徴量を用いて良不良を判別したい場合(複合判定を実行する場合)は、その複合判定の論理式も作成してもよい。 Next, for each created inspection logic, a feature amount and a threshold value for separating good / bad workpieces are calculated based on information acquired by processing such as teaching (S110). As a result, it is possible to complete a plurality of inspection logics associated with all feature quantities and thresholds from the inspection logic template and record them in the inspection logic recording unit 45. Here, when it is desired to discriminate between good and bad using two or more feature quantities (when composite judgment is executed), a logical expression for the composite judgment may also be created.
最後に、検査ロジック選択部34は、S111にて作成した各検査ロジック(メイン検査ロジックの候補)に対して行われた評価に基づいて、最も評価の高い検査ロジックを初期のメイン検査ロジックとして選択する(S112)。検査ロジック選択部34により選択されたメイン検査ロジックを検査ロジック管理部31が設定し、初期設定が完了する。 Finally, the inspection logic selection unit 34 selects the inspection logic with the highest evaluation as the initial main inspection logic based on the evaluation performed on each inspection logic (main inspection logic candidate) created in S111. (S112). The inspection logic management unit 31 sets the main inspection logic selected by the inspection logic selection unit 34, and the initial setting is completed.
この初期設定のための各検査ロジックの評価については、生産ライン稼動後に検査ロジック評価部33が実行する評価値算出の手順と同様の方法で行えばよい。本稼動での評価方法と異なる点は、実際生産ラインを流れているワーク画像に基づく評価ではなく、入力されたサンプル画像を検査した場合を仮定して仮想の検査結果について評価を行う点である。検査ロジックの評価方法の詳細については後述する。 The evaluation of each inspection logic for the initial setting may be performed by a method similar to the evaluation value calculation procedure executed by the inspection logic evaluation unit 33 after the production line is operated. The difference from the evaluation method in actual operation is that the evaluation is performed on the hypothetical inspection result on the assumption that the input sample image is inspected, not the evaluation based on the work image flowing on the actual production line. . Details of the inspection logic evaluation method will be described later.
また、上述の説明では、検査ロジック選択部34が評価の高い検査ロジックを初期のメイン検査ロジックとして選択する構成としたが、これに限定されない。例えば、S111にて算出された特徴量に基づいて、統計処理部32が作成したヒストグラムを検査ロジックごとにユーザに提示する構成とし、ユーザにヒストグラムを確認させて初期メイン検査ロジックに適したものを選ばせる構成とすることも可能である。 In the above description, the inspection logic selection unit 34 selects the inspection logic with high evaluation as the initial main inspection logic. However, the present invention is not limited to this. For example, based on the feature amount calculated in S111, the histogram created by the statistical processing unit 32 is presented to the user for each inspection logic, and the user confirms the histogram and is suitable for the initial main inspection logic. It is also possible to select a configuration.
なお、生産ライン稼動前の初期メイン検査ロジックの設定は、検査制御装置200の各部(図1)を用いて行わずともよく、ユーザが過去の経験から、初期の時点で最適を判断するメイン検査ロジックを候補の検査ロジックから選択したり、新たに検査ロジックを作成(検査内容、特徴量、閾値などを入力)したりして、初期設定を完了させる構成でもよい。あるいは、あらかじめ完成している検査ロジックの中からユーザがメイン検査ロジックを選択してメイン検査部21に設定する構成でも構わない。 The initial main inspection logic setting before the production line operation does not have to be performed by using each unit (FIG. 1) of the inspection control device 200. The main inspection in which the user determines the optimum at the initial time point from past experience. The initial setting may be completed by selecting a logic from candidate inspection logics or creating a new inspection logic (inputting inspection contents, feature amounts, threshold values, etc.). Alternatively, the configuration may be such that the user selects the main inspection logic from the inspection logic completed in advance and sets it in the main inspection unit 21.
以上は、生産ライン稼動前に設定する初期のメイン検査ロジックの設定手順である。生産ライン稼動前に設定するメイン検査ロジックは、過去の経験からどのように精細に評価して(あるいは、熟練者の判断により)、正しいメイン検査ロジックを選択したとしても、実際の生産ライン稼動後もその初期のメイン検査ロジックがそのままずっと最適なメイン検査ロジックであり続けることは不可能に近い。なぜなら、上述したさまざまな生産環境の変動が想定され、その変動に応じて常に最適なメイン検査ロジックというのは変わっていくものだからである。 The above is the initial main inspection logic setting procedure to be set before the production line is operated. The main inspection logic to be set before the production line is operated is evaluated after the actual production line is operated even if the correct main inspection logic is selected by the detailed evaluation (or at the discretion of the expert) based on past experience. However, it is almost impossible for the initial main inspection logic to remain the most suitable main inspection logic. This is because the above-described various production environment fluctuations are assumed, and the optimum main inspection logic always changes in accordance with the fluctuations.
そこで以下では、初期設定後、本稼動中の生産ラインで検査モジュール20が実行する検査において、生産環境の変動に応じて常に最適なメイン検査ロジックを選択することにより、高い検査精度を維持するための、検査制御装置200の処理の流れについて、より詳細に説明する。 Therefore, in the following, in order to maintain high inspection accuracy by selecting an optimal main inspection logic in accordance with changes in the production environment, in the inspection performed by the inspection module 20 on the production line in operation after the initial setting. The process flow of the inspection control apparatus 200 will be described in more detail.
生産ライン稼動中に最適な検査ロジックを評価し動的に再設定するために、検査制御装置200は、検査モジュール20が実際にラインを流れるワークに対して行った検査の結果として出力される評価用検査結果を利用する。そこで、まず、検査モジュール20における検査の処理の流れと、検査結果記録部42に記録される検査結果について詳細に説明する。 In order to evaluate and dynamically reset the optimal inspection logic while the production line is in operation, the inspection control apparatus 200 outputs an evaluation that is output as a result of the inspection that the inspection module 20 has actually performed on the workpiece flowing through the line. Use inspection results. First, the flow of the inspection process in the inspection module 20 and the inspection result recorded in the inspection result recording unit 42 will be described in detail.
(2)検査
図7は、検査システム100における検査の処理の流れを示すフローチャートである。
(2) Inspection FIG. 7 is a flowchart showing a flow of inspection processing in the inspection system 100.
まず、撮像部Cは、ワークが検査のためのラインに搬入されたタイミングで、ユーザによる操作により、あるいは、検査システム100から撮像命令信号を受信する(S201)。撮像命令信号を受信した撮像部Cは、搬入されたワークを撮影して、ワーク画像を生成する(S202)。このとき、撮影したワークのワークIDをワーク画像のデータに埋め込んでもよい。撮像部Cからワーク画像を受信した画像入力制御部11(図1)は、受信したワーク画像をワークIDと関連付けてワーク情報記録部41に記録する(S203)。 First, the imaging unit C receives an imaging command signal from a user's operation or from the inspection system 100 at a timing when a workpiece is carried into a line for inspection (S201). Receiving the imaging command signal, the imaging unit C captures the loaded workpiece and generates a workpiece image (S202). At this time, the work ID of the photographed work may be embedded in the data of the work image. The image input control unit 11 (FIG. 1) that has received the work image from the imaging unit C records the received work image in the work information recording unit 41 in association with the work ID (S203).
続いて、画像入力制御部11を介して新しいワーク画像が取得されると(S204においてYES)、検査モジュール20の各検査部(メイン検査部21、サブ検査部22)は、あらかじめ設定されている検査ロジックを用いて当該ワークの検査を実行する。 Subsequently, when a new work image is acquired via the image input control unit 11 (YES in S204), each inspection unit (main inspection unit 21, sub-inspection unit 22) of the inspection module 20 is set in advance. The inspection of the workpiece is executed using the inspection logic.
例えば、上記検査ロジックに含まれる画像処理アルゴリズムが規定する重心位置の特定方法に基づいてワーク画像の座標系を修正し(S205)、同じくアルゴリズムが規定する計測領域の特定方法に基づいて検査対象領域を特定する(S206)。そして、画像処理アルゴリズムに基づいて、特定した領域の解析(画像処理)を実行し(S207)、解析結果に基づいて特徴量を計測する(S208)。例えば、濃淡画像を2値化して、所定色の画素の面積を計測したり、特定した領域の明るさのばらつきを計測したりすることなどが想定される。 For example, the coordinate system of the work image is corrected based on the method of specifying the center of gravity position specified by the image processing algorithm included in the inspection logic (S205), and the inspection target region is also determined based on the method of specifying the measurement region specified by the algorithm. Is specified (S206). Then, based on the image processing algorithm, analysis (image processing) of the identified region is executed (S207), and a feature amount is measured based on the analysis result (S208). For example, it is assumed that the grayscale image is binarized and the area of a pixel of a predetermined color is measured, or the variation in brightness of a specified area is measured.
次に、S205〜S208にて画像処理アルゴリズムに基づきワーク画像から抽出した特徴量を、上記検査ロジックに含まれる閾値と比較する(S209)。そして、上記特徴量が閾値を超えたと判定した場合は(S209においてYES)、当該ワーク画像のワークを良品と判別する(S210)。一方、閾値以下であると判定した場合は(S209においてNO)、上記ワークを不良品と判別する(S211)。そして、この検査結果、および、抽出した特徴量をワークIDに関連付けて検査結果記録部42に記録する(S212)。 Next, the feature amount extracted from the work image based on the image processing algorithm in S205 to S208 is compared with a threshold value included in the inspection logic (S209). If it is determined that the feature amount exceeds the threshold (YES in S209), the workpiece of the workpiece image is determined as a non-defective product (S210). On the other hand, when it is determined that the value is equal to or less than the threshold value (NO in S209), the workpiece is determined as a defective product (S211). Then, the inspection result and the extracted feature amount are recorded in the inspection result recording unit 42 in association with the work ID (S212).
このようにして、1つの検査ロジックについての検査結果が記録されると、残りの検査ロジックについても同様の処理を行い(S213においてYESの場合、S205に戻る)、すべての検査ロジックについて検査結果を記録し終えたら(S213においてNO)、メイン検査ロジックに基づく検査結果を最終検査結果として出力し(S214)、検査を終了する。 In this way, when the inspection result for one inspection logic is recorded, the same processing is performed for the remaining inspection logics (if YES in S213, the process returns to S205), and the inspection results for all inspection logics are obtained. When the recording is completed (NO in S213), the inspection result based on the main inspection logic is output as the final inspection result (S214), and the inspection is terminated.
なお、上述の説明では、S209において、特徴量が閾値を超えた場合に、ワークを良品と判別する構成としているが、これに限定されず、例えば、特徴量が大きいと不良品となる場合は、閾値を下回る場合に良品と判別する構成とすることもできる。 In the above description, when the feature amount exceeds the threshold value in S209, the workpiece is determined to be a non-defective product. However, the present invention is not limited to this. For example, when the feature amount is large, the workpiece is defective. Further, it can be configured to discriminate it as a non-defective product when it falls below the threshold.
図8は、検査結果記録部42に記録される検査結果の例を示す図である。本実施形態では、図8に示すとおり、検査結果記録部42に記録される検査結果のデータは、メイン検査ロジックによる最終検査結果を記録するテーブル81と、検査モジュール20の各検査部が用いた各検査ロジックの、評価用検査結果を記録するテーブル82〜84・・・とから構成されている。テーブル82、83、84は、それぞれ、検査ロジック記録部45に記録される検査ロジックA、B、Cに基づき出力された評価用検査結果のテーブルである。 FIG. 8 is a diagram illustrating an example of inspection results recorded in the inspection result recording unit 42. In the present embodiment, as shown in FIG. 8, the inspection result data recorded in the inspection result recording unit 42 is used by the table 81 for recording the final inspection result by the main inspection logic and each inspection unit of the inspection module 20. It is comprised from the table 82-84 ... which records the test result for evaluation of each test | inspection logic. The tables 82, 83, and 84 are tables of evaluation inspection results output based on the inspection logics A, B, and C recorded in the inspection logic recording unit 45, respectively.
メイン検査ロジックに基づく最終検査結果を記録するテーブル81には、少なくとも、ワークID(C11)と、それに関連付けられたワークごとの良不良の判別結果(すなわち、最終検査結果(C12))と、その最終検査結果は、どの検査ロジックをメイン検査ロジックとして得られた結果であるのかを示すメイン検査ロジックのロジックID(S13)とが記録されている。 In the table 81 for recording the final inspection result based on the main inspection logic, at least the work ID (C11), the good / bad discrimination result for each work (that is, the final inspection result (C12)) associated therewith, As the final inspection result, the logic ID (S13) of the main inspection logic indicating which inspection logic is the result obtained as the main inspection logic is recorded.
テーブル81のデータ構造は上記に限定されず、図8に示すとおり必要に応じて、ワークのロットNO.(C14)、検査日時(C15)、検査で用いてワーク画像(C16)などの情報を関連付けて記録してもよい。また、当該ワークの検査を並行して実行したときにサブ検査部22により用いられたサブの検査ロジックのロジックID(C17)を関連付けて記録しておいてもよい。これにより、最終検査結果と、他の検査ロジックでの評価用検査結果との紐付けが可能となり、メイン検査ロジックと検査ロジックとで検査結果の比較を行うことができる。 The data structure of the table 81 is not limited to the above. As shown in FIG. Information such as (C14), inspection date (C15), and work image (C16) used in the inspection may be recorded in association with each other. Further, the logic ID (C17) of the sub inspection logic used by the sub inspection unit 22 when the inspection of the workpiece is executed in parallel may be recorded in association with each other. As a result, it is possible to link the final inspection result and the inspection inspection result with another inspection logic, and the inspection result can be compared between the main inspection logic and the inspection logic.
なお、採用されたメイン検査ロジックが複数(メイン検査部21が複数)ある場合は、複合判定論理式(C18)を記録しておくことが好ましい。これにより、複数のメイン検査ロジックそれぞれの検査結果との紐付けが可能となり、論理式に基づいて集約した各メイン検査ロジックの検査結果から1つの最終検査結果(C12)を求めることが可能となる。図8に示す例では、メイン検査ロジックは、検査ロジックAおよび検査ロジックBの2つが設定され、論理式は、最終検査結果を上記各検査ロジックの論理積から採るよう規定しているので、メイン検査ロジックAと、メイン検査ロジックBとの両方において、良品と判別されたワークのみ、最終的に良品として判別される。 In addition, when there are a plurality of adopted main inspection logics (a plurality of main inspection units 21), it is preferable to record a composite determination logical expression (C18). Thereby, it is possible to link the inspection results of each of the plurality of main inspection logics, and it is possible to obtain one final inspection result (C12) from the inspection results of each main inspection logic aggregated based on the logical expression. . In the example shown in FIG. 8, two main inspection logics, inspection logic A and inspection logic B, are set, and the logical expression stipulates that the final inspection result is taken from the logical product of the above inspection logics. In both the inspection logic A and the main inspection logic B, only a work that has been determined to be non-defective is finally determined to be non-defective.
テーブル82〜84・・・のそれぞれには、少なくとも、ワークID(C21)と、それに関連付けられた、特徴量(C22)と、評価用検査結果(C23)とが記録されている。 Each of the tables 82 to 84... Records at least a work ID (C21), a feature amount (C22), and an evaluation test result (C23) associated therewith.
テーブル82〜84・・・のデータ構造は上記に限定されず、図8に示すとおり必要に応じて、当該検査ロジックの画像処理アルゴリズムにおけるパラメータ(C24)、閾値(C25)などをワークごとに記録しておいてもよい。また、これらの情報は、検査ロジックのロジックIDごとに検査ロジック記録部45に記録されているので、C24、C25の代わりに当該検査ロジックのロジックIDを記録して、検査ロジック記録部45との紐付けを行うデータ構造としてもよい。 The data structures of the tables 82 to 84... Are not limited to the above, and parameters (C24), threshold values (C25), etc. in the image processing algorithm of the inspection logic are recorded for each work as necessary as shown in FIG. You may keep it. In addition, since these pieces of information are recorded in the inspection logic recording unit 45 for each logic ID of the inspection logic, the logic ID of the inspection logic is recorded instead of C24 and C25, and A data structure for performing association may be used.
上述したとおり、検査結果記録部42に記録されたすべての検査ロジックの検査結果は、評価用検査結果として、次の統計処理にて、必要に応じて読み出される。 As described above, the inspection results of all the inspection logics recorded in the inspection result recording unit 42 are read as necessary in the next statistical process as the inspection results for evaluation.
(3)統計処理
図9は、検査システム100における統計処理の流れを示すフローチャートである。統計処理部32(図1)は、タイミング監視部35の制御に基づき、各検査ロジックを評価すべきタイミングとなった場合に、統計処理を開始する。
(3) Statistical Processing FIG. 9 is a flowchart showing the flow of statistical processing in the inspection system 100. The statistical processing unit 32 (FIG. 1) starts statistical processing based on the control of the timing monitoring unit 35 when it is time to evaluate each inspection logic.
統計処理部32は、検査結果記録部42から、評価すべき検査ロジック(例えば、検査ロジックA)の評価用検査結果(図8に示すテーブル82)を取得する(S301)。ここで、取得したテーブル82(検査ロジックA)の統計処理をこれまでに行ったことがあるかどうかを判定し、初めて統計処理を行う場合は(S302においてYES)、統計データの準備を行う。より具体的には、テーブル82のR1〜R3において、ワークごとの特徴量および閾値に基づいて、良品の区間と不良品の区間とを設定し、さらに、特徴量を所定の区間ごとに分類する(S303)。 The statistical processing unit 32 acquires the test result for evaluation (table 82 shown in FIG. 8) of the test logic to be evaluated (for example, test logic A) from the test result recording unit 42 (S301). Here, it is determined whether or not statistical processing of the acquired table 82 (inspection logic A) has been performed so far, and when statistical processing is performed for the first time (YES in S302), statistical data is prepared. More specifically, in R <b> 1 to R <b> 3 of the table 82, a non-defective section and a defective section are set based on the feature amount and threshold value for each workpiece, and the feature amount is further classified for each predetermined section. (S303).
続いて、未追加処理のワークの検査結果(例えば、レコードR1の、ワークID0001の検査結果「OK」)を評価用検査結果(テーブル82)から取得する(S304)。統計処理部32は、取得したレコードの検査結果を判定し、検査結果が良品であった場合は(S305においてYES)、当該レコード(ワーク)の度数を、特徴量が属する良品の区間に1つ追加する。反対に、検査結果が不良品であった場合は(S305においてNO)、ワークの度数を、該当する不良品の区間に1つ追加する(S307)。 Subsequently, the inspection result of the unadded work (for example, the inspection result “OK” of the work ID 0001 in the record R1) is acquired from the inspection inspection result (table 82) (S304). The statistical processing unit 32 determines the inspection result of the acquired record, and if the inspection result is a non-defective product (YES in S305), the frequency of the record (work) is set to one for the good product section to which the feature amount belongs. to add. On the other hand, if the inspection result is a defective product (NO in S305), one work frequency is added to the corresponding defective product section (S307).
そして、未追加処理の検査結果がまだ残っている場合は(例えば、テーブル82のレコードR2とR3)(S308においてYES)、S304に戻り、度数追加の処理を繰り返す。一方、1つの検査ロジックにおいてすべてのワークの検査結果について追加処理が完了した場合は(S308においてNO)、当該検査ロジックの統計処理を終了する。 If the inspection result of the non-addition process still remains (for example, records R2 and R3 in the table 82) (YES in S308), the process returns to S304, and the frequency addition process is repeated. On the other hand, when the additional processing is completed for the inspection results of all the workpieces in one inspection logic (NO in S308), the statistical processing of the inspection logic is ended.
そこで、未処理の検査ロジック(例えば、検査ロジックBや検査ロジックC)が残っている場合は(S309においてYES)、S301に戻り、未処理の検査ロジックの評価用検査結果(例えば、検査ロジックBのテーブル83)を取得して、以降の処理を繰り返す。 Therefore, if unprocessed inspection logic (for example, inspection logic B or inspection logic C) remains (YES in S309), the process returns to S301, and the inspection result for evaluation of unprocessed inspection logic (for example, inspection logic B). Table 83) is obtained, and the subsequent processing is repeated.
すべての検査ロジックの評価用検査結果について、統計処理を終え、統計データを作成した場合は(S309においてNO)、上述の統計データを統計データ記録部43に記録する(S310)。 When the statistical processing is completed and statistical data is created for all inspection logic evaluation test results (NO in S309), the above-described statistical data is recorded in the statistical data recording unit 43 (S310).
図10は、統計処理部32に入出力されるデータを模式的に示す図である。ここでは、統計処理部32によって出力され、統計データ記録部43に記録される統計データをヒストグラムで表す。図10に示す例では、検査結果記録部42に記録される、ワークXについての検査結果レコード85(各検査ロジックの検査結果および特徴量と、最終検査結果とを含む)に基づいて、統計処理部32が統計処理を実行し、出力した統計データ90を統計データ記録部43に記録している。 FIG. 10 is a diagram schematically illustrating data input to and output from the statistical processing unit 32. Here, the statistical data output by the statistical processing unit 32 and recorded in the statistical data recording unit 43 is represented by a histogram. In the example illustrated in FIG. 10, statistical processing is performed based on the inspection result record 85 (including the inspection result and feature amount of each inspection logic and the final inspection result) for the workpiece X recorded in the inspection result recording unit 42. The unit 32 executes statistical processing and records the output statistical data 90 in the statistical data recording unit 43.
統計データ90は、検査ロジックごとに作成されたヒストグラム91〜93・・・を含み、ヒストグラム91〜93は、それぞれ、検査ロジックA〜Cの検査結果を統計処理したものを表している。 The statistical data 90 includes histograms 91 to 93... Created for each inspection logic, and the histograms 91 to 93 represent the statistically processed inspection results of the inspection logics A to C, respectively.
各ヒストグラムは、縦軸が度数、横軸が特徴量を表しており、閾値94を境界に、閾値94以下の区間に属するブロックを良品、閾値94を越える区間に属するブロックを不良品であると、各検査ロジックが判別したことを示している。 In each histogram, the vertical axis represents the frequency, and the horizontal axis represents the feature amount. A block belonging to a section below the threshold 94 with a threshold 94 as a boundary is a non-defective product, and a block belonging to a section exceeding the threshold 94 is a defective product. This indicates that each inspection logic has been determined.
また、ワークの度数を示す棒グラフの色分けは、最終検査結果86に基づく良品と不良品の区分を示している。したがって、網点が施された棒グラフは、メイン検査ロジック(ここでは、検査ロジックAとする)で良品と判別されたものを、斜線が施された棒グラフは、メイン検査ロジックで不良品と判別されたものを示している。 Further, the color coding of the bar graph indicating the frequency of the work indicates the classification of the non-defective product and the defective product based on the final inspection result 86. Therefore, a bar graph with halftone dots is determined as good by the main inspection logic (in this case, inspection logic A), and a bar graph with diagonal lines is determined as defective by the main inspection logic. Is shown.
ここで、検査結果レコード85が新たに追加されると、統計処理部32は、各検査ロジックの検査結果および特徴量に基づいて、各ヒストグラムの適切な区間に検査結果レコード85のワークXの度数を1追加する。より詳細には、検査ロジックAのヒストグラム91においては、検査ロジックA特徴量10の区間に、最終検査結果86が良品(網点)の度数1のブロックが追加される。検査ロジックBのヒストグラム92においては、検査ロジックB特徴量20の区間に、網点の度数1のブロックが追加される。検査ロジックCのヒストグラム93においては、検査ロジックC特徴量30の区間に、網点の度数1のブロックが追加される。 Here, when the inspection result record 85 is newly added, the statistical processing unit 32 counts the frequency of the work X of the inspection result record 85 in an appropriate section of each histogram based on the inspection result and feature amount of each inspection logic. 1 is added. More specifically, in the histogram 91 of the inspection logic A, a block of frequency 1 with the final inspection result 86 being non-defective (halftone dot) is added to the section of the inspection logic A feature amount 10. In the inspection logic B histogram 92, a halftone dot block is added to the section of the inspection logic B feature 20. In the histogram 93 of the inspection logic C, a halftone dot frequency block is added to the section of the inspection logic C feature amount 30.
以上のとおり、統計処理部32により生成され、統計データ記録部43に記録された統計データは、次の検査ロジックの評価処理にて、検査ロジック評価部33により必要に応じて読み出される。 As described above, the statistical data generated by the statistical processing unit 32 and recorded in the statistical data recording unit 43 is read by the inspection logic evaluation unit 33 as necessary in the next inspection logic evaluation process.
なお、上記統計データは、必ずしも、図10に示すようなヒストグラムとして記録されていなくてもよく、検査ロジック評価部33が検査ロジックの評価を実行するのに必要な情報を取り出せる状態であればどのようなデータ構造でもよい。例えば、図11に示すとおり、検査ロジックごとに、各種データ(最終検査結果の良・不良品別の特徴量の上限値/下限値、平均値、分散、中央値、最頻値など)を関連付けたテーブル構造を有する統計データを統計データ記録部43に記録しておいてもよい。 Note that the statistical data does not necessarily have to be recorded as a histogram as shown in FIG. 10, and any statistical data can be extracted as long as the inspection logic evaluation unit 33 can extract information necessary for executing the inspection logic evaluation. Such a data structure may be used. For example, as shown in FIG. 11, various data (upper / lower limit values, average values, variances, median values, mode values, etc. of feature values for each good / bad product in the final inspection result) are associated with each inspection logic. Statistical data having a table structure may be recorded in the statistical data recording unit 43.
ただし、統計データを、表示部4に表示してユーザに提示する場合は、ヒストグラムとして出力することが好ましい。図10に示すようなヒストグラムを提示すれば、ユーザは、各検査ロジックが、ワークの良不良をどのように判別し、また、その検査結果が、最終検査結果とどのようにずれが生じているのかを、容易に目視確認することが可能となる。 However, when the statistical data is displayed on the display unit 4 and presented to the user, it is preferably output as a histogram. If a histogram as shown in FIG. 10 is presented, the user discriminates how each inspection logic determines whether the work is good or bad, and how the inspection result is different from the final inspection result. It can be easily visually confirmed whether or not.
ここで、上述の例では、ヒストグラムの棒グラフの色分けは、最終検査結果86に基づいて行う構成としたが、これに限定されない。検査ロジックごとにヒストグラムを生成する場合に、各検査ロジックの良不良の検査結果に応じて色分けを行って出力してもよい。これにより、ユーザは、各検査ロジックで、良品・不良品の度数を一目で確認することができる。なお、複合判定により最終検査結果86が決定される構成の場合には、図12に示すように、採用する複数のメイン検査ロジックの特徴量を用いて統計データを作成すればよい。 Here, in the above-described example, the color coding of the histogram bar graph is performed based on the final inspection result 86, but is not limited thereto. When a histogram is generated for each inspection logic, color classification may be performed according to the inspection result of each inspection logic. Thereby, the user can confirm at a glance the frequency of non-defective / defective products with each inspection logic. In the case of a configuration in which the final inspection result 86 is determined by the composite determination, statistical data may be created using the feature amounts of a plurality of main inspection logics employed as shown in FIG.
また、良不良の検査結果がすべての検査ロジックで一致しないと統計処理部32が判定した場合には、統計処理部32は、そのような検査結果レコード85を統計データとして追加しないように構成することも可能である。 In addition, when the statistical processing unit 32 determines that the inspection results of good and bad do not match in all inspection logics, the statistical processing unit 32 is configured not to add such an inspection result record 85 as statistical data. It is also possible.
(4)検査ロジック評価
図13は、検査システム100における検査ロジック評価処理の流れを示すフローチャートである。検査ロジック評価部33(図1)は、統計処理部32が統計データを統計データ記録部43に記録すると、当該統計データを用いて、評価処理を開始する。
(4) Inspection Logic Evaluation FIG. 13 is a flowchart showing the flow of inspection logic evaluation processing in the inspection system 100. When the statistical processing unit 32 records the statistical data in the statistical data recording unit 43, the inspection logic evaluation unit 33 (FIG. 1) starts the evaluation process using the statistical data.
検査ロジック評価部33は、統計データ記録部43から、各検査ロジックの統計データを取得し(S401)、当該統計データから評価値を算出するのに用いる評価式を、評価式を記録する記録部(例えば、評価式を評価値記録部44に記録しておいてもよい。)から取得する(S402)。なお、評価式が複数記録されている場合は、ユーザがその都度選択してもよいし、あらかじめどの評価式を採用するかを設定しておいてもよい。また、ユーザが採用する評価式を直接入力できる構成としてもよい。 The inspection logic evaluation unit 33 acquires the statistical data of each inspection logic from the statistical data recording unit 43 (S401), and the evaluation unit used to calculate the evaluation value from the statistical data is a recording unit that records the evaluation equation (For example, the evaluation formula may be recorded in the evaluation value recording unit 44) (S402). Incidentally, if the evaluation formula is more recorded, the user may select each time, it may be set whether to adopt the advance which evaluation formula. Moreover, it is good also as a structure which can input directly the evaluation formula which a user employ | adopts.
次に、検査ロジック評価部33は、取得した評価式にしたがって、統計データから各検査ロジックの評価値を算出する(S403)。評価値算出処理の詳細は後述する。すべての検査ロジックについて評価値の算出を終えると、検査ロジック評価部33は、算出した評価値を検査ロジックごとに評価値記録部44に記録する(S404)。 Next, the inspection logic evaluation unit 33 calculates an evaluation value of each inspection logic from the statistical data according to the acquired evaluation formula (S403). Details of the evaluation value calculation process will be described later. After completing the calculation of the evaluation values for all the inspection logics, the inspection logic evaluation unit 33 records the calculated evaluation values in the evaluation value recording unit 44 for each inspection logic (S404).
図14(a)は、評価値記録部44に記録される検査ロジックの評価値の例を示す図である。図14(a)に示すとおり、検査ロジック評価部33が検査ロジックごとに算出した評価値は、ロジックIDに関連付けて記録される。ここで、検査システム100に複数の評価式が記録されている場合は、どの評価式を用いて求めた評価値なのかを判別できるよう、評価式を特定する情報(例えば、評価式ID)も関連付けて記録することが好ましい。 FIG. 14A is a diagram illustrating an example of the evaluation value of the inspection logic recorded in the evaluation value recording unit 44. As shown in FIG. 14A, the evaluation value calculated by the inspection logic evaluation unit 33 for each inspection logic is recorded in association with the logic ID. Here, when a plurality of evaluation expressions are recorded in the inspection system 100, information (for example, evaluation expression ID) for specifying the evaluation expression is also included so that it is possible to determine which evaluation expression is used to determine the evaluation value. It is preferable to record in association.
図14(b)は、評価値算出に用いられる評価式の例を示す図である。図14(b)に示すとおり、各評価式は、評価式を一意に識別するための識別情報(評価式ID)によって管理されている。このように、評価式IDにより、評価値と評価式との紐付けが行えるので、例えば、図14(a)に示す各検査ロジックの評価値は、「式1」、すなわち、「不良品の下限値−良品の上限値」により算出された値であることが分かる。 FIG. 14B is a diagram illustrating an example of an evaluation formula used for evaluation value calculation. As shown in FIG. 14B, each evaluation formula is managed by identification information (evaluation formula ID) for uniquely identifying the evaluation formula. Thus, since the evaluation value and the evaluation equation can be linked by the evaluation equation ID, for example, the evaluation value of each inspection logic shown in FIG. It can be seen that the value is calculated by “Lower limit value—Upper limit value of non-defective product”.
なお、上述の説明では、始めに採用する評価式を選択し、選択した評価式に基づいて評価値を算出する構成としたが、これに限定されない。例えば、記録されている全評価式に基づいて、それぞれの評価値を算出し、最終的な評価値を選択する(あるいは、複数の評価値から最終的に1つの評価値を算出する)構成としてもよい。 In the above description, the evaluation formula employed first is selected, and the evaluation value is calculated based on the selected evaluation formula. However, the present invention is not limited to this. For example, each evaluation value is calculated based on all the recorded evaluation formulas, and a final evaluation value is selected (or one evaluation value is finally calculated from a plurality of evaluation values). Also good.
次に、図13のS403に示す評価値算出処理の詳細について、図14(b)の「式1」の評価式を採用した場合を例に挙げて説明する。 Next, details of the evaluation value calculation process shown in S403 of FIG. 13 will be described by taking as an example the case where the evaluation expression of “Expression 1” of FIG. 14B is adopted.
まず、検査ロジック評価部33は、1つの検査ロジックにつき、統計データ(例えば、図11)の中から、A:良品の上限値(特徴量)を取得する(S41)。次に、B:不良品の下限値を取得する(S42)。最後に、評価式(式1:不良品の下限値−良品の上限値)にしたがって、取得した値の差分(ここでは、B−A)を算出し、これを評価値とする(S43)。ここで「良品」「不良品」とは、メイン検査ロジックによる最終検査結果が示す「良品」「不良品」のことを示している。 First, the inspection logic evaluation unit 33 acquires A: non-defective upper limit value (feature amount) from statistical data (for example, FIG. 11) for one inspection logic (S41). Next, B: The lower limit value of the defective product is acquired (S42). Finally, according to the evaluation formula (formula 1: lower limit value of defective product−upper limit value of non-defective product), a difference (in this case, B−A) of the acquired values is calculated and used as an evaluation value (S43). Here, “non-defective product” and “defective product” indicate “good product” and “defective product” indicated by the final inspection result by the main inspection logic.
上述の評価値算出方法によれば、特徴量が大きいと不良品となる場合に、特徴量に基づいて、良品と不良品とを正しく切り分けられている検査ロジックを高く評価することができる。すなわち、不良品の最小の特徴量と良品の最大の特徴量との距離(上述の「B−A」)が長ければ長いほど、その検査ロジックは良品と不良品とを安全に正しく切り分けられていると考えることができる。 According to the above-described evaluation value calculation method, when a feature amount is large, a defective product is obtained. Therefore, it is possible to highly evaluate an inspection logic in which a good product and a defective product are correctly separated based on the feature amount. In other words, the longer the distance between the minimum feature value of a defective product and the maximum feature value of a non-defective product (the above-mentioned “BA”), the inspection logic can safely and correctly separate the non-defective product and the defective product. Can be considered.
なお、上述の例とは反対に、特徴量が小さいと不良品となる場合は、図14(b)の「式4:良品の下限値−不良品の上限値」を採用し、良品の最小の特徴量と不良品の最大の特徴量との距離を求めそれを評価値として出力すればよい。 Contrary to the above-described example, when the feature amount is small, it becomes a defective product, and “Formula 4: Lower limit value of non-defective product—Upper limit value of defective product” in FIG. What is necessary is just to obtain | require the distance of this feature-value and the largest feature-value of inferior goods, and to output it as an evaluation value.
ここで、評価値の算出方法は、上記に限定されない。本発明の検査システム100では、統計データの各種情報を用いてあらゆる評価方法を採用することができる。 Here, the method of calculating the evaluation value is not limited to the above. In the inspection system 100 of the present invention, any evaluation method can be adopted using various pieces of information of statistical data.
図15(a)〜(f)は、評価値算出方法の他の例を、統計データ(ヒストグラム)により示す図である。 FIGS. 15A to 15F are diagrams illustrating other examples of the evaluation value calculation method using statistical data (histograms).
図15(a)に示す例は、上述した例と同じく、良品の集合と不良品の集合との距離dに基づいて評価値を算出する方法を示している。距離dの値が大きいほど、良品と不良品とを正しく安全に切り分けられていることを意味しており、評価が高くなる。 The example shown in FIG. 15A shows a method of calculating the evaluation value based on the distance d between the non-defective product set and the defective product set, as in the above-described example. As the value of the distance d is larger, it means that the non-defective product and the defective product are correctly and safely separated, and the evaluation becomes higher.
図15(b)に示す例は、良品の集合における特徴量の平均値Gμと不良品の集合の平均値Bμとの距離dに基づいて評価値を算出する方法を示している。距離dの値が大きいほど、良品と不良品とを正しく安全に切り分けられていることを意味しており、評価が高くなる。 The example shown in FIG. 15B shows a method of calculating an evaluation value based on the distance d between the average value Gμ of feature values in a set of non-defective products and the average value Bμ of sets of defective products. As the value of the distance d is larger, it means that the non-defective product and the defective product are correctly and safely separated, and the evaluation becomes higher.
図15(c)に示す例は、良品の特徴量の分散Gσ、および/または、不良品の特徴量の分散Bσに基づいて評価値を算出する方法を示している。分散が大きいということは、計測した特徴量が、良品(不良品)の集合の中でばらついており、その特徴量の計測手順の信頼性が低いことを意味している。したがって、分散の値が小さい検査ロジックほど、評価が高くなる。 The example shown in FIG. 15C shows a method for calculating the evaluation value based on the variance Gσ of the feature quantity of the non-defective product and / or the variance Bσ of the feature quantity of the defective product. A large variance means that the measured feature values vary within a set of non-defective products (defective products), and the reliability of the measurement procedure for the feature values is low. Therefore, the evaluation logic is higher as the inspection logic has a smaller variance value.
図15(d)に示す例は、良品の集合と不良品の集合との距離dの微分値(距離dが狭まる速さ)に基づいて評価値を算出する方法を示している。距離dは上述したとおり、大きいほど評価が高く、距離dの微分値が大きいほど(距離dが狭まる勢いが大きいほど)、評価が低くなる。つまり、図15(d)に示すとおり、距離d1と距離d2の差分が小さい方が評価が高い。 The example shown in FIG. 15D shows a method of calculating an evaluation value based on a differential value of the distance d between the non-defective product set and the defective product set (speed at which the distance d narrows). As described above, the greater the distance d, the higher the evaluation, and the greater the differential value of the distance d (the greater the momentum at which the distance d is narrowed), the lower the evaluation. That is, as shown in FIG. 15 (d), the smaller the difference between the distance d1 and the distance d2, the higher the evaluation.
図15(e)に示す例は、良品の集合と検査ロジックの閾値との距離d1と、不良品の集合と検査ロジックの閾値との距離d2との差分に基づいて評価値を算出する方法を示している。距離d1と距離d2との差分が大きいということは、良品・不良品のどちらか一方の集合だけが閾値近くにあることになる。一方の集合のみが閾値に近づいていると、例えば、不良品の集合が閾値付近にあるとすると、それは、不良品を良品と判別してしまうという検査不良発生の可能性が大きいことを意味する。したがって、距離d1と距離d2とは等しいことが理想であり、距離d1と距離d2との差分が小さければ小さいほど、評価が高くなる。 The example shown in FIG. 15E is a method for calculating an evaluation value based on a difference between a distance d1 between a non-defective product set and an inspection logic threshold value and a distance d2 between a defective product set and an inspection logic threshold value. Show. When the difference between the distance d1 and the distance d2 is large, only one set of non-defective products and defective products is close to the threshold value. If only one set is approaching the threshold value, for example, if the set of defective products is near the threshold value, it means that there is a high possibility of an inspection failure in which the defective product is identified as a non-defective product. . Therefore, it is ideal that the distance d1 and the distance d2 are equal, and the smaller the difference between the distance d1 and the distance d2, the higher the evaluation.
さらに、距離d2(不良品と閾値との距離)に重みをかけて、距離d2の方が小さい場合(すなわち、不良品の集合の方が閾値に寄っている場合)には、特に評価が下がるような評価値を算出するよう検査ロジック評価部33を構成してもよい。これは、良品を不良品と判別してしまう検査不良よりも、不良品を良品と判別してしまう検査不良(見逃し)の方が、深刻な事故となるという考えに基づいている。これにより、見逃しをしてしまうような検査ロジックがメイン検査ロジックとして誤って選択されるという不都合を解消することができる。 Furthermore, when the distance d2 (the distance between the defective product and the threshold value) is weighted and the distance d2 is smaller (that is, when the set of defective products is closer to the threshold value), the evaluation is particularly lowered. The inspection logic evaluation unit 33 may be configured to calculate such an evaluation value. This is based on the idea that an inspection failure (missing) that determines a defective product as a non-defective product is a more serious accident than an inspection failure that determines a good product as a defective product. As a result, it is possible to eliminate the inconvenience that an inspection logic that is overlooked is erroneously selected as the main inspection logic.
評価式の具体例を示すと、図14(b)の「式3:|(不良品の下限値−良品の上限値)−(不良品の下限値−閾値)/(閾値−良品上限値)|」となる。この場合、評価値の数値は小さいほど評価が高いことを意味する。 When a specific example of the evaluation formula is shown, “Formula 3: | (Lower limit value of defective product−Upper limit value of non-defective product) − (Lower limit value of defective product−Threshold value) / (Threshold value−Upper limit value of non-defective product)” in FIG. | ". In this case, the smaller the evaluation value, the higher the evaluation.
あるいは他の評価方法では、メイン検査ロジックが不良品と判別したワークのうち、当該検査ロジックが良品と判別してしまったワークの個数(見逃しの個数)に基づいて、評価値を算出してもよい。この場合、見逃しの個数が多いほど評価が低くなる。 Alternatively, in another evaluation method, the evaluation value may be calculated based on the number of workpieces that the main inspection logic has determined to be defective (the number of missed workpieces) that the inspection logic has determined to be non-defective. Good. In this case, the evaluation becomes lower as the number of missed items increases.
図16は、閾値の位置による評価値の推移を示すグラフである。縦軸は、上記式3に基づいて算出された評価値(上述したとおり小さいほど評価が高い)を、横軸は、閾値の位置を示している。閾値の位置とは、図15(e)の良品上限値Pと不良品下限値Qとの間で、閾値はいずれの値を示しているかを意味している。すなわち、良品上限値Pから閾値までの距離d1と、閾値から不良品下限値Qまでの距離d2を示す。 FIG. 16 is a graph showing the transition of the evaluation value according to the threshold position. The vertical axis represents the evaluation value calculated based on Equation 3 (the smaller the evaluation is, the higher the evaluation is), and the horizontal axis represents the threshold position. The position of the threshold means which value the threshold value indicates between the non-defective product upper limit value P and the defective product lower limit value Q in FIG. That is, the distance d1 from the acceptable product upper limit P to the threshold and the distance d2 from the threshold to the defective product lower limit Q are shown.
横軸の左端0は、良品上限値Pを、右端0.9は、不良品下限値Qを示しており、閾値が不良品下限値Qに近づけば近づくほど(右に行けば行くほど)、評価値が急激に大きくなり、評価が下がることが分かる。評価値が大きくなる度合いは、閾値が良品上限値Pに近づくときの度合いよりも大きくなっている。これにより、見逃しをしてしまうような検査ロジックがメイン検査ロジックとして誤って選択されないようにすることができる。 The left end 0 of the horizontal axis indicates the non-defective product upper limit value P, and the right end 0.9 indicates the defective product lower limit value Q. The closer the threshold approaches the defective product lower limit value Q, the closer to the defective product (the more it goes to the right), It can be seen that the evaluation value increases rapidly and the evaluation decreases. The degree to which the evaluation value increases is greater than the degree at which the threshold approaches the non-defective product upper limit P. Thereby, it is possible to prevent an inspection logic that may be overlooked from being erroneously selected as the main inspection logic.
図15(f)に示す例は、統計データの理想的な状態を示す、モデル統計データと比較してその類似度に基づいて評価値を算出する方法を示している。例えば、統計データがヒストグラムである場合、モデル統計データとしてのモデルヒストグラム95をあらかじめ用意し、モデルヒストグラム95と実際のヒストグラムとの形状を比較してパターンマッチングを行い、類似度を算出する。モデルヒストグラム95と形状が類似しているほど、理想の検査結果を出力できる検査ロジックであることを意味し、評価が高くなる。 The example shown in FIG. 15 (f) shows a method for calculating an evaluation value based on the degree of similarity compared with model statistical data, which indicates an ideal state of statistical data. For example, when the statistical data is a histogram, a model histogram 95 as model statistical data is prepared in advance, the shape of the model histogram 95 is compared with the actual histogram, pattern matching is performed, and the similarity is calculated. The similarity between the shape and the model histogram 95 means that the inspection logic can output an ideal inspection result, and the evaluation becomes higher.
以上のとおり、検査ロジック評価部33により算出され、評価値記録部44に記録された評価値は、次の検査ロジックの選択処理にて、検査ロジック選択部34により必要に応じて読み出される。 As described above, the evaluation value calculated by the inspection logic evaluation unit 33 and recorded in the evaluation value recording unit 44 is read by the inspection logic selection unit 34 as necessary in the next inspection logic selection process.
(5)検査ロジック選択
図17は、検査システム100における検査ロジック選択処理の流れを示すフローチャートである。検査ロジック選択部34(図1)は、検査ロジック評価部33が各検査ロジックの評価値を評価値記録部44に記録すると、当該評価値を用いて検査ロジック選択処理を開始する。
(5) Inspection Logic Selection FIG. 17 is a flowchart showing a flow of inspection logic selection processing in the inspection system 100. When the inspection logic evaluation unit 33 records the evaluation value of each inspection logic in the evaluation value recording unit 44, the inspection logic selection unit 34 (FIG. 1) starts the inspection logic selection process using the evaluation value.
検査ロジック選択部34は、評価値記録部44から、各検査ロジックの評価値を取得する(S501)。次に、取得した評価値に基づいて、最も評価が高い(メイン検査ロジックとして最適な)検査ロジックを特定する(S502)。 The inspection logic selection unit 34 acquires the evaluation value of each inspection logic from the evaluation value recording unit 44 (S501). Next, based on the acquired evaluation value, the inspection logic with the highest evaluation (optimal as the main inspection logic) is specified (S502).
続いて、検査ロジック選択部34は、S502にて特定した特定検査ロジックが、現在メイン検査部21(図1)に設定されているメイン検査ロジック(例えば、検査ロジックA(図1))と一致するか否かを判定する(S503)。検査ロジック選択部34は、特定検査ロジックが検査ロジックAであると判定すれば、検査ロジックを切り替える必要がないので、そのまま検査ロジックAを採用する(S504)。一方、検査ロジック選択部34は、特定検査ロジックが検査ロジックAと異なると判定すれば、上記特定検査ロジックをメイン検査ロジックとして新たに選択し(S505)、メイン検査部21のメイン検査ロジックL1を、検査ロジックAから上記特定検査ロジックへと切り替える(S506)。 Subsequently, the inspection logic selection unit 34 matches the specific inspection logic specified in S502 with the main inspection logic (for example, inspection logic A (FIG. 1)) currently set in the main inspection unit 21 (FIG. 1). It is determined whether or not to perform (S503). If it is determined that the specific inspection logic is the inspection logic A, the inspection logic selection unit 34 adopts the inspection logic A as it is because it is not necessary to switch the inspection logic (S504). On the other hand, if the inspection logic selection unit 34 determines that the specific inspection logic is different from the inspection logic A, the inspection logic selection unit 34 newly selects the specific inspection logic as the main inspection logic (S505), and selects the main inspection logic L1 of the main inspection unit 21. Then, the inspection logic A is switched to the specific inspection logic (S506).
<実施形態2>
上述の実施形態で説明したとおり、本発明の検査制御装置200(図1)の構成、および、検査制御方法(図5のS4〜S7)によれば、最新の検査結果を評価して常に最適な検査ロジックを選択し、生産ライン稼動中でも動的に切り替えることができるので、生産環境の変動に応じて動的に検査ロジックを設定することにより、検査システム100(検査モジュール20)の検査精度を向上させることが可能となる。
<Embodiment 2>
As described in the above-described embodiment, according to the configuration of the inspection control apparatus 200 (FIG. 1) and the inspection control method (S4 to S7 in FIG. 5) of the present invention, the latest inspection results are evaluated and always optimal. The inspection system 100 (inspection module 20) can be inspected by setting the inspection logic dynamically in accordance with changes in the production environment. It becomes possible to improve.
次に、具体例を用いて、本発明の検査制御装置200により実現される、検査ロジックの切替処理とその効果についてより詳細に説明する。本実施形態では、本発明の検査システム100を、ワークとしての白紙の上に発生する汚れを検査する検査システムとする。検査システム100の検査ロジック記録部45には、2つの検査ロジック、すなわち、上述の2値重心面積画像処理アルゴリズムと閾値=300(面積)とを採用した第1検査ロジックと、キズ汚れ画像処理アルゴリズムと閾値=150(欠陥度)とを採用した第2検査ロジックとがあらかじめ記録されている。 Next, using a specific example, the inspection logic switching process and the effect realized by the inspection control apparatus 200 of the present invention will be described in more detail. In the present embodiment, the inspection system 100 of the present invention is an inspection system that inspects dirt generated on white paper as a workpiece. The inspection logic recording unit 45 of the inspection system 100 includes two inspection logics, that is, a first inspection logic that employs the above-described binary centroid area image processing algorithm and threshold = 300 (area), and a flaw stain image processing algorithm. And the second inspection logic adopting threshold = 150 (defect degree) are recorded in advance.
図18は、汚れ検査で検査システム100が用いるのワークのサンプル画像を示す図である。図18に示すとおり、撮像部Cは、生産ラインを流れるワーク50の撮影範囲Rを撮影し、ワーク画像51(52)を生成する。生成されたワーク画像51(52)は、画像入力制御部11を介してワーク情報記録部41に記録される。ワーク画像51は、良品であるワークを撮影したものを示し、ワーク画像52は、汚れが付着した不良品である(として検知されるべき)ワークを示している。本実施形態では、検査ロジック管理部31が初期設定を実行するためにワーク画像51のような良品のサンプル画像を、ワーク画像52のような不良品のサンプル画像があらかじめ入力されている。 FIG. 18 is a diagram showing a sample image of a work used by the inspection system 100 in the dirt inspection. As illustrated in FIG. 18, the imaging unit C captures an imaging range R of the workpiece 50 flowing through the production line, and generates a workpiece image 51 (52). The generated work image 51 (52) is recorded in the work information recording unit 41 via the image input control unit 11. The work image 51 shows a photograph of a non-defective work, and the work image 52 shows a work that is a defective product (which should be detected as a stain). In this embodiment, a non-defective sample image such as a work image 51 and a defective sample image such as a work image 52 are input in advance in order for the inspection logic management unit 31 to perform initial setting.
なお、本実施形態では、図19に示すとおり、生産環境の変動の例として、生産数が多くなるにつれて、生産ラインが安定し(作業者の熟練度の向上や生産設備が安定してきたことなどに起因する)、ワーク(白紙)に付着する汚れの大きさが少しずつ小さくなっていく状況が発生するものとする。 In the present embodiment, as shown in FIG. 19, as an example of fluctuations in the production environment, as the number of production increases, the production line becomes stable (improvement of worker skill, production facilities have become stable, etc. It is assumed that a situation occurs in which the size of the dirt adhering to the work (blank paper) gradually decreases.
〔初期設定時のメイン検査ロジックの選択〕
図20は、検査ロジック管理部31が行う初期設定の手順を示す図である。生産ラインを稼動する前に、検査制御装置200の検査ロジック管理部31は、まず、検査モジュール20の各検査部に設定する検査ロジックを設定する。本実施形態では、初期設定のための検査ロジックの評価は、生産ライン稼動後の評価方法と同様である。すなわち、検査ロジック評価部33が各検査ロジックの評価を、サンプル画像を用いて行い、検査ロジック選択部34がメイン検査ロジックを選択する。検査ロジック管理部31は、検査ロジック選択部34の選択にしたがって、初期のメイン検査ロジックをメイン検査部21に設定する。
[Selection of main inspection logic at initial setting]
FIG. 20 is a diagram illustrating an initial setting procedure performed by the inspection logic management unit 31. Before operating the production line, the inspection logic management unit 31 of the inspection control device 200 first sets the inspection logic to be set in each inspection unit of the inspection module 20. In this embodiment, the evaluation of the inspection logic for initial setting is the same as the evaluation method after the production line is operated. That is, the inspection logic evaluation unit 33 evaluates each inspection logic using the sample image, and the inspection logic selection unit 34 selects the main inspection logic. The inspection logic management unit 31 sets an initial main inspection logic in the main inspection unit 21 in accordance with the selection of the inspection logic selection unit 34.
検査ロジック評価部33は、図20に示すとおり、取得したワーク(白紙)のサンプル画像に対する、上記第1検査ロジックの検査結果の統計データ53と、第2検査ロジックの検査結果の統計データ54とを取得する。そして、評価値の算出方法として、図14(b)に示す「式2:(不良品の下限値−良品の上限値)/(良品の上限値−良品の下限値)」を採用し、上記2つの検査ロジックそれぞれについて評価値を算出する。 As shown in FIG. 20, the inspection logic evaluation unit 33, the statistical data 53 of the inspection result of the first inspection logic, the statistical data 54 of the inspection result of the second inspection logic for the acquired sample image of the workpiece (blank), To get. Then, as an evaluation value calculation method, “Formula 2: (Lower limit value of defective product−Upper limit value of non-defective product) / (Upper limit value of good product−Lower limit value of non-defective product)” shown in FIG. An evaluation value is calculated for each of the two inspection logics.
式2に基づき評価値を算出すると、
第1検査ロジックの評価値:(764−23)/(23−1)=33.681818
第2検査ロジックの評価値:(255−50)/(50−28)=9.318181
となり、検査ロジック選択部34は、評価の高い第1検査ロジック(2値重心面積画像処理アルゴリズムを含む)を初期のメイン検査ロジックとして選択する。
When calculating the evaluation value based on Equation 2,
Evaluation value of first inspection logic: (764-23) / (23-1) = 33.681818
Evaluation value of second inspection logic: (255-50) / (50-28) = 9.3318181
Thus, the inspection logic selection unit 34 selects the first inspection logic (including the binary centroid area image processing algorithm) with high evaluation as the initial main inspection logic.
ここで、上記式2の「不良品の下限値−良品の上限値」は、良品の集合と不良品の集合との距離を示しており、距離の値が大きいほど評価が高くなる。 Here, “lower limit value of defective product−upper limit value of non-defective product” in the above formula 2 indicates the distance between the non-defective product set and the non-defective product set, and the evaluation increases as the distance value increases.
一方、「良品の上限値−良品の下限値」は、良品のばらつきを示している。良品のばらつきが大きいときは、画像処理アルゴリズムにおいて、パラメータが適切でない、特徴量の計測手順が適切でないことなどが原因として考えられる。よって、ばらつきの値が大きいほど評価が低くなる。 On the other hand, “the upper limit value of the non-defective product−the lower limit value of the non-defective product” indicates the variation of the non-defective product. When the non-defective product variation is large, it is considered that the parameters are not appropriate in the image processing algorithm, the feature quantity measurement procedure is not appropriate, and the like. Therefore, the evaluation becomes lower as the variation value is larger.
以上のように、距離をばらつきで除すことにより求めた評価値を用いれば、上述の例のように全く異なる画像処理アルゴリズムにより、単位の異なる特徴量が計測される検査ロジック同士でも、容易に検査精度を比較し評価することが可能となる。 As described above, if the evaluation value obtained by dividing the distance by the variation is used, even inspection logic in which feature quantities of different units are measured by an entirely different image processing algorithm as in the above example can be easily obtained. It becomes possible to compare and evaluate inspection accuracy.
〔生産ライン稼動後の生産個数、および、検査結果の統計の推移〕
図21は、生産個数、および、2値重心面積画像処理アルゴリズムを採用した第1検査ロジックによる検査結果の統計の推移を示す図である。
[Changes in production quantity and inspection result statistics after production line operation]
FIG. 21 is a diagram showing the number of productions and the transition of statistics of inspection results by the first inspection logic employing the binary centroid area image processing algorithm.
図21に示すとおり、生産個数が50個、100個・・・と増加するにつれ、不良品と判定されるワークも増加し、計測される特徴量の下限値(不良品下限値Q)も下降して閾値に(および、良品の集合に)近づいていく。生産個数が150個に到達した時点では、不良品下限値Qは、閾値にまで到達する。この時点でこのまま第1検査ロジックを採用しつづけた場合、ワークを200個生産した時点では、不良品下限値Qが閾値を割ってしまい、したがって、不良品を良品であると誤って判別する検査不良が発生することになる。 As shown in FIG. 21, as the number of production increases to 50, 100,..., The number of workpieces that are determined to be defective increases, and the lower limit value (defective product lower limit value Q) of the measured feature value decreases. Then, it approaches the threshold (and the set of good products). When the production number reaches 150, the lower limit value Q of the defective product reaches the threshold value. If the first inspection logic continues to be adopted at this time, when 200 workpieces are produced, the lower limit value Q of the defective product divides the threshold value, and therefore an inspection that erroneously determines that the defective product is a non-defective product. Defects will occur.
図22は、生産個数、および、キズ汚れ画像処理アルゴリズムを採用した第2検査ロジックによる検査結果の統計の推移を示す図である。 FIG. 22 is a diagram showing the number of productions and the transition of statistics of inspection results by the second inspection logic employing the flawed dirt image processing algorithm.
図22に示すとおり、良品の集合のばらつきは、第1検査ロジックに比べて大きいものの、生産個数が増加しても、不良品下限値Qと閾値との距離は安定している。したがって、第2検査ロジックは、生産個数の増加にかかわらず、検査精度が安定していることが分かる。 As shown in FIG. 22, although the variation in the set of non-defective products is larger than that in the first inspection logic, the distance between the defective product lower limit Q and the threshold value is stable even when the number of production increases. Therefore, it can be seen that the inspection accuracy of the second inspection logic is stable regardless of the increase in the number of production.
〔評価値の推移〕
図23は、生産個数の増加に伴う、各検査ロジックの評価値の推移を示すグラフである。縦軸は、評価値を示しており、この評価値は上述の式2にしたがって算出されたものである。横軸は、生産個数を示している。図21で示したとおり、生産個数の増加に伴って、不良品の集合と良品の集合との距離が短くなる第1検査ロジックでは、生産個数が増加するほど評価値が下降する(評価が下がる)。一方、図22で示したとおり、生産個数の増加にかかわらず良品の集合や閾値との距離が安定している第2検査ロジックでは、評価値はほぼ一定である。
[Changes in evaluation values]
FIG. 23 is a graph showing the transition of the evaluation value of each inspection logic as the number of production increases. The vertical axis represents the evaluation value, and this evaluation value is calculated according to the above-described equation 2. The horizontal axis indicates the number of products produced. As shown in FIG. 21, in the first inspection logic in which the distance between the defective product set and the non-defective product set decreases as the production number increases, the evaluation value decreases as the production number increases (the evaluation decreases). ). On the other hand, as shown in FIG. 22, in the second inspection logic in which the distance from the set of non-defective products and the threshold is stable regardless of the increase in the number of products produced, the evaluation value is almost constant.
図23のグラフから、検査システム100が一定の検査精度を維持するためには、T2の時点で、メイン検査ロジックが、第1検査ロジックから第2検査ロジックへと切り替えられなければならないことが分かる。 From the graph of FIG. 23, it can be seen that in order for the inspection system 100 to maintain a constant inspection accuracy, the main inspection logic must be switched from the first inspection logic to the second inspection logic at time T2. .
検査制御装置200の検査ロジック選択部34は、検査ロジック評価部33が算出した評価値に基づき、評価値が逆転したことを検知して、メイン検査ロジックを第1検査ロジックから第2検査ロジックへと切り替える。 The inspection logic selection unit 34 of the inspection control device 200 detects that the evaluation value is reversed based on the evaluation value calculated by the inspection logic evaluation unit 33, and changes the main inspection logic from the first inspection logic to the second inspection logic. And switch.
なお、メイン検査ロジック切替のタイミングは、T2のような評価値が逆転した時点に限定されない。例えば、ある一定期間(例えば、図23のT0からT1まで)の評価値の推移を記録しておき、各評価値の微分値(評価値の低下の勢い)を参照し、評価値が逆転する時点を予測して、適切な切替のタイミングを計算するよう検査ロジック選択部34を構成することもできる。あるいは、メイン検査ロジックの評価値の微分値に基づいて、ある一定以上の勢いで評価値が低下するときに、適切なメイン検査ロジックに切り替える処理を開始するよう検査ロジック選択部34を構成することもできる。 Note that the timing of main inspection logic switching is not limited to the point in time when the evaluation value such as T2 is reversed. For example, the transition of the evaluation value for a certain period (for example, from T0 to T1 in FIG. 23) is recorded, and the evaluation value is reversed by referring to the differential value (evaluation momentum of the evaluation value) of each evaluation value. It is also possible to configure the inspection logic selection unit 34 to predict the time point and calculate the appropriate switching timing. Alternatively, based on the differential value of the evaluation value of the main inspection logic, the inspection logic selection unit 34 is configured to start the process of switching to an appropriate main inspection logic when the evaluation value drops at a certain moment or more. You can also.
上記構成によれば、検査ロジック評価部33は、あらかじめ定められた評価式(例えば、式2)に基づいて、メイン検査ロジックによる最終検査結果を基準として、メイン検査ロジックとしての第1検査ロジックおよびサブの検査ロジックとしての第2検査ロジックの評価値を算出する。評価値は生産個数が150個になった時点で逆転し、それを検知した検査ロジック選択部34は、図24に示すとおり、生産個数が150個に到達した時点で、第2検査ロジックが最適な検査ロジックであるとして、メイン検査ロジックを第1検査ロジックから第2検査ロジックに切り替える。 According to the above configuration, the inspection logic evaluation unit 33 uses the first inspection logic as the main inspection logic and the reference based on the final inspection result by the main inspection logic based on a predetermined evaluation expression (for example, Expression 2). An evaluation value of the second inspection logic as the sub inspection logic is calculated. The evaluation value is reversed when the production number reaches 150 pieces, and the inspection logic selection unit 34 that detects the evaluation value, as shown in FIG. 24, the second inspection logic is optimal when the production number reaches 150 pieces. The main inspection logic is switched from the first inspection logic to the second inspection logic.
これにより、検査不良を回避することが可能となる。すなわち、150個に到達した時点を過ぎても、メイン検査ロジックを切り替えずにそのまま第1検査ロジックを採用し続けた場合は、生産個数が200個に到達した時点で見逃しの検査不良が発生していた。しかし、メイン検査ロジックを第2検査ロジックに切り替えることにより、検査システム100の検査モジュール20は、生産個数が200個に到達した時点でも正しく良不良の判別を行うことが可能となる(図24)。 As a result, it is possible to avoid defective inspection. In other words, if the first inspection logic continues to be adopted without switching the main inspection logic even after the time when 150 pieces have been reached, an overlooked inspection defect will occur when the production number reaches 200 pieces. It was. However, by switching the main inspection logic to the second inspection logic, the inspection module 20 of the inspection system 100 can correctly determine good or bad even when the production number reaches 200 (FIG. 24). .
本発明の検査制御装置200は上述した各実施形態に限定されない。検査制御装置200は、さらに、検査制御部30(図1)の内部に、閾値調整部(閾値調整手段)36、および/または、統計データ修正部(検査結果修正手段)37を備えていてもよい。 The inspection control apparatus 200 of the present invention is not limited to the above-described embodiments. The inspection control apparatus 200 may further include a threshold adjustment unit (threshold adjustment unit) 36 and / or a statistical data correction unit (inspection result correction unit) 37 inside the inspection control unit 30 (FIG. 1). Good.
図25は、本発明の検査制御装置200における検査制御部30の詳細な構成を示すブロック図である。なお、ここでは図示しないが、検査制御部30は、図1に示した検査制御部30の各部を備えているものとする。また、それらの機能の説明は繰り返さない。 FIG. 25 is a block diagram showing a detailed configuration of the inspection control unit 30 in the inspection control apparatus 200 of the present invention. Although not shown here, it is assumed that the inspection control unit 30 includes each unit of the inspection control unit 30 illustrated in FIG. The description of those functions will not be repeated.
<閾値調整機能>
閾値調整部36は、統計データ記録部43に記録される検査ロジックごとの統計データに基づいて、当該検査ロジックの最適な閾値を算出し、調整するものである。閾値調整部36は、統計処理部32により、ある検査ロジックの統計データが新たに作成されたり、更新されたりすると、統計データ記録部43から当該統計データを読み出して、最適な閾値を算出する。
<Threshold adjustment function>
The threshold adjustment unit 36 calculates and adjusts the optimum threshold of the inspection logic based on the statistical data for each inspection logic recorded in the statistical data recording unit 43. When statistical data of a certain inspection logic is newly created or updated by the statistical processing unit 32, the threshold adjustment unit 36 reads the statistical data from the statistical data recording unit 43 and calculates an optimum threshold value.
ここで、算出した閾値が、上記検査ロジックの現在の閾値と異なる場合は、算出した新たな閾値を、上記検査ロジックの閾値として新たに設定し、検査ロジック記録部45に記録されている当該検査ロジックの閾値を更新する。 Here, when the calculated threshold value is different from the current threshold value of the inspection logic, the calculated new threshold value is newly set as the threshold value of the inspection logic, and the inspection recorded in the inspection logic recording unit 45 Update the logic threshold.
なお、このとき、検査ロジック記録部45に記録されている元の検査ロジックを更新せずに、元の検査ロジックから閾値だけを変えた新しい検査ロジックを生成し、検査ロジック記録部45に追加するようにしてもよい。 At this time, a new inspection logic in which only the threshold value is changed from the original inspection logic is generated without updating the original inspection logic recorded in the inspection logic recording unit 45 and added to the inspection logic recording unit 45. You may do it.
これにより、検査ロジックを常に最適な状態に保ち、検査精度を向上させることができる。特に、画像処理アルゴリズムそのものを変える必要がなく、閾値の微調整のみで検査ロジックの検査精度を向上させる場合に、最適な検査ロジックを得るまでのプロセスを短縮することができるので、有効である。 As a result, the inspection logic can always be kept in an optimum state, and the inspection accuracy can be improved. In particular, there is no need to change the image processing algorithm itself, and in the case where the inspection accuracy of the inspection logic is improved only by fine adjustment of the threshold value, the process until obtaining the optimal inspection logic can be shortened, which is effective.
なお、最適な閾値を算出する方法は、特に限定されないが、例えば、良品の上限値と不良品の下限値との中間値(良品の方が、特徴量が小さい場合)を最適な閾値として算出することなどが考えられる。 The method for calculating the optimum threshold value is not particularly limited. For example, an intermediate value between the upper limit value of the non-defective product and the lower limit value of the non-defective product is calculated as the optimum threshold value. It is possible to do.
図26(a)および(b)は、閾値調整部36の閾値調整処理の内容を示す図である。図26(a)に示すヒストグラムは、ある検査ロジックに基づいてあるワークの検査結果55が出力され、当該ワークの特徴量に基づいて、ある区間の度数が1追加される状態を示している。ここでH1は、上記検査ロジックの閾値を示す。 FIGS. 26A and 26B are diagrams showing the contents of the threshold adjustment process of the threshold adjustment unit 36. FIG. The histogram shown in FIG. 26A shows a state in which the inspection result 55 of a certain work is output based on a certain inspection logic, and the frequency of a certain section is added by one based on the feature amount of the work. Here, H1 represents the threshold value of the inspection logic.
ここで、区間B1に検査結果55が追加された場合、良品の集合と不良品の集合との距離D1は、D1のまま変動がない。よって、閾値調整部36は、中間値も変動がないことを認識し、閾値の更新を行わない。 Here, when the inspection result 55 is added to the section B1, the distance D1 between the non-defective product set and the defective product set remains the same as D1. Therefore, the threshold adjustment unit 36 recognizes that the intermediate value does not change and does not update the threshold.
一方、区間B2に検査結果55が追加された場合、距離D1は、距離D2へと変動する。したがって、閾値調整部36は、良品の上限値の変動に伴って、図26(b)に示すとおり、新たな中間値(H2)を算出し、このH2の値を新たに閾値として設定し、検査ロジックを更新する。 On the other hand, when the inspection result 55 is added to the section B2, the distance D1 changes to the distance D2. Therefore, the threshold value adjustment unit 36 calculates a new intermediate value (H2) as shown in FIG. 26 (b) in accordance with the fluctuation of the upper limit value of the non-defective product, and sets the value of H2 as a new threshold value. Update inspection logic.
なお、上述の説明では、閾値を算出しなおして再設定するタイミングとして、ワークの検査結果が出力されるタイミングとしたが、これに限定されない。例えば、図26(a)の区間B2に度数が追加された場合のように、良品(不良品)の集合の上限値(下限値)が変動したときに、閾値の再計算を行うようにしてもよい。あるいは、良品の集合の中間値、平均値、最頻値などが変化したときに再計算してもよいし、または、検査結果が所定回数出力されるごとに再計算してもよい。 In the above description, the timing for recalculating and resetting the threshold is the timing at which the workpiece inspection result is output. However, the timing is not limited to this. For example, the threshold value is recalculated when the upper limit (lower limit) of the set of non-defective products (defective products) fluctuates as in the case where the frequency is added to the section B2 in FIG. Also good. Alternatively, it may be recalculated when the intermediate value, average value, mode value, etc. of the non-defective product set change, or may be recalculated every time the inspection result is output a predetermined number of times.
さらに、上述の説明では、閾値調整部36が新たな閾値を算出した場合に自動で閾値を更新する構成としたが、これに限定されず、中間値が変動したことをユーザに通知して、新たな閾値に更新するか否かを問合せ、更新を指示する信号を受け付けてから閾値を更新する構成としてもよい。 Furthermore, in the above description, when the threshold adjustment unit 36 calculates a new threshold, the threshold is automatically updated. However, the present invention is not limited to this, and notifies the user that the intermediate value has changed. An inquiry may be made as to whether or not to update to a new threshold, and the threshold may be updated after receiving a signal instructing the update.
<検査不良修正機能>
統計データ修正部37は、統計データ記録部43に記録される各検査ロジックの統計データを修正するものである。具体的には、ユーザが操作部3(図1)を用いて入力する検査結果を操作受付部12を介して受け付けて、当該検査結果を上記統計データに反映する。あるいは、あらかじめ記録されているユーザが目視検査した場合の検査結果と比較して、ユーザの検査結果と異なる統計データを、ユーザの検査結果に合わせて修正する。
<Inspection defect correction function>
The statistical data correction unit 37 corrects the statistical data of each inspection logic recorded in the statistical data recording unit 43. Specifically, a test result input by the user using the operation unit 3 (FIG. 1) is received via the operation receiving unit 12, and the test result is reflected in the statistical data. Alternatively, statistical data different from the user's inspection result is corrected in accordance with the user's inspection result as compared with the inspection result when the user recorded in advance is visually inspected.
この場合、修正したい統計データを、オフラインで(読み出しできないようにロックして)修正を実行するよう統計データ修正部37を構成することが好ましい。これにより、修正完了後の状態で、検査ロジック評価部33の評価を受けることができるので、修正内容を評価処理に正しく反映させることが可能となる。 In this case, it is preferable to configure the statistical data correction unit 37 so that the statistical data to be corrected is corrected offline (locked so that it cannot be read). Thereby, since the evaluation by the inspection logic evaluation unit 33 can be received in a state after the correction is completed, the correction content can be correctly reflected in the evaluation process.
図27は、統計データ修正部37の統計データ修正処理の内容を示す図である。H1は、当該検査ロジックの閾値であるとする。表示制御部13は、ヒストグラム61を、表示部4を介してユーザに提示する。これにより、ユーザは、あるワークにおいて不良品と判別された検査結果56を目視確認し、それが良品であると判別した自身の目視検査の検査結果と異なっていることを確認する。統計データ修正部37は、ユーザにより操作受付部12を介して、検査結果56を不良品から良品の検査結果に変更する指示を受け付け、統計データ記録部43に記録される統計データを指示どおりに修正する(ヒストグラム62)。 FIG. 27 is a diagram illustrating the contents of the statistical data correction process of the statistical data correction unit 37. It is assumed that H1 is a threshold value of the inspection logic. The display control unit 13 presents the histogram 61 to the user via the display unit 4. Thereby, the user visually confirms the inspection result 56 determined to be defective in a certain work, and confirms that it is different from the inspection result of his own visual inspection determined to be a non-defective product. The statistical data correction unit 37 receives an instruction to change the inspection result 56 from a defective product to a non-defective product inspection result via the operation receiving unit 12 by the user, and the statistical data recorded in the statistical data recording unit 43 is in accordance with the instruction. Correction (histogram 62).
ここで、良品の上限値が変動したことにより、上述の閾値調整部36が、閾値を再計算し(ヒストグラム63)、当該検査ロジックの閾値をH1からH2へと更新する処理を実行してもよい(ヒストグラム64)。 Here, when the upper limit value of the non-defective product is changed, the above-described threshold value adjustment unit 36 recalculates the threshold value (histogram 63), and executes the process of updating the threshold value of the inspection logic from H1 to H2. Good (histogram 64).
上述した方法で、各検査ロジックの統計データが修正され、閾値が更新された後、検査ロジック評価部33が評価値を算出することにより、より正確な評価を実行し、より適切なメイン検査ロジックを選択することが可能となる。 After the statistical data of each inspection logic is corrected and the threshold value is updated by the method described above, the inspection logic evaluation unit 33 calculates an evaluation value, thereby performing a more accurate evaluation, and more appropriate main inspection logic. Can be selected.
上述の各実施形態では、本発明の検査制御装置200と検査モジュール20とを備えた検査システム100を、1台のコンピュータにて構築した場合について説明した。しかし、本発明の検査システムは上記構成に限定されない。例えば、検査モジュール20と検査制御装置200とをそれぞれ別のコンピュータにて実現し、検査モジュール20と検査制御装置200とを互いに通信可能なように接続した検査システムを構築してもよい。 In each of the above-described embodiments, the case where the inspection system 100 including the inspection control apparatus 200 and the inspection module 20 of the present invention is constructed by one computer has been described. However, the inspection system of the present invention is not limited to the above configuration. For example, the inspection module 20 and the inspection control device 200 may be realized by separate computers, and an inspection system in which the inspection module 20 and the inspection control device 200 are connected so as to communicate with each other may be constructed.
<実施形態3>
図28は、本発明の他の実施形態にかかる検査システムの概略構成を示す図である。図28に示すとおり、検査システム300は、メイン検査ロジックに基づいて検査を実行するメイン検査部21を備えた少なくとも1つの検査装置220と、メイン検査ロジック以外の検査ロジックに基づいて検査を実行するサブ検査部22を備えた少なくとも1つの検査装置231(検査装置232)と、各検査装置の検査ロジックの設定を行う検査制御装置200とを含んでいる。検査ロジックと検査装置とは1対1に対応しており、各検査装置が検査モジュール20を構成している。
<Embodiment 3>
FIG. 28 is a diagram showing a schematic configuration of an inspection system according to another embodiment of the present invention. As illustrated in FIG. 28, the inspection system 300 performs inspection based on at least one inspection device 220 including the main inspection unit 21 that performs inspection based on the main inspection logic, and inspection logic other than the main inspection logic. It includes at least one inspection device 231 (inspection device 232) provided with the sub-inspection unit 22, and an inspection control device 200 for setting inspection logic of each inspection device. The inspection logic and the inspection device have a one-to-one correspondence, and each inspection device constitutes the inspection module 20.
なお、図28の各構成要素に付された符号は、図1の各構成要素に付された符号に対応しており、同じ符号は、同じ構成要素を示している。したがって、上述の各実施形態ですでに説明した構成要素についての説明は繰り返さない。 Note that the reference numerals given to the respective constituent elements in FIG. 28 correspond to the reference numerals given to the respective constituent elements in FIG. 1, and the same reference numerals indicate the same constituent elements. Therefore, the description about the component already demonstrated by each above-mentioned embodiment is not repeated.
各検査装置は自身に設定されている検査ロジックを用いて検査を実行し、検査結果を検査結果記録部42に記録する。検査制御装置200は、検査結果記録部42の検査結果を取得して、統計処理、評価処理を実行して、最適な検査ロジックを選択する。選択された検査ロジックは、通信網を介して、検査ロジック選択部34により、検査装置220に対して設定される。あるいは、検査ロジック選択部34が送信する検査ロジック切替の指示を検査装置220が受信して、指示に基づき自身検査ロジックを切り替える構成としてもよい。 Each inspection apparatus performs an inspection using the inspection logic set in itself, and records the inspection result in the inspection result recording unit 42. The inspection control apparatus 200 acquires the inspection result of the inspection result recording unit 42, executes statistical processing and evaluation processing, and selects an optimal inspection logic. The selected inspection logic is set for the inspection apparatus 220 by the inspection logic selection unit 34 via the communication network. Or it is good also as a structure which the test | inspection apparatus 220 receives the instruction | indication of the inspection logic switch which the inspection logic selection part 34 transmits, and switches own inspection logic based on an instruction | indication.
<実施形態4>
図29は、本発明の他の実施形態にかかる検査システムの概略構成を示す図である。図29に示すとおり、検査システム400は、検査装置240と、検査装置240の検査ロジックの設定を行う検査制御装置200とを含んでいる。検査装置240は、内部に、メイン検査ロジックに基づいて検査を実行する少なくとも1つのメイン検査部21と、メイン検査ロジック以外の検査ロジックに基づいて検査を実行する少なくとも1つのサブ検査部22とを備えており、各検査部が検査モジュール20を構成している。検査ロジックと検査装置240内の検査部とは1対1に対応しており、検査モジュール20を1台のコンピュータで実現している点が、上述の検査システム300と異なる点である。
<Embodiment 4>
FIG. 29 is a diagram showing a schematic configuration of an inspection system according to another embodiment of the present invention. As shown in FIG. 29, the inspection system 400 includes an inspection device 240 and an inspection control device 200 that sets the inspection logic of the inspection device 240. The inspection apparatus 240 includes at least one main inspection unit 21 that performs inspection based on main inspection logic and at least one sub-inspection unit 22 that performs inspection based on inspection logic other than the main inspection logic. Each inspection unit constitutes an inspection module 20. The inspection logic and the inspection unit in the inspection device 240 have a one-to-one correspondence, and the point that the inspection module 20 is realized by one computer is different from the inspection system 300 described above.
検査装置240の各検査部は自身に設定されている検査ロジックを用いて検査を実行し、それぞれの検査結果を検査結果記録部42に記録する。検査制御装置200は、算出した評価値に基づいて最適な検査ロジックを選択し、各検査部の検査ロジックを設定する。あるいは、検査制御装置200が送信する検査ロジック切替の指示を検査装置240が受信して、指示に基づき、検査モジュール20の各検査部の検査ロジックを切り替える構成としてもよい。 Each inspection unit of the inspection apparatus 240 performs inspection using the inspection logic set in itself, and records each inspection result in the inspection result recording unit 42. The inspection control device 200 selects an optimal inspection logic based on the calculated evaluation value, and sets the inspection logic of each inspection unit. Alternatively, the inspection device 240 may receive an instruction for switching the inspection logic transmitted by the inspection control device 200, and the inspection logic of each inspection unit of the inspection module 20 may be switched based on the instruction.
図30は、検査システム300または検査システム400における検査モジュールおよび検査制御部の処理の流れを示すフローチャートである。図30に示すとおり、検査の処理は、検査モジュール20により、評価の処理は、検査制御装置200によりそれぞれ実行されている。検査モジュール20は検査結果を検査制御装置200に送信し(S12)、検査制御装置200は、評価すべきタイミングを判断して(S13)、上記検査結果から各検査ロジックの検査精度を評価する(S14、S15)。検査制御装置200は、現在の検査モジュール20の検査ロジックが適切でないと判断した場合に(S16においてNO)、メイン検査ロジックを切り替えるよう指示信号を検査モジュール20に送信する(S17)。検査モジュール20は、S17にて送信される指示信号に応じて、メイン検査ロジック切り替えの指示を受信した場合に(S18においてYES)、検査ロジックを切り替えて(S19)、検査の処理を続行する。 FIG. 30 is a flowchart showing the flow of processing of the inspection module and the inspection control unit in the inspection system 300 or the inspection system 400. As shown in FIG. 30, the inspection process is executed by the inspection module 20, and the evaluation process is executed by the inspection control device 200. The inspection module 20 transmits the inspection result to the inspection control device 200 (S12), and the inspection control device 200 determines the timing to be evaluated (S13), and evaluates the inspection accuracy of each inspection logic from the inspection result (S13). S14, S15). When it is determined that the current inspection logic of the inspection module 20 is not appropriate (NO in S16), the inspection control device 200 transmits an instruction signal to the inspection module 20 to switch the main inspection logic (S17). In response to the instruction signal transmitted in S17, the inspection module 20 switches the inspection logic (S19) and continues the inspection process when an instruction for switching the main inspection logic is received (YES in S18).
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope shown in the claims, and embodiments obtained by appropriately combining technical means disclosed in different embodiments. Is also included in the technical scope of the present invention.
最後に、検査制御装置200の各ブロック、特に統計処理部32、検査ロジック評価部33、および、検査ロジック選択部34は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。 Finally, each block of the inspection control apparatus 200, in particular, the statistical processing unit 32, the inspection logic evaluation unit 33, and the inspection logic selection unit 34 may be configured by hardware logic, and uses a CPU as follows. It may be realized by software.
すなわち、検査制御装置200は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである検査制御装置200の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記検査制御装置200に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。 That is, the inspection control device 200 includes a CPU (central processing unit) that executes instructions of a control program that realizes each function, a ROM (read only memory) that stores the program, and a RAM (random access memory) that expands the program. And a storage device (recording medium) such as a memory for storing the program and various data. An object of the present invention is a recording medium on which a program code (execution format program, intermediate code program, source program) of a control program of the inspection control apparatus 200, which is software that realizes the functions described above, is recorded so as to be readable by a computer. This can also be achieved by supplying the inspection control apparatus 200 and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU).
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。 Examples of the recording medium include a tape system such as a magnetic tape and a cassette tape, a magnetic disk such as a floppy (registered trademark) disk / hard disk, and an optical disk such as a CD-ROM / MO / MD / DVD / CD-R. Card system such as IC card, IC card (including memory card) / optical card, or semiconductor memory system such as mask ROM / EPROM / EEPROM / flash ROM.
また、検査制御装置200を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。 Further, the inspection control apparatus 200 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network. The communication network is not particularly limited. For example, the Internet, intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication. A net or the like is available. Further, the transmission medium constituting the communication network is not particularly limited. For example, even in the case of wired such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL line, etc., infrared rays such as IrDA and remote control, Bluetooth ( (Registered trademark), 802.11 wireless, HDR, mobile phone network, satellite line, terrestrial digital network, and the like can also be used. The present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
本発明の検査制御装置は、生産環境の変動に応じて動的に検査ロジックを設定することができるので、生産ラインにおけるワークの良・不良を検査装置によって自動判別する検査システムに適用できる。 Since the inspection control apparatus of the present invention can dynamically set inspection logic in accordance with changes in the production environment, it can be applied to an inspection system that automatically determines whether a workpiece is good or defective on the production line.
1 制御部
2 通信部
3 操作部
4 表示部
10 入出力制御部
11 画像入力制御部
12 操作受付部(結果入力制御手段)
13 表示制御部(表示制御手段)
20 検査モジュール
21 メイン検査部
22 サブ検査部
30 検査制御部
31 検査ロジック管理部
32 統計処理部
33 検査ロジック評価部(評価手段)
34 検査ロジック選択部(検査ロジック選択手段/検査ロジック設定手段)
35 タイミング監視部
36 閾値調整部(閾値調整手段)
37 統計データ修正部(検査結果修正手段)
40 記録部
41 ワーク情報記録部
42 検査結果記録部
43 統計データ記録部
44 評価値記録部
45 検査ロジック記録部
100 検査システム
200 検査制御装置
300 検査システム
400 検査システム
DESCRIPTION OF SYMBOLS 1 Control part 2 Communication part 3 Operation part 4 Display part 10 Input / output control part 11 Image input control part 12 Operation reception part (result input control means)
13 Display control unit (display control means)
20 inspection module 21 main inspection unit 22 sub inspection unit 30 inspection control unit 31 inspection logic management unit 32 statistical processing unit 33 inspection logic evaluation unit (evaluation means)
34 Inspection logic selection section (inspection logic selection means / inspection logic setting means)
35 Timing monitoring unit 36 Threshold adjustment unit (threshold adjustment means)
37 Statistical data correction section (test result correction means)
40 recording unit 41 work information recording unit 42 inspection result recording unit 43 statistical data recording unit 44 evaluation value recording unit 45 inspection logic recording unit 100 inspection system 200 inspection control device 300 inspection system 400 inspection system
Claims (17)
上記検査モジュールが用いるメイン検査ロジックを、複数の検査ロジックの中から選択する検査ロジック選択手段と、
上記検査モジュールが上記メイン検査ロジックを用いて生成した、対象物の良不良の判別結果を示す最終検査結果と、該メイン検査ロジックと異なる検査ロジックを用いて対象物の良不良を判別した場合の判別結果を示す評価用検査結果とに基づいて、各検査ロジックの検査精度を評価する評価手段と、
上記検査ロジック選択手段が選択した検査ロジックをメイン検査ロジックとして切り替える検査ロジック設定手段とを備え、
上記検査ロジック選択手段は、上記評価手段が評価した評価結果に基づいて、上記メイン検査ロジックを選択することを特徴とする検査制御装置。 In the inspection control device that controls the inspection module that determines the quality of the object, using the inspection logic that defines the method for determining good or bad,
Inspection logic selection means for selecting a main inspection logic used by the inspection module from a plurality of inspection logics;
When the inspection module determines the quality of the object using the inspection logic different from the final inspection result generated by using the main inspection logic and indicating the determination result of the quality of the object. Evaluation means for evaluating the inspection accuracy of each inspection logic based on the evaluation inspection result indicating the discrimination result;
Inspection logic setting means for switching the inspection logic selected by the inspection logic selection means as the main inspection logic,
The inspection control device, wherein the inspection logic selection means selects the main inspection logic based on the evaluation result evaluated by the evaluation means.
上記評価手段は、
上記評価用検査結果に含まれる対象物ごとに計測された特徴量と、上記最終検査結果が示す対象物の良品数および不良品数とに基づく統計データを用いて、各検査ロジックの検査精度を表す評価値を算出することにより評価することを特徴とする請求項1に記載の検査制御装置。 The inspection logic defines a method for measuring a feature amount indicating a state of an object, and a threshold value for separating the feature amount to determine good or bad,
The evaluation means is
Express the inspection accuracy of each inspection logic using statistical data based on the feature quantity measured for each object included in the evaluation inspection result and the number of good and defective objects of the object indicated by the final inspection result The inspection control apparatus according to claim 1, wherein the evaluation is performed by calculating an evaluation value.
上記対象物の良品の集合から得られる良品特徴量と、不良品の集合から得られる不良品特徴量との差分に基づき評価値を算出することにより評価することを特徴とする請求項2に記載の検査制御装置。 The evaluation means is
The evaluation is performed by calculating an evaluation value based on a difference between a non-defective feature amount obtained from the non-defective product set of the objects and a defective product feature amount obtained from the defective product set. Inspection control device.
上記対象物の特徴量が閾値より小さいと良品であると判別される場合に、上記不良品の集合の特徴量の下限値である不良品下限値と上記良品の集合の特徴量の上限値である良品上限値との差分に基づき評価値を算出し、
上記対象物の特徴量が閾値より大きいと良品であると判別される場合に、上記良品の集合の特徴量の下限値である良品下限値と、上記不良品の集合の特徴量の上限値である不良品上限値との差分に基づき評価値を算出することにより評価することを特徴とする請求項3に記載の検査制御装置。 The evaluation means is
When it is determined that the feature amount of the target object is smaller than a threshold value, it is determined as a non-defective product lower limit value which is a lower limit value of the feature amount of the defective product set and an upper limit value of the feature value of the non-defective product set. Calculate the evaluation value based on the difference from a certain good upper limit value,
When it is determined that the feature value of the target object is larger than the threshold value, the non-defective product lower limit value that is the lower limit value of the non-defective product set and the upper limit value of the feature value of the defective product set 4. The inspection control apparatus according to claim 3, wherein the evaluation is performed by calculating an evaluation value based on a difference from a certain defective product upper limit value.
上記差分を上記良品特徴量の分散で除して得た商に基づき評価値を算出することにより評価することを特徴とする請求項3または4に記載の検査制御装置。 The evaluation means is
The inspection control apparatus according to claim 3 or 4, wherein the evaluation is performed by calculating an evaluation value based on a quotient obtained by dividing the difference by the variance of the non-defective feature amount.
上記対象物の良品の集合から得られる良品特徴量と上記閾値との差分、および、不良品の集合から得られる不良品特徴量と上記閾値との差分の少なくともいずれか一方に基づき評価値を算出することにより評価することを特徴とする請求項2に記載の検査制御装置。 The evaluation means is
The evaluation value is calculated based on at least one of the difference between the non-defective product feature value obtained from the non-defective product set of the target object and the threshold value, and the difference between the defective product feature value obtained from the defective product set and the threshold value. The inspection control apparatus according to claim 2, wherein the evaluation is performed by performing the evaluation.
上記良品特徴量と、不良品特徴量との差分を差分A
上記不良品特徴量と上記閾値との差分を差分B
上記良品特徴量と上記閾値との差分を差分C
として、評価式、
|差分A−差分B/差分C|
に基づき評価値を算出することにより評価することを特徴とする請求項6に記載の検査制御装置。 The evaluation means is
The difference A between the non-defective product feature amount and the defective product feature amount
The difference between the defective product feature amount and the threshold is the difference B
The difference C between the non-defective feature amount and the threshold value is the difference C
As the evaluation formula,
| Difference A-Difference B / Difference C |
The inspection control apparatus according to claim 6, wherein the evaluation is performed by calculating an evaluation value based on the evaluation.
上記最終検査結果においてメイン検査ロジックにて不良品と判別された対象物のうち、上記評価用検査結果において検査ロジックにて良品と判別された対象物数に基づいて、検査ロジックを評価することを特徴とする請求項1に記載の検査制御装置。 The evaluation means is
Of the objects identified as defective by the main inspection logic in the final inspection result, evaluating the inspection logic based on the number of objects determined as non-defective by the inspection logic in the evaluation inspection result. The inspection control apparatus according to claim 1, wherein
上記検査ロジック選択手段が上記評価手段が評価した評価結果に基づき新たに選択した検査ロジックと、上記検査モジュールが使用中のメイン検査ロジックとが異なる場合に、
メイン検査ロジックを切り替えることを特徴とする請求項1に記載の検査制御装置。 The inspection logic setting means is
When the inspection logic newly selected by the inspection logic selection unit based on the evaluation result evaluated by the evaluation unit is different from the main inspection logic in use by the inspection module,
The inspection control apparatus according to claim 1, wherein main inspection logic is switched.
上記評価手段が、上記検査モジュールが使用中のメイン検査ロジック以外の検査ロジックを当該メイン検査ロジックより高く評価した時にメイン検査ロジックを切り替えることを特徴とする請求項9に記載の検査制御装置。 The inspection logic setting means is
10. The inspection control apparatus according to claim 9, wherein the evaluation unit switches the main inspection logic when the inspection logic other than the main inspection logic being used by the inspection module is evaluated higher than the main inspection logic.
上記評価結果に含まれる、上記検査モジュールが使用中のメイン検査ロジックの検査精度を表す評価値を監視し、該評価値の微分値に基づいて、メイン検査ロジック切り替えのタイミングを算出し、算出したタイミングにてメイン検査ロジックを切り替えることを特徴とする請求項9に記載の検査制御装置。 The inspection logic setting means is
The evaluation value included in the evaluation result is monitored for an evaluation value representing the inspection accuracy of the main inspection logic in use by the inspection module, and the timing for switching the main inspection logic is calculated based on the differential value of the evaluation value. The inspection control apparatus according to claim 9, wherein the main inspection logic is switched at a timing.
表示された検査結果と同じ検査対象の対象物に対する、ユーザによる検査のユーザ検査結果の入力を受け付ける結果入力制御手段と、
上記結果入力制御手段が受け付けたユーザ検査結果に基づき、上記表示制御手段が表示部に表示した検査結果を修正する検査結果修正手段とを備えていることを特徴とする請求項1に記載の検査制御装置。 Display control means for controlling the display unit to display the inspection results;
A result input control means for receiving an input of a user inspection result of an inspection by a user for the same inspection target object as the displayed inspection result;
2. The inspection according to claim 1, further comprising: an inspection result correcting unit that corrects the inspection result displayed on the display unit by the display control unit based on the user inspection result received by the result input control unit. Control device.
良不良の判別結果を示す最終検査結果を生成するのに上記検査モジュールが用いるメイン検査ロジックを選択する、請求項1から13のいずれか1項に記載の検査制御装置とを含むことを特徴とする検査システム。 An inspection module that determines the quality of an object using inspection logic that defines a method for determining good or bad, and
The inspection control device according to any one of claims 1 to 13, which selects a main inspection logic used by the inspection module to generate a final inspection result indicating a good / bad determination result. Inspection system.
上記検査モジュールが用いるメイン検査ロジックを、複数の検査ロジックの中から選択する選択ステップと、
上記検査モジュールが上記メイン検査ロジックを用いて生成した、対象物の良不良の判別結果を示す最終検査結果と、該メイン検査ロジックと異なる検査ロジックを用いて対象物の良不良を判別した場合の判別結果を示す評価用検査結果とに基づいて、各検査ロジックの検査精度を評価する評価ステップと、
上記検査ロジック選択手段が選択した検査ロジックをメイン検査ロジックとして切り替える切替ステップとを含み、
上記選択ステップでは、上記評価ステップによる評価結果に基づいて、上記メイン検査ロジックを選択することを特徴とする検査制御方法。 An inspection control method in an inspection control apparatus for controlling an inspection module for determining whether a target is good or bad, using an inspection logic that defines a method for determining good or bad,
A selection step of selecting a main inspection logic used by the inspection module from a plurality of inspection logics;
When the inspection module determines the quality of the object using the inspection logic different from the final inspection result generated by using the main inspection logic and indicating the determination result of the quality of the object. An evaluation step for evaluating the inspection accuracy of each inspection logic based on the inspection result for evaluation indicating the discrimination result;
A switching step of switching the inspection logic selected by the inspection logic selection means as the main inspection logic,
In the selection step, the main control logic is selected based on the evaluation result in the evaluation step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006159086A JP4747955B2 (en) | 2006-06-07 | 2006-06-07 | Inspection control device, inspection control method, inspection system, control program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006159086A JP4747955B2 (en) | 2006-06-07 | 2006-06-07 | Inspection control device, inspection control method, inspection system, control program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007327848A JP2007327848A (en) | 2007-12-20 |
JP4747955B2 true JP4747955B2 (en) | 2011-08-17 |
Family
ID=38928413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006159086A Active JP4747955B2 (en) | 2006-06-07 | 2006-06-07 | Inspection control device, inspection control method, inspection system, control program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4747955B2 (en) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5302600B2 (en) * | 2008-08-28 | 2013-10-02 | 株式会社前川製作所 | Burr detection device for resin molded products |
JP5464986B2 (en) * | 2009-11-27 | 2014-04-09 | 名古屋電機工業株式会社 | Pass / fail judgment device, pass / fail judgment method, and pass / fail judgment program |
JP5960433B2 (en) * | 2011-12-28 | 2016-08-02 | 株式会社キーエンス | Image processing apparatus and image processing method |
JP5921190B2 (en) * | 2011-12-28 | 2016-05-24 | 株式会社キーエンス | Image processing apparatus and image processing method |
CN105051781B (en) * | 2012-03-02 | 2019-09-20 | 赛特玛逊有限公司 | NI Vision Builder for Automated Inspection and the method for the long-range quality inspection for product |
JP6403445B2 (en) | 2014-06-09 | 2018-10-10 | 株式会社キーエンス | Inspection device, inspection method, and program |
EP3296722B1 (en) * | 2015-05-26 | 2021-12-22 | Mitsubishi Electric Corporation | Detection device and detection method |
JP6218094B1 (en) * | 2016-04-15 | 2017-10-25 | Jeインターナショナル株式会社 | Inspection method, inspection apparatus, inspection program, and recording medium |
JP6923794B2 (en) * | 2017-08-04 | 2021-08-25 | 富士通株式会社 | Inspection equipment, inspection programs, and inspection methods |
CN110134904B (en) * | 2019-05-21 | 2022-11-29 | 腾讯科技(上海)有限公司 | Page checking method, device, equipment and medium |
JP7300155B2 (en) | 2019-06-19 | 2023-06-29 | フロイント産業株式会社 | Teaching device in solid preparation appearance inspection, and teaching method in solid preparation appearance inspection |
KR20220039200A (en) * | 2020-09-22 | 2022-03-29 | 삼성전자주식회사 | Method and device for manufacturing electronic device |
JP2022128824A (en) * | 2021-02-24 | 2022-09-05 | オムロン株式会社 | Information processing device, information processing program, and information processing method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3942728B2 (en) * | 1998-04-24 | 2007-07-11 | 大日本印刷株式会社 | Defect inspection method and apparatus for printed matter |
JP2001159614A (en) * | 1999-12-03 | 2001-06-12 | Toshiba Corp | Method and apparatus for inspecting pattern |
JP2001242086A (en) * | 2000-02-25 | 2001-09-07 | Hitachi Eng Co Ltd | Article testing method based on image processing and its device |
JP4442042B2 (en) * | 2001-02-23 | 2010-03-31 | パナソニック電工株式会社 | Image processing program creation method and system |
JP2003216930A (en) * | 2002-01-21 | 2003-07-31 | Matsushita Electric Works Ltd | Method and apparatus for inspecting discoloration |
JP4507785B2 (en) * | 2004-09-17 | 2010-07-21 | オムロン株式会社 | Substrate inspection device, parameter setting method and parameter setting device |
JP4453503B2 (en) * | 2004-09-28 | 2010-04-21 | オムロン株式会社 | Substrate inspection device, substrate inspection method, inspection logic generation device and inspection logic generation method for substrate inspection device |
-
2006
- 2006-06-07 JP JP2006159086A patent/JP4747955B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007327848A (en) | 2007-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4747955B2 (en) | Inspection control device, inspection control method, inspection system, control program, and recording medium | |
EP3480735B1 (en) | Inspection apparatus, data generation apparatus, data generation method, and data generation program | |
US8625906B2 (en) | Image classification standard update method, program, and image classification device | |
JP3834041B2 (en) | Learning type classification apparatus and learning type classification method | |
US8428336B2 (en) | Inspecting method, inspecting system, and method for manufacturing electronic devices | |
JP5865707B2 (en) | Appearance inspection apparatus, appearance inspection method, and computer program | |
JP5371916B2 (en) | Interactive threshold adjustment method and system in inspection system | |
JP2006317266A (en) | Inspection standard setting system, inspection standard setting method and process inspection device | |
US9280814B2 (en) | Charged particle beam apparatus that performs image classification assistance | |
US20180174000A1 (en) | Defect image classification device and defect image classification method | |
US11378522B2 (en) | Information processing apparatus related to machine learning for detecting target from image, method for controlling the same, and storage medium | |
JP2007184723A (en) | Inspection system and inspection method | |
JP2020187656A (en) | Image inspection device | |
JP2010071826A (en) | Teacher data preparation method, and image sorting method and image sorter | |
JPH08101915A (en) | Defect inspection method and device therefor | |
JP4712607B2 (en) | Sensitivity file automatic setting device and article visual inspection device equipped with the same | |
JP2007198968A (en) | Image-classifying method and image-classifying apparatus | |
JP2013140041A (en) | Visual inspection device, visual inspection method and computer program | |
JP2020187655A (en) | Image inspection device | |
KR20190141322A (en) | Crack detection system of road surface using neural network and detection method therefor | |
CN108362708A (en) | Pen core scribing line standardized detection system based on machine vision and method | |
JP5595247B2 (en) | Mahalanobis reference space generation method and inspection device | |
KR100484675B1 (en) | Plasma display panel test system and test method thereof | |
WO2023095505A1 (en) | Automatic defect classifier | |
JP7248496B2 (en) | Image inspection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090407 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110413 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110419 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110502 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4747955 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140527 Year of fee payment: 3 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D04 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |