JP7267094B2 - Image inspection device and image inspection device setting method - Google Patents
Image inspection device and image inspection device setting method Download PDFInfo
- Publication number
- JP7267094B2 JP7267094B2 JP2019093208A JP2019093208A JP7267094B2 JP 7267094 B2 JP7267094 B2 JP 7267094B2 JP 2019093208 A JP2019093208 A JP 2019093208A JP 2019093208 A JP2019093208 A JP 2019093208A JP 7267094 B2 JP7267094 B2 JP 7267094B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- defective product
- learning
- images
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本発明は、検査対象物を撮像した画像に基づいて検査対象物の良否判定を行う画像検査装置及び画像検査装置の設定方法に関する。 The present invention relates to an image inspection apparatus and a setting method of the image inspection apparatus for determining quality of an inspection object based on an image of the inspection object.
例えば特許文献1に開示されているように、検査対象物を撮像した画像を用いた一般的な画像検査は、まずマスター画像を登録し、登録したマスター画像上で各種の画像検査ツールを設定することにより行われる。具体的には、まず、使用者はマスター画像を取得するための各種撮像設定を行い、設定された撮像設定にてマスター画像を取得する。次いで画像検査ツールを選択し、取得されたマスター画像上で選択された画像検査ツールを適用する範囲を規定するウィンドウを設定し、各画像検査ツールの個別設定を行う。その後、検査対象物を撮像して画像検査を実行し、所望の良否判定結果が得られているかどうかを確認する。所望の結果が得られている場合は、設定を完了するが、所望の結果が得られていない場合は、必要に応じてマスター画像を取得するための撮像設定を調整する。撮像設定が調整されるとマスター画像が変化するため、使用者は必要に応じて各画像検査ツールの個別設定を調整する。上記したような一般的な検査処理は、使用者が画像に含まれるどの特徴量に基づいて検査を行うかを設定するルールベースの画像検査である。ルールベースの画像検査では、画像検査装置が使用者の設定にしたがって良否判定を行うものであるため、使用者が良否判定基準を制御できる。 For example, as disclosed in Japanese Unexamined Patent Application Publication No. 2002-100000, general image inspection using images of an inspection object is performed by first registering a master image and setting various image inspection tools on the registered master image. It is done by Specifically, first, the user performs various imaging settings for obtaining a master image, and obtains the master image with the set imaging settings. Next, an image inspection tool is selected, a window is set to define the range of application of the selected image inspection tool on the acquired master image, and individual settings are made for each image inspection tool. After that, an image of the object to be inspected is imaged and an image inspection is performed to confirm whether or not the desired quality determination result is obtained. If the desired result is obtained, the setting is completed, but if the desired result is not obtained, the imaging setting for acquiring the master image is adjusted as necessary. Since the master image changes when the imaging settings are adjusted, the user adjusts the individual settings for each image inspection tool as needed. The general inspection process as described above is a rule-based image inspection in which the user sets which feature amount included in the image should be used for inspection. In the rule-based image inspection, the image inspection apparatus performs pass/fail judgment according to the user's settings, so the user can control the pass/fail judgment criteria.
上述したルールベースの画像検査では、運用時に画像内の検査対象物の様々な特徴量(色、エッジ、位置等)に基づいて検査対象物の良否の判定を行うことになる。色やエッジなどの特徴量がはっきりしている画像に対しては良否判定が容易であるが、例えば色ムラが多い検査対象物や、金属部品のように周囲の環境によってエッジの出方が変わりやすい検査対象物などでは、特徴量が撮像条件などによって変化しやすく、人間の目による検査では良否判定が容易であっても、画像検査装置では判定が難しく、ひいては、判定結果が安定しないことがある。 In the rule-based image inspection described above, the pass/fail of an inspection object is determined based on various feature amounts (color, edge, position, etc.) of the inspection object in the image during operation. It is easy to judge the quality of images with clear feature values such as colors and edges. For inspection objects that are easy to inspect, the feature amount is likely to change depending on the imaging conditions, etc., and even if it is easy to make a pass/fail judgment with the human eye, it is difficult to make a judgment with an image inspection device, and the judgment result may not be stable. be.
このような難しい検査に対応が可能な検査処理技術として、良品が撮像された良品画像と不良品が撮像された不良品画像の特徴をそれぞれニューラルネットワークなどの公知の学習手段に学習させて識別器を生成し、運用時に新たに入力された検査対象物の画像が良品であるか、不良品であるかを識別器によって識別可能にする技術が知られている(例えば特許文献2参照)。 As an inspection processing technology that can handle such a difficult inspection, a known learning means such as a neural network learns the characteristics of a non-defective product image in which a non-defective product is imaged and a defective product image in which a defective product is imaged. is generated, and a classifier can identify whether the image of the object to be inspected newly input during operation is a non-defective product or a defective product (see, for example, Patent Document 2).
ところで、様々なパターンの良品画像及び不良品画像を入力することで識別器による識別性能を向上できるので、使用者は、運転モード時に蓄積された画像や別の撮像装置で撮像された画像(以下、履歴画像という。)の中から、学習効果のある履歴画像を探して大量の良品画像及び不良品画像を入力し、識別性能の要求を満足できるようにすることが行われている。 By the way, since the identification performance of the classifier can be improved by inputting non-defective product images and defective product images of various patterns, the user can use images accumulated during the driving mode and images captured by another imaging device (hereinafter referred to as , history images), searching for history images with a learning effect and inputting a large number of non-defective and defective product images to satisfy the requirements for identification performance.
しかしながら、履歴画像は膨大な数にのぼる場合があり、この膨大な数の履歴画像の中から学習効果のある履歴画像を探し出す作業には時間がかかり、ひいては設定モードに要する時間が長時間化してしまう。また、初めて画像検査装置を扱う者にとっては、そもそも、どの履歴画像が学習効果のある画像であるのか判断が難しいという問題もあった。 However, there are times when the number of history images is enormous, and it takes a long time to search for a history image with a learning effect from this huge number of history images. put away. In addition, there is also the problem that it is difficult for a person who uses an image inspection apparatus for the first time to determine which history image is an image with a learning effect.
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、複数の履歴画像の中から学習効果のある画像を使用者に提示可能にして効率の良い学習が行えるようにすることにある。 The present invention has been made in view of this point, and its object is to enable efficient learning by making it possible to present an image with a learning effect to the user from among a plurality of history images. to do.
上記目的を達成するために、第1の発明は、撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置において、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録手段と、前記学習画像登録手段で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成手段と、前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定手段と、前記良否判定手段により良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶する記憶手段と、前記記憶手段に記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する安定性評価値算出手段と、前記安定性評価値算出手段が算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示手段と、前記表示手段により提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定手段とを備え、前記識別器生成手段は、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新するように構成されていることを特徴とする。 In order to achieve the above object, a first invention provides an image inspection apparatus for judging quality of an object to be inspected based on an image of the object to be inspected taken by an imaging means, wherein the attributes of a non-defective product are determined by a user. learning image registration means for respectively registering the assigned non-defective product image and the defective product image to which the attribute as a defective product is assigned; a discriminator generation means for generating a discriminator for discriminating defective product images; a pass/fail judgment means for inputting an image to be inspected newly captured by the imaging means into the discriminator and making a pass/fail judgment; storage means for storing a plurality of images to be inspected for which pass/fail judgments have been made by the means as history images together with pass/fail judgment results; stability evaluation value calculation means for calculating; display means for presenting to a user a candidate image for additional learning of the classifier based on the stability evaluation value calculated by the stability evaluation value calculation means; an additional learning image designating means for receiving designation by the user as an additional learning image from among the candidate images presented by the classifier generating means, wherein the classifier generating means selects the additional learning image designated by the user as a non-defective image Alternatively, it is configured to perform additional learning as a defective product image and update the classifier.
この構成によれば、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像を学習し、良品画像と不良品画像を識別する識別器が生成される。運転モード時には、撮像手段により新たに撮像された検査対象画像が識別器に入力され、良否判定手段によって良否判定が行われる。良否判定手段により良否判定を行った複数の検査対象画像は良否判定結果とともに履歴画像として記憶手段に記憶される。記憶手段に記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値が安定性評価値算出手段により算出されると、その安定性評価値に基づいて、識別器に追加学習させる候補画像が表示手段によって使用者に提示される。 According to this configuration, a classifier is generated that learns a non-defective product image to which the attribute of a non-defective product is assigned by the user and a defective product image to which the attribute of a defective product is assigned, and discriminates between the non-defective product image and the defective product image. be done. In the operation mode, an image to be inspected newly captured by the imaging means is input to the discriminator, and quality determination is performed by the quality determination means. A plurality of images to be inspected, which have been subjected to pass/fail judgment by the pass/fail judgment means, are stored in the storage means as history images together with the pass/fail judgment results. When the stability evaluation value indicating the stability of pass/fail judgment of the plurality of history images stored in the storage means is calculated by the stability evaluation value calculation means, the classifier is made to perform additional learning based on the stability evaluation value. Candidate images are presented to the user by display means.
ここで、安定性評価値は、履歴画像の良否判定の安定性を示すものであり、既に生成されている識別器による良否判定の安定性が高いか低いかを把握可能な値とすることができる。安定性評価値は、表示手段に表示してもよいし、表示しなくてもよい。良否判定の安定性が高い場合には、その履歴画像は既に生成されている識別器によって安定的に識別できているので、追加学習の必要性が低い画像であると判断される。一方、良否判定の安定性が低い場合には、その履歴画像は既に生成されている識別器では識別が不安定であるので、識別器を更新するべく、追加学習の必要性が高い画像であると判断される。 Here, the stability evaluation value indicates the stability of the pass/fail judgment of the history image, and can be a value that can be used to determine whether the stability of pass/fail judgment by the classifier that has already been generated is high or low. can. The stability evaluation value may or may not be displayed on the display means. When the stability of pass/fail judgment is high, the history image can be stably classified by the classifier that has already been generated, so it is judged that the image does not require additional learning. On the other hand, if the stability of pass/fail judgment is low, the historical image is an image that requires additional learning in order to update the classifier because the classifier that has already been generated is unstable in classifying the history image. is judged.
したがって、記憶手段に記憶されている履歴画像の数が膨大であっても、使用者は良否判定の安定性に基づいて提示された候補画像の中から追加学習画像を選択することが可能になる。使用者による追加学習画像としての指定は、追加学習画像指定手段で受け付けられ、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習することで識別器が更新される。 Therefore, even if the number of history images stored in the storage means is enormous, the user can select an additional learning image from among the presented candidate images based on the stability of the pass/fail judgment. . Designation by the user as an additional learning image is received by the additional learning image designating means, and the classifier is updated by additionally learning the additional learning image designated by the user as a non-defective product image or a defective product image.
第2の発明は、前記安定性評価値算出手段は、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を前記安定性評価値とするように構成され、前記表示手段は、前記近接度が所定以上の履歴画像を候補画像として使用者に提示するように構成されていることを特徴とする。 In a second aspect of the invention, the stability evaluation value calculation means calculates the degree of proximity between a judgment value indicating the likelihood of a non-defective product or the likelihood of a defective product and a threshold value for distinguishing between a non-defective product and a defective product, and calculates the proximity to the stability evaluation value. and the display means is configured to present to the user, as candidate images, the history images having the degree of proximity equal to or higher than a predetermined value.
この構成によれば、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値とが近いということは、既に生成されている識別器による識別が不安定であるということである。したがって、安定性評価値を近接度に基づいたものにすることで、学習効果のより高い候補画像を提示することができる。 According to this configuration, the fact that the judgment value indicating the likelihood of a non-defective product or the likelihood of a defective product is close to the threshold value for distinguishing between a non-defective product and a defective product means that the discrimination by the classifier that has already been generated is unstable. be. Therefore, by making the stability evaluation value based on the degree of proximity, it is possible to present a candidate image with a higher learning effect.
第3の発明は、前記表示手段は、複数の候補画像を使用者に提示する場合、前記安定性評価値の順に並べて提示するように構成されていることを特徴とする。 A third aspect of the invention is characterized in that, when presenting a plurality of candidate images to the user, the display means is arranged to present them in order of the stability evaluation values.
この構成によれば、複数の候補画像を安定性評価値が大きい順または小さい順に並べて使用者に提示することができるので、学習効果のより高い候補画像を容易に把握することができる。 According to this configuration, a plurality of candidate images can be arranged in descending or descending order of stability evaluation values and presented to the user, so that it is possible to easily comprehend candidate images with a higher learning effect.
第4の発明は、前記表示手段は、複数の履歴画像を時系列で表示する第1表示形態と、前記識別器に追加学習させる候補画像を使用者に提示する第2表示形態とに切り替え可能に構成されていることを特徴とする。 In a fourth aspect of the invention, the display means is switchable between a first display mode in which a plurality of history images are displayed in chronological order and a second display mode in which candidate images for additional learning by the classifier are presented to the user. It is characterized by being configured to
この構成によれば、第1表示形態では、複数の履歴画像が時系列で表示されるので、使用者は検査対象画像を検査した順に確認することができる。一方、第2表示形態では、識別器に追加学習させる候補画像を使用者に提示することができる。検査対象画像を検査した順で確認したい場合と、識別器に追加学習させる候補画像を確認したい場合とで、必要に応じて表示形態を切り替えることで対応することができる。 According to this configuration, since a plurality of history images are displayed in chronological order in the first display mode, the user can check the inspection target images in the order in which they were inspected. On the other hand, in the second display mode, it is possible to present the user with candidate images for additional learning of the classifier. By switching the display form as necessary, it is possible to check the images to be inspected in the order in which they were inspected and to check the candidate images for which the classifier additionally learns.
第5の発明は、前記表示手段は、前記安定性評価値が所定値以上の履歴画像を前記記憶手段から削除する削除候補画像として使用者に提示するように構成されていることを特徴とする。 A fifth aspect of the present invention is characterized in that the display means is configured to present to the user history images having a stability evaluation value equal to or greater than a predetermined value as deletion candidate images to be deleted from the storage means. .
この構成によれば、学習効果のより高い候補画像を提示することができる。 According to this configuration, it is possible to present a candidate image with a higher learning effect.
第6の発明は、前記表示手段は、前記識別器による良品画像と不良品画像との識別境界から所定以上離れた履歴画像を前記記憶手段から削除する削除候補画像として使用者に提示するように構成されていることを特徴とする。 In a sixth aspect of the present invention, the display means presents to the user history images separated by a predetermined distance or more from the boundary between the non-defective product image and the defective product image determined by the classifier as deletion candidate images to be deleted from the storage means. It is characterized by:
すなわち、履歴画像のうち、安定性評価値が低い画像は学習効果の低い画像であるため、記憶手段に保存していても殆ど役に立たない画像であり、記憶手段のメモリを圧迫するだけであると考えられる。このような画像を削除候補画像として使用者に提示して削除を促すことで記憶手段のメモリを節約できる。 That is, since images with a low stability evaluation value among history images are images with a low learning effect, they are images that are almost useless even if they are stored in the storage means, and only pressurize the memory of the storage means. Conceivable. By presenting such an image to the user as a deletion candidate image and prompting the user to delete it, the memory of the storage means can be saved.
第7の発明は、前記識別器生成手段は、前記学習画像登録手段で登録された良品画像群と不良品画像群を特徴量空間上にプロットするとともに、前記特徴量空間上にプロットされた良品画像群と不良品画像群との間に識別境界を設定することにより、前記識別器を生成するように構成され、前記表示手段は、追加学習により前記識別器が更新された場合に、前記特徴量空間上において、更新された前記識別器による前記識別境界から所定以上離れた履歴画像を前記記憶手段から削除する削除候補画像として使用者に提示するように構成されていることを特徴とする。 In a seventh aspect of the invention, the discriminator generation means plots the non-defective product image group and the defective product image group registered by the learning image registration means on a feature amount space, and plots the non-defective item image group plotted on the feature amount space. The classifier is configured to generate the discriminator by setting a discriminative boundary between a group of images and a group of defective product images, and the display means displays the feature when the classifier is updated by additional learning. It is characterized in that history images separated by a predetermined distance or more from the classification boundary by the updated classifier in the quantity space are presented to the user as deletion candidate images to be deleted from the storage means.
すなわち、履歴画像のうち、識別器による識別境界から所定以上離れた画像は学習効果の低い画像であるため、記憶手段に保存していても殆ど役に立たない画像であり、記憶手段のメモリを圧迫するだけであると考えられる。このような画像を削除候補画像として使用者に提示して削除を促すことで記憶手段のメモリを節約できる。 That is, among the history images, images that are separated from the classification boundary by the classifier by a predetermined distance or more are images with low learning effects, and therefore are images that are almost useless even if they are stored in the storage means, and put pressure on the memory of the storage means. It is considered that only By presenting such an image to the user as a deletion candidate image and prompting the user to delete it, the memory of the storage means can be saved.
第8の発明は、前記表示手段は、前記特徴量空間上において、前記識別境界から所定以上離れた履歴画像と、当該履歴画像の近隣にプロットされた近隣画像との相対関係に基づいて前記識別境界の設定に寄与していないと判定される画像を削除候補画像として使用者に提示するように構成されていることを特徴とする。 In an eighth aspect of the invention, the display means performs the identification based on the relative relationship between a history image separated from the identification boundary by a predetermined distance or more and a neighboring image plotted near the history image in the feature amount space. The present invention is characterized in that an image that is determined not to contribute to the setting of the boundary is presented to the user as a deletion candidate image.
例えば、追加学習により識別器が更新されると、それまでの識別器による識別境界とは異なる識別境界が設定されることになる。この場合、更新された識別器による識別境界に基づいて、削除しても識別境界の設定に殆ど影響を及ばさない画像を削除候補画像として使用者に提示することができる。 For example, when the discriminator is updated by additional learning, a discrimination boundary different from the discriminant boundary by the discriminator up to that point is set. In this case, based on the identification boundary by the updated classifier, it is possible to present to the user, as a deletion candidate image, an image that, even if deleted, does not significantly affect the setting of the identification boundary.
第9の発明は、撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置において、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録手段と、前記学習画像登録手段で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成手段と、前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定手段と、前記良否判定手段により良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする安定性評価値算出手段と、前記安定性評価値算出手段が算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示手段と、前記表示手段により提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定手段とを備え、前記識別器生成手段は、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新するように構成されていることを特徴とする。 A ninth aspect of the present invention is an image inspection apparatus for determining the quality of an inspection object based on an image of the inspection object captured by an imaging means, wherein a non-defective product image to which a user has given an attribute as a non-defective product and a non-defective product image. Learning image registration means for respectively registering defective product images to which an attribute as a non-defective product is assigned; and identification for identifying the non-defective product image and the defective product image by learning the non-defective product image and the defective product image registered by the learning image registration means. a discriminator generating means for generating a device; a pass/fail judgment means for inputting an image to be inspected newly captured by the imaging means into the discriminator and making a pass/fail judgment; Calculating the degree of proximity between a judgment value indicating whether the target image is likely to be a non-defective product or a defective product and a threshold value for distinguishing between non-defective products and defective products, and using the degree of proximity as stability indicating the stability of the quality determination of the image to be inspected. stability evaluation value calculation means as an evaluation value; display means for presenting to a user candidate images for additional learning of the classifier based on the stability evaluation value calculated by the stability evaluation value calculation means; an additional learning image specifying means for accepting a user's specification of an additional learning image from among the candidate images presented by the display means, wherein the classifier generating means selects the additional learning image specified by the user, Further learning is performed as a non-defective product image or a defective product image, and the discriminator is updated.
すなわち、特徴量空間上において、識別境界から所定以上離れた履歴画像は識別境界の設定に殆ど影響を及ばさない画像であると推定されるが、その履歴画像の近隣にプロットされた近隣画像との相対関係においては識別境界の設定に若干の影響を及ぼすことも想定される。このような場合には、当該履歴画像は削除候補画像とはせずに、識別境界の設定に寄与していないと判定される画像を削除候補画像として使用者に提示する。これにより、識別境界の設定に影響の及ぼす画像が削除されてしまうのを回避できる。 That is, in the feature space, history images that are more than a predetermined distance from the identification boundary are presumed to be images that have little effect on the setting of the identification boundary. It is also assumed that the relative relationship of . In such a case, the history image is not used as a deletion candidate image, and an image determined as not contributing to the setting of the identification boundary is presented to the user as a deletion candidate image. This makes it possible to avoid deleting an image that affects the setting of the identification boundary.
第10の発明は、撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置の設定方法において、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録ステップと、前記学習画像登録ステップで登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成ステップと、前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定ステップと、前記良否判定ステップにより良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶する記憶ステップと、前記記憶ステップで記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する安定性評価値算出ステップと、前記安定性評価値算出ステップで算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示ステップと、前記表示ステップで提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定ステップとを備え、前記識別器生成ステップでは、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新することを特徴とする。 According to a tenth aspect of the present invention, there is provided a setting method for an image inspection apparatus for judging quality of an object to be inspected based on an image of the object to be inspected captured by an image pickup means, wherein the image is a non-defective product image to which an attribute as a non-defective product is assigned by the user. Then, a learning image registration step of registering defective product images to which an attribute as a defective product is assigned, and learning the non-defective product images and defective product images registered in the learning image registration step, and converting the non-defective product images and defective product images. a discriminator generation step of generating a discriminator for identification; a pass/fail judgment step of inputting an image to be inspected newly captured by the imaging means into the discriminator and making a pass/fail judgment; a storing step of storing a plurality of images to be inspected as history images together with the pass/fail judgment results; a display step of presenting to a user a candidate image for additional learning by the classifier based on the stability evaluation value calculated in the stability evaluation value calculation step; and a candidate presented in the display step. an additional learning image specifying step of receiving a user's specification of an additional learning image from among the images; Additional learning is performed to update the discriminator.
この構成によれば、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像を学習し、良品画像と不良品画像を識別する識別器が生成される。運転モード時には、撮像手段により新たに撮像された検査対象画像が識別器に入力され、良否判定手段によって良否判定が行われる。良否判定を行った検査対象画像の判定値と閾値との近接度が算出され、この近接度が、検査対象画像の良否判定の安定性を示す安定性評価値とされる。その安定性評価値に基づいて、識別器に追加学習させる候補画像が表示手段によって使用者に提示される。したがって、検査対象画像の数が膨大であっても、使用者は良否判定の安定性に基づいて提示された候補画像の中から追加学習画像を選択することが可能になる。 According to this configuration, a classifier is generated that learns a non-defective product image to which the attribute of a non-defective product is assigned by the user and a defective product image to which the attribute of a defective product is assigned, and discriminates between the non-defective product image and the defective product image. be done. In the operation mode, an image to be inspected newly captured by the imaging means is input to the discriminator, and quality determination is performed by the quality determination means. The degree of proximity between the judgment value of the image to be inspected and the threshold is calculated, and this degree of proximity is used as the stability evaluation value indicating the stability of the quality judgment of the image to be inspected. Based on the stability evaluation value, the display means presents to the user candidate images for further learning by the discriminator. Therefore, even if the number of images to be inspected is enormous, the user can select an additional learning image from the presented candidate images based on the stability of the pass/fail judgment.
第11の発明は、撮像手段により撮像された検査対象物の画像に基づいて当該検査対象物の良否判定を行う画像検査装置の設定方法において、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録ステップと、前記学習画像登録ステップで登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成ステップと、前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定ステップと、前記良否判定ステップで良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする安定性評価値算出ステップと、前記安定性評価値算出ステップで算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示ステップと、前記表示ステップで提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定ステップとを備え、前記識別器生成ステップでは、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新することを特徴とする。 According to an eleventh aspect of the present invention, there is provided a setting method for an image inspection apparatus for judging quality of an object to be inspected based on an image of the object to be inspected by an imaging means, wherein the image is a non-defective product image to which an attribute as a non-defective product is assigned by the user. Then, a learning image registration step of registering defective product images to which an attribute as a defective product is assigned, and learning the non-defective product images and defective product images registered in the learning image registration step, and converting the non-defective product images and defective product images. a discriminator generation step of generating a discriminator for identification; a pass/fail judgment step of inputting an image to be inspected newly captured by the imaging means into the discriminator and making a pass/fail judgment; The degree of proximity between a judgment value indicating the likelihood of a non-defective product or a defective product of the image to be inspected and the threshold value for distinguishing between a non-defective product and a defective product is calculated, and the degree of proximity is used as the stability of the quality determination of the image to be inspected. and a display step of presenting to the user a candidate image for additional learning by the classifier based on the stability evaluation value calculated in the stability evaluation value calculation step. and an additional learning image specifying step of receiving a user's specification of an additional learning image from among the candidate images presented in the displaying step, wherein the classifier generating step includes the additional learning image specified by the user. The image is additionally learned as a non-defective product image or a defective product image, and the discriminator is updated.
本発明によれば、複数の画像の良否判定の安定性を示す安定性評価値に基づいて、追加学習に適した候補画像を使用者に提示し、提示された候補画像の中から、使用者による追加学習画像としての指定を受け付け、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、識別器を更新できるので、膨大な数の画像の中から学習効果のある画像を追加学習画像として効率の良い学習を行うことができる。 According to the present invention, candidate images suitable for additional learning are presented to the user based on the stability evaluation value indicating the stability of quality judgment of a plurality of images. can be designated as additional learning images by the user, and additional learning images designated by the user can be additionally learned as non-defective or defective images, and the classifier can be updated. Efficient learning can be performed using a certain image as an additional learning image.
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail based on the drawings. It should be noted that the following description of preferred embodiments is essentially merely illustrative, and is not intended to limit the invention, its applications, or its uses.
図1は、本発明の実施形態に係る画像検査装置1の構成を示す模式図である。画像検査装置1は、例えば各種部品や製品等の検査対象物を撮像した画像に基づいて検査対象物の良否判定を行うための装置であり、工場等の生産現場等で使用することができる。検査対象物は、それ全体が検査対象であってもよいし、一部のみが検査対象であってもよい。また、1つの検査対象物に複数の検査対象が含まれていてもよい。また、画像には、複数の検査対象物が含まれていてもよい。
FIG. 1 is a schematic diagram showing the configuration of an
画像検査装置1は、装置本体となる制御ユニット2と、撮像ユニット3と、表示装置(表示手段)4と、パーソナルコンピュータ5とを備えている。パーソナルコンピュータ5は、必須なものではなく、省略することもできる。表示装置4の代わりにパーソナルコンピュータ(表示手段)5を使用することもできる。図1では、画像検査装置1の構成例の一例として、制御ユニット2、撮像ユニット3、表示装置4及びパーソナルコンピュータ5を別々のものとして記載しているが、これらのうち、任意の複数を組み合わせて一体化することもできる。例えば、制御ユニット2と撮像ユニット3を一体化することや、制御ユニット2と表示装置4を一体化することもできる。また、制御ユニット2を複数のユニットに分割して一部を撮像ユニット3や表示装置4に組み込むことや、撮像ユニット3を複数のユニットに分割して一部を他のユニットに組み込むこともできる。
The
(撮像ユニット3の構成)
図2に示すように、撮像ユニット3は、カメラモジュール(撮像手段)14と、照明モジュール15とを備えている。カメラモジュール14は、撮像光学系を駆動するAF用モータ141と、撮像基板142とを備えている。AF用モータ141は、撮像光学系のレンズを駆動することにより、自動でピント調整を実行する部分であり、従来から周知のコントラストオートフォーカス等の手法によってピント調整を行うことができる。撮像基板142は、撮像光学系から入射した光を受光する受光素子としてCMOSセンサ143と、FPGA144と、DSP145とを備えている。CMOSセンサ143は、カラー画像を取得することができるように構成された撮像センサである。CMOSセンサ143の代わりに、例えばCCDセンサ等の受光素子を用いることもできる。FPGA144及びDSP145は、撮像ユニット3の内部において画像処理を実行するためのものであり、CMOSセンサ143から出力された信号はFPGA144及びDSP145にも入力されるようになっている。
(Configuration of imaging unit 3)
As shown in FIG. 2 , the
照明モジュール15は、検査対象物を含む撮像領域を照明する発光体としてのLED(発光ダイオード)151と、LED151を制御するLEDドライバ152とを備えている。LED151による発光タイミング、発光時間、発光量は、LEDドライバ152によって任意に設定することができる。LED151は、撮像ユニット3に一体に設けてもよいし、撮像ユニット3とは別体として外部照明ユニットとして設けてもよい。図示しないが、照明モジュール15には、LED151から照射された光を反射するリフレクターや、LED151から照射された光が通過するレンズ等が設けられている。LED151から照射された光が検査対象物と、検査対象物の周辺領域に照射されるように、LED151の照射範囲が設定されている。発光ダイオード以外の発光体を使用することもできる。
The
(制御ユニット2の構成)
制御ユニット2は、メイン基板13と、コネクタ基板16と、通信基盤17と、電源基板18とを備えている。メイン基板13には、FPGA131と、DSP132と、メモリ133とが搭載されている。FPGA131とDSP132は制御部13Aを構成するものであり、これらが一体化された主制御部を設けることもできる。
(Configuration of control unit 2)
The
メイン基板13の制御部13Aは、接続されている各基板及びモジュールの動作を制御する。例えば、制御部13Aは、照明モジュール15のLEDドライバ152に対してLED151の点灯/消灯を制御する照明制御信号を出力する。LEDドライバ152は、制御部13Aからの照明制御信号に応じて、LED151の点灯/消灯の切替及び点灯時間の調整を行うとともに、LED151の光量等を調整する。
The
また、制御部13Aは、カメラモジュール14の撮像基板142に、CMOSセンサ143を制御する撮像制御信号を出力する。CMOSセンサ143は、制御部13Aからの撮像制御信号に応じて、撮像を開始するとともに、露光時間を任意の時間に調整して撮像を行う。すなわち、撮像ユニット3は、制御部13Aから出力される撮像制御信号に応じてCMOSセンサ143の視野範囲内を撮像し、視野範囲内に検査対象物があれば、検査対象物を撮像することになるが、検査対象物以外の物が視野範囲内にあれば、それも撮像することができる。例えば、画像検査装置1の設定時には、使用者により良品としての属性を付与された良品画像と、不良品としての属性を付与された不良品画像とを撮像することができる。画像検査装置1の運用時には、検査対象物を撮像することができる。また、CMOSセンサ143は、ライブ画像、即ち現在の撮像された画像を短いフレームレートで随時出力することができるように構成されている。
Also, the
CMOSセンサ143による撮像が終わると、撮像ユニット3から出力された画像信号は、メイン基板13のFPGA131に入力され、FPGA131及びDSP132によって処理されるとともに、メモリ133に記憶されるようになっている。メイン基板13の制御部13Aによる具体的な処理内容の詳細については後述する。
After imaging by the CMOS sensor 143 is completed, the image signal output from the
コネクタ基板16は、電源インターフェース161に設けてある電源コネクタ(図示せず)を介して外部から電力の供給を受ける部分である。電源基板18は、コネクタ基板16で受けた電力を各基板及びモジュール等に分配する部分であり、具体的には、照明モジュール15、カメラモジュール14、メイン基板13、及び通信基板17に電力を分配する。電源基板18は、AF用モータドライバ181を備えている。AF用モータドライバ181は、カメラモジュール14のAF用モータ141に駆動電力を供給し、オートフォーカスを実現している。AF用モータドライバ181は、メイン基板13の制御部13AからのAF制御信号に応じて、AF用モータ141に供給する電力を調整する。
The
通信基板17は、メイン基板13の制御部13Aから出力された検査対象物の良否判定信号、画像データ、ユーザーインターフェース等を表示装置4やパーソナルコンピュータ5、外部制御機器(図示せず)等に出力する。表示装置4やパーソナルコンピュータ5は、例えば液晶パネル等からなる表示パネルを有しており、画像データやユーザーインターフェース等は表示パネルに表示される。
The
また、通信基板17は、表示装置4が有するタッチパネル41やパーソナルコンピュータ5のキーボード51等から入力された使用者の各種操作を受け付けることができるように構成されている。表示装置4のタッチパネル41は、例えば感圧センサを搭載した従来から周知のタッチ式操作パネルであり、使用者によるタッチ操作を検出して通信基板17へ出力する。パーソナルコンピュータ5は、キーボード51の他に、図示しないがマウスやタッチパネルを備えており、これら操作デバイスから入力された使用者の各種操作を受け付けることができるように構成されている。通信は、有線であってもよいし、無線であってもよく、いずれの通信形態も、従来から周知の通信モジュールによって実現することができる。
Further, the
制御ユニット2には、例えばハードディスクドライブ等の記憶装置(記憶手段)19が設けられている。記憶装置19には、後述する各制御及び処理を上記ハードウエアによって実行可能にするためのプログラムファイル80や設定ファイル等(ソフトウエア)、マスター画像、履歴画像、良否判定結果等が記憶されている。プログラムファイル80や設定ファイルは、例えば光ディスク等の記憶媒体90に格納しておき、この記憶媒体90に格納されたプログラムファイル80や設定ファイルを制御ユニット2にインストールすることができる。
The
(画像検査装置1の具体的な構成)
図3は、画像検査装置1のブロック図であり、プログラムファイル80や設定ファイルがインストールされた制御ユニット2により、図3に示す各部及び手段が構成される。すなわち、画像検査装置1は、撮像設定部21と、マスター画像登録部23と、学習画像登録部24と、画像処理ツール選択部25と、パラメータ調整部26と、検査ウィンドウ設定部27と、検査種別選択部28と、モード切替部29と、識別器生成部30と、良否判定部31と、追加学習画像指定部32と、安定性評価値算出部33と、判定軸抽出部34とを備えている。これら各部(手段)は、ハードウエアのみで構成されていてもよいし、ハードウエアとソフトウエアとの組み合わせによって構成されていてもよい。また、図3に示す各部及び手段は、それぞれが独立したものであってもよいし、1つのハードウエアまたはソフトウエアによって複数の機能が実現されるように構成されたものであってもよい。また、図3に示す各部及び手段の機能は、メイン基板13の制御部13Aによる制御で実現することもできる。
(Specific Configuration of Image Inspection Apparatus 1)
FIG. 3 is a block diagram of the
また、画像検査装置1は、撮像設定等の各種パラメータ設定、マスター画像の登録、良品画像と不良品画像とを内部で識別できるようにする識別器の生成(学習)等を行う設定モードと、実際の現場において検査対象物を撮像した画像に基づいて検査対象物の良否判定を行う運転モード(Runモード)とに切り替えられるようになっている。設定モードでは、使用者が所望の製品検査で良品と不良品とを分けることができるようにするための事前の作業を行う。設定モードと運転モードとの切替は、後述するユーザーインターフェース上で行うことができる他、設定モードの完了と同時に運転モードに自動で移行するように構成することもできる。運転モードにおいて、識別器による識別境界の修正や変更を行うこと、いわゆる追加学習を行うこともできる。
In addition, the
また、画像検査装置1は、画像内の検査対象物の様々な特徴量(色、エッジ、位置等)に基づいて検査対象物の良否の判定を行うルールベースの検査モード(標準検査モード)と、識別器を生成し、生成した識別器によって検査対象物の良否の判定を行う学習ベースの検査モード(学習検査モード)とに切り替えられるようになっている。標準検査モードでは、使用者が画像に含まれるどの特徴量に基づいて検査を行うか、及び閾値等を設定し、その設定に従って良否判定を行う。標準検査モードと学習検査モードとの切替は、後述するユーザーインターフェース上で行うことができる。
In addition, the
(起動時制御)
画像検査装置1が起動すると、制御ユニット2は図4に示すような起動時ユーザーインターフェース100を生成して表示装置4に表示させる。起動時ユーザーインターフェース100は、図示しないUI生成部等で生成することもできる。以下に述べる他のユーザーインターフェースもUI生成部等で生成することができる。
(startup control)
When the
起動時ユーザーインターフェース100には、センサ設定ボタン100aと、運転開始ボタン100bと、画像表示領域100cとが設けられている。センサ設定ボタン100aは、画像検査装置1の設定を行う際に操作するボタンである。運転開始ボタン100bは、検査を実行する運転モードとする際に操作するボタンである。画像表示領域100cには、撮像ユニット3で撮像された画像、記憶装置19に記憶されている画像、外部から読み込んだ画像等を表示することができるようになっている。
The start-up
図3に示すモード切替部29は、図4に示す起動時ユーザーインターフェース100のセンサ設定ボタン100aが押されたことを検出すると、画像検査装置1の設定を行う設定モードに切り替える。一方、モード切替部29は、起動時ユーザーインターフェース100の運転開始ボタン100bが押されたことを検出すると、運転モードに切り替える。つまり、モード切替部29は、画像検査装置1のモードを、当該画像検査装置1の設定を行う設定モードと、検査を実行する運転モードとに切り替える部分である。画像検査装置1のモード切替方法は上述したボタン操作以外の方法、例えば外部から入力された信号による切り替え等であってもよい。尚、「ボタンを押す」とは、表示装置4のタッチパネル41による操作、パーソナルコンピュータ5のキーボード51やマウス等による操作によって実行される。以下、ボタン操作については同様である。
When the
(検査種別選択部28の構成)
図3に示す検査種別選択部28は、標準検査モードと学習検査モードのいずれかの選択を受け付ける部分である。検査種別選択部28は、図5に示す検査種別選択ユーザーインターフェース101を生成して表示装置4に表示させる。検査種別選択ユーザーインターフェース101には、学習検査モード選択ボタン101aと、標準検査モード選択ボタン101bと、キャンセルボタン101cと、OKボタン101dとが設けられている。検査種別選択部28は、学習検査モード選択ボタン101aが押されたことを検出すると、学習検査モードに切り替える一方、標準検査モード選択ボタン101bが押されたことを検出すると、標準検査モードに切り替えるように構成されている。その後、OKボタン101dが押されると、受け付けられた検査モードが確定する。キャンセルボタン101cが押されると、図4に示す起動時ユーザーインターフェース100が表示装置4に表示される。
(Configuration of examination type selection unit 28)
The inspection
使用者による標準検査モードと学習検査モードの選択を受け付ける部分は、上述した検査種別選択部28に限られるものではなく、例えば外部から入力された信号によって受け付けるように構成されていてもよい。
The part that accepts the user's selection of the standard inspection mode and the learning inspection mode is not limited to the inspection
図5に示す検査種別選択ユーザーインターフェース101には、学習検査モードの概略を説明する説明文や標準検査モードの概略を説明する説明文が表示される説明文表示領域101eが設けられている。学習検査モード選択ボタン101aが押されると、学習検査モードの概略を説明する説明文が説明文表示領域101eに表示され、また、標準検査モード選択ボタン101bが押されると、標準検査モードの概略を説明する説明文が説明文表示領域101eに表示されるようになっている。
The examination type
(撮像設定部21の構成)
図3に示す撮像設定部21は、設定モード時に撮像ユニット3の撮像条件の設定を受け付ける部分である。撮像条件には、例えば、露光時間、照明モジュール15から照射される光量、ゲイン、フォーカス調整、撮像を行うトリガ条件等が含まれているが、これらに限られるものではなく、撮像に関する条件設定が可能なものを含むことができる。
(Configuration of imaging setting unit 21)
The
撮像設定部21は、図6に示す撮像条件設定ユーザーインターフェース102を生成して表示装置4に表示させる。撮像条件設定ユーザーインターフェース102には、画像表示領域102aと、トリガ条件設定ボタン102bと、明るさ調整ボタン102cと、フォーカス調整ボタン102dと、次ステップボタン102eとが設けられている。画像表示領域102aには、CMOSセンサ143で撮像されたライブ画像が表示されるようになっている。ライブ画像とは、CMOSセンサ143で撮像されている現在の画像のことであり、撮像対象や明るさが変化すればほぼリアルタイムで画像表示領域102aの画像も変化する。符号Wは、検査対象物を示している。
The
トリガ条件設定ボタン102bは、撮像ユニット3に撮像を開始させるための撮像トリガ信号を設定するためのボタンである。撮像設定部21は、トリガ条件設定ボタン102bが操作されたことを検出すると、撮像トリガ信号を設定可能なユーザーインターフェース(図示せず)を生成して表示装置4に表示させる。使用者は、例えば外部から入力される撮像トリガ信号を選択することで、CMOSセンサ143の視野範囲に検査対象物Wが入った状態で、撮像ユニット3による撮像を行うことが可能になる。撮像トリガ信号は、外部のPLC等から入力してもよいし、所定のタイミングで内部的に生成してもよい。
The trigger
明るさ調整ボタン102cは、露光時間、照明モジュール15から照射される光量、ゲイン等を調整するためのボタンであり、得られる画像の明るさを調整することができる。撮像設定部21は、明るさ調整ボタン102cが操作されたことを検出すると、露光時間等を調整可能なユーザーインターフェース(図示せず)を生成して表示装置4に表示させる。使用者は、画像表示領域102aの画像を見ながら当該画像の明るさ調整を行うことができる。画像の明るさについては、画像検査装置1が、検査の精度が高くなるように自動で調整することができ、使用者による調整は必須なものではない。
The
フォーカス調整ボタン102dは、ピントを調整する際に操作されるボタンである。撮像設定部21は、フォーカス調整ボタン102dが操作されたことを検出すると、ピント調整が可能なユーザーインターフェース(図示せず)を生成して表示装置4に表示させる。基本的には、上述したオートフォーカス機能によって検査対象物Wにピントが合うように自動調整されるが、使用者がマニュアルフォーカスでピント合わせを行いたい場合に、この機能を使用することができる。
The focus adjustment button 102d is a button operated when adjusting the focus. When detecting that the focus adjustment button 102d has been operated, the
次ステップボタン102eは、撮像条件の設定が終了した際に操作されるボタンである。撮像設定部21は、次ステップボタン102eが押されたことを検出すると、トリガ条件、明るさ、フォーカス等を確定させて次の工程であるマスター画像登録に移行する。
The
(マスター画像登録部23の構成)
図3に示すマスター画像登録部23は、設定モード時に撮像設定部21で設定された撮像条件で撮像された画像をマスター画像として登録する部分である。マスター画像とは、画像検査枠、即ち検査ウィンドウを設定するための基準となる画像であり、良品の検査対象物Wが含まれる画像である。マスター画像は、記憶装置19に記憶させておくことができる。
(Configuration of master image registration unit 23)
The master
マスター画像登録部23は、図7に示すマスター画像登録ユーザーインターフェース103を生成して表示装置4に表示させる。マスター画像登録ユーザーインターフェース103には、マスター画像の候補となる画像を表示させるためのマスター候補画像表示領域103aと、ライブ画像登録ボタン103bと、履歴登録ボタン103cと、ファイル登録ボタン103dと、次ステップボタン103eとが設けられている。
The master
マスター画像登録部23は、マスター候補画像表示領域103aにライブ画像が表示されている状態で、ライブ画像登録ボタン103bが押されたことを検出すると、マスター候補画像表示領域103aに表示されているライブ画像をマスター画像として登録する。また、履歴登録ボタン103cは、画像履歴に残っている画像をマスター画像とする際に操作するボタンである。マスター画像登録部23は、履歴登録ボタン103cが押されたことを検出すると、過去に撮像された画像がマスター候補画像表示領域103aに表示される。マスター候補画像表示領域103aに表示された画像の中から所望の画像をマスター画像として選択し、登録することができる。過去に撮像された画像は自動的に記憶装置19に記憶させるようにしてもよいし、使用者が記憶操作を行うことによって記憶させるようにしてもよい。
When the master
ファイル登録ボタン103dは、記憶装置19に記憶されている画像をマスター画像とする際に操作するボタンである。マスター画像登録部23は、ファイル登録ボタン103dが押されたことを検出すると、記憶装置19の特定のフォルダに記憶されている画像を読み込んでマスター候補画像表示領域103aに表示させ、この中から所望の画像をマスター画像として選択し、登録することができる。
The
次ステップボタン103eは、マスター画像の登録が終了した際に操作されるボタンである。マスター画像登録部23は、次ステップボタン103eが押されたことを検出すると次の工程に移行する。
The
(学習設定ユーザーインターフェース)
図8は、学習設定ユーザーインターフェース104を示すものである。マスター画像登録が終了して図7に示す次ステップボタン103eが押されると、制御ユニット2は、学習設定ユーザーインターフェース104を生成して表示装置4に表示させる。学習設定ユーザーインターフェース104には、マスター画像を表示するマスター画像表示領域104aと、検査ウィンドウ設定ボタン104bと、学習ボタン104cと、次ステップボタン104dとが設けられている。次ステップボタン104dは、次の工程に進む際に操作されるボタンである。
(learning settings user interface)
FIG. 8 shows the learning
(検査ウィンドウ設定部27の構成)
図3に示す検査ウィンドウ設定部27は、学習検査モードの設定モード時に、マスター画像登録部23で登録されたマスター画像上で、差分検出の範囲を規定するための学習検査用ウィンドウ(学習ベース検査用ウィンドウ)200A、200Bの設定を受け付けるように構成されている。検査ウィンドウ設定部27は、図8に示す検査ウィンドウ設定ボタン104bが押されたことを検出すると、図9に示す検査ウィンドウ設定ユーザーインターフェース105を生成して表示装置4に表示させる。学習検査用ウィンドウ200A、200Bの設定は必須ではない。学習検査用ウィンドウ200Aが第1学習ベース検査用ウィンドウであり、学習検査用ウィンドウ200Bが第2学習ベース検査用ウィンドウである。
(Configuration of inspection window setting unit 27)
The inspection
検査ウィンドウ設定ユーザーインターフェース105には、マスター画像が表示されるマスター画像表示領域105aと、検査ウィンドウ追加ボタン105bと、位置補正追加ボタン105cと、位置補正表示部105dと、第1検査ウィンドウ表示部105eと、第2検査ウィンドウ表示部105fと、OKボタン105gとが設けられている。検査ウィンドウ設定部27は、検査ウィンドウ追加ボタン105bが押されたことを検出すると、学習検査用ウィンドウ200A、200Bを設定可能な状態にする。学習検査用ウィンドウ200A、200Bは、マスター画像の検査対象物Wの全体を囲むように設定してもよいし、検査対象物Wの特徴となる一部のみ囲むように設定してもよい。学習検査用ウィンドウ200A、200Bは、例えば矩形状にすることができ、学習検査用ウィンドウ200A、200Bを描こうとする矩形の範囲を想定したとき、その上の角部から斜め下の角部までタッチ操作によってドラッグすることで学習検査用ウィンドウ200A、200Bがマスター画像表示領域105aに、マスター画像と重畳表示される。学習検査用ウィンドウ200A、200Bの位置や大きさ、形状は修正することができる。
The inspection window setting
この例では、第1学習検査用ウィンドウ200Aと、第2学習検査用ウィンドウ200Bとを設定しているが、一方のみであってもよいし、3つ以上の学習検査用ウィンドウを設定してもよい。検査ウィンドウ追加ボタン105bを押すことで学習検査用ウィンドウの追加が可能になっている。第1検査ウィンドウ表示部105eは、学習検査用ウィンドウ200Aに対応しており、第2検査ウィンドウ表示部105fは、第2学習検査用ウィンドウ200Bに対応している。
In this example, the first
また、位置補正追加ボタン105cを押すと、位置補正処理を行う部分を特定する位置補正ウィンドウ201を設定することができる。位置補正ウィンドウ201の設定方法は、学習検査用ウィンドウ200A、200Bの設定方法と同様にすることができる。位置補正ウィンドウ201内の画像が位置補正処理の対象となり、従来から周知の手法により、位置補正ウィンドウ201内の画像を所定の位置に補正するとともに、所定の姿勢となるように補正する。
Further, when the position
図9に示す検査ウィンドウ設定ユーザーインターフェース105のOKボタン105gが押されると、図8に示す学習設定ユーザーインターフェース104が表示装置4に表示される。学習設定ユーザーインターフェース104の学習ボタン104cが押されると、学習画像登録に進む。
When the
(学習画像登録部24の構成)
図3に示す学習画像登録部24は、学習検査モードの設定モード時に、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する部分である。良品画像は、良品の検査対象物Wを撮像した画像であり、不良品画像はそれ以外の画像である。良品画像及び不良品画像は、マスター画像とは別に登録する。
(Configuration of learning image registration unit 24)
The learning
学習画像登録部24は、図8に示す学習設定ユーザーインターフェース104の学習ボタン104cが押されたことを検出すると、図10に示す学習用ユーザーインターフェース106を表示装置4に表示させる。学習用ユーザーインターフェース106には、学習用の画像としての良品画像及び不良品画像を表示可能な画像表示領域106aと、良品画像取得操作部106bと、不良品画像取得操作部106cと、学習開始ボタン106dと、ファイル読込ボタン106eと、履歴読込ボタン106fとが設けられている。
When the learning
画像表示領域106aには、ライブ画像を表示させることができるようになっている。画像表示領域106aにライブ画像として良品画像を表示させた状態で、良品画像取得操作部106bを操作すると、当該ライブ画像が良品画像として登録される。同様に、画像表示領域106aにライブ画像として不良品画像を表示させた状態で、不良品画像取得操作部106cを操作すると、当該ライブ画像が不良品画像として登録される。これを繰り返すことで複数の良品画像及び不良品画像を登録することができる。
A live image can be displayed in the
ファイル読込ボタン106eを押すと、記憶装置19の特定のフォルダに記憶されている画像が画像表示領域106aに表示される。画像表示領域106aに表示された画像が良品画像であるときに良品画像取得操作部106bを操作すると、当該画像が良品画像として登録される。同様に、画像表示領域106aに、記憶装置19から読み込んだ不良品画像を表示させた状態で、不良品画像取得操作部106cを操作すると、当該画像が不良品画像として登録される。
When the file read
履歴読込ボタン106fを押すと、過去に撮像された画像が画像表示領域106aに表示される。画像表示領域106aに表示された画像が良品画像であるときに良品画像取得操作部106bを操作すると、当該画像が良品画像として登録される。同様に、画像表示領域106aに、過去に撮像された不良品画像を表示させた状態で、不良品画像取得操作部106cを操作すると、当該画像が不良品画像として登録される。
When the
良品画像を登録する方法は上記した方法に限られるものではない。例えば、学習画像登録部24は、学習検査モードかつ設定モードが選択された場合に、撮像ユニット3により撮像条件を変化させて検査対象物Wを複数回撮像させることによって得られた複数の画像を良品画像として登録するように構成することができる。撮像条件には、例えば照明条件と露光時間を含むことができ、これらのうち、一方のみまたは両方を変化させ、変化させた都度、撮像ユニット3により検査対象物Wを撮像して得られた良品画像を学習画像とすることができる。照明条件は、例えば、照明モジュール15から照射される光量等を挙げることができる。
The method of registering a non-defective product image is not limited to the method described above. For example, when the learning inspection mode and the setting mode are selected, the learning
また、学習画像登録部24は、学習検査モードかつ設定モードが選択された場合に、撮像ユニット3に検査対象物Wを撮像させることによって得られた画像に基づいて複数の良品画像を自動生成して登録するように構成することもできる。自動生成される画像は、新たに良品画像として判定される画像(自動生成良品画像)であり、1枚であっても2枚以上であってもよい。例えば、良品画像と不良品画像の識別に寄与している特徴量の良品範囲(具体的には明るさ範囲)を読み込み、良品範囲内となる明るさの画像を自動的に生成することで自動生成良品画像を得ることができる。具体的には、予め入力されている良品画像の明るさを画像処理によって変更させることで、良品範囲内で最も暗い画像と、最も明るい画像を生成することができ、また、良品範囲内の中間の明るさの画像も生成することができる。これにより、使用者が良品を複数用意することなく、良品画像を複数生成することができる。以上のようにして生成された自動生成良品画像は登録しておき、後述する学習時に使用することができる。撮像ユニット3によって撮像した良品画像と、自動生成良品画像とを学習に使用することができる。
Further, when the learning inspection mode and the setting mode are selected, the learning
(識別器生成部30の構成)
図3に示す識別器生成部30は、学習検査モードの設定モード時に、学習画像登録部24で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する部分である。識別器生成部30は、図10に示す学習用ユーザーインターフェース106の学習開始ボタン106dが押されたことを検出すると、学習画像登録部24で登録された良品画像と不良品画像を読み込む。識別器生成部30は、読み込んだ良品画像と不良品画像を複数層で構成された機械学習器に入力する。
(Configuration of discriminator generator 30)
The
具体的には、識別器生成部30はニューラルネットワークを有しており、そのニューラルネットワークのパラメータの初期値をランダムに決定しておき、ニューラルネットワークから出力される画像認識の誤差をフィードバックしながらパラメータを調整していく、いわゆるディープラーニングの手法の他、周知の遺伝的アルゴリズム(GA)、強化学習、ニューロファジィなどの手法を採用してもよい。パラメータが調整されたニューラルネットワーク、即ち学習済みのニューラルネットワークが使用者に提供される形態であってもよいし、使用者がパラメータを調整する形態であってもよい。ニューラルネットワークは、事前に学習済みの複数層で構成されたニューラルネットワークであってもよい。
Specifically, the
識別器による良品画像と不良品画像の識別に寄与している特徴量は、例えば、明るさ、角度、色、形状、位置等があるが、これら以外の特徴量が良品画像と不良品画像の識別に寄与している場合もあるので、特徴量の種類は特に限定されない。 The feature quantities that contribute to the discrimination of the non-defective product image and the defective product image by the classifier include, for example, brightness, angle, color, shape, and position. The type of feature quantity is not particularly limited, as it may contribute to identification.
識別器生成部30による学習が完了すると、図11に示すように、学習設定ユーザーインターフェース104には学習済み表示104eがなされる。
When the learning by the
また、識別器生成部30は、ニューラルネットワークに良品画像及び不良品画像を入力することで、例えば図35に示すように、特徴量空間における良品画像と不良品画像の識別境界を生成する。
Further, the
(画像処理ツール選択部25の構成)
以上が学習検査モードの設定手順である。標準検査モードの場合は以下の設定を行う。はじめに、図3に示す画像処理ツール選択部25について説明する。画像処理ツール選択部25は、モード切替部29により設定モードに切り替えられ、かつ、検査種別選択部28により標準検査モードの選択が受け付けられている場合に機能する部分であり、画像処理ツールの選択を受け付けることができるように構成されている。画像処理ツール選択部25は、設定モードかつ標準検査モードの場合に、図12に示す画像処理ツールユーザーインターフェース107を生成して表示装置4に表示させる。
(Configuration of image processing tool selection unit 25)
The above is the procedure for setting the learning inspection mode. In the case of standard inspection mode, the following settings are performed. First, the image processing
画像処理ツールユーザーインターフェース107には、マスター画像を表示するためのマスター画像表示領域107aと、ツール表示領域107bと、次ステップボタン107cとが設けられている。ツール表示領域107bには、選択された画像処理ツールが表示されるようになっており、表示されるツールの数は1つであってもよいし、複数であってもよい。本実施形態では、ツール表示領域107bに、輪郭ツール107d、色面積ツール107e、幅ツール107fが表示されている場合を示している。
The image processing
画像処理ツールユーザーインターフェース107には、ツール追加ボタン107gが設けられている。画像処理ツール選択部25は、ツール追加ボタン107gが押されたことを検出すると、図13に示す画像処理ツール選択用ユーザーインターフェース108を生成して表示装置4に表示させる。画像処理ツール選択用ユーザーインターフェース108には、基本ツールタブ108aと、拡張1タブ108bと、拡張2タブ108cと、キャンセルボタン108dと、OKボタン108eとが設けられている。使用者が基本ツールタブ108aを選択すると、図13に示すように基本ツールタブ108aに分類されている画像処理ツールが一覧形式で表示される。一方、使用者が拡張1タブ108bを選択すると、図14に示すように拡張1タブ108bに分類されている画像処理ツールが一覧形式で表示される。図示しないが、拡張2タブ108cを選択した場合も同様に表示できる。画像処理ツールは、従来から周知のものであり、例えば、エッジ抽出機能によって画像における検査対象物Wのエッジを抽出する処理を行い、特定のエッジのX軸に対する傾斜角度や長さ等を特徴量として用いることができる。
The image processing
基本ツールタブ108a、拡張1タブ108b及び拡張2タブ108cに分類されている画像処理ツールのうち、任意の画像処理ツールを選択することができる。選択後、OKボタン108eが押されたことを検出すると、選択された画像処理ツールが有効になり、図12に示すように、画像処理ツールユーザーインターフェース107のツール表示領域107bに表示される。一方、図13及び図14に示す画像処理ツール選択用ユーザーインターフェース108のキャンセルボタン108dが押されたことを検出すると、画像処理ツールの選択操作がキャセルされる。
Any image processing tool can be selected from among the image processing tools classified into the
(標準検査モード時の検査ウィンドウ設定部27)
図3に示す検査ウィンドウ設定部27は、標準検査モードの設定モード時に、マスター画像登録部23で登録されたマスター画像上で、画像処理ツール選択部25で選択された画像処理ツールを適用する範囲を規定するための標準検査用ウィンドウ(ルールベース検査用ウィンドウ)の設定を受け付ける部分である。図12に示すように、標準検査用ウィンドウ202をマスター画像と重畳表示することができる。標準検査用ウィンドウ202の設定手法は、学習検査モード時の検査用ウィンドウの設定手法と同じにすることができる。また、標準検査用ウィンドウ202は複数設定することができる。さらに、学習検査モード時と同様に、位置補正ウィンドウ203を設定することもできる。
(Inspection
The inspection
(パラメータ調整部26の構成)
図3に示すパラメータ調整部26は、標準検査モードの設定モード時に、画像処理ツール選択部25で選択された画像処理ツールのパラメータの調整を受け付ける部分である。図12に示す画像処理ツールユーザーインターフェース107のツール表示領域107bには、画像処理ツール選択部25で選択された画像処理ツールが表示されており、輪郭ツール107d、色面積ツール107e、エッジピクセルツール107fのそれぞれについてパラメータの一つである閾値を調整可能なスライドバーが設けられている。スライドバーによって閾値を調整することができる他、例えば数値の入力によって閾値を調整することもできる。閾値以外のパラメータを画像処理ツール毎に調整することができ、パラメータ調整部26で調整可能なパラメータは特に限定されるものではない。
(Configuration of parameter adjustment unit 26)
The
(出力割り当て操作)
図8及び図11に示す学習設定ユーザーインターフェース104の次ステップボタン104、図12に示す画像処理ツールユーザーインターフェース107の次ステップボタン107cが押されたことを制御ユニット2が検出すると、出力割り当て工程に進む。制御ユニット2は、次ステップボタン104または次ステップボタン107cが押されたことを検出すると、図15に示す出力割り当てユーザーインターフェース109を生成して表示装置4に表示させる。
(output allocation operation)
When the
出力割り当てユーザーインターフェース109には、出力関連の設定を行うための設定領域109aと、完了ボタン109bとが設けられている。設定領域109aでは、複数の出力関連の設定を行うことができるようになっており、例えば総合判定、ビジー、エラー等の設定が可能になっている。完了ボタン109bは出力関連の設定が完了した際に操作されるボタンである。完了ボタン109bが押されたことを制御ユニット2が検出すると、設定モードが終了し、例えば、図4に示す起動時ユーザーインターフェース100を表示装置4に表示させる。
The output
(画像検査装置1の設定方法)
上述したように、起動後、設定モードが選択されると、学習検査モードと標準検査モードのどちらの設定を行うのか選択を受け付け、受け付けられた検査モードの設定を行うことができる。学習検査モードと標準検査モードのいずれのモードが選択されても、撮像条件設定及びマスター画像登録を行うので、撮像条件設定及びマスター画像登録は、学習検査モードと標準検査モードに共通する設定事項である。
(Setting method of image inspection apparatus 1)
As described above, when the setting mode is selected after startup, it is possible to accept the selection of which setting to perform, the learning inspection mode or the standard inspection mode, and to set the accepted inspection mode. Imaging condition setting and master image registration are performed regardless of which mode is selected, learning inspection mode or standard inspection mode. be.
学習検査モードの設定の場合、撮像条件設定及びマスター画像登録が完了すると、検出ウィンドウ設定及び学習用画像の入力・登録を行い、識別器を生成する。一方、標準検査モードの場合、撮像条件設定及びマスター画像登録が完了すると、画像処理ツール選択及び画像処理ツールのパラメータ調整を行う。その後、学習検査モードと標準検査モードのいずれのモードであっても同様な出力割り当てを行う。したがって、出力割り当ても、学習検査モードと標準検査モードに共通する設定事項である。 In the case of setting the learning inspection mode, when imaging condition setting and master image registration are completed, detection window setting and learning image input/registration are performed to generate a discriminator. On the other hand, in the standard inspection mode, when imaging condition setting and master image registration are completed, image processing tool selection and image processing tool parameter adjustment are performed. After that, the same output allocation is performed in either the learning inspection mode or the standard inspection mode. Therefore, the power allocation is also a setting common to the learning inspection mode and the standard inspection mode.
以下、画像検査装置1の設定方法の例について図16に示すフローチャートに基づいて説明する。スタート後のステップSA1は起動操作であり、例えば電源の投入等である。ステップSA1が行われると、図4に示す起動時ユーザーインターフェース100が表示装置4に表示される。ステップSA2は、起動時ユーザーインターフェース100のセンサ設定ボタン100aを押すステップである。センサ設定ボタン100aが押されると、ステップSA3に進み、図5に示す検査種別選択ユーザーインターフェース101が表示装置4に表示される。ステップSA4では、検査種別選択ユーザーインターフェース101で選択された検査モードが学習検査モードであるか否かを判定する。ステップSA1~ステップSA4までは学習検査モードと標準検査モードに共通するステップである。
An example of the setting method of the
図5に示す検査種別選択ユーザーインターフェース101の学習検査モード選択ボタン101aが押された場合には、ステップSA5に進む。ステップSA5では、図6に示す撮像条件設定ユーザーインターフェース102が表示装置4に表示されるので、使用者が撮像条件を設定する。これが撮像条件設定ステップである。ステップSA5が終了すると、ステップSA6に進み、図7に示すマスター画像登録ユーザーインターフェース103が表示装置4に表示される。このステップは、ステップSA5で設定した撮像条件で撮像した画像をマスター画像として登録するマスター画像登録ステップである。その後、ステップSA7に進むと、図8に示す学習設定ユーザーインターフェース104が表示装置4に表示されるので、検査ウィンドウ設定ボタン104bを押して検査ウィンドウを設定する。検査ウィンドウの設定が終わり、学習ボタン104cを押すと、ステップSA8に進む。ステップSA8では、図10に示す学習用ユーザーインターフェース106が表示装置4に表示される。これにより、学習用の画像としての良品画像を登録できる。また、ステップSA9では同じユーザーインターフェース106上で学習用の画像としての不良品画像を登録できる。ステップSA8とステップSA9とは入れ替わっていてもよい。ステップSA8及びステップSA9は学習画像登録ステップである。
When the learning examination
次いでステップSA10に進む。ステップSA10は、図10に示す学習用ユーザーインターフェース106の学習開始ボタン106dが押されると開始される。ステップSA10は、良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成ステップである。
Next, the process proceeds to step SA10. Step SA10 is started when the learning
必須ではないが、ステップSA11及びステップSA12において追加学習を行うこともできる。使用者が追加学習を行う必要があると判断した場合、ステップSA11からステップSA12に進み、別の良品画像や不良品画像を登録して識別器生成部30に学習させる。学習が完了すると、図11に示す学習設定ユーザーインターフェース104が表示装置4に表示される。
Although not essential, additional learning can be performed in steps SA11 and SA12. If the user determines that additional learning is necessary, the process proceeds from step SA11 to step SA12 to register another non-defective product image or defective product image and make the
その後、ステップSA13に進む。ステップSA13では、図15に示す出力割り当てユーザーインターフェース109が表示装置4に表示され、これにより、出力関連の設定を行うことができる。
After that, the process proceeds to step SA13. At step SA13, the output
一方、ステップSA4でNOと判定され、標準検査モードが選択された場合には、ステップSA14に進む。ステップSA14はステップSA5と同じである。また、その後のステップSA15はステップSA6と同じである。このフローチャートでは、ステップSA5、ステップSA6を、ステップSA14、ステップSA15と分けて記載しているが、ステップSA5とステップSA14が同じなので共通化することもでき、また、ステップSA6とステップSA15が同じなので共通化することもできる。 On the other hand, if NO is determined in step SA4 and the standard inspection mode is selected, the process proceeds to step SA14. Step SA14 is the same as step SA5. Moreover, subsequent step SA15 is the same as step SA6. In this flowchart, steps SA5 and SA6 are described separately as steps SA14 and SA15, but since steps SA5 and SA14 are the same, they can be shared. It can also be shared.
その後、ステップSA16に進むと、図12に示す画像処理ツールユーザーインターフェース107が表示装置4に表示され、画像処理ツールを選択することができる。これが画像処理ツール選択ステップである。
Thereafter, when proceeding to step SA16, the image processing
画像処理ツールを選択した後、ステップSA17に進む。ステップSA17では、マスター画像登録ステップ(ステップSA15)で登録されたマスター画像上で、画像処理ツール選択ステップ(ステップSA16)で選択された画像処理ツールを適用する範囲を規定するための検査用ウィンドウを設定する。これが検査ウィンドウ設定ステップである。 After selecting the image processing tool, the process proceeds to step SA17. At Step SA17, an inspection window for defining the range to which the image processing tool selected at the image processing tool selection step (Step SA16) is applied is displayed on the master image registered at the master image registration step (Step SA15). set. This is the inspection window setting step.
検査用ウィンドウの設定が終了すると、ステップSA18に進む。ステップSA18では、画像処理ツール選択ステップ(ステップSA16)で選択された画像処理ツールのパラメータを調整する。これがパラメータ調整ステップである。その後、ステップSA13に進み、出力関連の設定を行う。以上のようにして、学習検査モードの設定と、標準検査モードの設定を行うことができる。 After setting the inspection window, the process proceeds to step SA18. At Step SA18, the parameters of the image processing tool selected at the image processing tool selection step (Step SA16) are adjusted. This is the parameter adjustment step. After that, the process advances to step SA13 to make settings related to output. As described above, the setting of the learning inspection mode and the setting of the standard inspection mode can be performed.
(良否判定部31の構成)
次に運転モードに関連する部分について説明する。図3に示す良否判定部31は、運転モード時に、検査種別選択部28により標準検査モードが選択されている場合は、撮像ユニット3により新たに撮像された画像に標準検査用ウィンドウを設定して当該標準検査用ウィンドウ内の画像に画像処理ツール選択部25で選択された画像処理ツールを適用することにより検査対象物Wの良否判定を行い、検査種別選択部28により学習検査モードが選択されている場合は、撮像ユニット3により新たに撮像された画像を識別器に入力することにより、検査対象物Wの良否判定を行うように構成されている。学習検査モードが選択されている場合には、学習検査用ウィンドウを設定して差分検出の範囲を規定するようにしてもよい。
(Structure of pass/fail judgment unit 31)
Next, the part related to the operation mode will be explained. When the standard inspection mode is selected by the inspection
良否判定部31は、図17に示すように学習検査用ウィンドウが複数設定されている場合には、学習検査用ウィンドウ毎に良否判定を行うように構成されている。すなわち、学習検査用ウィンドウ200A内の画像が良品画像であるか不良品画像であるかを判定するとともに、学習検査用ウィンドウ200B内の画像が良品画像であるか不良品画像であるかを判定し、個別に判定結果を出力する。良否判定部31は、複数の判定結果を考慮して総合判定結果を出力する。複数の判定結果が同じであれば、その結果を総合判定結果とし、相互に異なっていれば、総合判定結果を不良品画像であるとすることができる。
When a plurality of learning inspection windows are set as shown in FIG. 17, the pass/
良否判定部31は、図17に示す運転モードユーザーインターフェース120を生成して表示装置4に表示させる。運転モードユーザーインターフェース120は、運転モード画面を構成するものである。運転モードユーザーインターフェース120には、検査対象画像を表示する画像表示領域120aと、総合判定結果表示領域120bと、位置補正結果表示領域120cと、第1検査ウィンドウ結果表示領域120dと、第2検査ウィンドウ結果表示領域120eと、追加学習ボタン120fと、閾値調整ボタン120gとが設けられている。
The
画像表示領域120aには、運転モード中に撮像ユニット3により新たに撮像された検査対象画像が表示される。総合判定結果表示領域120bには、画像表示領域120aに表示されている検査対象画像が良品画像であるか不良品画像であるかが表示される。具体的には、良品画像である場合には「OK」と表示され、不良品画像である場合には「NG」と表示されるようになっているが、これに限らず、良品画像であるか不良品画像であるかを使用者が判別できれば、どのような表示形態であってもよい。画像表示領域120aと、総合判定結果表示領域120bとを同一の運転モードユーザーインターフェース120に設けているので、運転モードにおいて、検査対象画像を良否判定結果とともに表示装置4に表示することができる。
In the
位置補正結果表示領域120cには、検査対象画像に含まれる検査対象物Wを位置補正した結果が表示される。位置補正が良好に行われているか、位置補正に失敗したかが総合判定結果とは別に位置補正結果表示領域120cに表示される。第1検査ウィンドウ結果表示領域120dには、学習検査用ウィンドウ200A内の画像の良否判定結果が表示され、また、第2検査ウィンドウ結果表示領域120eには、学習検査用ウィンドウ200B内の画像の良否判定結果が表示される。また、閾値調整ボタン120gは、良否判定の閾値を調整するためのボタンであり、良否判定部31は、閾値が調整された場合、その閾値に基づいて良否判定を行う。
The position correction
追加学習ボタン120fは、画像表示領域120aに表示されている検査対象画像を、後述するように追加で学習する場合に操作されるボタンである。
The
また、良否判定部31は、標準検査モードの運転モード時には、画像処理ツールを使用して検査対象物Wの良否判定を行う。例えば、画像内の検査対象物Wの色、エッジ、位置等と、使用者により設定された閾値とを比較して検査対象物Wの良否の判定を行うことができる。良否判定結果は、学習検査モードの場合と同様にユーザーインターフェースに表示させることができる。
Further, the pass/
(追加学習画像指定部32の構成)
図3に示す追加学習画像指定部32は、学習検査モード時の運転モード画面に表示された検査対象画像を良品画像又は不良品画像として追加学習させるか否かの指定を受け付ける部分である。追加学習画像指定部32は、図17に示す運転モードユーザーインターフェース120の追加学習ボタン120fが押されたことを検出すると、図18に示す割り込み画面121を生成し、運転モードユーザーインターフェース120の所定位置に表示する。追加学習ボタン120fが押されたということは、検査対象画像を良品画像又は不良品画像として追加学習させる指定操作が行われたということである。この指定操作が受け付けられると、良否判定部31は、良否判定処理、即ち運転モードを一時的に停止するように構成されている。
(Configuration of Additional Learning Image Designating Unit 32)
The additional learning
割り込み画面121には、追加学習の対象となる画像を表示する画像表示領域121aと、メッセージ表示領域121bと、キャンセルボタン121cと、OKボタン121dとが設けられている。画像表示領域121aに表示される画像は、図17に示す運転モードユーザーインターフェース120の画像表示領域120aに表示されている現在の検査対象画像である。メッセージ表示領域121bには、運転モードを一時的に停止することを使用者に報知するためのメッセージが表示される。つまり、追加学習画像の指定を受け付けると、表示装置4は、運転モードを一時的に停止することを使用者に報知可能に構成されている。上記報知の形態はメッセージに限られるものではなく、他の形態であってもよい。
The interrupt
キャンセルボタン121cは、追加学習をキャンセルするためのボタンである。追加学習画像指定部32は、キャンセルボタン121cが押されたことを検出すると、画像表示領域121aに表示されている画像の学習を行うことなく、割り込み画面121を消去して図17に示す運転モードユーザーインターフェース120を表示装置4に表示させる。
The cancel
OKボタン121dは、追加学習を実行させるためのボタンである。追加学習画像指定部32は、OKボタン121dが押されたことを検出すると、画像表示領域121aに表示されている画像を識別器生成部30に学習するように指示する。
The
(追加学習処理)
図3に示す識別器生成部30は、追加学習画像指定部32により追加学習対象として指定された検査対象画像を良品画像又は不良品画像として追加学習し、識別器を更新するように構成されている。識別器生成部30は、追加学習画像指定部32により追加学習対象の画像が指定されたことを検出すると、図19に示す追加学習ユーザーインターフェース122を生成し、表示装置4に表示させる。追加学習ユーザーインターフェース122には、追加学習対象として指定された検査対象画像を表示する画像表示領域122aと、第1検査ウィンドウ学習指示領域122bと、第2検査ウィンドウ学習指示領域122cと、キャンセルボタン122dと、追加学習開始ボタン122eとが設けられている。第1検査ウィンドウ学習指示領域122bは、学習検査用ウィンドウ200Aで規定された範囲の画像を良品画像と不良品画像のどちらで追加学習させるかを入力するための領域であり、「NG」を選択すると、学習検査用ウィンドウ200Aで規定された範囲の画像を不良品画像として学習させ、「OK」を選択すると、学習検査用ウィンドウ200Aで規定された範囲の画像を良品画像として学習させる。また、第2検査ウィンドウ学習指示領域122cは、学習検査用ウィンドウ200Bで規定された範囲の画像を良品画像と不良品画像のどちらで追加学習させるかを入力するための領域であり、「NG」を選択すると、学習検査用ウィンドウ200Bで規定された範囲の画像を不良品画像として学習させ、「OK」を選択すると、学習検査用ウィンドウ200Bで規定された範囲の画像を良品画像として学習させる。このように、学習検査用ウィンドウ200Aで規定された範囲の画像と、学習検査用ウィンドウ200Bで規定された範囲の画像とを個別に学習させることができるようになっている。尚、学習検査用ウィンドウ200Aで規定された範囲の画像と、学習検査用ウィンドウ200Bで規定された範囲の画像の中から、一方のみを学習するような指示を受け付けるように構成することもできる。
(Additional learning process)
The
識別器生成部30は、キャンセルボタン122dが押されたことを検出すると、追加学習を行うことなく、図19に示す追加学習ユーザーインターフェース122を消去して、図17に示す運転モードユーザーインターフェース120に戻るので、識別器は更新されない。一方、識別器生成部30は、追加学習開始ボタン122eが押されたこと(追加学習の開始操作)を検出すると、追加学習を開始し、識別器が更新される。追加学習を行うことで、例えば図35に示す特徴量空間における識別境界が更新されることになる。
When the
(履歴画像の記憶)
図2に示す記憶装置19には、図3に示す良否判定部31により良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶するように構成されている。良否判定部31により良否判定を行った検査対象画像は、運転画像履歴フォルダに保存される。例えば、図17に示す運転モードユーザーインターフェース120の画像表示領域120aに表示されている検査対象画像と、総合判定結果表示領域120bに表示されている総合判定結果とを共通のID番号等に関連付けた状態で記憶装置19に記憶することができる。このとき、画像表示領域120aに表示されている検査対象画像と、位置補正結果表示領域120cに表示されている結果と、第1検査ウィンドウ結果表示領域120dに表示されている結果と、第2検査ウィンドウ結果表示領域120eに表示されている結果とを関連付けた状態で記憶装置19に記憶してもよい。
(Storing history images)
The
また、記憶装置19には、学習画像履歴フォルダを設けることができる。学習画像履歴フォルダには、識別器生成部30が学習に使用した良品画像及び不良品画像が記憶されている。
Also, a learning image history folder can be provided in the
図20に示すように、運転モードユーザーインターフェース120の下部には、メニューを表示することができるようになっている。運転モードユーザーインターフェース120のメニューには、運転/学習画像履歴ボタン120hが設けられている。制御ユニット2は、運転/学習画像履歴ボタン120hが押されたことを検出すると、図21に示すように、履歴種別選択用割り込み画面123を生成し、運転モードユーザーインターフェース120の所定位置に表示する。履歴種別選択用割り込み画面123には、運転画像履歴ボタン123aと、学習画像履歴ボタン123bと、キャンセルボタン123cとが設けられている。運転画像履歴ボタン123aは、記憶装置19の運転画像履歴フォルダに保存されている良否判定後の検査対象画像を表示させる際に操作されるボタンである。制御ユニット2は、運転画像履歴ボタン123aが押されたことを検出すると、図22に示す運転画像履歴表示ユーザーインターフェース124を生成して表示装置4に表示させる。
As shown in FIG. 20, a menu can be displayed at the bottom of the driving
運転画像履歴表示ユーザーインターフェース124には、良否判定がされた複数の検査対象画像を一覧形式で表示する画像表示領域124aと、追加学習指定ボタン124bと、戻るボタン124cと、画像詳細ボタン124dと、学習候補画像ボタン124eとが設けられている。画像表示領域124aには、検査対象画像と良否判定結果とが関連付けられた状態で表示される。画像表示領域124aに表示された画像を、例えば使用者による選択操作によって選択することができるようになっている。制御ユニット2は、画像表示領域124aに表示された画像のいずれかが選択された状態で、画像詳細ボタン124dが押されたことを検出すると、図23に示す選択画像表示ユーザーインターフェース125を生成して表示装置4に表示させる。選択画像表示ユーザーインターフェース125には、運転画像履歴表示ユーザーインターフェース124で選択した画像を表示する画像表示領域125aと、位置補正結果表示領域125cと、第1検査ウィンドウ結果表示領域125dと、第2検査ウィンドウ結果表示領域125eと、追加学習実行ボタン125fと、戻るボタン125gとが設けられている。制御ユニット2は、追加学習実行ボタン125fが押されたことを検出すると、画像表示領域125aに表示されている画像を識別器生成部30に追加学習するように指示する。制御ユニット2は、戻るボタン125gが押されたことを検出すると、図22に示す運転画像履歴表示ユーザーインターフェース124を表示装置4に表示させる。これを繰り返すことで、複数の履歴画像を識別器生成部30に追加学習させることができる。
The driving image history
制御ユニット2は、追加学習指定ボタン124bが押されたことを検出すると、図24に示す追加学習ユーザーインターフェース122を生成し、表示装置4に表示させる。図24に示す追加学習ユーザーインターフェース122は、図19に示すものと比べて追加学習画像が異なっている。
Upon detecting that the additional
制御ユニット2は、図22に示す運転画像履歴表示ユーザーインターフェース124の戻るボタン124cが押されたことを検出すると、図21に示す運転モードユーザーインターフェース120を表示装置4に表示させる。履歴種別選択用割り込み画面123の学習画像履歴ボタン123bは、記憶装置19の学習画像履歴フォルダに保存されている学習に用いられた画像を表示させる際に操作されるボタンである。制御ユニット2は、履歴種別選択用割り込み画面123の学習画像履歴ボタン123bが押されたことを検出すると、図24に示す学習画像履歴表示ユーザーインターフェース126を生成して表示装置4に表示させる。学習画像履歴表示ユーザーインターフェース126には、学習に用いられた画像を一覧形式で表示する画像表示領域126aと、削除ボタン126bと、戻るボタン126cとが設けられている。画像表示領域126aに表示された画像を、例えば使用者による選択操作によって選択することができるようになっている。制御ユニット2は、画像表示領域126aに表示された画像のいずれかが選択された状態で、削除ボタン126bが押されたことを検出すると、選択された画像を削除する。制御ユニット2は、学習画像が削除されたことを検出すると、当該画像が学習結果に反映されないように、識別器生成部30に識別器を更新させる。制御ユニット2は、戻るボタン126cが押されたことを検出すると、図21に示す運転モードユーザーインターフェース120を表示装置4に表示させる。
When the
(安定性評価値算出部33の構成)
図3に示す安定性評価値算出部33は、記憶装置19に記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する部分である。安定性評価値算出部33は、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を安定性評価値とするように構成することができる。安定性評価値は、使用者が把握できるような形態、例えば数値等で表示装置4に表示させてもよいし、表示することなく、画像検査装置1に内部的に持たせておいてもよい。
(Configuration of stability evaluation value calculation unit 33)
The stability evaluation
安定性評価値は、履歴画像の良否判定の安定性を示すものであることから、既に生成されている識別器による良否判定の安定性が高いか低いかを把握可能な値である。良否判定の安定性が高い場合には、その履歴画像は既に生成されている識別器によって安定的に識別できているので、追加学習の必要性が低い画像であると判断される。一方、良否判定の安定性が低い場合には、その履歴画像は既に生成されている識別器では識別が不安定であるので、識別器を更新するべく、追加学習の必要性が高い画像であると判断される。 Since the stability evaluation value indicates the stability of the pass/fail judgment of the history image, it is a value that enables grasping whether the stability of the pass/fail judgment by the classifier that has already been generated is high or low. When the stability of pass/fail judgment is high, the history image can be stably classified by the classifier that has already been generated, so it is judged that the image does not require additional learning. On the other hand, if the stability of pass/fail judgment is low, the historical image is an image that requires additional learning in order to update the classifier because the classifier that has already been generated is unstable in classifying the history image. is judged.
(追加学習候補の提示)
表示装置4は、安定性評価値算出部33が算出した安定性評価値に基づいて、識別器に追加学習させる候補画像を使用者に提示することが可能に構成されている。すなわち、制御ユニット2は、図22に示す運転画像履歴表示ユーザーインターフェース124の学習候補画像ボタン124eが押されたことを検出すると、図26に示すように、候補画像を使用者に提示する割り込み画面127を生成し、運転画像履歴表示ユーザーインターフェース124の所定位置に表示する。割り込み画面127には、候補画像を表示する画像表示領域127aと、キャンセルボタン127bと、OKボタン127cとが設けられている。画像表示領域127aに表示される画像は、安定性評価値に基づいて、既に生成されている識別器では識別が不安定であると判定される画像である。具体的には、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度が高い画像とすることができ、この近接度が所定以上の履歴画像を候補画像として表示装置4によって使用者に提示することができる。
(Presentation of Additional Learning Candidates)
The
画像表示領域127aには、既に生成されている識別器での識別が最も不安定な画像を表示することができるが、これに限らず、既に生成されている識別器での識別が最も不安定な画像、その次に不安定な画像を含む複数の候補画像を表示することもできる。
The
また、表示装置4は、安定性評価値が第1の所定値未満の履歴画像を候補画像として使用者に提示するように構成されていてもよい。識別が安定している画像を候補画像としても識別器を更新させることができず、追加学習を行う意味が無いので、上記第1の所定値は、識別器生成部30に追加学習させることで識別器を更新させることができる程度の値とすることができる。
Further, the
表示装置4は、複数の候補画像を使用者に一度に提示するような表示形態で表示することもできる。この場合、安定性評価値の高い順または低い順に候補画像を並べて提示するように構成することができる。具体的な手順については後述する。
The
複数の候補画像が表示装置4により提示された場合、使用者は、図3に示す追加学習画像指定部32によって追加学習画像としての指定を受け付けることができる。使用者が、複数の候補画像の中から1つの候補画像を選択すると、追加学習画像指定部32は、指定された候補画像を追加学習画像として受け付けるとともに、良品画像又は不良品画像の指定も受け付けた後、当該候補画像を識別器生成部30に追加学習させる。識別器生成部30は、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、識別器を更新するように構成されている。
When a plurality of candidate images are presented by the
表示装置4は、複数の履歴画像を時系列で表示する第1表示形態と、識別器に追加学習させる候補画像を使用者に提示する第2表示形態とに切り替え可能に構成されている。上記第1表示形態は、図22に示す運転画像履歴表示ユーザーインターフェース124の画像表示領域124aにおいて実現される。画像表示領域124aには、撮像した順、即ち良否判定がされた順に検査対象画像を表示することができる。また、上記第2表示形態は、図26に示す割り込み画面127で実現される。
The
(標準検査モード運転時)
次に、標準検査モードの運転モード時の手順について図27に示すフローチャートに基づいて説明する。スタート後のステップSB1では検査対象画像を入力する。この検査対象画像は、撮像ユニット3によって所定のタイミングで撮像された画像であり、撮像ユニット3から良否判定部31に入力される。
(During standard inspection mode operation)
Next, the procedure in the operation mode of the standard inspection mode will be described with reference to the flowchart shown in FIG. At step SB1 after the start, an image to be inspected is input. The image to be inspected is an image captured by the
ステップSB2は、ステップSB1で撮像ユニット3により新たに撮像された検査対象画像を識別器に入力し、良否判定を行う良否判定ステップである。ステップSB2による判定結果に基づいて判定の閾値の調整が必要か否かを使用者が判定する。これがステップSB3であり、閾値の調整が必要であればステップSB4に進んで閾値を調整した後、ステップSB5に進む一方、閾値の調整が不要であればステップSB5に進む。ステップSB5では、判定が終わった検査対象画像と判定結果とを関連付けて記憶装置19に記憶する。
Step SB2 is a pass/fail judgment step in which the image to be inspected newly captured by the
(判定軸抽出部34の構成)
次に、図3に示す判定軸抽出部34について説明する。判定軸抽出部34は、学習画像登録部24により登録された良品画像及び不良品画像に基づいて、良品らしさまたは不良品らしさを示す判定軸を抽出する部分である。判定軸には、良品画像における良品らしさを示す第1の判定軸と、不良品画像における不良品らしさを示す第2の判定軸とが含まれているが、いずれか一方のみを抽出するようにしてもよい。判定軸の具体例としては、例えば色、明るさ、面積等を挙げることができるが、これら以外が判定軸であってもよい。
(Configuration of judgment axis extraction unit 34)
Next, the
ある判定軸で対象画像を測定して、予め設定された基準値と測定結果とを比較して対象画像の識別を行うことができる。例えば、色で判定する場合は判定軸として設定された色を表示装置4に表示するようにし、また、面積で判定する場合は判定軸として面積の算出に用いられた画素を表示装置4に表示する。これにより、学習検査モード時に画像検査装置1がどのような判定軸でもって画像識別を行っているのかを使用者が把握できる。
The target image can be identified by measuring the target image along a certain determination axis and comparing the measurement result with a preset reference value. For example, when determining by color, the color set as the determination axis is displayed on the
判定軸抽出部34は、識別器生成部30が追加学習等によって識別器を更新した場合に、判定軸を抽出し直すように構成されている。すなわち、識別器が更新されると、良品らしさまたは不良品らしさを示す判定軸が変更される場合があり、判定軸抽出部34は識別器生成部30が識別器を更新したことを検出すると、判定軸を抽出する処理を行う。これにより、更新後の識別器と判定軸とを対応させることができる。
The decision
制御ユニット2は、判定軸抽出部34で抽出した判定軸に基づいて良品らしさまたは不良品らしさを示す判定評価値を算出するように構成されている。例えば、良品の判定軸として設定された色に近いほど判定評価値が高くなるように判定評価値を算出し、一方、良品の判定軸として設定された色との相違が大きいほど判定評価値が低くなるように判定評価値を算出することができる。判定評価値には、第1の判定軸に基づいて算出された良品らしさを示す第1判定評価値と、第2の判定軸に基づいて算出された不良品らしさを示す第2判定評価値とが含まれているが、いずれか一方のみを算出するようにしてもよい。
The
制御ユニット2は、算出された判定評価値により、良品としての特徴または不良品としての特徴を有する領域を選択的に強調した検査対象画像を生成し、表示装置4に表示させるように構成されている。第1判定評価値及び第2判定評価値を算出した場合、第1判定評価値と第2判定評価値とにより、良品としての特徴を有する領域を選択的に強調した検査対象画像と、不良品としての特徴を有する領域を選択的に強調した検査対象画像とを表示装置4に表示可能に構成することができる。
The
また、第1判定評価値及び第2判定評価値を算出した場合、制御ユニット2は、第1判定評価値と第2判定評価値とを比較して、検査対象画像が良品としての特徴を多く有する場合は、良品としての特徴を有する領域を選択的に強調した検査対象画像を表示し、検査対象画像が不良品としての特徴を多く有する場合は、不良品としての特徴を有する領域を選択的に強調した検査対象画像を生成して表示装置4に表示させる。
Further, when the first determination evaluation value and the second determination evaluation value are calculated, the
ここで「強調」とは、画像の一部を他の部分と区別することができるようにすることであり、例えば、良品としての特徴または不良品としての特徴を有する特定の領域のみ着色することによって強調することができ、特定の領域のみ着色した画像を表示装置4に表示させることができる。特に、判定軸抽出部34が色を判定軸として抽出した場合、不良品としての特徴を有する領域を当該不良品の色で着色することによって強調するように構成することや、良品としての特徴を有する領域を当該良品の色で着色することによって強調するように構成することができる。また、不良品としての特徴を有する領域に着色する色と、良品としての特徴を有する領域に着色する色とは変えることができる。さらに、良品としての特徴または不良品としての特徴を有する領域の色を、判定評価値の大きさに応じて変化させることができる。判定評価値が大きければ大きいほど色を濃くする、または判定評価値が小さければ小さいほど色を薄くすることができる。
Here, "enhancement" means to be able to distinguish a part of the image from other parts, for example, coloring only a specific area that is characterized as a good product or a bad product. can be emphasized by, and an image in which only a specific region is colored can be displayed on the
以下、表示例について説明する。図28は、良品らしい部分と不良品らしい部分とが含まれている検査対象画像の例を示す図であり、(A)は良品画像である確率が高い場合、(B)は良品画像の確率が半分程度の場合、(C)は不良品画像である確率が高い場合である。各図において符号400が付された灰色の部分が良品らしいと判定される部分であり、符号401が付された黒色の部分が不良品らしいと判定される部分である。
A display example will be described below. 28A and 28B are diagrams showing examples of images to be inspected that include portions that appear to be non-defective products and portions that appear to be defective products. is about half, (C) is a case where the probability of being a defective image is high. In each drawing, a gray portion denoted by
(A)~(C)の上側に位置する図は検査対象画像であり、下側に位置する図は、良品としての特徴を有する領域または不良品としての特徴を有する領域を選択的に強調した検査対象画像である。判定軸は色である。(A)の場合、枠(検査用ウィンドウ)402によって囲まれた領域が灰色の部分400であることから、良品らしいと判定される部分である。このため、良品画像の確率が90%以上の高い確率となっている。枠402によって囲まれた領域は、良品の色(灰色)で着色されており、強調表示されている。良品画像の確率は、良否判定部31で算出することができる。
The upper diagrams of (A) to (C) are images to be inspected, and the lower diagrams selectively emphasize areas characterized as non-defective products or defective products. This is an image to be inspected. The judgment axis is color. In the case of (A), since the area surrounded by the frame (inspection window) 402 is the
(B)の場合、枠403によって囲まれた領域が灰色の部分400と黒色の部分401とを含んでおり、灰色の部分400の面積と、黒色の部分401の面積とが同程度であることから、良品らしいと判定することも、不良らしいと判定することも難しい。このため、良品画像の確率が5割に近い確率となっている。この場合、枠403によって囲まれた領域は、着色されていない。つまり、強調表示されていない。
In the case of (B), the area surrounded by the
(C)の場合、枠404によって囲まれた領域が黒色の部分401であることから、不良品らしいと判定される部分である。このため、良品画像の確率が数%程度の低い確率となっている。枠403によって囲まれた領域は、不良品の色(黒)で着色されており、強調表示されている。
In the case of (C), since the area surrounded by the
図29は、文字を含む検査対象画像の例を示しており、(A)は良品画像、(B)は領域が選択的に強調された検査対象画像である。(B)に示すように、良品画像と同じ文字が検査対象画像にも存在する場合、その文字が記載された領域については良品らしいと判定することができる。枠405は、文字が記載された領域を囲むものであり、枠405によって囲まれた領域は強調するために着色されている。
FIG. 29 shows examples of images to be inspected including characters, where (A) is an image of a non-defective item and (B) is an image to be inspected in which a region is selectively enhanced. As shown in (B), when the same characters as those in the non-defective product image are also present in the image to be inspected, it can be determined that the region in which the characters are described appears to be a non-defective product. A
図30は、検査対象物Wの別の例を示しており、(A)は良品画像、(B)は不良品画像、(C)は運転モード時に良品が撮像された場合の検査対象画像、(D)は運転モード時に不良品が撮像された場合の検査対象画像を示す図である。(A)の良品画像には、白丸と文字が含まれているが、(B)の不良品画像には、白丸と文字が無い。この場合、良品らしさの判定軸は、「白丸がある」、「文字がある」となり、不良品らしさの判定軸は、「白丸がない」、「文字がない」となる。(C)に示すように、運転モード時に良品が撮像された場合、良品を囲む枠406の内部が、当該領域を強調するために濃く着色されている。一方、(D)に示すように、運転モード時に不良品が撮像された場合、不良品を囲む枠407の内部が、当該領域を強調するために白く着色されている。
FIG. 30 shows another example of the inspection object W, in which (A) is a non-defective product image, (B) is a defective product image, (C) is an inspection object image when a non-defective product is imaged in the operation mode, (D) is a diagram showing an image to be inspected when a defective product is imaged in the operation mode. The non-defective product image of (A) includes white circles and characters, but the defective product image of (B) does not include white circles and characters. In this case, the judgment axis for the likeness of a non-defective product is "there is a white circle" and "there is a letter", and the axis for the judgment of the likeness of a defective product is "there is no white circle" and "there is no letter". As shown in (C), when a non-defective product is imaged in the operating mode, the inside of the
図31は、図30に示すケースにおいて追加学習した場合の図であり、(A)は追加学習に使用する不良品画像を示し、(B)は追加学習後の運転モード時に不良品が撮像された場合の検査対象画像を示している。(A)に示すように、追加学習に使用する不良品画像では、検査対象物Wの右側に白丸がある。つまり、不良品らしさの判定軸は「右側の白丸がある」となる。(B)に示すように、運転モード時に不良品が撮像された場合、不良品を囲む枠408の内部が、当該領域を強調するために白く着色されている。尚、強調領域を着色する色は特に限定されるものではない。
FIG. 31 is a diagram of additional learning in the case shown in FIG. 30, (A) shows a defective product image used for additional learning, and (B) shows a defective product imaged during the operation mode after additional learning. 10 shows an image to be inspected when As shown in (A), there is a white circle on the right side of the inspection object W in the defective product image used for additional learning. In other words, the judgment axis for the likelihood of being defective is "there is a white circle on the right side". As shown in (B), when a defective product is imaged during the operation mode, the inside of the
(学習検査モードの運転時)
次に、学習検査モードの運転モード時の手順について図32に示すフローチャートに基づいて説明する。スタート後のステップSC1では検査対象画像を入力する。この検査対象画像は、撮像ユニット3によって所定のタイミングで撮像された画像であり、撮像ユニット3から良否判定部31に入力される。
(During operation in learning inspection mode)
Next, the procedure in the operation mode of the learning inspection mode will be described based on the flowchart shown in FIG. At step SC1 after the start, an image to be inspected is input. The image to be inspected is an image captured by the
ステップSC2は、ステップSC1で撮像ユニット3により新たに撮像された検査対象画像を識別器に入力し、良否判定を行う良否判定ステップである。このステップでは、判定軸抽出部34により、良品らしさまたは不良品らしさを示す判定軸を抽出する。続くステップSC3は、良否判定ステップで良否判定された検査対象画像を、良否判定ステップによる良否判定結果とともに、図17に示す運転モードユーザーインターフェース120に表示する表示ステップである。
Step SC2 is a pass/fail judgment step in which the image to be inspected newly captured by the
ステップSC4では、運転モードユーザーインターフェース120に表示された画像を追加学習すると指定されたか否かを判定する。ステップSC4は、表示ステップで運転モードユーザーインターフェース120に表示された検査対象画像を良品画像又は不良品画像として追加学習させるか否かの指定を受け付ける追加学習設定ステップである。
At step SC4, it is determined whether or not the image displayed on the driving
追加学習が指定されればステップSC5に進んで当該画像により追加学習を行う。つまり、ステップSC5は、追加学習設定ステップ(ステップSC4)により追加学習対象として指定された検査対象画像を良品画像又は不良品画像として追加学習し、識別器を更新するステップである。その後、ステップSC6において、画像を履歴画像として良否判定結果とともに記憶装置19に記憶させる。一方、ステップSC4で追加学習が指定されなければ、追加学習を行うことなくステップSC6に進む。ステップSC6は、記憶ステップである。
If additional learning is designated, the process proceeds to step SC5 and additional learning is performed using the image. That is, step SC5 is a step of additionally learning the image to be inspected designated as an additional learning target in the additional learning setting step (step SC4) as a non-defective product image or a defective product image, and updating the classifier. After that, in step SC6, the image is stored in the
(学習候補画像の提示手順)
図33は、学習候補画像を提示する場合のフローチャートである。スタート後のステップSD1は、安定性評価値算出ステップである。具体的には、図32に示すフローチャートのステップSC2(良否判定ステップ)で良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出する。そして、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする。また、安定性評価値算出ステップでは、図32に示すフローチャートのステップSC6(記憶ステップ)で記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出することもできる。
(Procedure for presenting learning candidate images)
FIG. 33 is a flowchart for presenting learning candidate images. Step SD1 after the start is a stability evaluation value calculation step. Specifically, the judgment value indicating the likelihood of a non-defective product or the non-defective product of the image to be inspected, which has been judged in step SC2 (good/bad judgment step) of the flowchart shown in FIG. Calculate proximity. Then, the degree of proximity is set as a stability evaluation value that indicates the stability of quality determination of the image to be inspected. Further, in the stability evaluation value calculation step, it is possible to calculate a stability evaluation value indicating the stability of pass/fail determination of the plurality of history images stored in step SC6 (storage step) of the flowchart shown in FIG.
ステップSD2では、ステップSD1で算出した安定性評価値に基づいて、識別器に追加学習させる候補画像を使用者に提示する。これが表示ステップである。例えば図26に示す運転画像履歴表示ユーザーインターフェース124を表示装置4に表示させる。
In step SD2, based on the stability evaluation value calculated in step SD1, the user is presented with candidate images for additional learning by the classifier. This is the display step. For example, a driving image history
ステップSD3では、候補画像を追加学習させると指定されたか否かを判定する。ステップSD3は、表示ステップで運転画像履歴表示ユーザーインターフェース124に表示された検査対象画像を良品画像又は不良品画像として追加学習させるか否かの指定を受け付ける追加学習設定ステップである。
At step SD3, it is determined whether or not it is designated to additionally learn the candidate image. Step SD3 is an additional learning setting step for receiving a designation as to whether or not the image to be inspected displayed on the driving image history
追加学習が指定されればステップSD4に進んで当該候補画像により追加学習を行う。つまり、ステップSD4は、追加学習設定ステップ(ステップSD3)により追加学習対象として指定された追加学習画像を良品画像又は不良品画像として追加学習し、識別器を更新するステップである。一方、ステップSD3で追加学習が指定されなければ、追加学習は行わない。 If additional learning is specified, the process proceeds to step SD4 and additional learning is performed using the candidate image. That is, step SD4 is a step of additionally learning the additional learning image specified as the additional learning target in the additional learning setting step (step SD3) as a non-defective product image or a defective product image, and updating the classifier. On the other hand, if additional learning is not designated in step SD3, additional learning is not performed.
(履歴画像のソート)
追加学習候補として使用者に提示する履歴画像をソートすることができる。スタート後のステップSE1では、安定性評価値算出部33が、履歴画像毎に、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との差分を計算する。これにより、判定値と閾値との近接度を得ることができる。記憶装置19が記憶している全ての履歴画像について差分計算を行ってもよいし、直近の複数の履歴画像のみについて差分計算を行ってもよい。
(sort history images)
The historical images can be sorted for presentation to the user as candidates for further learning. In step SE1 after the start, the stability evaluation
ステップSE2では、制御ユニット2が、ステップSE1で計算した差分の小さい順に履歴画像をソートする。このとき、差分計算した全ての履歴画像をソートしてもよいし、差分が所定未満の複数の履歴画像のみソートしてもよい。
At step SE2, the
ステップSE3では、制御ユニット2がステップSE2のソート結果を表示装置4に表示させる。制御ユニット2が、複数の履歴画像を差分の小さい順に並べて表示するユーザーインターフェースを生成するようにしてもよい。このユーザーインターフェースに表示する画像の数は、例えば5~10程度にすることができ、複数段に分けて表示してもよい。差分が小さいということは安定的に判定できていないということであるので、そのような画像は追加学習候補画像であり、この追加学習候補画像を使用者に複数提示することができる。
At step SE3, the
ステップSE4では、候補画像を追加学習させると指定されたか否かを判定する。ステップSE4は、表示ステップで運転画像履歴表示ユーザーインターフェース124に表示された検査対象画像を良品画像又は不良品画像として追加学習させるか否かの指定を受け付ける追加学習設定ステップである。追加学習が指定されればステップSE5に進んで当該候補画像により追加学習を行う。つまり、ステップSE5は、追加学習設定ステップ(ステップSE4)により追加学習対象として指定された追加学習画像を良品画像又は不良品画像として追加学習し、識別器を更新するステップである。一方、ステップSE4で追加学習が指定されなければ、追加学習は行わない。
At step SE4, it is determined whether or not it is designated to additionally learn the candidate image. Step SE4 is an additional learning setting step for receiving a designation as to whether or not the image to be inspected displayed on the operating image history
(削除候補表示)
表示装置4は、安定性評価値が所定値以上の履歴画像を記憶装置19から削除する削除候補画像として使用者に提示するように構成されている。この所定値は、上記第1の所定値よりも高い第2の所定値としてもよいし、上記第1の所定値と同じにしてもよい。
(Deletion candidate display)
The
すなわち、上述したように、既に生成されている識別器によって安定的に識別できる画像は、安定性評価値が高く、追加学習の必要性が低い画像であると判断されるので、記憶装置19に保存していても殆ど役に立たない画像であり、記憶装置19のメモリを圧迫するだけであると考えられる。そのような画像を記憶装置19から削除することで、記憶装置19のメモリを節約できる。
That is, as described above, an image that can be stably identified by a classifier that has already been generated is judged to have a high stability evaluation value and a low need for additional learning. These images are almost useless even if they are saved, and it is considered that they only occupy the memory of the
図35は、学習画像登録部24で登録された良品画像群と不良品画像群をある特徴量空間にプロットし、識別器生成部30で生成された識別器による良品画像と不良品画像との識別境界を示した模式図であり、図中、白色の領域は良品画像群がプロットされた領域であり、黒色の領域は不良品画像群がプロットされた領域である。
FIG. 35 plots the non-defective product image group and the defective product image group registered by the learning
良品画像群の中で、囲み線300で囲まれた良品画像は、識別境界から離れているので、囲み線300で囲まれた良品画像を追加学習させても識別境界が更新されず、学習する意味が殆ど無い。この囲み線300で囲まれた良品画像を削除候補画像として表示装置4が使用者に提示する。また、不良品画像群の中で、囲み線301で囲まれた不良品画像も識別境界から離れているので、囲み線301で囲まれた不良品画像を追加学習させても識別境界が更新されず、学習する意味が殆ど無い。この囲み線301で囲まれた不良品画像を削除候補画像として表示装置4が使用者に提示する。つまり、識別器による良品画像と不良品画像との識別境界から所定以上離れた履歴画像を削除候補画像として使用者に提示することができる。
In the group of non-defective product images, the non-defective product images surrounded by the
図36に示すフローチャートに基づいて削除候補画像の提示手順を説明する。スタート後のステップSF1では、識別器生成部30が、学習に用いた画像(履歴画像)の特徴量を算出する。特徴量を算出した後、ステップSF2に進み、履歴画像を図35に示すような特徴量空間上にプロットする。その後、ステップSF3に進み、制御ユニット2は、特徴量空間で履歴画像の位置を把握する。これにより、識別境界と、各履歴画像との位置関係を把握することができ、識別境界に近い履歴画像と、識別境界から所定以上離れた履歴画像とを分けることができる。
A procedure for presenting deletion candidate images will be described based on the flowchart shown in FIG. In step SF1 after the start, the
ステップSF4では、ステップSF3では、識別境界の設定に寄与していない履歴画像を削除候補画像として選出する。識別境界の設定に寄与していない履歴画像は、識別境界から所定以上離れた履歴画像である。ステップSF5では、ステップSF4で選出された削除候補画像を制御ユニット2が表示装置4に表示させる。これにより、削除候補画像を使用者に提示することができる。使用者に一度に提示する削除候補画像は1つであってもよいし、複数であってもよい。
In step SF4, in step SF3, history images that do not contribute to the setting of the identification boundary are selected as deletion candidate images. A history image that does not contribute to the setting of the identification boundary is a history image that is separated from the identification boundary by a predetermined distance or more. At step SF5, the
ステップSF6では使用者による削除候補画像の削除操作が行われたか否かを判定する。削除操作が行われた場合にはステップSF7で削除候補画像を削除する。削除操作が行われなかった場合には、削除候補画像を削除することなく、終了する。削除操作は、1つの削除候補画像に対する操作であってもよいし、複数の削除候補画像に対する操作であってもよい。 In step SF6, it is determined whether or not the user has performed an operation to delete a deletion candidate image. If the deletion operation has been performed, the deletion candidate image is deleted in step SF7. If the deletion operation has not been performed, the process ends without deleting the deletion candidate image. The deletion operation may be performed on one deletion candidate image, or may be performed on a plurality of deletion candidate images.
図37及び図38は、追加学習によって識別境界が変化した場合を示している。図37に示すフローチャートのステップSG1~SG4は、図36に示すフローチャートのステップSF1~SF4とそれぞれ同じである。図37に示すフローチャートのステップSG5では、上述したように追加学習したことによって識別境界が変化した場合に、新たな識別境界に対して削除候補画像を再計算する。 37 and 38 show cases where the discrimination boundary is changed by additional learning. Steps SG1 to SG4 of the flowchart shown in FIG. 37 are the same as steps SF1 to SF4 of the flowchart shown in FIG. 36, respectively. In step SG5 of the flowchart shown in FIG. 37, when the identification boundary is changed by the additional learning as described above, the deletion candidate image is recalculated for the new identification boundary.
例えば、図38の上側に示す特徴量空間の識別境界が、追加学習したことによって図38の下側に示す特徴量空間の識別境界へと変化した場合、識別境界と各良品画像との距離、識別境界と各不良品画像との距離を再度算出する。その後、ステップSG6に進み、新たな削除候補画像として、新たな識別境界から所定以上離れた履歴画像(囲み線302で囲まれた良品画像と、囲み線303で囲まれた不良品画像)を削除候補画像として選出する。使用者に提示する。次いで、ステップSG7に進み、囲み線302で囲まれた良品画像と、囲み線303で囲まれた不良品画像を削除候補画像として表示装置4に表示し、これにより、新たに選出した削除候補画像を使用者に提示する。ステップSG8、SG9は、図36に示すフローチャートのステップSF6、SF7と同じである。
For example, when the identification boundary of the feature amount space shown in the upper part of FIG. 38 changes to the identification boundary of the feature amount space shown in the lower part of FIG. 38 by additional learning, the distance between the identification boundary and each good product image, The distance between the identification boundary and each defective product image is calculated again. After that, the process proceeds to step SG6, and the history images (the non-defective product image surrounded by the
図39は削除候補画像と近隣画像との相対関係に基づいて削除候補画像を提示する手順を示すフローチャートである。ステップSH1~SH4は、図36に示すフローチャートのステップSF1~SF4とそれぞれ同じである。その後、ステップSH5では、削除候補画像と近隣画像との相対関係を算出する。次いで、ステップSH6では、今後の追加学習においても識別境界の設定に影響の少ない画像を削除候補画像として選出する。 FIG. 39 is a flow chart showing a procedure for presenting deletion candidate images based on relative relationships between deletion candidate images and neighboring images. Steps SH1 to SH4 are the same as steps SF1 to SF4 in the flowchart shown in FIG. 36, respectively. After that, in step SH5, the relative relationship between the deletion candidate image and the neighboring image is calculated. Next, in step SH6, an image that will have little influence on the setting of the identification boundary in future additional learning is selected as a deletion candidate image.
すなわち、特徴量空間上において、識別境界から所定以上離れた履歴画像と、当該履歴画像の近隣にプロットされた近隣画像との相対関係に基づいて識別境界の設定に寄与していないと判定される画像を削除候補画像として使用者に提示する。具体的には、図40の上側に示す特徴量空間の場合、囲み線300で囲まれた良品画像と、囲み線301で囲まれた不良品画像とが削除候補画像となり得る画像である。このうち、囲み線300で囲まれた良品画像の全ては、識別境界から所定以上離れているので全てが削除候補画像となり得るが、図40の下側の図において囲み線304で囲まれた画像に着目すると、その画像の周囲に存在する画像との相対関係からみて、識別境界の設定に寄与していないと判定することができる。つまり、囲み線304で囲まれた画像を取り囲むように履歴画像が位置しているので、囲み線304で囲まれた画像を削除しても、現在の識別境界に影響を及ぼすことはないとともに、これから生成されるであろう識別境界に影響を及ぼす可能性も極めて低い。したがって、ステップSH7を経ることで、削除しても識別境界の設定に殆ど影響を及ばさない画像を削除候補画像として使用者に提示することができる。ステップSH8、SH9は、図36に示すフローチャートのステップSF6、SF7と同じである。
That is, on the feature space, it is determined that the history image that is at least a predetermined distance away from the identification boundary and the neighboring images plotted near the history image do not contribute to the setting of the identification boundary based on the relative relationship. The image is presented to the user as a deletion candidate image. Specifically, in the case of the feature amount space shown in the upper part of FIG. 40, the non-defective product image surrounded by the
(実施形態の作用効果)
以上説明したように、この実施形態によれば、標準検査モードと学習検査モードとを画像検査装置1に実装し、検査モードを切り替えることでいずれの検査モードでも検査を実行することができ、各々の検査モードの長所を活かした検査を行うことができる。
(Action and effect of the embodiment)
As described above, according to this embodiment, the standard inspection mode and the learning inspection mode are implemented in the
標準検査モードの設定モード時にマスター画像を撮像する際には、撮像条件の設定、画像処理ツールの選択を行うことができるとともに、この画像処理ツールを適用する範囲を検査用ウィンドウによって規定し、さらに、画像処理ツールのパラメータの調整を行うことができる。つまり、標準検査モード時には、使用者が、撮像条件をはじめ、画像処理ツールの種類、画像処理ツールの適用範囲、画像処理ツールのパラメータ調整を行うことができるので、所望の結果が得られるように、使用者が良否判定基準を制御した上で標準検査モードを実行することができる。例えば、標準検査モードでは、画像内の検査対象物の様々な特徴量(色、エッジ、位置等)に基づいて検査対象物の良否の判定を行うことができる。 When capturing a master image in the setting mode of the standard inspection mode, it is possible to set the imaging conditions and select an image processing tool. , adjustment of the parameters of the image processing tools can be performed. In other words, in the standard inspection mode, the user can adjust the imaging conditions, the type of image processing tool, the scope of application of the image processing tool, and the parameters of the image processing tool, so that the desired result can be obtained. , the standard inspection mode can be performed with the user controlling the pass/fail criteria. For example, in the standard inspection mode, it is possible to determine the quality of the inspection object based on various feature amounts (color, edge, position, etc.) of the inspection object in the image.
一方、学習検査モードの設定モード時には、使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像とをそれぞれ登録することができ、登録された良品画像と不良品画像を学習することによって良品画像と不良品画像を識別する識別器を生成することができる。つまり、学習検査モードの設定モード時には、使用者が標準検査モード時に行うような設定や調整は不要になる。 On the other hand, in the setting mode of the learning inspection mode, it is possible to register a non-defective product image to which the attribute as a non-defective product has been assigned by the user and a defective product image to which the attribute as a defective product has been assigned. A discriminator that distinguishes between good and bad images can be generated by learning images and bad images. That is, in the setting mode of the learning inspection mode, the user does not need to make settings and adjustments that are performed in the standard inspection mode.
また、識別器によって良否判定を行った複数の検査対象画像が良否判定結果とともに履歴画像として記憶装置19に記憶され、このとき、複数の履歴画像の良否判定の安定性を示す安定性評価値を算出することができる。その安定性評価値に基づいて、識別器に追加学習させる候補画像を使用者に提示できる。
In addition, a plurality of images to be inspected for which pass/fail judgments have been made by the classifier are stored in the
したがって、記憶装置19に記憶されている履歴画像の数が膨大であっても、使用者は良否判定の安定性に基づいて提示された候補画像の中から追加学習画像を選択することができる。使用者による追加学習画像としての指定が受け付けられると、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習することで識別器を更新することができる。
Therefore, even if the number of history images stored in the
また、良品画像または不良品画像に基づいて、良品らしさまたは不良品らしさを示す判定軸を抽出することができ、この判定軸に基づいて良品らしさまたは不良品らしさを示す判定評価値を算出できる。この判定評価値により、良品としての特徴または不良品としての特徴を有する領域を選択的に強調した検査対象画像を表示できるので、使用者は、学習検査を行う画像検査装置1がどのような判定軸でもって画像識別を行っているのかを把握できる。 Also, based on the non-defective product image or the defective product image, it is possible to extract the judgment axis indicating the non-defective product-likeness or the defective product-likeness, and based on this judgment axis, the judgment evaluation value indicating the non-defective product-likeness or the defective product-likeness can be calculated. Based on this determination evaluation value, it is possible to display an image to be inspected by selectively emphasizing a region having characteristics of a non-defective product or a feature of a defective product. It is possible to grasp whether image identification is performed using the axis.
また、設定モードから運転モードに切り替えられると、新たに撮像された検査対象画像が識別器に入力され、良否判定が行われる。検査対象画像と良否判定結果は、共に表示装置4の運転モード画面に表示されるので、使用者は、検査対象画像と、その画像に対する良否判定結果とを把握することができる。このとき、検査対象画像に対する良否判定結果が正しければ運転モードを継続し、検査対象画像に対する良否判定結果が誤っていれば追加学習を行うことができる。したがって、運転モードから設定モードに切り替えることなく、運転モードのままで追加学習対象の画像を指定し、追加学習させて識別器を更新できる。
Further, when the mode is switched from the setting mode to the operation mode, a newly captured image to be inspected is input to the discriminator, and pass/fail determination is performed. Since both the inspection image and the pass/fail judgment result are displayed on the operation mode screen of the
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。 The above-described embodiments are merely examples in all respects and should not be construed in a restrictive manner. Furthermore, all modifications and changes within the equivalent range of claims are within the scope of the present invention.
以上説明したように、本発明に係る画像検査装置は、検査対象物を撮像した画像に基づいて検査対象物の良否判定を行う場合に使用することができる。 INDUSTRIAL APPLICABILITY As described above, the image inspection apparatus according to the present invention can be used to determine whether an object to be inspected is good or bad based on an image of the object to be inspected.
1 画像検査装置
2 制御ユニット
4 表示装置(表示手段)
13A 制御部
14 カメラモジュール(撮像手段)
15 照明モジュール
21 撮像設定部
23 マスター画像登録部
24 学習画像登録部
25 画像処理ツール選択部
26 パラメータ調整部
27 検査ウィンドウ設定部
28 検査種別選択部
29 モード切替部
30 識別器生成部
31 良否判定部
32 追加学習画像指定部
33 安定性評価値算出部
34 判定軸抽出部
1
15
Claims (9)
使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録手段と、
前記学習画像登録手段で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成手段と、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定手段と、
前記良否判定手段により良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶する記憶手段と、
前記記憶手段に記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する安定性評価値算出手段と、
前記安定性評価値算出手段が算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示手段と、
前記表示手段により提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定手段とを備え、
前記識別器生成手段は、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新するように構成され、
前記安定性評価値算出手段は、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を前記安定性評価値とするように構成され、
前記表示手段は、前記近接度が所定以上の履歴画像を候補画像として使用者に提示するように構成されていることを特徴とする画像検査装置。 In an image inspection apparatus that determines the quality of an inspection object based on an image of the inspection object captured by an imaging means,
learning image registration means for registering a non-defective product image to which the attribute of a non-defective product is assigned by a user and a defective product image to which the attribute of a defective product is assigned;
classifier generating means for learning the non-defective product image and the defective product image registered by the learning image registration means and generating a classifier for identifying the non-defective product image and the defective product image;
a pass/fail determination means for inputting an image to be inspected newly captured by the imaging means into the discriminator and performing a pass/fail determination;
storage means for storing a plurality of images to be inspected for which pass/fail judgments have been made by the pass/fail judgment means as history images together with pass/fail judgment results;
Stability evaluation value calculation means for calculating a stability evaluation value indicating the stability of pass/fail judgment of the plurality of history images stored in the storage means;
display means for presenting a user with a candidate image for additional learning by the classifier based on the stability evaluation value calculated by the stability evaluation value calculation means;
an additional learning image specifying means for accepting a user's specification of an additional learning image from among the candidate images presented by the display means;
The classifier generation means is configured to additionally learn the additional learning image specified by the user as a non-defective product image or a defective product image to update the classifier ,
The stability evaluation value calculation means calculates the degree of proximity between a judgment value indicating the likelihood of a non-defective product or a defective product and a threshold value for distinguishing between a non-defective product and a defective product, and uses the proximity as the stability evaluation value. configured,
The image inspection apparatus, wherein the display means is configured to present the history images with the degree of proximity equal to or higher than a predetermined value as candidate images to the user.
前記表示手段は、複数の候補画像を使用者に提示する場合、前記安定性評価値の順に並べて提示するように構成されていることを特徴とする画像検査装置。 In the image inspection apparatus according to claim 1 ,
The image inspection apparatus, wherein the display means is configured to display the plurality of candidate images in order of the stability evaluation values when presenting the plurality of candidate images to the user.
前記表示手段は、複数の履歴画像を時系列で表示する第1表示形態と、前記識別器に追加学習させる候補画像を使用者に提示する第2表示形態とに切り替え可能に構成されていることを特徴とする画像検査装置。 The image inspection apparatus according to claim 1 or 2 ,
The display means is configured to be switchable between a first display mode that displays a plurality of history images in chronological order and a second display mode that presents a user with candidate images for additional learning by the classifier. An image inspection device characterized by:
前記表示手段は、前記識別器による良品画像と不良品画像との識別境界から所定以上離れた履歴画像を前記記憶手段から削除する削除候補画像として使用者に提示するように構成されていることを特徴とする画像検査装置。 In the image inspection apparatus according to any one of claims 1 to 3 ,
The display means is configured to present to the user history images separated by a predetermined distance or more from a boundary between a non-defective product image and a defective product image determined by the classifier as deletion candidate images to be deleted from the storage means. An image inspection device characterized by:
前記識別器生成手段は、前記学習画像登録手段で登録された良品画像群と不良品画像群を特徴量空間上にプロットするとともに、前記特徴量空間上にプロットされた良品画像群と不良品画像群との間に識別境界を設定することにより、前記識別器を生成するように構成され、
前記表示手段は、追加学習により前記識別器が更新された場合に、前記特徴量空間上において、更新された前記識別器による前記識別境界から所定以上離れた履歴画像を前記記憶手段から削除する削除候補画像として使用者に提示するように構成されていることを特徴とする画像検査装置。 In the image inspection apparatus according to claim 4 ,
The classifier generation means plots the non-defective product image group and the defective product image group registered by the learning image registration means on the feature amount space, and plots the non-defective product image group and the defective product image plotted on the feature amount space. configured to generate the discriminator by setting a discriminative boundary between the group and
When the classifier is updated by additional learning, the display means deletes, from the storage means, history images separated by a predetermined distance or more from the discrimination boundary by the updated classifier in the feature amount space. An image inspection apparatus configured to present a candidate image to a user.
前記表示手段は、前記特徴量空間上において、前記識別境界から所定以上離れた履歴画像と、当該履歴画像の近隣にプロットされた近隣画像との相対関係に基づいて前記識別境界の設定に寄与していないと判定される画像を削除候補画像として使用者に提示するように構成されていることを特徴とする画像検査装置。 In the image inspection apparatus according to claim 5 ,
The display means contributes to the setting of the identification boundary based on the relative relationship between the history image separated from the identification boundary by a predetermined distance or more and neighboring images plotted near the history image in the feature amount space. An image inspection apparatus configured to present an image determined as a deletion candidate image to a user.
使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録手段と、
前記学習画像登録手段で登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成手段と、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定手段と、
前記良否判定手段により良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする安定性評価値算出手段と、
前記安定性評価値算出手段が算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示手段と、
前記表示手段により提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定手段とを備え、
前記識別器生成手段は、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新するように構成され、
前記表示手段は、前記近接度が所定以上の前記検査対象画像を前記候補画像として使用者に提示するように構成されていることを特徴とする画像検査装置。 In an image inspection apparatus that determines the quality of an inspection object based on an image of the inspection object captured by an imaging means,
learning image registration means for registering a non-defective product image to which the attribute of a non-defective product is assigned by a user and a defective product image to which the attribute of a defective product is assigned;
classifier generating means for learning the non-defective product image and the defective product image registered by the learning image registration means and generating a classifier for identifying the non-defective product image and the defective product image;
a pass/fail determination means for inputting an image to be inspected newly captured by the imaging means into the discriminator and performing a pass/fail determination;
Calculating the degree of proximity between a judgment value indicating the likelihood of a non-defective product or the likelihood of a defective product of an image to be inspected for which quality determination has been performed by the quality determining means and a threshold value for distinguishing between a non-defective product and a defective product; Stability evaluation value calculation means for calculating a stability evaluation value indicating the stability of quality judgment of an image;
display means for presenting a user with a candidate image for additional learning by the classifier based on the stability evaluation value calculated by the stability evaluation value calculation means;
an additional learning image specifying means for accepting a user's specification of an additional learning image from among the candidate images presented by the display means;
The classifier generation means is configured to additionally learn the additional learning image specified by the user as a non-defective product image or a defective product image to update the classifier ,
The image inspection apparatus, wherein the display means is configured to present the image to be inspected with the degree of proximity equal to or higher than a predetermined value to the user as the candidate image.
使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録ステップと、
前記学習画像登録ステップで登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成ステップと、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定ステップと、
前記良否判定ステップにより良否判定を行った複数の検査対象画像を良否判定結果とともに履歴画像として記憶する記憶ステップと、
前記記憶ステップで記憶された複数の履歴画像の良否判定の安定性を示す安定性評価値を算出する安定性評価値算出ステップと、
前記安定性評価値算出ステップで算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示ステップと、
前記表示ステップで提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定ステップとを備え、
前記識別器生成ステップでは、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新し、
前記安定性評価値算出ステップでは、良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を前記安定性評価値とし、
前記表示ステップでは、前記近接度が所定以上の履歴画像を候補画像として使用者に提示することを特徴とする画像検査装置の設定方法。 In a setting method of an image inspection apparatus for determining quality of an inspection object based on an image of the inspection object imaged by an imaging means,
a learning image registration step of registering a non-defective product image to which a user has assigned the attribute as a non-defective product and a defective product image to which the attribute as a defective product has been assigned;
A discriminator generation step for learning the non-defective product images and the defective product images registered in the learning image registration step and generating a discriminator for discriminating the non-defective product images and the defective product images;
a pass/fail determination step of inputting an image to be inspected newly captured by the imaging means into the discriminator and performing a pass/fail determination;
a storage step of storing a plurality of images to be inspected for which pass/fail judgments have been made in the pass/fail judgment step as history images together with pass/fail judgment results;
a stability evaluation value calculation step of calculating a stability evaluation value indicating the stability of pass/fail judgment of the plurality of history images stored in the storage step;
a display step of presenting to a user a candidate image for additional learning by the classifier based on the stability evaluation value calculated in the stability evaluation value calculation step;
an additional learning image specifying step of accepting a user's designation as an additional learning image from among the candidate images presented in the displaying step;
In the discriminator generation step, additionally learning an additional learning image specified by a user as a non-defective product image or a defective product image, and updating the discriminator ;
In the stability evaluation value calculation step, the degree of proximity between a judgment value indicating the likelihood of a non-defective product or the likelihood of a defective product and a threshold value for distinguishing between a non-defective product and a defective product is calculated, and the proximity is used as the stability evaluation value,
A setting method for an image inspection apparatus , wherein, in the display step, history images having the degree of proximity equal to or greater than a predetermined value are presented to the user as candidate images .
使用者により良品としての属性が付与された良品画像と、不良品としての属性が付与された不良品画像をそれぞれ登録する学習画像登録ステップと、
前記学習画像登録ステップで登録された良品画像と不良品画像を学習し、良品画像と不良品画像を識別する識別器を生成する識別器生成ステップと、
前記撮像手段により新たに撮像された検査対象画像を前記識別器に入力し、良否判定を行う良否判定ステップと、
前記良否判定ステップで良否判定を行った検査対象画像の良品らしさ又は不良品らしさを示す判定値と、良品と不良品を識別する閾値との近接度を算出し、当該近接度を、当該検査対象画像の良否判定の安定性を示す安定性評価値とする安定性評価値算出ステップと、
前記安定性評価値算出ステップで算出した安定性評価値に基づいて、前記識別器に追加学習させる候補画像を使用者に提示する表示ステップと、
前記表示ステップで提示された候補画像の中から、使用者による追加学習画像としての指定を受け付ける追加学習画像指定ステップとを備え、
前記識別器生成ステップでは、使用者により指定された追加学習画像を、良品画像又は不良品画像として追加学習し、前記識別器を更新し、
前記表示ステップでは、前記近接度が所定以上の前記検査対象画像を前記候補画像として使用者に提示することを特徴とする画像検査装置の設定方法。 In a setting method of an image inspection apparatus for determining quality of an inspection object based on an image of the inspection object imaged by an imaging means,
a learning image registration step of registering a non-defective product image to which a user has assigned the attribute as a non-defective product and a defective product image to which the attribute as a defective product has been assigned;
A discriminator generation step for learning the non-defective product images and the defective product images registered in the learning image registration step and generating a discriminator for discriminating the non-defective product images and the defective product images;
a pass/fail determination step of inputting an image to be inspected newly captured by the imaging means into the discriminator and performing a pass/fail determination;
Calculating the degree of proximity between a judgment value indicating the likelihood of a non-defective product or the likelihood of a defective product of the image to be inspected for which the pass/fail determination was performed in the pass/fail determination step and a threshold for distinguishing between a non-defective product and a defective product; a stability evaluation value calculation step as a stability evaluation value indicating the stability of image quality determination;
a display step of presenting to a user a candidate image for additional learning by the classifier based on the stability evaluation value calculated in the stability evaluation value calculation step;
an additional learning image specifying step of accepting a user's designation as an additional learning image from among the candidate images presented in the displaying step;
In the discriminator generation step, additionally learning an additional learning image specified by a user as a non-defective product image or a defective product image, and updating the discriminator ;
A setting method for an image inspection apparatus , wherein, in the display step, the image to be inspected having the degree of proximity equal to or higher than a predetermined value is presented to the user as the candidate image.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019093208A JP7267094B2 (en) | 2019-05-16 | 2019-05-16 | Image inspection device and image inspection device setting method |
JP2023068728A JP7489523B2 (en) | 2019-05-16 | 2023-04-19 | Image inspection device and method for setting image inspection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019093208A JP7267094B2 (en) | 2019-05-16 | 2019-05-16 | Image inspection device and image inspection device setting method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023068728A Division JP7489523B2 (en) | 2019-05-16 | 2023-04-19 | Image inspection device and method for setting image inspection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020187072A JP2020187072A (en) | 2020-11-19 |
JP7267094B2 true JP7267094B2 (en) | 2023-05-01 |
Family
ID=73220967
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019093208A Active JP7267094B2 (en) | 2019-05-16 | 2019-05-16 | Image inspection device and image inspection device setting method |
JP2023068728A Active JP7489523B2 (en) | 2019-05-16 | 2023-04-19 | Image inspection device and method for setting image inspection device |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023068728A Active JP7489523B2 (en) | 2019-05-16 | 2023-04-19 | Image inspection device and method for setting image inspection device |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7267094B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011192032A (en) | 2010-03-15 | 2011-09-29 | Nippon Steel Corp | Flaw learning device, flaw learning method and computer program |
JP2013142558A (en) | 2012-01-06 | 2013-07-22 | Keyence Corp | Visual inspection device, visual inspection method and computer program |
JP2020125918A (en) | 2019-02-01 | 2020-08-20 | 株式会社キーエンス | Image inspection device |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7176966B2 (en) * | 2019-02-01 | 2022-11-22 | 株式会社キーエンス | Image inspection device |
JP7176965B2 (en) * | 2019-02-01 | 2022-11-22 | 株式会社キーエンス | Image inspection equipment |
-
2019
- 2019-05-16 JP JP2019093208A patent/JP7267094B2/en active Active
-
2023
- 2023-04-19 JP JP2023068728A patent/JP7489523B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011192032A (en) | 2010-03-15 | 2011-09-29 | Nippon Steel Corp | Flaw learning device, flaw learning method and computer program |
JP2013142558A (en) | 2012-01-06 | 2013-07-22 | Keyence Corp | Visual inspection device, visual inspection method and computer program |
JP2020125918A (en) | 2019-02-01 | 2020-08-20 | 株式会社キーエンス | Image inspection device |
Also Published As
Publication number | Publication date |
---|---|
JP7489523B2 (en) | 2024-05-23 |
JP2020187072A (en) | 2020-11-19 |
JP2023090768A (en) | 2023-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7271306B2 (en) | Image inspection device and image inspection device setting method | |
JP7448710B2 (en) | Image inspection device and how to set up the image inspection device | |
JP7176965B2 (en) | Image inspection equipment | |
JP7287791B2 (en) | Image inspection device | |
JP7176966B2 (en) | Image inspection device | |
US11301978B2 (en) | Defect inspection device, defect inspection method, and computer readable recording medium | |
JP2020187657A (en) | Image inspection device | |
JP2018156674A (en) | Image recognition apparatus and commodity information processing apparatus | |
US10768118B2 (en) | Surface defect inspection device and method | |
JP2020187656A (en) | Image inspection device | |
JP7308656B2 (en) | Image inspection device | |
JP7267094B2 (en) | Image inspection device and image inspection device setting method | |
JP2020016471A (en) | Image inspection device | |
EP4075391A1 (en) | Apparatus and method for generating virtual model | |
JP7282551B2 (en) | Information processing device, information processing method and program | |
CN110274911B (en) | Image processing system, image processing apparatus, and storage medium | |
JP7080123B2 (en) | Image inspection equipment | |
JP2020187655A (en) | Image inspection device | |
US20230418452A1 (en) | Inspection setting device | |
JP2023077055A (en) | Appearance inspection device and appearance inspection method | |
JP6459528B2 (en) | Image correction apparatus, image correction system, image correction method, and image correction program | |
JP2024004254A (en) | Inspection setting device | |
JP2023077056A (en) | Appearance inspection device and appearance inspection method | |
JP2023026342A (en) | Information processor, information processing method, and program | |
JP2020187654A (en) | Image inspection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230313 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230419 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7267094 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |