WO2019194064A1 - Image processing device, image processing method, appearance inspection system, and appearance inspection method - Google Patents
Image processing device, image processing method, appearance inspection system, and appearance inspection method Download PDFInfo
- Publication number
- WO2019194064A1 WO2019194064A1 PCT/JP2019/013557 JP2019013557W WO2019194064A1 WO 2019194064 A1 WO2019194064 A1 WO 2019194064A1 JP 2019013557 W JP2019013557 W JP 2019013557W WO 2019194064 A1 WO2019194064 A1 WO 2019194064A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pixel
- defective
- inspection
- area
- statistic
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Abstract
[Problem] To provide a novel image processing device, appearance inspection system, and computer program that can be used for appearance inspection. [Solution] This image processing device (10) comprises a processor (10) and memory (12) that stores a program that controls the activity of the processor. The processor: acquires data for an image that includes an inspection region of an inspection target; acquires, from the data for the image, pixel values for pixel locations within the inspection region; acquires statistics from a learned quality product database, the statistics having been determined on the basis of data for images that include reference regions of a plurality of respective quality products and having been defined by the average and standard deviation of pixel values for pixel locations within the reference regions; compares pixel values with the statistics and classifies pixels as either quality product pixels or defect pixels; determines whether the inspection target is a quality product on the basis of the arrangement of pixels that have been classified as defect pixels; and, when a user has made a request, updates the statistics using pixel values for pixel locations within a partial region of a reference region of a quality product that is not among the plurality of quality products.
Description
本願は、外観検査に用いられ得る画像処理装置、画像処理方法、外観検査システムおよび外観検査方法に関している。また、本願は、画像処理に使われるコンピュータプログラムにも関している。
The present application relates to an image processing apparatus, an image processing method, an appearance inspection system, and an appearance inspection method that can be used for appearance inspection. The present application also relates to a computer program used for image processing.
工場などの製造現場では、製造された完成品または部品の外観に現れた欠陥、傷、異物、および汚れを目視検査によって検出することが行われている。このような外観検査を機械化または自動化するため、さまざまな画像処理技術が開発されている。
2. Description of the Related Art In manufacturing sites such as factories, defects, scratches, foreign matter, and dirt appearing on the appearance of manufactured finished products or parts are detected by visual inspection. Various image processing techniques have been developed to mechanize or automate such appearance inspection. *
特開２００６－３０８５３５号公報は、ＣＣＤカメラなどの撮像装置によって画像を取得し、画像を良品学習方式で解析することにより、欠陥を検出する欠陥検出装置を開示している。この欠陥検出装置は、不良箇所を除いて学習する機能を有している。
Japanese Patent Application Laid-Open No. 2006-308535 discloses a defect detection device that detects a defect by acquiring an image with an imaging device such as a CCD camera and analyzing the image using a non-defective learning method. This defect detection apparatus has a function of learning except for defective portions.
複数の良品見本に基づいて用意された学習データを更新したい場合が生じる。例えば、「良品」に分類されるべき被検査物が、現在の学習データに基づいて「不良品」に部類されたとき、その被検査物の画像データを良品見本（良品限度見本）として学習データに追加したいことがある。しかし、特開２００６－３０８５３５号公報に開示されているような従来の欠陥検出装置は、そのような学習画像データの更新機能を有していない。また、本発明者の検討によると、「不良品」に分類された被検査物の画像データを良品見本として学習画像データに追加すると、学習データの内容に予想外の変動が生じる可能性があることもわかった。
There is a case where it is desired to update learning data prepared based on a plurality of non-defective samples. For example, when an object to be classified as “non-defective” is classified as “defective” based on the current learning data, the image data of the inspected object is learned data as a good sample (non-defective sample). You may want to add to However, the conventional defect detection apparatus as disclosed in Japanese Patent Laid-Open No. 2006-308535 does not have such a learning image data update function. Further, according to the study of the present inventor, when the image data of the inspected object classified as “defective product” is added to the learning image data as a non-defective sample, the content of the learning data may be changed unexpectedly. I also understood that. *
本開示の実施形態は、外観検査に用いられ得る新しい画像処理装置、画像処理方法、外観検査システム、外観検査方法、およびコンピュータプログラムを提供する。
Embodiments of the present disclosure provide a new image processing apparatus, an image processing method, an appearance inspection system, an appearance inspection method, and a computer program that can be used for appearance inspection.
本開示の画像処理装置は、例示的な実施形態において、プロセッサと、前記プロセッサの動作を制御するプログラムを記憶するメモリと、学習済み良品データベースとを備える。前記プログラムに従って、前記プロセッサは、被検査物が有する検査領域を含む画像のデータを取得すること、前記画像のデータから前記検査領域内の各画素位置における画素値を取得すること、複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量であって、前記参照領域内の各画素位置における画素値の平均値および標準偏差によって規定される統計量を、前記学習済み良品データベースから取得すること、前記検査領域内の各画素位置における前記画素値を前記統計量と比較して、前記検査領域内の各画素を良品画素および欠陥画素の一方に分類すること、前記欠陥画素に分類された画素の配列に基づいて、前記被検査物が良品であるか否かを判別すること、ユーザからの要求があったとき、前記複数の良品とは異なる良品が有する参照領域の一部領域内の各画素位置における画素値によって、前記統計量を更新することを実行する。
In an exemplary embodiment, the image processing apparatus according to the present disclosure includes a processor, a memory that stores a program that controls the operation of the processor, and a learned good product database. In accordance with the program, the processor acquires data of an image including an inspection area of the inspection object, acquires pixel values at each pixel position in the inspection area from the image data, a plurality of non-defective products A statistic determined based on image data including a reference region that each has, and a statistic defined by an average value and a standard deviation of pixel values at each pixel position in the reference region. Obtaining from a non-defective product database, comparing the pixel value at each pixel position in the inspection region with the statistic, and classifying each pixel in the inspection region as one of a good pixel and a defective pixel, the defect Based on the arrangement of the pixels classified as pixels, it is determined whether or not the inspection object is a non-defective product. Of non-defective by the pixel value at each pixel position of a portion within the area of the reference regions with different non-defective, executes updating the statistics. *
本開示の画像処理装置は、例示的な実施形態において、上記の画像処理装置と、前記被検査物を光で照射する光源と、前記画像のデータを生成するための画像信号を出力するイメージセンサと、前記画像処理装置が備える前記プロセッサが実行した判別の結果、および、前記欠陥画素に分類された前記画素の配列を表示するモニタとを備える。
In an exemplary embodiment, an image processing apparatus according to the present disclosure includes the above-described image processing apparatus, a light source that irradiates the inspection object with light, and an image sensor that outputs an image signal for generating the image data. And a monitor that displays a result of determination performed by the processor included in the image processing apparatus and an array of the pixels classified as the defective pixels. *
本開示の画像処理方法は、例示的な実施形態において、外観検査に用いられる画像処理方法であって、被検査物が有する検査領域を含む画像のデータを取得すること、前記画像のデータから前記検査領域内の各画素位置における画素値を取得すること、複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量であって、前記参照領域内の各画素位置における画素値の平均値および標準偏差によって規定される統計量を、前記学習済み良品データベースから取得すること、前記検査領域内の各画素位置における前記画素値を前記統計量と比較して、前記検査領域内の各画素を良品画素および欠陥画素の一方に分類すること、前記欠陥画素に分類された画素の配列に基づいて、前記被検査物が良品であるか否かを判別すること、ユーザからの要求があったとき、前記複数の良品とは異なる良品が有する参照領域の一部領域内の各画素位置における画素値によって、前記統計量を更新することを含む。
In an exemplary embodiment, the image processing method of the present disclosure is an image processing method used for an appearance inspection, obtaining image data including an inspection region of an inspection object, and the image data from the image data Obtaining a pixel value at each pixel position in the inspection region, a statistic determined based on image data including a reference region included in each of the plurality of non-defective products, and at each pixel position in the reference region Obtaining a statistic defined by an average value and a standard deviation of pixel values from the learned non-defective product database; comparing the pixel value at each pixel position in the inspection region with the statistic; and Classifying each of the pixels into one of a non-defective pixel and a defective pixel, and based on the arrangement of the pixels classified as the defective pixel, whether or not the inspection object is a non-defective product To another, when there is a request from a user, includes the pixel value at each pixel position of a portion within the area of the reference regions with different non-defective from said plurality of non-defective, updating the statistics. *
本開示の外観検査方法は、例示的な実施形態において、被検査物が有する検査領域を含む画像のデータを取得すること、前記画像のデータから前記検査領域内の各画素位置における画素値を取得すること、複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量であって、前記参照領域内の各画素位置における画素値の平均値および標準偏差によって規定される統計量を、前記学習済み良品データベースから取得すること、前記検査領域内の各画素位置における前記画素値を前記統計量と比較して、前記検査領域内の各画素を良品画素および欠陥画素の一方に分類すること、前記欠陥画素に分類された画素の配列に基づいて、前記被検査物が良品であるか否かを判別すること、前記複数の良品とは異なる良品が有する参照領域の一部領域内の各画素位置における画素値によって、前記統計量を更新することを含む。
In an exemplary embodiment, an appearance inspection method of the present disclosure acquires data of an image including an inspection area of an inspection object, and acquires pixel values at each pixel position in the inspection area from the image data. A statistical amount determined based on image data including a reference area included in each of a plurality of non-defective products, and is defined by an average value and a standard deviation of pixel values at each pixel position in the reference area Obtaining a statistic from the learned good database, comparing the pixel value at each pixel position in the inspection area with the statistic, and determining whether each pixel in the inspection area is a non-defective pixel or a defective pixel. Classifying the detected object into non-defective products based on an array of pixels classified as defective pixels, and different non-defective products from the plurality of non-defective products. The pixel value at each pixel position of a portion within the area of the reference area having, including updating the statistics. *
本開示のコンピュータプログラムは、例示的な実施形態において、被検査物が有する検査領域を含む画像のデータを取得すること、前記画像のデータから前記検査領域内の各画素位置における画素値を取得すること、複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量であって、前記参照領域内の各画素位置における画素値の平均値および標準偏差によって規定される統計量を、前記学習済み良品データベースから取得すること、前記検査領域内の各画素位置における前記画素値を前記統計量と比較して、前記検査領域内の各画素を良品画素および欠陥画素の一方に分類すること、前記欠陥画素に分類された画素の配列に基づいて、前記被検査物が良品であるか否かを判別すること、ユーザからの要求があったとき、前記複数の良品とは異なる良品が有する参照領域の一部領域内の各画素位置における画素値によって、前記統計量を更新することをコンピュータに実行させる。
In an exemplary embodiment, the computer program according to the present disclosure acquires image data including an inspection region included in an inspection object, and acquires pixel values at each pixel position in the inspection region from the image data. A statistic determined based on image data including a reference region included in each of a plurality of non-defective products, and defined by an average value and a standard deviation of pixel values at each pixel position in the reference region Obtaining a quantity from the learned good database, comparing the pixel value at each pixel position in the inspection area with the statistic, and setting each pixel in the inspection area to one of a good pixel and a defective pixel Classification, determining whether or not the inspection object is a non-defective product based on an array of pixels classified as the defective pixels, and a request from the user When Tsu, by the pixel value at each pixel position of a portion within the area of the reference regions with different non-defective from said plurality of non-defective, to execute updating the statistic computer.
本開示の実施形態によれば、被検査物の画像から選択された領域を利用して学習データを更新する、新しい画像処理装置、画像処理方法、外観検査システム、外観検査方法、およびコンピュータプログラムが提供される。
According to an embodiment of the present disclosure, there is provided a new image processing apparatus, image processing method, appearance inspection system, appearance inspection method, and computer program that update learning data using an area selected from an image of an inspection object. Provided. *
また、本開示の実施形態によれば、被検査物の画像から選択された領域を利用して金型の劣化程度を推定する、新しい画像処理装置、画像処理方法、外観検査システム、外観検査方法、およびコンピュータプログラムが提供される。
Further, according to the embodiment of the present disclosure, a new image processing apparatus, an image processing method, an appearance inspection system, and an appearance inspection method for estimating the degree of deterioration of a mold using an area selected from an image of an inspection object And a computer program are provided.
＜第１の実施形態＞ 本開示の画像処理装置は、非限定的で例示的な実施形態において、プロセッサと、プロセッサの動作を制御するプログラムを記憶するメモリと、学習済み良品データベースとを備える。プロセッサは、プログラムに従って、以下の処理を実行する。
First Embodiment An image processing apparatus according to the present disclosure includes a processor, a memory that stores a program for controlling the operation of the processor, and a learned good product database in a non-limiting exemplary embodiment. The processor executes the following processing according to the program. *
（１）被検査物が有する検査領域を含む画像のデータを取得する。
(1) Acquire image data including an inspection area of the inspection object. *
（２）画像のデータから検査領域内の各画素位置における画素値を取得する。
(2) The pixel value at each pixel position in the inspection area is acquired from the image data. *
（３）複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量であって、参照領域内の各画素位置における画素値の平均値および標準偏差によって規定される統計量を、学習済み良品データベースから取得する。
(3) A statistic determined based on image data including a reference area included in each of a plurality of non-defective products, and is defined by an average value and a standard deviation of pixel values at each pixel position in the reference area. Get the quantity from the learned good database. *
（４）検査領域内の各画素位置における画素値を統計量と比較して、検査領域内の各画素を良品画素および欠陥画素の一方に分類する。
(4) The pixel value at each pixel position in the inspection area is compared with a statistic, and each pixel in the inspection area is classified into one of a good pixel and a defective pixel. *
（５）欠陥画素に分類された画素の配列に基づいて、被検査物が良品であるか否かを判別する。
(5) Based on the arrangement of the pixels classified as defective pixels, it is determined whether or not the inspection object is a non-defective product. *
（６）ユーザからの要求があったとき、複数の良品とは異なる良品が有する参照領域の一部領域内の各画素位置における画素値によって、前記統計量を更新する。
(6) When there is a request from the user, the statistic is updated with the pixel value at each pixel position in a partial area of the reference area of a non-defective product different from a plurality of non-defective products. *
図１は、本開示の外観検査システムの構成例を示すブロック図である。図示されている例において、外観検査システム１０００は、プロセッサ１０およびメモリ１２を有する画像処理装置１００を備える。プロセッサ１０は、例えば中央演算処理装置（ＣＰＵ）またはデジタル信号処理プロセッサなどの集積回路（ＩＣ）チップであり得る。メモリ１２は、プロセッサ１０の動作を制御するコンピュータプログラムを格納した記録媒体である。メモリ１２は、単一の記録媒体である必要はなく、複数の記録媒体の集合であり得る。メモリ１２は、例えばＲＡＭなどの半導体揮発性メモリ、フラッシュＲＯＭなどの半導体不揮発性メモリ、およびハードディスクドライブなどのストレージ装置を含み得る。メモリ１２の少なくとも一部は、取り外し可能な記録媒体であってもよい。メモリ１２は、ある実施形態において、良品／不良品判定に使用され得る「学習済み良品データ」を記憶している。プロセッサ１０は、メモリ１２とは別に、クラウド上のサーバまたはデータベース装置に有線または無線によって接続されていてもよい。この場合、サーバまたはデータベース装置が学習済み良品データを記憶していてもよい。
FIG. 1 is a block diagram illustrating a configuration example of an appearance inspection system according to the present disclosure. In the illustrated example, the appearance inspection system 1000 includes an image processing apparatus 100 having a processor 10 and a memory 12. The processor 10 may be an integrated circuit (IC) chip such as a central processing unit (CPU) or a digital signal processor, for example. The memory 12 is a recording medium that stores a computer program that controls the operation of the processor 10. The memory 12 does not have to be a single recording medium, and can be a collection of a plurality of recording media. The memory 12 may include a storage device such as a semiconductor volatile memory such as a RAM, a semiconductor nonvolatile memory such as a flash ROM, and a hard disk drive. At least a part of the memory 12 may be a removable recording medium. The memory 12 stores “learned non-defective product data” that can be used for non-defective / defective product determination in an embodiment. Apart from the memory 12, the processor 10 may be connected to a server or a database device on the cloud by wire or wirelessly. In this case, the server or the database device may store the learned good data. *
外観検査システム１０００は、更に、光源２０と、イメージセンサ（撮像装置）３０と、ディスプレイ４０と、操作装置５０とを備える。
The appearance inspection system 1000 further includes a light source 20, an image sensor (imaging device) 30, a display 40, and an operation device 50. *
光源２０は、被検査物（検査対象）を光で照射する照明装置である。被検査物は、外観検査の対象となるさまざまな製品または部品などの各種の物品である。以下、被検査物を「ワーク」と称する場合がある。光源２０は、例えば多数の白色ＬＥＤ素子が面状またはリング状に配列されたＬＥＤ照明ユニットであり得る。光源２０は不図示の点灯回路を備えている。ある実施形態において、光源２０は同軸落射照明を可能にするように配置される。光源２０が放射する光の波長（色）は、特に限定されないが、検査対象に応じて選択され得る。光の偏光状態は、偏光または非偏光のいずれであってもよいが、良品学習時と検査時とで偏光状態が変化していないことが望ましい。図１の例において、光源
２０はプロセッサ１０に接続されているが、このような接続は不可欠ではない。光源２０のオン／オフおよび照度調整などの動作は、プロセッサ１０を介することなく、光源２０の点灯回路に対してユーザから直接に行われてもよい。 Thelight source 20 is an illumination device that irradiates an inspection object (inspection object) with light. The inspected objects are various articles such as various products or parts to be subjected to appearance inspection. Hereinafter, the inspected object may be referred to as “workpiece”. The light source 20 may be, for example, an LED lighting unit in which a large number of white LED elements are arranged in a planar shape or a ring shape. The light source 20 includes a lighting circuit (not shown). In certain embodiments, the light source 20 is arranged to allow coaxial epi-illumination. The wavelength (color) of the light emitted from the light source 20 is not particularly limited, but can be selected according to the inspection object. The polarization state of light may be either polarization or non-polarization, but it is desirable that the polarization state does not change between non-defective learning and inspection. In the example of FIG. 1, the light source 20 is connected to the processor 10, but such a connection is not essential. Operations such as on / off of the light source 20 and illuminance adjustment may be performed directly from the user on the lighting circuit of the light source 20 without going through the processor 10.
２０はプロセッサ１０に接続されているが、このような接続は不可欠ではない。光源２０のオン／オフおよび照度調整などの動作は、プロセッサ１０を介することなく、光源２０の点灯回路に対してユーザから直接に行われてもよい。 The
撮像装置３０は、被検査対物の画像のデータを生成するための画像信号を出力する装置である。画像信号は、有線または無線により、プロセッサ１０に送られる。撮像装置３０の典型例は、多数のフォトダイオードが行列状に配列されたＣＭＯＳイメージセンサまたはＣＣＤイメージセンサなどのエリアセンサを備えるカメラである。撮像装置３０は、被検査物のカラー画像またはモノクローム画像のデータを生成する。撮像装置３０には、外観検査用の各種カメラを使用することができる。
The imaging device 30 is a device that outputs an image signal for generating image data of an object to be inspected. The image signal is sent to the processor 10 by wire or wireless. A typical example of the imaging device 30 is a camera including an area sensor such as a CMOS image sensor or a CCD image sensor in which a large number of photodiodes are arranged in a matrix. The imaging device 30 generates color image data or monochrome image data of the inspection object. Various cameras for visual inspection can be used for the imaging device 30. *
ディスプレイ４０は、画像処理装置１００が実行した判別の結果などを表示する装置である。ディスプレイ４０は、モニタと称されることもあり、撮像装置３０によって取得された画像を表示することもできる。
The display 40 is a device that displays the result of determination performed by the image processing apparatus 100. The display 40 may be referred to as a monitor, and can display an image acquired by the imaging device 30. *
操作装置５０は、選択領域の指定を含むユーザからの入力を受け取り、プロセッサ１０に与える入力デバイスである。操作装置５０の例は、タッチパネル、マウスおよび／またはキーボードである。ディスプレイ４０および操作装置５０は、プロセッサ１０に有線によって常に接続されている必要はなく、通信インタフェースを介して無線または有線によって必要なときだけ接続されていてもよい。ディスプレイ４０および操作装置５０は、ユーザが携帯する端末装置またはスマートフォンであってもよい。
The operation device 50 is an input device that receives an input from a user including designation of a selection area and gives the input to the processor 10. Examples of the operation device 50 are a touch panel, a mouse, and / or a keyboard. The display 40 and the operation device 50 do not always have to be connected to the processor 10 by wire, and may be connected only when necessary by radio or wire through the communication interface. The display 40 and the operation device 50 may be a terminal device or a smartphone carried by the user. *
図２は、外観検査システム１０００の一部の構成例を模式的に示す図である。光源２０および撮像装置３０は、筐体１２０の内部において、サポート部材６０によって支持されている。被検査物であるワーク７０は、移送台６２に乗せられ、把持機構によって移送台６２に固定される。移送台６２は、ワーク７０を乗せたまま、搬送ステージ６４によって水平方向に移動可能である。移送台６２が光源２０の真下に位置しているとき、光源２０からワーク７０に対する同軸落射照明が行われる。照明が行われている間に撮像装置３０は、ワーク７０の撮像を行う。ワーク７０は、ロボットアームに把持されて撮像ポジションに置かれてもよい。
FIG. 2 is a diagram schematically showing a configuration example of a part of the appearance inspection system 1000. The light source 20 and the imaging device 30 are supported by a support member 60 inside the housing 120. A work 70 as an object to be inspected is placed on the transfer table 62 and fixed to the transfer table 62 by a gripping mechanism. The transfer table 62 can be moved in the horizontal direction by the transfer stage 64 with the work 70 placed thereon. When the transfer table 62 is located directly below the light source 20, coaxial incident illumination from the light source 20 to the work 70 is performed. While the illumination is performed, the imaging device 30 captures an image of the work 70. The workpiece 70 may be held by the robot arm and placed at the imaging position. *
撮像によって取得された画像のデータは、撮像装置３０から図１の画像処理装置１００に送られる。１回の撮像によって取得される画像の画素数は、例えば３０万画素から５０００万画素である。図１の画像処理装置１００、ディスプレイ４０および操作装置５０は、汎用的なデジタルコンピュータシステム、例えばパーソナルコンピュータによって実現され得る。
Image data acquired by imaging is sent from the imaging device 30 to the image processing device 100 of FIG. The number of pixels of an image acquired by one imaging is, for example, 300,000 to 50 million pixels. The image processing apparatus 100, the display 40, and the operation apparatus 50 in FIG. 1 can be realized by a general-purpose digital computer system, for example, a personal computer. *
画像データを取得した画像処理装置１００は、前述した処理を実行してワーク７０の外観検査を実行する。以下、この処理の内容をより詳しく説明する。
The image processing apparatus 100 that has acquired the image data performs the above-described processing and performs an appearance inspection of the work 70. Hereinafter, the contents of this process will be described in more detail. *
図３Ａを参照する。図３Ａは、本実施形態による画像処理における手順の一部の例を示すフローチャートである。
Refer to FIG. 3A. FIG. 3A is a flowchart illustrating an example of a part of a procedure in image processing according to the present embodiment. *
まず、ステップＳ１２において、プロセッサ１０は、ワーク７０の画像データを取得する。画像データは、例えば図４に模式的に示されるように、ワーク７０の像を含むフレーム画像である。現実の画像は、ワーク７０の表面が有する凹凸および模様を反映した２５６階調の画素値（「明るさ」または「グレースケール」の値）の配列である。画素値を輝度値または濃度と称する場合がある。
First, in step S <b> 12, the processor 10 acquires image data of the work 70. The image data is a frame image including an image of the work 70, as schematically shown in FIG. The actual image is an array of 256-gradation pixel values (“brightness” or “grayscale” values) reflecting the unevenness and pattern of the surface of the work 70. The pixel value may be referred to as a luminance value or density. *
１枚のフレーム画像には、ワーク７０以外に移送台６２の一部が背景７０Ｂとして含まれ得る。図４の例において、線８２Ｌによって囲まれた領域８２が「検査領域」である。１枚のフレーム画像は、複数の検査領域８２を含んでいてもよい。ワーク７０の位置は、フレーム画像内において予め決められた位置に整合するようにアライメントが実行される。このアライメントは、ワーク７０の複数の基準点を撮像装置３０の視野における複数の基準点に一致させることである。このようなアライメントの第１段階は、撮像装置３０のレンズ光軸に対するワーク７０の物理的な配置関係を調整することである。アライメントの第２段階は、撮像された画像の画素位置（座標）を調整することである。第２段階のアライメントは、画像処理技術によって画像の並進、回転、拡大および／または縮小などを行うことを含む。このようなアライメントの結果、各ワーク７０の検査領域８２は、常に線８２Ｌによって囲まれた領域に整合する。こうして、同じ品種に属する各ワーク７０の検査領域８２の画像は、画素単位で良品見本の画像と比較することが可能になる。
One frame image may include a part of the transfer table 62 in addition to the work 70 as the background 70B. In the example of FIG. 4, an area 82 surrounded by a line 82 </ b> L is an “inspection area”. One frame image may include a plurality of inspection regions 82. Alignment is performed so that the position of the work 70 is aligned with a predetermined position in the frame image. This alignment is to match a plurality of reference points of the work 70 with a plurality of reference points in the field of view of the imaging device 30. The first stage of such alignment is to adjust the physical positional relationship of the work 70 with respect to the lens optical axis of the imaging device 30. The second stage of alignment is to adjust the pixel position (coordinates) of the captured image. The second stage alignment includes translating, rotating, enlarging and / or reducing the image by an image processing technique. As a result of such alignment, the inspection area 82 of each workpiece 70 is always aligned with the area surrounded by the line 82L. In this way, the image of the inspection area 82 of each workpiece 70 belonging to the same product type can be compared with the image of the good sample on a pixel basis. *
図３ＡのステップＳ１４において、プロセッサ１０は、画像データから検査領域８２内の画素値を取得する。座標（ｉ，ｊ）の位置にある画素の画素値をＶ（ｉ，ｊ）で表現することができる。座標（ｉ，ｊ）は、例えばｊ行ｉ列の画素位置を示す。ここでｉおよびｊは、それぞれ、正の整数である。画像データが例えば６４０×４８０画素の配列から構成される場合、１≦ｉ≦６４０、１≦ｊ≦４８０の関係を満たすが、検査領域８２の外側に位置する画素の画素値は以下の処理に不要である。画素値は、例えば２５６階調の明るさを示す数値（輝度値）であるが、画素単位の他の特徴量であってもよい。以下、座標（ｉ，ｊ）の位置にある画素を画素（ｉ，ｊ）と称する場合がある。
In step S14 of FIG. 3A, the processor 10 acquires the pixel value in the inspection region 82 from the image data. The pixel value of the pixel at the position of the coordinate (i, j) can be expressed by V (i, j). The coordinates (i, j) indicate, for example, the pixel position of j rows and i columns. Here, i and j are each a positive integer. For example, when the image data is composed of an array of 640 × 480 pixels, the relationship of 1 ≦ i ≦ 640 and 1 ≦ j ≦ 480 is satisfied, but the pixel values of pixels located outside the inspection region 82 are subjected to the following processing. It is unnecessary. The pixel value is, for example, a numerical value (luminance value) indicating the brightness of 256 gradations, but may be another feature amount in pixel units. Hereinafter, the pixel at the position of coordinates (i, j) may be referred to as pixel (i, j). *
ステップＳ１６において、プロセッサ１０は、学習済み良品データベースから参照領域の画素値の統計量を取得する。この統計量は、複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量である。より詳細には、この統計量は、ワーク７０の検査領域と対比されるべき参照領域内の各画素位置における画素値の平均値および標準偏差によって規定される。学習済み良品データベースは、例えばＮ枚（Ｎは２以上の整数）の良品画像に基づいて作製され得る。Ｎは、好ましくは１０以上、例えば２０以上であり得る。予めＮ枚の良品画像から画素（ｉ，ｊ）の平均画素値μ（ｉ，ｊ）および標準偏差σ（ｉ，ｊ）が算出されており、平均画素値μ（ｉ，ｊ）および標準偏差σ（ｉ，ｊ）が学習済み良品データベースに含められている。
In step S <b> 16, the processor 10 acquires the statistic of the pixel value of the reference area from the learned good product database. This statistic is a statistic determined based on image data including a reference area included in each of a plurality of non-defective products. More specifically, this statistic is defined by the average value and standard deviation of the pixel values at each pixel position in the reference area to be compared with the inspection area of the work 70. The learned good product database may be created based on, for example, N (N is an integer of 2 or more) good product images. N may preferably be 10 or more, for example 20 or more. An average pixel value μ (i, j) and standard deviation σ (i, j) of a pixel (i, j) are calculated in advance from N non-defective images, and the average pixel value μ (i, j) and standard deviation are calculated. σ (i, j) is included in the learned good product database. *
Ｎ枚の良品見本画像（マスタまたはレファレンス）から取得される平均画素値μ（ｉ，ｊ）は、以下の式によって算出される。ここで、Ｖｎ（ｉ，ｊ）は、ｎ番目の良品見本画像における画素（ｉ，ｊ）の画素値である。
The average pixel value μ (i, j) acquired from the N good sample images (master or reference) is calculated by the following equation. Here, V n (i, j) is a pixel value of the pixel (i, j) in the nth non-defective sample image.
標準偏差σ（ｉ，ｊ）は、以下の式によって算出される。
The standard deviation σ (i, j) is calculated by the following formula.
この式の左辺は分散σ２であるため、分散の平方根が標準偏差σ（ｉ，ｊ）である。
Since the left side of this equation is the variance σ 2 , the square root of the variance is the standard deviation σ (i, j).
ステップＳ１８において、プロセッサ１０は良品画素および欠陥画素の分類を行う。具体的には、プロセッサ１０は、ワークの検査領域内における各画素（ｉ，ｊ）の画素値Ｖ（ｉ，Ｊ）を学習済み良品データベースから取得した平均画素値μ（ｉ，ｊ）と比較して、Ｖ（ｉ，Ｊ）－μ（ｉ，ｊ）の絶対値を偏差として求める。この偏差が閾値Ｔを超えたとき、その画素（ｉ，ｊ）を欠陥画素に分類し、偏差が閾値Ｔ以下のとき、画素（ｉ，ｊ）を良品画素に分類する。ここで、閾値Ｔは、例えば係数ｋ×σ（ｉ，ｊ）である。係数ｋは予め定められた正の定数であり、全ての画素（ｉ，ｊ）に共通して同じ値が与えられている。係数ｋは例えば２以上５以下の範囲内に設定され得る。係数ｋを大きくすると、良品画素に分類されるやすくなる。係数ｋの決定は、しばしば試行錯誤によって行われ得る。
In step S18, the processor 10 classifies non-defective pixels and defective pixels. Specifically, the processor 10 compares the pixel value V (i, J) of each pixel (i, j) in the work inspection area with the average pixel value μ (i, j) acquired from the learned good product database. Then, an absolute value of V (i, J) −μ (i, j) is obtained as a deviation. When this deviation exceeds the threshold T, the pixel (i, j) is classified as a defective pixel, and when the deviation is equal to or less than the threshold T, the pixel (i, j) is classified as a non-defective pixel. Here, the threshold T is, for example, a coefficient k × σ (i, j). The coefficient k is a predetermined positive constant, and the same value is given to all the pixels (i, j). The coefficient k can be set within a range of 2 to 5, for example. When the coefficient k is increased, the pixel is easily classified as a non-defective pixel. The determination of the coefficient k can often be done by trial and error. *
ステップＳ２０において、欠陥画素に分類された画素の配列に基づいて、被検査物が良品であるか否かを判別する。このとき、欠陥画素に分類された画素の配列に対してモルフォロジ処理を行ってもよい。モルフォロジ処理は、例えば孤立した欠陥画素の除去、隣接する欠陥画素の連結を含む。欠陥画素の配列に基づいて被検査物が良品であるか否かを判別するアルゴリズムは、特に限定されない。
In step S20, it is determined whether or not the inspection object is a non-defective product based on the arrangement of the pixels classified as defective pixels. At this time, morphology processing may be performed on the arrangement of pixels classified as defective pixels. The morphology processing includes, for example, removal of isolated defective pixels and connection of adjacent defective pixels. The algorithm for determining whether or not the inspection object is a non-defective product based on the array of defective pixels is not particularly limited. *
このような判別によって良品ではないと判定されたワークが現実には良品であることがある。外観検査装置が「不良品」に分類したワークを、例えば人が目視によって検査した場合、良品限度の範囲内に入ると決論づけられることがある。これは、学習済み良品データベースの基礎となるＮ枚の良品画像が、理想的に優れた良品のみから取得された場合に生じやすい。
A workpiece that is determined to be non-defective by such determination may actually be non-defective. For example, when a person visually inspects a work classified as “defective” by the appearance inspection apparatus, it may be determined that the work falls within the limits of acceptable products. This is likely to occur when N non-defective images that are the basis of a learned good product database are acquired only from ideally good products. *
このため、本開示の実施形態では、本来は良品であるにもかかわらず、良品ではないと判定されたワークの画像を利用して学習済み良品データベースの更新を行う。ただし、本発明者の検討によると、このようなワークの画像の全体を学習済み良品データベースに追加すると、検査領域に含まれる全ての画素について、平均画素値μ（ｉ，ｊ）および標準偏差σ（ｉ，ｊ）が変化し得る。良品ではないと判定されたワークの画像のうち、良品限度の見本となる部分はワークの特定部位に限定されていることが多い。前述したように、係数ｋの決定は、しばしば試行錯誤によって行われ得るため、学習済みデータベースの基礎となっていたＮ枚の良品画像がＮ＋１枚以上の良品画像に増加すると、係数ｋの決定の値を修正することが必要になり得る。
For this reason, in the embodiment of the present disclosure, the learned non-defective product database is updated using an image of a work that is determined to be non-defective even though it is originally non-defective. However, according to the inventor's study, when the entire image of such a workpiece is added to the learned good product database, the average pixel value μ (i, j) and the standard deviation σ are obtained for all the pixels included in the inspection region. (I, j) can vary. Of the images of workpieces that are determined to be non-defective products, the portion that serves as a sample of the non-defective product limit is often limited to a specific part of the workpiece. As described above, since the determination of the coefficient k can often be performed by trial and error, when the number of N good images that has been the basis of the learned database increases to N + 1 or more good images, the coefficient k is determined. It may be necessary to modify the value. *
本開示の実施形態では、上記の問題を解決するため、本来は良品であるにもかかわらず、良品ではないと判定されたワークの画像の一部のみを利用して学習済み良品データベースの更新を行う。以下、この点を更に説明する。
In the embodiment of the present disclosure, in order to solve the above problem, the learned good product database is updated using only a part of the image of the work that is determined to be non-defective even though it is originally good. Do. This point will be further described below. *
次に図３Ｂを参照する。図３Ｂは、本実施形態による画像処理における手順の他の一部の例を示すフローチャートである。
Reference is now made to FIG. FIG. 3B is a flowchart illustrating another example of the procedure in the image processing according to the present embodiment. *
ステップＳ２２において、プロセッサ１０は、ユーザからの要求があったとき、学習済み良品データベースの複数の良品とは異なる良品が有する参照領域の一部領域内の各画素位置における画素値によって、前記統計量を更新する。具体的には、ステップＳ２０で不良品に分類されたワークの画像を「新しい良品」のデータとして採用することをユーザが決定した場合、このステップＳ２２およびそれ以降のステップが実行される。ユーザは、良品限度範囲にあるワークの画像から一部の領域を選択して指定する。このようにして選択された領域は、「不良画素」に分類された画素を含む領域であるが、人の目視などによってワーク自体は良品の基準を満たしていることが確認されている。
In step S <b> 22, when requested by the user, the processor 10 determines the statistic based on the pixel value at each pixel position in a partial area of the reference area which is different from the plurality of non-defective products in the learned non-defective product database. Update. Specifically, when the user decides to adopt the image of the work classified as defective in step S20 as “new good product” data, step S22 and the subsequent steps are executed. The user selects and designates a partial area from the workpiece image within the non-defective product limit range. The region selected in this way is a region including pixels classified as “defective pixels”, but it has been confirmed that the workpiece itself satisfies the standard for non-defective products by visual inspection. *
図５は、「学習済み良品データベースの基礎となった複数の良品（Ｎ枚の良品画像の元となるワーク）」とは異なる良品（ステップＳ２０で「不良品」に分類されたワーク）の画像を模式的に示す図である。図５には、ユーザによって選択可能な複数の領域（ブロックまたはセグメント）９０が示されている。図５の例では、複数の領域９０のうち、破線で囲まれた領域９２の部分のみが学習済み良品データベースの更新に利用される。言い換えると、破線で囲まれた領域９２がユーザによって指定される「新しい良品の参照領域の一部領域」である。プロセッサ１０は、ユーザからの要求に応じて、この新しい良品（良品限度見本）の参照領域から選択された一部領域内の画素値によって、学習済み良品データベースの統計量を更新する。
FIG. 5 shows an image of a non-defective product (work classified as “defective product” in step S20) different from “a plurality of non-defective products that are the basis of the learned non-defective product database”. FIG. FIG. 5 shows a plurality of areas (blocks or segments) 90 that can be selected by the user. In the example of FIG. 5, only a portion of a region 92 surrounded by a broken line among the plurality of regions 90 is used for updating the learned good product database. In other words, an area 92 surrounded by a broken line is a “partial area of a new good reference area” designated by the user. In response to a request from the user, the processor 10 updates the statistics of the learned good product database with the pixel values in a partial region selected from the reference region of the new good product (good product limit sample). *
図５の例では、ユーザが選択し得る領域が複数のブロックに分かれている。しかし、本開示の実施形態は、この例に限定されない。ユーザは、図１の操作装置５０を用いて任意の大きさおよび形状の領域を選択してもよい。選択する領域の個数も任意である。選択の仕方も任意であり、領域の範囲を規定する対角線の両端に位置す
る画素の座標を操作装置５０に入力してもよい。 In the example of FIG. 5, the area that can be selected by the user is divided into a plurality of blocks. However, the embodiment of the present disclosure is not limited to this example. The user may select a region having an arbitrary size and shape using theoperation device 50 of FIG. The number of areas to be selected is also arbitrary. The selection method is also arbitrary, and the coordinates of the pixels located at both ends of the diagonal line defining the range of the region may be input to the controller device 50.
る画素の座標を操作装置５０に入力してもよい。 In the example of FIG. 5, the area that can be selected by the user is divided into a plurality of blocks. However, the embodiment of the present disclosure is not limited to this example. The user may select a region having an arbitrary size and shape using the
再び図３Ｂを参照する。図３ＢのステップＳ２４では、選択領域内画素の画素値によって統計量を更新する。座標（１０１，１５１）、（１０１，２００）、（１７０，２００）、（１７０，１５１）の４点で囲まれた矩形領域がユーザによって選択されたとする。この選択領域のサイズは、７０×５０＝３５００画素である。選択領域内の画素の画素値をＶＮ＋１（ｉ，ｊ）とする。ここで、１０１≦ｉ≦１７０、１５１≦ｊ≦２００である。これらの画素値ＶＮ＋１（ｉ，ｊ）は、学習済み良品データベース内の座標（１０１，１５１）、（１０１，２００）、（１７０，２００）、（１７０，１５１）の４点で囲まれた矩形領域に含まれる各画素の平均画素値μ（ｉ，ｊ）および標準偏差σ（ｉ，ｊ）の更新に利用される。より具体的には、もともと各画素についてＮ個の画素値から平均画素値μ（ｉ，ｊ）が算出されていたとすると、Ｎ×μ（ｉ，ｊ）＋ＶＮ＋１（ｉ，ｊ）の合計値を（Ｎ＋１）によって割ることにより、更新後の平均画素値μ＊（ｉ，ｊ）を算出することができる。更新後の標準偏差σ＊（ｉ，ｊ）は、新しい見本の画素値ＶＮ＋１（ｉ，ｊ）を含む（Ｎ＋１）個の画素値と、更新後の平均画素値μ＊（ｉ，ｊ）に基づいて算出される。
Refer to FIG. 3B again. In step S24 of FIG. 3B, the statistic is updated with the pixel value of the pixel in the selected region. It is assumed that a rectangular area surrounded by four points of coordinates (101, 151), (101, 200), (170, 200), and (170, 151) is selected by the user. The size of this selection area is 70 × 50 = 3500 pixels. Let V N + 1 (i, j) be the pixel value of the pixel in the selected area. Here, 101 ≦ i ≦ 170 and 151 ≦ j ≦ 200. These pixel values V N + 1 (i, j) are surrounded by four points of coordinates (101,151), (101,200), (170,200), and (170,151) in the learned good product database. This is used for updating the average pixel value μ (i, j) and standard deviation σ (i, j) of each pixel included in the rectangular area. More specifically, assuming that an average pixel value μ (i, j) is originally calculated from N pixel values for each pixel, a total value of N × μ (i, j) + V N + 1 (i, j) Is divided by (N + 1), the updated average pixel value μ * (i, j) can be calculated. The updated standard deviation σ * (i, j) includes (N + 1) pixel values including the new sample pixel value V N + 1 (i, j) and the updated average pixel value μ * (i, j). Is calculated based on
図６は、ある特定の画素（ｐ，ｑ）について、更新前における学習済み見本データベース内のＮ個の画素値Ｖｎ（ｐ，ｑ）の分布を模式的に示す図である。グラフの横軸は、画素値Ｖｎ（ｐ，ｑ）の大きさであり、縦軸は画素値Ｖｎ（ｐ，ｑ）の出現頻度である。バーの高さは、その画素値を持つ画素の出現頻度を示している。グラフには、参考のため、正規分布Ｎ（μ、σ２）が記載されている。
FIG. 6 is a diagram schematically illustrating the distribution of N pixel values V n (p, q) in the learned sample database before update for a specific pixel (p, q). The horizontal axis of the graph is the magnitude of the pixel value V n (p, q), and the vertical axis is the appearance frequency of the pixel value V n (p, q). The height of the bar indicates the appearance frequency of the pixel having the pixel value. In the graph, a normal distribution N (μ, σ 2 ) is described for reference.
図７は、画素（ｐ，ｑ）について、更新前（上段）および更新後（下段）における学習済み見本データベース内の画素値Ｖｎ（ｐ，ｑ）の分布を模式的に示す図である。良品限度内にあるのに不良品に分類されたワークの画像から取得した画素値ＶＮ＋１（ｐ，ｑ）を、（Ｎ＋１）番目の良品見本のデータとして追加する。下段には、更新後に分布に対応する正規分布Ｎ（μ＊、σ＊２）が記載されている。この例において、更新後の平均画素値μ＊（ｐ，ｑ）および標準偏差σ＊（ｐ，ｑ）は、それぞれ、更新前の平均画素値μ（ｐ，ｑ）および標準偏差σ（ｐ，ｑ）よりも増加している。
FIG. 7 is a diagram schematically illustrating the distribution of pixel values V n (p, q) in the learned sample database before (upper) and after (lower) updating for pixel (p, q). The pixel value V N + 1 (p, q) acquired from the image of the work classified as defective but within the non-defective product limit is added as data of the (N + 1) -th good product sample. In the lower part, the normal distribution N (μ * , σ * 2 ) corresponding to the distribution after the update is described. In this example, the updated average pixel value μ * (p, q) and standard deviation σ * (p, q) are respectively the average pixel value μ (p, q) and standard deviation σ (p, q) before update. more than q).
本開示の実施形態では、更新後の学習済み良品データベースを用いて同じワークの良品／不良品判定を行ってみる。具体的には、ステップＳ２６において、プロセッサ１０は、更新後の学習済み良品データベースの参照領域における画素値の統計量（画素値の平均と標準偏差）を取得する。この統計量の一部は更新された値を持ち、他の部分は更新される前の値を維持している。
In the embodiment of the present disclosure, the non-defective product / defective product determination of the same work is performed using the updated learned good product database. Specifically, in step S <b> 26, the processor 10 acquires a statistic of pixel values (average and standard deviation of pixel values) in the updated reference area of the learned good product database. Some of these statistics have updated values, while others maintain the values before being updated. *
ステップＳ２８において、プロセッサ１０は、ステップＳ１８と同様にして良品画素および欠陥画素の分類を行う。また、ステップＳ３０において、プロセッサ１０は、ステップＳ２０と同様にして、欠陥画素に分類された画素の配列に基づいて被検査物が良品であるか否かを判別する。良品と判定されなかった場合、ステップＳ３２において、プロセッサ１０は、統計量の再更新を行う。すなわち、ステップＳ２４およびステップＳ２６で行った処理と同様の処理を繰り返す。より具体的には、Ｎ×μ（ｉ，ｊ）＋２×Ｖ＊（ｉ，ｊ）の合計値を（Ｎ＋２）によって割ることにより、再更新後の平均画素値μ＊（ｉ，ｊ）を算出する。再更新後の標準偏差σ＊（ｉ，ｊ）は、２個の画素値Ｖ＊（ｉ，ｊ）を含む（Ｎ＋２）個の画素値と、再更新後の平均画素値μ＊（ｉ，ｊ）に基づいて算出される。このことは、同一のワークから、選択領域内の画素について、２枚の画像データを学習済み良品テータベースに加えたことに相当する。再更新後の平均画素値μ＊（ｉ，ｊ）は、Ｖ＊（ｉ，ｊ）に近づく。
In step S28, the processor 10 classifies the non-defective pixels and the defective pixels in the same manner as in step S18. In step S30, similarly to step S20, the processor 10 determines whether or not the inspection object is a good product based on the arrangement of pixels classified as defective pixels. If it is not determined to be a non-defective product, the processor 10 re-updates the statistics in step S32. That is, the same processing as the processing performed in step S24 and step S26 is repeated. More specifically, by dividing the total value of N × μ (i, j) + 2 × V * (i, j) by (N + 2), the average pixel value μ * (i, j) after re-update is obtained. calculate. The re-updated standard deviation σ * (i, j) includes (N + 2) pixel values including two pixel values V * (i, j) and the re-updated average pixel value μ * (i, j, j). This is equivalent to adding two pieces of image data to the learned good data base for the pixels in the selected area from the same work. The average pixel value μ * (i, j) after the re-update approaches V * (i, j).
図８は、画素（ｐ，ｑ）について、更新前（上段）および再更新後（下段）における学習済み見本データベース内の画素値Ｖｎ（ｐ，ｑ）の分布を模式的に示す図である。
FIG. 8 is a diagram schematically illustrating the distribution of pixel values V n (p, q) in the learned sample database before update (upper stage) and after re-update (lower stage) for the pixel (p, q). .
図３ＢのステップＳ２６からステップＳ３２の処理は、このワークについて良品と判定されるまで繰り返される。
The processing from step S26 to step S32 in FIG. 3B is repeated until it is determined that the workpiece is non-defective. *
このように本開示の実施形態によれば、良品であるのに不良品と誤って判断されたワークの画像の一部を利用して学習済み良品データベースを更新する。このため、良品／不良品の分類の正確度を効率的に向上させることが可能になる。
As described above, according to the embodiment of the present disclosure, the learned good product database is updated by using a part of the image of the work erroneously determined to be defective even though it is good. For this reason, it becomes possible to improve the accuracy of classification of non-defective product / defective product efficiently. *
上記の実施形態では、検査領域内の各画素位置における画素値を統計量と比較して良品画素および欠陥画素の一方に分類するとき、統計量として見本における画素値の平均値および標準偏差を用いている。本開示の実施形態は、この例に限定されない。統計量は、輝度値以外の画素値から算出されていてもよい。そのような画素値の例は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のそれぞれの強さを示す数値のセットであってもよいし、周辺の画素との関係に依存するエッジなどの特徴量であってもよい。すなわち、画素値は、スカラーである必要はなく、ベクトルであってもよい。また、統計量は、平均値および標準偏差に限定されず、中央値、歪度、尖度などを含んでいてもよい。
In the above embodiment, when the pixel value at each pixel position in the inspection region is compared with the statistic and classified into one of the non-defective pixel and the defective pixel, the average value and the standard deviation of the pixel values in the sample are used as the statistic. ing. Embodiments of the present disclosure are not limited to this example. The statistic may be calculated from pixel values other than the luminance value. An example of such a pixel value may be a set of numerical values indicating the intensity of each of R (red), G (green), and B (blue), or an edge that depends on the relationship with surrounding pixels. Or the like. That is, the pixel value does not need to be a scalar, and may be a vector. The statistics are not limited to the average value and the standard deviation, and may include a median, skewness, kurtosis, and the like. *
なお、本開示における「不良品」とは、明確に不良品であると結論づけられないグレーゾーンのワークを含む場合もある。また、ユーザが学習済み見本データベースの更新を自発的に行うことができる。例えば、外観検査装置によって「良品」に分類されたワークの画像から選択した領域を利用して学習済み見本データベースを更新してもよい。
In addition, the “defective product” in the present disclosure may include a work in a gray zone that cannot be clearly concluded as a defective product. Further, the user can voluntarily update the learned sample database. For example, the learned sample database may be updated using an area selected from the image of the work classified as “good” by the appearance inspection apparatus. *
図１および図２を参照しながら説明したように、本開示の画像処理を実行するために必要なハードウェアは、従来の外観検査装置と共通しており、大きく異なる点はソフトウェアにある。このため、従来の外観検査装置のコンピュータプログラムを変更することにより、本開示の画像処理を実行することが可能になる。
As described with reference to FIG. 1 and FIG. 2, the hardware necessary for executing the image processing of the present disclosure is common to the conventional visual inspection apparatus, and the major difference is in software. For this reason, it becomes possible to execute the image processing of the present disclosure by changing the computer program of the conventional appearance inspection apparatus. *
＜第２の実施形態＞ 金型によって製造される被検査物（ワーク）の外観を外観検査装置によって検査すると、適切に良品に分類されたワークの中に小さな「湯じわ」が観察されることがある。湯じわは、成形のための金型内に流入した溶湯が十分融合しないうちに製品の表面に浅いしわの模様を残す現象である。良品限度から外れるような大きな湯じわを有するワークは、外観検査装置によって「不良品」に分類される。しかし、「良品」に分類されたワークの表面に小さな「湯じわ」が観察された場合、その原因が金型の劣化に起因する場合がある。本発明者は、同じ金型を用いて順次製造された各ワークにおける湯じわについて、特定の特徴量を画像処理技術によって算出することにより、金型の劣化程度を推定することができることを見出した。
<Second Embodiment> When the appearance of an object to be inspected (work) manufactured by a mold is inspected by an appearance inspection apparatus, a small “water bath” is observed in a work properly classified as a non-defective product. Sometimes. The hot water wrinkle is a phenomenon that leaves a shallow wrinkle pattern on the surface of the product before the molten metal that has flowed into the mold for molding is not sufficiently fused. A workpiece having a large water wrinkle that deviates from the non-defective product limit is classified as a “defective product” by the visual inspection apparatus. However, when a small “water bath” is observed on the surface of the work classified as “good”, the cause may be due to deterioration of the mold. The present inventor has found that the degree of deterioration of the mold can be estimated by calculating a specific feature amount by image processing technology for the hot water wrinkles in each workpiece sequentially manufactured using the same mold. It was. *
図９は、ワークの表面において小さな湯じわが形成された領域９６の画像を模式的に示す図である。図示されている画像は、８×１０個の画素の配列から構成されている。同じ金型から製造された各ワークは、同じ位置に湯じわを有している。このため、外観検査で取得されたる画像において、予め選択された領域に湯じわが存在する。
FIG. 9 is a diagram schematically showing an image of a region 96 in which small water wrinkles are formed on the surface of the workpiece. The illustrated image is composed of an array of 8 × 10 pixels. Each work manufactured from the same mold has a hot water wrinkle at the same position. For this reason, in the image acquired by the appearance inspection, there are hot water wrinkles in a preselected region. *
図１０は、湯じわが生じる領域（予め選択された領域）に含まれる画素についての画素値の面内平均値μＳＡおよび標準偏差σＳＡと、同一金型の使用回数との関係の例を示すグラフである。ここで、画素値の面内平均値μＳＡおよび標準偏差σＳＡは、いずれも、各ワークの選択領域に含まれる画素について算出された値（記述統計量）である。図９の例では、８×１０個の画素の画素値（典型的には輝度値）から、面内平均値μＳＡおよび標準偏差σＳＡが定まる。部分領域の形状およびサイズは、この例に限定されない。
FIG. 10 shows an example of the relationship between the in-plane average value μ SA and the standard deviation σ SA of the pixel values for the pixels included in the region where the hot water wrinkle occurs (pre-selected region) and the number of times the same mold is used. It is a graph to show. Here, the in-plane average value μ SA and the standard deviation σ SA of the pixel values are both values (descriptive statistics) calculated for the pixels included in the selected area of each work. In the example of FIG. 9, the in-plane average value μ SA and the standard deviation σ SA are determined from the pixel values (typically luminance values) of 8 × 10 pixels. The shape and size of the partial region are not limited to this example.
図１０に例示されるように、湯じわの原因となる金型の劣化が進むにつれて、画素値の面内平均値μＳＡは低下し、標準偏差σＳＡは増加する。湯じわの高さまたは深さの変化が画素値の空間的な分布にこのような変化をもたらすと推察される。従って、ワークの外観検査を行うたびに、選択領域内における画素値の平均値μＳＡおよび標準偏差σＳＡを求め、これらの値をモニタすれば、金型の劣化程度を推定することが可能になる。また、金型の劣化程度を平均値μＳＡおよび／または標準偏差σＳＡによって定量的に評価できることは利点である。
As illustrated in FIG. 10, the in-plane average value μ SA of the pixel values decreases and the standard deviation σ SA increases as the mold causing the hot water wrinkles progresses. It is inferred that a change in the height or depth of the water bath causes such a change in the spatial distribution of pixel values. Therefore, each time the appearance inspection of the workpiece is performed, the average value μ SA and the standard deviation σ SA of the pixel values in the selected region are obtained, and if these values are monitored, the degree of deterioration of the mold can be estimated. Become. In addition, it is advantageous that the degree of deterioration of the mold can be quantitatively evaluated by the average value μ SA and / or the standard deviation σ SA .
同じ種類の金型については、同じ部位で劣化が生じる傾向がある。また、劣化程度の同様に進行しやすい。このため、図１０に例示されている曲線は、同じ品種の金型については類似している。このため、このような劣化程度を規定する曲線を学習しておけば、ワークから得られた平均値μＳＡおよび標準偏差σＳＡに基づいて、金型の交換または修理の時期を予測することも可能になる。
About the same kind of molds, there is a tendency for deterioration to occur at the same site. Moreover, it is easy to progress similarly to the degree of deterioration. For this reason, the curves illustrated in FIG. 10 are similar for molds of the same type. For this reason, if a curve defining such a degree of deterioration is learned, it is possible to predict the time of mold replacement or repair based on the average value μ SA and standard deviation σ SA obtained from the workpiece. It becomes possible.
本開示の画像処理装置は、非限定的で例示的な実施形態において、プロセッサと、プロセッサの動作を制御するプログラムを記憶するメモリと、学習済み良品データベースとを備える。プロセッサは、プログラムに従って、以下の処理を実行する。
In a non-limiting exemplary embodiment, the image processing apparatus of the present disclosure includes a processor, a memory that stores a program that controls the operation of the processor, and a learned good product database. The processor executes the following processing according to the program. *
（１）金型によって製造される被検査物が有する検査領域を含む画像のデータを取得する。
(1) Acquire image data including an inspection area of an inspection object manufactured by a mold. *
（２）画像のデータから検査領域内の各画素位置における画素値を取得する。
(2) The pixel value at each pixel position in the inspection area is acquired from the image data. *
（３）複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量であって、参照領域内の各画素位置における画素値の平均値および標準偏差によって規定される統計量を、学習済み良品データベースから取得する。
(3) A statistic determined based on image data including a reference area included in each of a plurality of non-defective products, and is defined by an average value and a standard deviation of pixel values at each pixel position in the reference area. Get the quantity from the learned good database. *
（４）検査領域内の各画素位置における画素値を統計量と比較して、検査領域内の各画素を良品画素および欠陥画素の一方に分類する。
(4) The pixel value at each pixel position in the inspection area is compared with a statistic, and each pixel in the inspection area is classified into one of a good pixel and a defective pixel. *
（５）検査領域から予め選択された部分領域内の画素の画素値について標準偏差および平均値の少なくとも一方を求め、標準偏差および平均値の少なくとも一方に基づいて、金型の劣化程度を決定する。
(5) At least one of the standard deviation and the average value is obtained for the pixel values of the pixels in the partial area selected in advance from the inspection area, and the degree of deterioration of the mold is determined based on at least one of the standard deviation and the average value. . *
本実施形態の画像処理方法も、図１および図２に示される装置を用いて実行可能である。上記の処理のうち、処理（１）から（４）については前述した通りである。このため、処理（５）の内容をより詳しく説明する。
The image processing method of this embodiment can also be executed using the apparatus shown in FIGS. Among the above processes, the processes (1) to (4) are as described above. Therefore, the content of the process (5) will be described in more detail. *
図１１を参照する。図１１は、本実施形態による画像処理における手順の例を示すフローチャートである。
Please refer to FIG. FIG. 11 is a flowchart illustrating an example of a procedure in image processing according to the present embodiment. *
ステップＳ６２、Ｓ６４、Ｓ６６、Ｓ６８は、図３ＡのステップＳ１２、Ｓ１４、Ｓ１６、Ｓ１８に相当するため、それらの説明をここでは繰り返さない。ステップＳ７０において、図１のプロセッサ１０は、検査領域から予め選択された部分領域内の画素の画素値について標準偏差および平均値の少なくとも一方を求める。次に、ステップＳ７０において、プロセッサ１０は、標準偏差および平均値の少なくとも一方に基づいて、金型の劣化程度を決定する。例示的な実施形態において、外観検査処理装置は、部分領域内の画素の画素値の標準偏差および平均値をモニタし、標準偏差および平均値の少なくとも一方が所定範囲から外れたとき、金型の交換または修理が必要であることを決定して通知してもよい。
Steps S62, S64, S66, and S68 correspond to steps S12, S14, S16, and S18 of FIG. 3A, and therefore, description thereof will not be repeated here. In step S70, the processor 10 in FIG. 1 obtains at least one of the standard deviation and the average value for the pixel values of the pixels in the partial area preselected from the inspection area. Next, in step S70, the processor 10 determines the degree of deterioration of the mold based on at least one of the standard deviation and the average value. In the exemplary embodiment, the visual inspection processing device monitors the standard deviation and the average value of the pixel values of the pixels in the partial region, and when at least one of the standard deviation and the average value is out of the predetermined range, It may be determined and notified that a replacement or repair is necessary. *
具体的には、以下のように行うことができる。
Specifically, it can be performed as follows. *
まず、金型の劣化程度として、上述の標準偏差σＳＡおよび／または平均値μＳＡを用いることができる。例えば標準偏差σＳＡが第１の閾値を超え、かつ平均値μＳＡが第２の閾値よりも小さくなったとき、金型の交換または修理が必要であると判定することができる。その場合、プロセッ
サ１０は、図１のディスプレイ４０に金型交換に関する通知を表示させたり、音声または音楽によって報知させることができる。外観検査のつど、金型の劣化程度を示す数値またはマークなどをディスプレイ４０に表示されてもよい。金型の劣化程度は、標準偏差σＳＡおよび／または平均値μＳＡに基づいて分類されたレベルであってもよい。このようなレベルは、例えば「劣化程度０」「劣化程度１」などの符号によって表現され得る。 First, the standard deviation σ SA and / or the average value μ SA can be used as the degree of deterioration of the mold. For example, when the standard deviation σ SA exceeds the first threshold value and the average value μ SA becomes smaller than the second threshold value, it can be determined that the mold needs to be replaced or repaired. In that case, theprocessor 10 can display a notification regarding mold replacement on the display 40 of FIG. 1 or can notify the user by voice or music. Each time the appearance inspection is performed, a numerical value or a mark indicating the degree of deterioration of the mold may be displayed on the display 40. The deterioration degree of the mold may be a level classified based on the standard deviation σ SA and / or the average value μ SA . Such a level can be expressed by a code such as “Degradation degree 0” and “Degradation degree 1”.
サ１０は、図１のディスプレイ４０に金型交換に関する通知を表示させたり、音声または音楽によって報知させることができる。外観検査のつど、金型の劣化程度を示す数値またはマークなどをディスプレイ４０に表示されてもよい。金型の劣化程度は、標準偏差σＳＡおよび／または平均値μＳＡに基づいて分類されたレベルであってもよい。このようなレベルは、例えば「劣化程度０」「劣化程度１」などの符号によって表現され得る。 First, the standard deviation σ SA and / or the average value μ SA can be used as the degree of deterioration of the mold. For example, when the standard deviation σ SA exceeds the first threshold value and the average value μ SA becomes smaller than the second threshold value, it can be determined that the mold needs to be replaced or repaired. In that case, the
湯じわが形成される領域（部分領域）の選択は、典型的には、ユーザによって行われるが、プロセッサ１０によって自動的に行われてもよい。例えば、検査領域内の画素のうちで欠陥画素に分類された画素の配列に基づいてプロセッサ１０が湯じわを検出するようにしてもよい。プロセッサ１０が湯じわを検出したとき、湯じわを含む領域が部分領域に自動的に追加されてもよい。
The selection of the region (partial region) where the hot water wrinkles are formed is typically performed by the user, but may be performed automatically by the processor 10. For example, the processor 10 may detect the hot water wrinkle based on the arrangement of pixels classified as defective pixels among the pixels in the inspection area. When the processor 10 detects a hot water wrinkle, an area including the hot water wrinkle may be automatically added to the partial area. *
上記の各実施形態における処理（１）から（４）は共通するため、外観検査を行うとき、あわせて金型の劣化程度も推定でき、効率的である。本実施形態によれば、金型そのものの表面形状または表面粗さを計測することなく金型劣化を検知したり、交換時期を予測できるため、金型劣化に起因する製品振不良の発生を予防できる。
Since the processes (1) to (4) in each of the above-described embodiments are common, when the appearance inspection is performed, the degree of deterioration of the mold can be estimated together, which is efficient. According to the present embodiment, it is possible to detect the mold deterioration without measuring the surface shape or surface roughness of the mold itself, and to predict the replacement time, thereby preventing the occurrence of product vibration defects due to the mold deterioration. it can.
本開示画像処理装置、画像処理方法、外観検査システム、外観検査方法、およびコンピュータプログラムは、工場などの製造現場における製品または部品の外観検査に好適に利用され得る。
The image processing apparatus, the image processing method, the visual inspection system, the visual inspection method, and the computer program of the present disclosure can be suitably used for visual inspection of products or parts in a manufacturing site such as a factory.
１０００・・・外観検査システム、１０・・・プロセッサ１０・・・メモリ、１００・・・画像処理装置、２０・・・光源、３０・・・イメージセンサ（撮像装置）、４０・・・ディスプレイ、５０・・・操作装置
DESCRIPTION OF SYMBOLS 1000 ... Appearance inspection system, 10 ... Processor 10 ... Memory, 100 ... Image processing apparatus, 20 ... Light source, 30 ... Image sensor (imaging device), 40 ... Display, 50. Operating device
Claims (11)
- プロセッサと、 前記プロセッサの動作を制御するプログラムを記憶するメモリと、 学習済み良品データベースと、を備え、 前記プログラムに従って、前記プロセッサは、 被検査物が有する検査領域を含む画像のデータを取得すること、 前記画像のデータから前記検査領域内の各画素位置における画素値を取得すること、 複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量であって、前記参照領域内の各画素位置における画素値の平均値および標準偏差によって規定される統計量を、前記学習済み良品データベースから取得すること、 前記検査領域内の各画素位置における前記画素値を前記統計量と比較して、前記検査領域内の各画素を良品画素および欠陥画素の一方に分類すること、 前記欠陥画素に分類された画素の配列に基づいて、前記被検査物が良品であるか否かを判別すること、 ユーザからの要求があったとき、前記複数の良品とは異なる良品が有する参照領域の一部領域内の各画素位置における画素値によって、前記統計量を更新すること、を実行する、画像処理装置。 A processor, a memory for storing a program for controlling the operation of the processor, and a learned non-defective product database, wherein the processor acquires image data including an inspection area of the inspected object according to the program Obtaining a pixel value at each pixel position in the inspection area from the image data, and a statistic determined based on image data including a reference area of each of a plurality of non-defective products, the reference Obtaining a statistic defined by an average value and a standard deviation of pixel values at each pixel position in the region from the learned good product database, and determining the pixel value at each pixel position in the inspection region as the statistic. In comparison, each pixel in the inspection area is classified as either a good pixel or a defective pixel. Based on the arrangement of pixels classified as defective pixels, it is determined whether or not the inspection object is a non-defective product, and when there is a request from the user, a reference area possessed by a non-defective product different from the plurality of non-defective products And updating the statistic with the pixel value at each pixel position in the partial region of the image processing apparatus.
- 前記被検査物が良品ではないと判別した場合において、前記ユーザからの要求があったとき、 前記プログラムに従って、前記プロセッサは、 前記被検査物が有する前記検査領域内のうち、前記欠陥画素に分類された前記画素の配列を含む選択領域内の各画素位置における画素値によって、前記統計量を更新する、請求項１に記載の画像処理装置。 When it is determined that the object to be inspected is not a non-defective product, when there is a request from the user, according to the program, the processor classifies the defective pixel in the inspection area of the object to be inspected. The image processing apparatus according to claim 1, wherein the statistic is updated by a pixel value at each pixel position in a selection area including the pixel arrangement.
- 前記プログラムに従って、前記プロセッサは、 前記被検査物が良品であると判別されるまで、前記選択領域内の各画素位置における画素値によって、前記統計量を更新する、請求項２に記載の画像処理装置。 3. The image processing according to claim 2, wherein the processor updates the statistic according to a pixel value at each pixel position in the selection area until the inspection object is determined to be non-defective according to the program. apparatus.
- 請求項１から３のいずれかに記載の画像処理装置と、 前記被検査物を光で照射する光源と、 前記画像のデータを生成するための画像信号を出力するイメージセンサと、 前記画像処理装置が備える前記プロセッサが実行した判別の結果、および、前記欠陥画素に分類された前記画素の配列を表示するモニタと、を備える、外観検査システム。 The image processing apparatus according to any one of claims 1 to 3, a light source that irradiates the inspection object with light, an image sensor that outputs an image signal for generating the image data, and the image processing apparatus And a monitor that displays a result of the determination performed by the processor and a pixel array classified as the defective pixel.
- 外観検査に用いられる画像処理方法であって、 被検査物が有する検査領域を含む画像のデータを取得すること、 前記画像のデータから前記検査領域内の各画素位置における画素値を取得すること、 複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量であって、前記参照領域内の各画素位置における画素値の平均値および標準偏差によって規定される統計量を、前記学習済み良品データベースから取得すること、 前記検査領域内の各画素位置における前記画素値を前記統計量と比較して、前記検査領域内の各画素を良品画素および欠陥画素の一方に分類すること、 前記欠陥画素に分類された画素の配列に基づいて、前記被検査物が良品であるか否かを判別すること、 ユーザからの要求があったとき、前記複数の良品とは異なる良品が有する参照領域の一部領域内の各画素位置における画素値によって、前記統計量を更新すること、を含む、画像処理方法。 An image processing method used for an appearance inspection, acquiring data of an image including an inspection area of an inspection object, acquiring a pixel value at each pixel position in the inspection area from the image data, A statistic determined based on image data including a reference area included in each of a plurality of non-defective products, and a statistic defined by an average value and a standard deviation of pixel values at each pixel position in the reference area. , Obtaining from the learned good product database, comparing the pixel value at each pixel position in the inspection region with the statistic, and classifying each pixel in the inspection region as either a good pixel or a defective pixel There is a request from the user to determine whether or not the inspection object is a non-defective product based on an array of pixels classified as the defective pixels. Can, by the pixel value at each pixel position of a portion within the area of the reference regions with different non-defective from said plurality of non-defective, comprising, updating the statistics, the image processing method.
- 前記被検査物が良品ではないと判別した場合において、前記ユーザからの要求があったとき、 前記プログラムに従って、前記プロセッサは、 前記被検査物が有する前記検査領域内のうち、前記欠陥画素に分類された前記画素の配列を含む選択領域内の各画素位置における画素値によって、前記統計量を更新する、請求項５に記載の画像処理方法。 When it is determined that the object to be inspected is not a non-defective product, when there is a request from the user, according to the program, the processor classifies the defective pixel in the inspection area of the object to be inspected. The image processing method according to claim 5, wherein the statistic is updated according to a pixel value at each pixel position in a selection region including the arranged pixel.
- 前記被検査物が良品であると判別されるまで、前記選択領域内の各画素位置における画素値によって、前記統計量を更新する、請求項６に記載の画像処理方法。 The image processing method according to claim 6, wherein the statistic is updated with a pixel value at each pixel position in the selection area until it is determined that the inspection object is a non-defective product.
- 被検査物が有する検査領域を含む画像のデータを取得すること、 前記画像のデータから前記検査領域内の各画素位置における画素値を取得すること、 複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量であって、前記参照領域内の各画素位置における画素値の平均値および標準偏差によって規定される統計量を、前記学習済み良品データベースから取得すること、 前記検査領域内の各画素位置における前記画素値を前記統計量と比較して、前記検査領域内の各画素を良品画素および欠陥画素の一方に分類すること、 前記欠陥画素に分類された画素の配列に基づいて、前記被検査物が良品であるか否かを判別すること、 前記複数の良品とは異なる良品が有する参照領域の一部領域内の各画素位置における画素値によって、前記統計量を更新すること、を含む、外観検査方法。 Acquiring image data including an inspection area of the inspection object, acquiring pixel values at each pixel position in the inspection area from the image data, and an image including a reference area of each of a plurality of non-defective products Obtaining from the learned good product database a statistic determined on the basis of the above data and defined by an average value and a standard deviation of pixel values at each pixel position in the reference region; Comparing the pixel value at each pixel position in the inspection region with the statistic, and classifying each pixel in the inspection region as one of a non-defective pixel and a defective pixel, an array of pixels classified as the defective pixel To determine whether or not the inspection object is a non-defective product, and each pixel position in a partial region of a reference region that has a non-defective product different from the non-defective products The definitive pixel values comprises, for updating the statistics, appearance inspection method.
- 前記被検査物が良品ではないと判別した場合において、前記ユーザからの要求があったとき、 前記被検査物が有する前記検査領域内のうち、前記欠陥画素に分類された前記画素の配列を含む選択領域内の各画素位置における画素値によって、前記統計量を更新する、請求項８に記載の外観検査方法。 In the case where it is determined that the inspection object is not a non-defective product, when there is a request from the user, the inspection object includes an array of the pixels classified as the defective pixels in the inspection area of the inspection object The visual inspection method according to claim 8, wherein the statistic is updated by a pixel value at each pixel position in the selection region.
- 前記被検査物が良品であると判別されるまで、前記選択領域内の各画素位置における画素値によって、前記統計量を更新する、請求項９に記載の外観検査方法。 The visual inspection method according to claim 9, wherein the statistic is updated with a pixel value at each pixel position in the selection area until it is determined that the inspection object is a non-defective product.
- 被検査物が有する検査領域を含む画像のデータを取得すること、 前記画像のデータから前記検査領域内の各画素位置における画素値を取得すること、 複数の良品のそれぞれが有する参照領域を含む画像のデータに基づいて決定された統計量であって、前記参照領域内の各画素位置における画素値の平均値および標準偏差によって規定される統計量を、前記学習済み良品データベースから取得すること、 前記検査領域内の各画素位置における前記画素値を前記統計量と比較して、前記検査領域内の各画素を良品画素および欠陥画素の一方に分類すること、 前記欠陥画素に分類された画素の配列に基づいて、前記被検査物が良品であるか否かを判別すること、 ユーザからの要求があったとき、前記複数の良品とは異なる良品が有する参照領域の一部領域内の各画素位置における画素値によって、前記統計量を更新すること、をコンピュータに実行させるコンピュータプログラム。 Acquiring image data including an inspection area of the inspection object, acquiring pixel values at each pixel position in the inspection area from the image data, and an image including a reference area of each of a plurality of non-defective products Obtaining from the learned good product database a statistic determined on the basis of the above data and defined by an average value and a standard deviation of pixel values at each pixel position in the reference region; Comparing the pixel value at each pixel position in the inspection region with the statistic, and classifying each pixel in the inspection region as one of a non-defective pixel and a defective pixel, an array of pixels classified as the defective pixel Based on the above, it is determined whether or not the inspection object is a non-defective product, and when there is a request from the user, a non-defective product different from the plurality of non-defective products has The pixel value at each pixel position of a portion in the region of the area, a computer program to be executed to update the statistics, to the computer.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018-070524 | 2018-04-02 | ||
| JP2018070524 | 2018-04-02 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019194064A1 true WO2019194064A1 (en) | 2019-10-10 |
Family
ID=68100252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2019/013557 WO2019194064A1 (en) | 2018-04-02 | 2019-03-28 | Image processing device, image processing method, appearance inspection system, and appearance inspection method |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2019194064A1 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111311542A (en) * | 2020-01-15 | 2020-06-19 | 歌尔股份有限公司 | Product quality detection method and device |
| CN111812545A (en) * | 2020-07-07 | 2020-10-23 | 苏州精濑光电有限公司 | Line defect detection method, device, equipment and medium |
| CN112666175A (en) * | 2019-10-15 | 2021-04-16 | 佳能株式会社 | Foreign matter inspection device and foreign matter inspection method |
| EP3885101A1 (en) * | 2020-03-24 | 2021-09-29 | Sumitomo Heavy Industries, Ltd. | Molding product inspection device and injection molding system |
| WO2022044307A1 (en) * | 2020-08-31 | 2022-03-03 | 株式会社日立ハイテク | Alignment device and alignment method |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003317082A (en) * | 2002-04-25 | 2003-11-07 | Dainippon Screen Mfg Co Ltd | Classification assisting apparatus, classifying apparatus, and program |
| WO2005006002A2 (en) * | 2003-07-12 | 2005-01-20 | Leica Microsystems Semiconductor Gmbh | Method of learning a knowledge-based database used in automatic defect classification |
| JP2007189589A (en) * | 2006-01-16 | 2007-07-26 | Sony Corp | Information processor and information processing method, learning device and learning method, and program |
| JP2008051558A (en) * | 2006-08-22 | 2008-03-06 | Sharp Corp | Visual inspection method and device |
| JP2008139202A (en) * | 2006-12-04 | 2008-06-19 | Tokyo Electron Ltd | Apparatus and method for detecting defect, apparatus and method for processing information, and its program |
| JP2011163855A (en) * | 2010-02-08 | 2011-08-25 | Hitachi High-Technologies Corp | Method of inspecting defect and device thereof |
| JP2013142558A (en) * | 2012-01-06 | 2013-07-22 | Keyence Corp | Visual inspection device, visual inspection method and computer program |
| JP2015026287A (en) * | 2013-07-26 | 2015-02-05 | 新電元工業株式会社 | Solder inspection device, solder inspection method and electronic component |
| JP2016110625A (en) * | 2014-11-28 | 2016-06-20 | キヤノン株式会社 | Classifying method, inspection method, inspection apparatus, and program |
| JP2017054239A (en) * | 2015-09-08 | 2017-03-16 | 株式会社Ｓｃｒｅｅｎホールディングス | Image classification device and image classification method |
| JP2017142739A (en) * | 2016-02-12 | 2017-08-17 | キヤノン株式会社 | Information processing device, information processing method, and program |
| WO2017179243A1 (en) * | 2016-04-12 | 2017-10-19 | 新日鐵住金株式会社 | Device for capturing image of object to be inspected, method for capturing image of object to be inspected, surface inspecting device and surface inspecting method |
| WO2018225745A1 (en) * | 2017-06-06 | 2018-12-13 | 株式会社デンソー | External appearance examination device, conversion data generation device, and program |
-
2019
- 2019-03-28 WO PCT/JP2019/013557 patent/WO2019194064A1/en active Application Filing
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003317082A (en) * | 2002-04-25 | 2003-11-07 | Dainippon Screen Mfg Co Ltd | Classification assisting apparatus, classifying apparatus, and program |
| WO2005006002A2 (en) * | 2003-07-12 | 2005-01-20 | Leica Microsystems Semiconductor Gmbh | Method of learning a knowledge-based database used in automatic defect classification |
| JP2007189589A (en) * | 2006-01-16 | 2007-07-26 | Sony Corp | Information processor and information processing method, learning device and learning method, and program |
| JP2008051558A (en) * | 2006-08-22 | 2008-03-06 | Sharp Corp | Visual inspection method and device |
| JP2008139202A (en) * | 2006-12-04 | 2008-06-19 | Tokyo Electron Ltd | Apparatus and method for detecting defect, apparatus and method for processing information, and its program |
| JP2011163855A (en) * | 2010-02-08 | 2011-08-25 | Hitachi High-Technologies Corp | Method of inspecting defect and device thereof |
| JP2013142558A (en) * | 2012-01-06 | 2013-07-22 | Keyence Corp | Visual inspection device, visual inspection method and computer program |
| JP2015026287A (en) * | 2013-07-26 | 2015-02-05 | 新電元工業株式会社 | Solder inspection device, solder inspection method and electronic component |
| JP2016110625A (en) * | 2014-11-28 | 2016-06-20 | キヤノン株式会社 | Classifying method, inspection method, inspection apparatus, and program |
| JP2017054239A (en) * | 2015-09-08 | 2017-03-16 | 株式会社Ｓｃｒｅｅｎホールディングス | Image classification device and image classification method |
| JP2017142739A (en) * | 2016-02-12 | 2017-08-17 | キヤノン株式会社 | Information processing device, information processing method, and program |
| WO2017179243A1 (en) * | 2016-04-12 | 2017-10-19 | 新日鐵住金株式会社 | Device for capturing image of object to be inspected, method for capturing image of object to be inspected, surface inspecting device and surface inspecting method |
| WO2018225745A1 (en) * | 2017-06-06 | 2018-12-13 | 株式会社デンソー | External appearance examination device, conversion data generation device, and program |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112666175A (en) * | 2019-10-15 | 2021-04-16 | 佳能株式会社 | Foreign matter inspection device and foreign matter inspection method |
| CN112666175B (en) * | 2019-10-15 | 2023-12-15 | 佳能株式会社 | Foreign matter inspection device and foreign matter inspection method |
| CN111311542A (en) * | 2020-01-15 | 2020-06-19 | 歌尔股份有限公司 | Product quality detection method and device |
| CN111311542B (en) * | 2020-01-15 | 2023-09-19 | 歌尔股份有限公司 | Product quality detection method and device |
| EP3885101A1 (en) * | 2020-03-24 | 2021-09-29 | Sumitomo Heavy Industries, Ltd. | Molding product inspection device and injection molding system |
| CN111812545A (en) * | 2020-07-07 | 2020-10-23 | 苏州精濑光电有限公司 | Line defect detection method, device, equipment and medium |
| CN111812545B (en) * | 2020-07-07 | 2023-05-12 | 苏州精濑光电有限公司 | Line defect detection method, device, equipment and medium |
| WO2022044307A1 (en) * | 2020-08-31 | 2022-03-03 | 株式会社日立ハイテク | Alignment device and alignment method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019194064A1 (en) | Image processing device, image processing method, appearance inspection system, and appearance inspection method | |
| US11017259B2 (en) | Defect inspection method, defect inspection device and defect inspection system | |
| US20230162347A1 (en) | System and method for set up of production line inspection | |
| JP5537282B2 (en) | Defect inspection apparatus and defect inspection method | |
| WO2021192376A1 (en) | Visual inspection system and computer program | |
| JP7118678B2 (en) | Defect inspection device and defect inspection method | |
| JP2002539566A (en) | Apparatus and method for selecting a reference die | |
| JP2007172397A (en) | Edge gradient detection method, stain defect detection method, edge gradient detection device and stain defect detection device | |
| US20190244336A1 (en) | Defect inspection apparatus and defect inspection method | |
| WO2020071234A1 (en) | Image processing device, image processing method, appearance inspection system, and computer program | |
| JP2017045166A (en) | Workpiece processing method, method for creating reference image, reference image creation device, workpiece processing device, program, and recording medium | |
| JP6771905B2 (en) | Inspection equipment, inspection method and manufacturing method of goods | |
| JP2014109436A (en) | Substrate defect inspection method, substrate defect inspection device, program, and computer storage medium | |
| JPH11231507A (en) | Method and device for inspecting mask | |
| JP2006242759A (en) | Method for inspecting unevenness in periodic pattern | |
| JP7445057B2 (en) | Learning device, inspection device, alignment device and learning method | |
| JP2005309535A (en) | Automatic image classification method | |
| WO2019194065A1 (en) | Image processing device, image processing method, appearance inspection system, and appearance inspection method | |
| WO2019176614A1 (en) | Image processing device, image processing method, and computer program | |
| JP2005165387A (en) | Method and device for detecting stripe defective of picture and display device | |
| JP2005164565A (en) | Defect detection method for flat panel light- related plate element in low and high resolution images | |
| US20040080742A1 (en) | Device inspecting for defect on semiconductor wafer surface | |
| JP2004239870A (en) | Spatial filter, method and program for generating the same, and method and apparatus for inspecting screen defect | |
| JP2007049496A (en) | Image processing method and apparatus | |
| JP2005140655A (en) | Method of detecting stain flaw, and stain flaw detector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19780629 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 19780629 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |