JP6549396B2 - Region detection apparatus and region detection method - Google Patents
Region detection apparatus and region detection method Download PDFInfo
- Publication number
- JP6549396B2 JP6549396B2 JP2015060675A JP2015060675A JP6549396B2 JP 6549396 B2 JP6549396 B2 JP 6549396B2 JP 2015060675 A JP2015060675 A JP 2015060675A JP 2015060675 A JP2015060675 A JP 2015060675A JP 6549396 B2 JP6549396 B2 JP 6549396B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- image
- pixel
- defect
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 102
- 230000007547 defect Effects 0.000 claims description 185
- 238000004364 calculation method Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000007689 inspection Methods 0.000 description 42
- 239000000758 substrate Substances 0.000 description 29
- 239000013598 vector Substances 0.000 description 24
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000008602 contraction Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000002950 deficient Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005424 photoluminescence Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013398 bayesian method Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000010894 electron beam technology Methods 0.000 description 1
- 239000010408 film Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、領域検出装置および領域検出方法に関する。 The present invention relates to an area detection device and an area detection method.
半導体基板、ガラス基板、プリント配線基板等の基板の外観検査において、検出された欠陥の画像を自動的に分類する自動欠陥分類が従来より行われている。自動欠陥分類では、欠陥画像から算出される特徴量を用いて判別関数が推測される。このような特徴量の一つとして高次局所自己相関(Higher-oder Local Auto-Correlation:HLAC)特徴量が知られている。 2. Description of the Related Art In the appearance inspection of a substrate such as a semiconductor substrate, a glass substrate, and a printed wiring board, automatic defect classification has been conventionally performed to automatically classify an image of a detected defect. In automatic defect classification, a discriminant function is estimated using feature quantities calculated from defect images. Higher-order local auto-correlation (HLAC) feature quantities are known as one of such feature quantities.
特許文献1および2では、2次元画像に対するHLACを用いた適応学習型汎用画像計測法が開示されている。HLACは画像認識において基本的な要請となる位置不変性と加法性を満たしており、計算量の少なさと高い認識性能が特徴である。HLACにおける相関の次数を二次までに限定すると、変位が8近傍の場合には、多値画像に対して35通りのマスクパターン(変位パターン)が存在し、2値画像に対して25通りのマスクパターンが存在する。各画素に対してマスクパターンに従った演算により得られる値を画像全体で足し合わせることにより、当該マスクパターンによるHLAC特徴量が得られる。 Patent Documents 1 and 2 disclose an adaptive learning type general-purpose image measurement method using HLAC for a two-dimensional image. HLAC satisfies position invariance and additivity, which are fundamental requirements in image recognition, and is characterized by low computational complexity and high recognition performance. If the degree of correlation in the HLAC is limited to the second order, there are 35 mask patterns (displacement patterns) for the multi-valued image when the displacement is near 8 and 25 for the binary image. There is a mask pattern. By adding the values obtained by the calculation according to the mask pattern to each pixel in the entire image, the HLAC feature value by the mask pattern can be obtained.
なお、特許文献3では、分類用の二値画像を生成する手法が開示されている。当該手法では、撮像画像と参照画像との差分画像において欠陥の形状が検出される第1閾値、および、第1閾値よりも大きく、背景のノイズの検出が低減される第2閾値が準備され、差分画像を第1閾値にて二値化して第1二値画像が生成され、差分画像を第2閾値にて二値化して第2二値画像が生成される。第1二値画像に対するラベリング処理により複数の連結領域が取得され、複数の連結領域のうち、第2二値画像にて検出される位置の画素を含まない連結領域が特定されて削除される。これにより、分類用二値画像が生成される。 Patent Document 3 discloses a method of generating a binary image for classification. In this method, a first threshold in which the shape of a defect is detected in a difference image between a captured image and a reference image, and a second threshold larger than the first threshold and in which detection of background noise is reduced are prepared. The difference image is binarized with a first threshold to generate a first binary image, and the difference image is binarized with a second threshold to generate a second binary image. A plurality of connected regions are acquired by the labeling process for the first binary image, and among the plurality of connected regions, connected regions not including the pixel at the position detected in the second binary image are specified and deleted. Thereby, a classification binary image is generated.
ところで、基板の外観検査において、欠陥を精度よく分類するには、欠陥領域を適切に検出する必要がある。一般的に、対象物を撮像した画像から、欠陥領域等の目的領域を検出する場合、撮像画像と、異常がない対象物を示す参照画像とが比較される。しかしながら、この場合、検査対象の領域の全てに対して参照画像を準備する必要があり、目的領域の検出が煩雑となる。また、参照画像の準備が困難なケースもある。 By the way, in visual inspection of a substrate, in order to classify a defect with high accuracy, it is necessary to appropriately detect a defect area. Generally, when a target area such as a defect area is detected from an image obtained by capturing an object, the captured image is compared with a reference image indicating an object without abnormality. However, in this case, it is necessary to prepare a reference image for all of the areas to be inspected, and detection of the target area becomes complicated. There are also cases where preparation of reference images is difficult.
本発明は上記課題に鑑みなされたものであり、目的領域を容易に検出することを目的としている。 The present invention has been made in view of the above problems, and aims to easily detect a target area.
請求項1に記載の発明は、対象画像から所定の目的に利用される目的領域を検出する領域検出装置であって、互いに異なる複数のマスクパターンが準備されており、対象画像の各画素を中心とするウィンドウ内において、前記ウィンドウよりもサイズが小さい各マスクパターンを複数の位置に配置して前記各マスクパターンに従った演算を行うことにより、前記複数のマスクパターンにそれぞれ対応する複数の画素特徴量を前記各画素に対して取得する画素特徴量算出部と、前記複数の画素特徴量に基づいて、前記各画素が目的領域に含まれるか否かを判定する画素分類器と、前記画素分類器により検出された前記目的領域に対して領域特徴量を算出する領域特徴量算出部と、前記領域特徴量に基づいて前記目的領域を分類する領域分類器とを備え、前記領域特徴量算出部が、前記目的領域に含まれる各画素に対してマスクパターンに従った演算により得られる値を画素演算値として、前記目的領域に含まれる全ての画素の画素演算値の和を、前記領域特徴量として算出する。 The invention according to claim 1 is an area detection device for detecting a target area used for a predetermined purpose from a target image, wherein a plurality of mask patterns different from one another are prepared, and each pixel of the target image is centered. A plurality of pixel features respectively corresponding to the plurality of mask patterns are arranged by arranging each mask pattern smaller in size than the window at a plurality of positions and performing an operation according to each mask pattern within the window A pixel feature amount calculating unit which obtains an amount for each of the pixels, a pixel classifier which determines whether each of the pixels is included in a target area based on the plurality of pixel feature amounts, and the pixel classification a region feature calculation unit for calculating a region feature for the detected the object regions by vessel, a region classifier for classifying the object region based on the region feature Wherein the region feature calculation portion, the values obtained by calculation in accordance with the mask pattern with respect to each pixel included in the target area as the pixel calculation value, the pixel calculation values of all the pixels included in the target area the sum of, you calculated as the region feature.
請求項2に記載の発明は、請求項1に記載の領域検出装置であって、前記複数のマスクパターンが、高次局所自己相関特徴量用のマスクパターンを含む。 The invention described in claim 2 is the area detection device according to claim 1, wherein the plurality of mask patterns include mask patterns for high-order local autocorrelation feature quantities.
請求項3に記載の発明は、請求項1または2に記載の領域検出装置であって、前記領域特徴量算出部が、前記目的領域を他の領域と区別して示す画像に対して微小領域を除去する前処理を施し、前記前処理済みの前記画像が示す前記目的領域に対して前記領域特徴量を算出する。 The invention according to claim 3 is the area detection device according to claim 1 or 2 , wherein the area feature quantity calculation unit makes a minute area with respect to an image which distinguishes the target area from other areas. Preprocessing for removal is performed, and the region feature amount is calculated for the target region indicated by the preprocessed image.
請求項4に記載の発明は、請求項1ないし3のいずれかに記載の領域検出装置であって、前記対象画像が、対象物を撮像した画像であり、前記目的領域が、前記対象物上の欠陥を示す領域である。 The invention according to claim 4 is the area detection apparatus according to any one of claims 1 to 3 , wherein the target image is an image obtained by imaging an object, and the target area is on the object. Is an area showing a defect of
請求項5に記載の発明は、請求項4に記載の領域検出装置であって、欠陥を示す欠陥画像と所定の参照画像との差分画像に基づいて取得される欠陥領域画像と、前記欠陥画像の各画素に対する複数の画素特徴量とを用いて学習を行うことにより、前記画素分類器が構築される。 The invention according to claim 5 is the area detection device according to claim 4 , wherein a defect area image obtained based on a difference image between a defect image indicating a defect and a predetermined reference image, and the defect image The pixel classifier is constructed by performing learning using a plurality of pixel feature quantities for each pixel of.
請求項6に記載の発明は、対象画像から所定の目的に利用される目的領域を検出する領域検出方法であって、a)互いに異なる複数のマスクパターンが準備されており、対象画像の各画素を中心とするウィンドウ内において、前記ウィンドウよりもサイズが小さい各マスクパターンを複数の位置に配置して前記各マスクパターンに従った演算を行うことにより、前記複数のマスクパターンにそれぞれ対応する複数の画素特徴量を前記各画素に対して取得する工程と、b)前記複数の画素特徴量に基づいて、前記各画素が目的領域に含まれるか否かを判定する工程と、c)前記b)工程において検出された前記目的領域に対して領域特徴量を算出する工程と、d)前記領域特徴量に基づいて前記目的領域を分類する工程とを備え、前記c)工程において、前記目的領域に含まれる各画素に対してマスクパターンに従った演算により得られる値を画素演算値として、前記目的領域に含まれる全ての画素の画素演算値の和が、前記領域特徴量として算出される。 The invention according to claim 6 is an area detection method for detecting a target area used for a predetermined purpose from a target image, wherein a) a plurality of mask patterns different from one another are prepared, and each pixel of the target image By arranging each mask pattern smaller in size than the window at a plurality of positions and performing an operation according to each mask pattern in a window centered on the plurality of mask patterns respectively corresponding to the plurality of mask patterns. Acquiring a pixel feature amount for each pixel; b) determining whether each pixel is included in a target area based on the plurality of pixel feature amounts ; c) b) comprising calculating a region feature for the detected the object regions in step, and a step of classifying the region of interest based on d) the region feature, said step c) In addition, the sum of the pixel operation values of all the pixels included in the target area is a feature of the area, with the value obtained by the operation according to the mask pattern for each pixel included in the target area as a pixel operation value. Ru is calculated as the amount.
請求項7に記載の発明は、請求項6に記載の領域検出方法であって、前記複数のマスクパターンが、高次局所自己相関特徴量用のマスクパターンを含む。 The invention according to claim 7 is the region detection method according to claim 6 , wherein the plurality of mask patterns include a mask pattern for high-order local autocorrelation feature value.
請求項8に記載の発明は、請求項6または7に記載の領域検出方法であって、前記c)工程が、前記目的領域を他の領域と区別して示す画像に対して微小領域を除去する前処理を施す工程と、前記前処理済みの前記画像が示す前記目的領域に対して前記領域特徴量を算出する工程とを備える。 The invention according to claim 8 is the region detection method according to claim 6 or 7 , wherein the step c) removes a minute region with respect to an image showing the target region distinguished from other regions. The method includes the steps of performing preprocessing, and calculating the region feature amount for the target region indicated by the preprocessed image.
請求項9に記載の発明は、請求項6ないし8のいずれかに記載の領域検出方法であって、前記対象画像が、対象物を撮像した画像であり、前記目的領域が、前記対象物上の欠陥を示す領域である。 The invention according to claim 9 is the area detection method according to any one of claims 6 to 8 , wherein the target image is an image obtained by imaging an object, and the target area is on the object. Is an area showing a defect of
請求項10に記載の発明は、請求項9に記載の領域検出方法であって、欠陥を示す欠陥画像と所定の参照画像との差分画像に基づいて取得される欠陥領域画像と、前記欠陥画像の各画素に対する複数の画素特徴量とを用いて学習を行うことにより、前記b)工程にて利用される画素分類器が構築される。 The invention according to claim 10 is the area detection method according to claim 9 , wherein a defect area image obtained based on a difference image between a defect image indicating a defect and a predetermined reference image, and the defect image The pixel classifier used in the step b) is constructed by performing learning using a plurality of pixel feature amounts for each of the pixels.
本発明によれば、目的領域を容易に検出することができる。また、目的領域を精度よく分類することができる。 According to the present invention, a target area can be easily detected. In addition, the target area can be classified with high accuracy.
図1は本発明の一の実施の形態に係る検査・分類装置1の構成を示す図である。検査・分類装置1は、半導体基板9(以下、単に「基板9」という。)上のパターンの欠陥を検出し、当該欠陥の分類を行う装置である。検査・分類装置1は基板9上の検査対象領域を撮像する撮像部2、および、検査・分類装置1の全体動作を制御するとともに、後述の検査部、分類部および学習部を実現するコンピュータ5を備える。コンピュータ5では、撮像部2からの画像データに基づいて欠陥検査を行い、欠陥が検出された場合に当該欠陥が属すべき欠陥クラス(欠陥の種別であり、「カテゴリ」等とも呼ばれる。)へと欠陥を自動分類する処理が行われる。基板9上に存在する欠陥のクラスは、例えば、欠け、突起、断線、ショート、異物等である。検査・分類装置1は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。 FIG. 1 is a view showing the configuration of an inspection and classification device 1 according to an embodiment of the present invention. The inspection / classification apparatus 1 is an apparatus for detecting a defect of a pattern on a semiconductor substrate 9 (hereinafter simply referred to as “substrate 9”) and classifying the defect. The inspection / classification apparatus 1 controls the entire operation of the inspection / classification apparatus 1 and the computer 5 that realizes an inspection section, a classification section, and a learning section described later. Equipped with The computer 5 performs a defect inspection based on the image data from the imaging unit 2, and when a defect is detected, the defect is classified into a defect class (which is a type of defect and is also referred to as a "category"). A process of automatically classifying defects is performed. The classes of defects present on the substrate 9 are, for example, chips, protrusions, breaks, shorts, foreign matter, and the like. The inspection and classification apparatus 1 can also be regarded as an apparatus in which the function of automatic defect classification is added to the defect inspection apparatus.
撮像部2は、基板9上の検査対象領域を撮像して多値の撮像画像(のデータ)を取得する撮像デバイス21、基板9を保持するステージ22、および、撮像デバイス21に対してステージ22を相対的に移動するステージ駆動部23を有する。撮像デバイス21は、照明光を出射する照明部211、基板9に照明光を導くとともに基板9からの光が入射する光学系212、および、光学系212により結像された基板9の像を電気信号に変換するエリアセンサ213を有する。ステージ駆動部23はボールねじ、ガイドレール、モータ等により構成され、コンピュータ5がステージ駆動部23および撮像デバイス21を制御することにより、基板9上の検査対象領域が撮像される。撮像デバイス21では、受光素子が一次元に配列されたラインセンサがエリアセンサ213に代えて用いられてよく、この場合、受光素子の配列方向に垂直な方向にステージ22を移動することにより、検査対象領域を示す二次元の撮像画像が取得される。 The imaging unit 2 captures an inspection target area on the substrate 9 to obtain (a data of) a multivalued captured image, a stage 22 for holding the substrate 9, and a stage 22 for the imaging device 21. And the stage drive unit 23 that moves relative to each other. The imaging device 21 converts the image of the substrate 9 imaged by the optical system 212 into an illumination unit 211 that emits illumination light, an optical system 212 that guides the illumination light to the substrate 9 and the light from the substrate 9 is incident. It has an area sensor 213 that converts it into a signal. The stage drive unit 23 is configured by a ball screw, a guide rail, a motor, and the like, and the computer 5 controls the stage drive unit 23 and the imaging device 21 to capture an image of the inspection target area on the substrate 9. In the imaging device 21, a line sensor in which light receiving elements are arranged in one dimension may be used instead of the area sensor 213. In this case, inspection is performed by moving the stage 22 in a direction perpendicular to the arrangement direction of the light receiving elements. A two-dimensional captured image showing a target area is acquired.
図2はコンピュータ5の構成を示す図である。コンピュータ5は各種演算処理を行うCPU51、基本プログラムを記憶するROM52、および、各種情報を記憶するRAM53を含む一般的なコンピュータシステムの構成となっている。コンピュータ5は、情報記憶を行う固定ディスク54、画像等の各種情報の表示を行うディスプレイ55、ユーザからの入力を受け付けるキーボード56aおよびマウス56b(以下、「入力部56」と総称する。)、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体8から情報の読み取りを行う読取装置57、並びに、検査・分類装置1の他の構成との間で信号を送受信する通信部58をさらに含む。 FIG. 2 is a diagram showing the configuration of the computer 5. The computer 5 has a general computer system configuration including a CPU 51 for performing various arithmetic processing, a ROM 52 for storing a basic program, and a RAM 53 for storing various information. The computer 5 includes a fixed disk 54 for storing information, a display 55 for displaying various information such as images, a keyboard 56a and a mouse 56b (hereinafter collectively referred to as "input unit 56") for receiving user input, and an optical disk. , A reader 57 for reading information from a computer readable recording medium 8 such as a magnetic disk or a magneto-optical disk, and a communication unit 58 for transmitting and receiving signals to and from other configurations of the inspection and classification device 1. Including.
コンピュータ5には、事前に読取装置57を介して記録媒体8からプログラム80が読み出され、固定ディスク54に記憶される。そして、CPU51によりRAM53および固定ディスク54を利用しつつプログラム80に従って演算処理が実行される。 In the computer 5, the program 80 is read from the recording medium 8 through the reader 57 in advance and stored in the fixed disk 54. Then, arithmetic processing is performed according to the program 80 while using the RAM 53 and the fixed disk 54 by the CPU 51.
図3は検査・分類装置1における機能構成を示すブロック図であり、図3では、コンピュータ5のCPU51、ROM52、RAM53、固定ディスク54等により実現される機能構成を、符号5を付す破線の矩形にて囲んでいる。コンピュータ5は、撮像部2にて取得される撮像画像に基づいて欠陥を検出する検査部31、および、欠陥が検出された場合にニューラルネットワーク、決定木、判別分析等を利用して当該欠陥を自動的に分類する分類部32を有する。検査部31は、画素特徴量算出部311および画素分類器312を有し、分類部32は、領域特徴量算出部321および領域分類器322を有する。コンピュータ5は、画素分類器312および領域分類器322を学習させる学習部33をさらに有する。これらの構成が実現する機能の詳細については後述する。なお、これらの機能は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。 FIG. 3 is a block diagram showing a functional configuration in the inspection / classification apparatus 1. In FIG. 3, the functional configuration realized by the CPU 51, the ROM 52, the RAM 53, the fixed disk 54, etc. It is enclosed by. The computer 5 uses an inspection unit 31 that detects a defect based on a captured image acquired by the imaging unit 2, and the defect using a neural network, a decision tree, a discriminant analysis, etc. when the defect is detected. It has classification part 32 which classifies automatically. The inspection unit 31 includes a pixel feature quantity calculation unit 311 and a pixel classifier 312. The classification unit 32 includes an area feature quantity calculation unit 321 and an area classifier 322. The computer 5 further includes a learning unit 33 for training the pixel classifier 312 and the area classifier 322. Details of functions implemented by these configurations will be described later. Note that these functions may be constructed by dedicated electric circuits, or partially dedicated electric circuits may be used.
検査・分類装置1では、事前準備として、画素分類器312および領域分類器322が学習部33により構築される。図4は、画素分類器312および領域分類器322の構築の流れを示す図である。分類器の構築とは、分類器が含むパラメータに値を付与したり、構造を決定すること等により分類器を生成することを意味する。 In the inspection / classification apparatus 1, the pixel classifier 312 and the region classifier 322 are constructed by the learning unit 33 as preparation in advance. FIG. 4 is a diagram showing a flow of construction of the pixel classifier 312 and the area classifier 322. Constructing a classifier means generating a classifier by assigning values to parameters included in the classifier, determining a structure, and the like.
分類器の構築の際には、まず、様々な欠陥を示す複数の撮像画像(以下、「欠陥画像」という。)が準備される。また、各欠陥画像と欠陥が存在しない参照画像とを比較することにより差分画像(典型的には、両画像の差の絶対値を示す画像)が取得され、当該差分画像を二値化する等して欠陥の領域を示す画像(以下、「欠陥領域画像」という。)が生成される。欠陥領域画像では、例えば、欠陥の領域に含まれる画素に、値1が付与され、欠陥の領域に含まれない画素に、値0が付与される。欠陥領域画像では、欠陥の領域を膨張させる処理等が適宜施されてよい。欠陥領域画像の生成では、例えば、特開2013−134666号公報(特許文献3)の手法等、他の手法が用いられてもよい。 At the time of construction of a classifier, first, a plurality of captured images (hereinafter referred to as "defect image") showing various defects are prepared. In addition, a difference image (typically, an image showing the absolute value of the difference between both images) is acquired by comparing each defect image with a reference image having no defect, and the difference image is binarized, etc. Thus, an image (hereinafter referred to as a "defect area image") indicating the area of the defect is generated. In the defect area image, for example, the value 1 is assigned to the pixels included in the area of the defect and the value 0 is assigned to the pixels not included in the area of the defect. In the defect area image, a process of expanding the area of the defect may be appropriately performed. In the generation of the defect area image, another method such as the method of Japanese Patent Application Laid-Open No. 2013-134666 (Patent Document 3) may be used, for example.
複数の欠陥画像はコンピュータ5のディスプレイ55に表示される。入力部56がユーザからの入力を受け付けることにより、複数の欠陥画像のそれぞれに対して、複数の欠陥クラスのうちの一の欠陥クラスが関連付けられる。以上の処理により、一の欠陥クラスに属すると教示された欠陥画像、および、当該欠陥画像に対応する欠陥領域画像の集合を教師画像セットとして、複数の教師画像セットが準備される(ステップS11)。以下の説明では、ユーザにより各欠陥画像に付与された欠陥クラスを「教示欠陥クラス」という。 The plurality of defect images are displayed on the display 55 of the computer 5. When the input unit 56 receives an input from the user, one defect class out of the plurality of defect classes is associated with each of the plurality of defect images. As a result of the above processing, a plurality of teacher image sets are prepared with a set of defect images taught to belong to one defect class and defect area images corresponding to the defect images as a teacher image set (step S11). . In the following description, the defect class assigned to each defect image by the user is referred to as a "teaching defect class".
図5Aないし図5Cは、教師画像セットを示す図である。図5Aないし図5Cでは、欠陥画像71および欠陥領域画像72を示している。画素特徴量算出部311では、各教師画像セットの欠陥画像71における各画素に対して画素特徴量ベクトルが取得される(ステップS12)。本実施の形態では、欠陥画像71の各画素を中心とする所定サイズの領域(後述の図6のウィンドウ6内の領域)において、高次局所自己相関(Higher-oder Local Auto-Correlation: HLAC)特徴量が画素特徴量として求められる。 5A-5C are diagrams showing a set of teacher images. 5A to 5C show the defect image 71 and the defect area image 72. The pixel feature quantity calculation unit 311 acquires a pixel feature quantity vector for each pixel in the defect image 71 of each teacher image set (step S12). In the present embodiment, higher-order Local Auto-Correlation (HLAC) in an area of a predetermined size centered on each pixel of the defect image 71 (an area in the window 6 of FIG. 6 described later). The feature amount is obtained as a pixel feature amount.
図6は、欠陥画像71の各画素の画素特徴量を算出する処理を説明するための図である。複数の画素711が行方向および列方向に配列される欠陥画像71において、図6中にて平行斜線を付す一の画素711aを注目画素とすると、注目画素711aに対する画素特徴量の算出では、欠陥画像71において注目画素711aを中心とするウィンドウ6が設定される。例えば、図6のウィンドウ6の行方向の長さは、行方向の画素ピッチP1の9倍であり、ウィンドウ6の列方向の長さは、列方向の画素ピッチP2の9倍である。 FIG. 6 is a diagram for explaining the process of calculating the pixel feature amount of each pixel of the defect image 71. In the defect image 71 in which a plurality of pixels 711 are arranged in the row direction and the column direction, assuming that one pixel 711a to which parallel diagonal lines are hatched in FIG. In the image 71, a window 6 centered on the pixel of interest 711a is set. For example, the length in the row direction of the window 6 in FIG. 6 is nine times the pixel pitch P1 in the row direction, and the length in the column direction of the window 6 is nine times the pixel pitch P2 in the column direction.
また、画素特徴量算出部311では、HLAC特徴量用の複数のマスクパターン61が準備されている。複数のマスクパターン61は互いに異なる。各マスクパターン61(カーネルとも呼ばれる。)では、複数の要素が行方向および列方向に配列されており、各要素は画素711と同じサイズである。例えば、各マスクパターン61の行方向の長さは、行方向の画素ピッチP1の3倍であり、マスクパターン61の列方向の長さは、列方向の画素ピッチP2の3倍である。各マスクパターン61のサイズは、ウィンドウ6のサイズよりも小さい。図6では、マスクパターン61の外形を示す実線の太さを、ウィンドウ6の外形を示す実線よりも太く描いている。ウィンドウ6の行方向および列方向における長さは、好ましくは、マスクパターン61の長さの2倍以上かつ5倍以下である。 Further, in the pixel feature quantity calculation unit 311, a plurality of mask patterns 61 for the HLAC feature quantity are prepared. The plurality of mask patterns 61 are different from one another. In each mask pattern 61 (also referred to as a kernel), a plurality of elements are arranged in the row direction and the column direction, and each element has the same size as the pixel 711. For example, the length in the row direction of each mask pattern 61 is three times the pixel pitch P1 in the row direction, and the length in the column direction of the mask pattern 61 is three times the pixel pitch P2 in the column direction. The size of each mask pattern 61 is smaller than the size of the window 6. In FIG. 6, the thickness of the solid line indicating the outline of the mask pattern 61 is drawn thicker than the solid line indicating the outline of the window 6. The length of the window 6 in the row direction and the column direction is preferably at least twice and at most 5 times the length of the mask pattern 61.
マスクパターン61は、図6中に符号A1を付す矢印にて示すように、ウィンドウ6内を走査する。すなわち、マスクパターン61の全体がウィンドウ6内に配置されるという条件の下で、列方向におけるウィンドウ6内の各位置において、行方向に関してウィンドウ6内の一端から他端までマスクパターン61が1画素ずつ移動する。また、マスクパターン61では、互いに掛け合わせるべき複数の要素が指定されており、マスクパターン61が配置される各位置では、マスクパターン61が指示する複数の要素とそれぞれ重なる複数の画素711の値同士が掛け合わされて中間演算値が求められる。そして、ウィンドウ6内においてマスクパターン61が配置される全ての位置における中間演算値の和が、当該マスクパターン61による画素特徴量として求められる。なお、複数のマスクパターン61では、掛け合わせるべき要素が互いに異なる。 The mask pattern 61 scans the inside of the window 6 as indicated by an arrow with a reference A1 in FIG. That is, under the condition that the entire mask pattern 61 is disposed in the window 6, at each position in the window 6 in the column direction, the mask pattern 61 is one pixel from one end to the other end in the window 6 in the row direction. Move by Further, in the mask pattern 61, a plurality of elements to be multiplied with each other are specified, and at each position where the mask pattern 61 is arranged, values of a plurality of pixels 711 overlapping with a plurality of elements indicated by the mask pattern 61 are selected. Are multiplied to obtain an intermediate operation value. Then, the sum of intermediate operation values at all positions where the mask pattern 61 is arranged in the window 6 is obtained as a pixel feature value by the mask pattern 61. In the plurality of mask patterns 61, the elements to be multiplied are different from one another.
このように、ウィンドウ6内において、各マスクパターン61を複数の位置に配置して当該マスクパターン61に従った演算を行うことにより、複数のマスクパターン61にそれぞれ対応する複数の画素特徴量が注目画素711aに対して取得される。そして、複数の画素特徴量の配列が、注目画素711aに対する画素特徴量ベクトルとして取得される。上記処理は、欠陥画像71において、ウィンドウ6が配置可能な各画素711(すなわち、欠陥画像71の外縁近傍に位置する画素711を除く全ての画素711のそれぞれ)を注目画素として行われ、欠陥画像71のおよそ全ての画素711に対する画素特徴量ベクトルが取得される。換言すると、複数(例えば、35個)のマスクパターン61にそれぞれ対応する複数の画素特徴量画像が取得される。なお、画素特徴量画像のサイズは、ウィンドウ6のサイズに応じて欠陥画像71よりも僅かに小さくなる。 As described above, by arranging each mask pattern 61 at a plurality of positions in the window 6 and performing an operation according to the mask pattern 61, a plurality of pixel feature amounts respectively corresponding to the plurality of mask patterns 61 are noticed It is acquired for the pixel 711a. Then, an array of a plurality of pixel feature amounts is acquired as a pixel feature amount vector for the target pixel 711a. The above process is performed with each pixel 711 in which the window 6 can be placed (that is, each of all the pixels 711 excluding the pixel 711 located near the outer edge of the defect image 71) in the defect image 71 as a pixel of interest Pixel feature value vectors for approximately all 71 pixels 71 are obtained. In other words, a plurality of pixel feature amount images respectively corresponding to a plurality of (for example, 35) mask patterns 61 are acquired. The size of the pixel feature amount image is slightly smaller than the defect image 71 according to the size of the window 6.
一方、各教師画像セットの欠陥領域画像72は、欠陥画像71の各画素711が、基板9上の欠陥を示す欠陥領域、および、欠陥を示さない非欠陥領域のいずれに含まれるかを示す。すなわち、欠陥領域画像72は、欠陥画像71の各画素711が属する領域クラス(欠陥領域および非欠陥領域)を示す。学習部33では、複数の教師画像セットに含まれる欠陥画像71の各画素711の画素特徴量ベクトル、および、欠陥領域画像72が示す当該画素711の領域クラスを用いて画素分類器312が生成される(ステップS13)。各画素711の画素特徴量ベクトル、および、当該画素711の領域クラスの組合せは、画素分類器312を構築するための教師データと捉えることができる。画素分類器312を生成する方法または機構としては、学習型(教示型)のものであれば様々なものが利用されてよい。例えば、最近傍法、最小距離法、部分空間法、決定木法、線形判別法、ファジーボーティング法、フレキシブルナイブベイズ法、ニューラルネットワーク、サポートベクターマシン(SVM)等が採用可能である。 On the other hand, the defect area image 72 of each teacher image set indicates whether each pixel 711 of the defect image 71 is included in the defect area indicating the defect on the substrate 9 or in the non-defect area not indicating the defect. That is, the defect area image 72 indicates the area class (defect area and non-defect area) to which each pixel 711 of the defect image 71 belongs. The learning unit 33 generates a pixel classifier 312 using the pixel feature quantity vector of each pixel 711 of the defect image 71 included in the plurality of teacher image sets and the area class of the pixel 711 indicated by the defect area image 72. (Step S13). The combination of the pixel feature amount vector of each pixel 711 and the area class of the pixel 711 can be regarded as teaching data for constructing the pixel classifier 312. As a method or mechanism for generating the pixel classifier 312, various learning type (teaching type) may be used. For example, the nearest neighbor method, the minimum distance method, the subspace method, the decision tree method, the linear discriminant method, the fuzzy voting method, the flexible nib Bayesian method, the neural network, the support vector machine (SVM), etc. can be adopted.
続いて、領域特徴量算出部321では、各教師画像セットに対して領域特徴量ベクトルが取得される(ステップS14)。本実施の形態では、欠陥領域画像72により特定される欠陥画像71の欠陥領域において、HLAC特徴量が求められる。すなわち、欠陥画像71の欠陥領域に含まれる各画素に対してマスクパターンに従った演算により得られる値を画素演算値として、当該欠陥領域に含まれる全ての画素の画素演算値の和が、当該マスクパターンによる領域特徴量として求められる。このように、領域特徴量を求める領域が、欠陥画像71における欠陥領域に制限される。 Subsequently, the area feature quantity calculation unit 321 acquires an area feature quantity vector for each teacher image set (step S14). In the present embodiment, the HLAC feature value is determined in the defect area of the defect image 71 specified by the defect area image 72. That is, the sum of pixel operation values of all the pixels included in the defect area is a value obtained by performing an operation according to the mask pattern for each pixel included in the defect area of the defect image 71 as the pixel operation value. It is obtained as an area feature value by the mask pattern. Thus, the area for which the area feature value is to be obtained is limited to the defect area in the defect image 71.
領域特徴量算出部321では、画素特徴量算出部311と同様に、複数のマスクパターンが準備されており、各マスクパターンによる領域特徴量が求められる。そして、複数(全て)のマスクパターンを用いてそれぞれ求められる複数の領域特徴量の配列が、領域特徴量ベクトルとして取得される。なお、領域特徴量は、画素特徴量算出部311にて算出された画素特徴量を用いて求められてよく、例えば、欠陥領域に含まれる全ての画素の画素特徴量の和であってもよい。また、HLAC特徴量に加えて、欠陥の面積、周囲長、重心位置、モーメント量、階調値の平均、分散、最大、最小等の特徴量が、欠陥画像71または欠陥領域画像72から取得され、領域特徴量ベクトルに含まれてもよい。 In the area feature quantity calculation unit 321, as in the pixel feature quantity calculation unit 311, a plurality of mask patterns are prepared, and the area feature quantity by each mask pattern is obtained. Then, an array of a plurality of region feature amounts obtained respectively using a plurality (all) of mask patterns is acquired as a region feature amount vector. The region feature may be obtained using the pixel feature calculated by the pixel feature calculator 311. For example, it may be the sum of pixel features of all pixels included in the defect region. . In addition to HLAC feature quantities, feature quantities such as defect area, perimeter length, barycentric position, moment quantity, average of tone values, variance, maximum, minimum, etc. are obtained from defect image 71 or defect area image 72. , And may be included in the region feature vector.
各教師画像セットに対して領域特徴量ベクトルが取得されると、複数の教師画像セットの領域特徴量ベクトル、および、複数の教師画像セットに含まれる欠陥画像71に関連付けられた教示欠陥クラスを用いて領域分類器322が生成される(ステップS15)。各欠陥領域の領域特徴量ベクトル、および、当該欠陥領域の教示欠陥クラス(すなわち、欠陥画像71の教示欠陥クラス)の組合せは、領域分類器322を構築するための教師データと捉えることができる。画素分類器312の生成と同様に、領域分類器322を生成する方法または機構としては、学習型(教示型)のものであれば様々なものが利用されてよい。以上の処理により、画素分類器312および領域分類器322が構築される。 When the region feature vector is obtained for each teacher image set, the region feature vector of the plurality of teacher image sets and the teaching defect class associated with the defect image 71 included in the plurality of teacher image sets are used. Then, the area classifier 322 is generated (step S15). The combination of the region feature vector of each defect region and the taught defect class of the defect region (that is, the taught defect class of the defect image 71) can be regarded as teaching data for constructing the region classifier 322. Similar to the generation of the pixel classifier 312, various methods or mechanisms for generating the region classifier 322 may be used as long as they are of a learning type (teaching type). The pixel classifier 312 and the area classifier 322 are constructed by the above processing.
ここで、図5Aないし図5Cに示す教師画像セットの欠陥画像71の各画素を、図4の処理により構築された画素分類器312により分類すると、図7Aないし図7Cの左側の画像73(以下、「検出領域画像73」という。)が得られる。検出領域画像73は、画素分類器312により欠陥領域に属すると判定された画素の値と、非欠陥領域に属すると判定された画素の値とが相違する2値画像である。換言すると、検出領域画像73は、領域クラスが欠陥領域である領域(すなわち、検出された欠陥領域であり、以下、「検出欠陥領域」という。)を、領域クラスが非欠陥領域である他の領域と区別して示す画像である。 Here, when each pixel of the defect image 71 of the teacher image set shown in FIG. 5A to FIG. 5C is classified by the pixel classifier 312 constructed by the process of FIG. , “Detected area image 73” is obtained. The detection area image 73 is a binary image in which the value of the pixel determined to belong to the defective area by the pixel classifier 312 is different from the value of the pixel determined to belong to the non-defective area. In other words, the detection area image 73 is an area in which the area class is a defect area (that is, a detected defect area, hereinafter referred to as a “detection defect area”), and another in which the area class is a non-defect area. It is an image shown separately from the area.
図7Aないし図7Cの検出領域画像73における白い検出欠陥領域は、図5Aないし図5Cの欠陥領域画像72が示す欠陥領域(白い領域)を概ね含むが、欠陥領域に対応しない微小な検出欠陥領域(幅が微小な検出欠陥領域も含む。)も散在している。後述するように、検査・分類装置1における検査および分類では、欠陥領域の有無および位置が未知である撮像画像から検査部31にて検出欠陥領域が取得された際に、分類部32により当該検出欠陥領域の分類が行われる。本実施の形態では、微小な検出欠陥領域は偽欠陥である可能性が高いため、分類部32における欠陥クラスの分類では、微小な検出欠陥領域は除去されることが好ましい。 The white detection defect area in the detection area image 73 of FIGS. 7A to 7C substantially includes the defect area (white area) indicated by the defect area image 72 of FIGS. 5A to 5C, but a minute detection defect area not corresponding to the defect area. (Including detection defect areas with a minute width.) Are also scattered. As described later, in the inspection and classification in the inspection and classification apparatus 1, when the inspection defection area is acquired by the inspection part 31 from the captured image in which the presence or absence and the position of the defect area are unknown, the classification part 32 detects Classification of defect areas is performed. In the present embodiment, since the minute detection defect area is highly likely to be a false defect, in the classification of the defect class in the classification unit 32, it is preferable that the minute detection defect area is removed.
この場合、分類部32における領域特徴量算出部321では、検出領域画像73に対して、微小領域(幅が微小な領域も含む。)を除去する前処理(ノイズ除去処理)が施され、前処理済みの検出領域画像が示す検出欠陥領域に対して領域特徴量ベクトルが取得される。本実施の形態では、検出領域画像73の検出欠陥領域に対する収縮処理および膨張処理が前処理として行われる。図7Aないし図7Cの右側には、左側の検出領域画像73の検出欠陥領域に対して収縮処理を施し、続いて、当該収縮処理と同程度の膨張処理を施して得られる画像74(前処理済みの検出領域画像であり、以下、「処理済み検出領域画像74」という。)を示している。図7Aないし図7Cの右側の処理済み検出領域画像74は、左側の検出領域画像73よりも、図5Aないし図5Cの右側の欠陥領域画像72に近似している。 In this case, in the region feature quantity calculation unit 321 in the classification unit 32, the detection region image 73 is subjected to preprocessing (noise removal processing) for removing a minute region (including a region with a minute width), An area feature amount vector is acquired for a detected defect area indicated by the processed detection area image. In the present embodiment, contraction processing and expansion processing on a detection defect area of the detection area image 73 are performed as preprocessing. In the right side of FIGS. 7A to 7C, an image 74 obtained by performing contraction processing on the detection defect area of the detection area image 73 on the left side and subsequently performing expansion processing similar to the contraction processing (preprocessing Hereinafter, it is referred to as “processed detection area image 74”. The processed detection area image 74 on the right side of FIGS. 7A to 7C is closer to the defect area image 72 on the right side of FIGS. 5A to 5C than the detection area image 73 on the left side.
図8は、検査・分類装置1による検査および分類の流れを示す図である。まず、撮像部2が基板9の検査対象領域を撮像することにより、多値の撮像画像が取得され、対象画像として検査部31に入力される(ステップS21)。図9では、対象画像70の一部を示しており、実際には、基板9上の広範囲を示す対象画像70が取得される。対象画像70では、欠陥領域の有無および位置が未知である。後述の図10および図11の画像は、図9に対応する。実際には、撮像部2により基板9上の複数の検査対象領域が順に撮像されて複数の対象画像70が取得され、以下の処理が、複数の対象画像70に対して順次行われる。 FIG. 8 is a diagram showing the flow of inspection and classification by the inspection and classification device 1. First, as the imaging unit 2 images the inspection target area of the substrate 9, a multivalued captured image is acquired and input to the inspection unit 31 as a target image (step S21). FIG. 9 shows a part of the target image 70, and in practice, the target image 70 showing a wide area on the substrate 9 is obtained. In the target image 70, the presence and the position of the defect area are unknown. The images in FIG. 10 and FIG. 11 described later correspond to FIG. In practice, a plurality of inspection target areas on the substrate 9 are sequentially imaged by the imaging unit 2 to acquire a plurality of target images 70, and the following processing is sequentially performed on the plurality of target images 70.
画素特徴量算出部311では、図4のステップS12と同様の処理により、対象画像70の各画素に対して画素特徴量ベクトルが取得される(ステップS22)。すなわち、対象画像70の各画素を中心とするウィンドウ6(図6参照)内において、各マスクパターン61を複数の位置に配置して当該マスクパターン61に従った演算を行うことにより、複数のマスクパターン61にそれぞれ対応する複数の画素特徴量が取得される。画素分類器312では、画素特徴量ベクトルに基づいて当該画素が欠陥領域に含まれるか否かが判定される(ステップS23)。例えば、欠陥領域に含まれると判定された画素(以下、「検出欠陥画素」という。)には、値1が付与され、欠陥領域に含まれないと判定された画素には、値0が付与される。これにより、図9に示す対象画像70に対して、図10の左側に示す検出領域画像73が取得される。検出領域画像73は、検出欠陥領域(白い領域)を示す。各検出欠陥領域は、互いに隣接する検出欠陥画素の集合(閉領域)であり、ブロブとも呼ばれる。 The pixel feature quantity calculation unit 311 obtains a pixel feature quantity vector for each pixel of the target image 70 by the same process as step S12 in FIG. 4 (step S22). That is, in the window 6 (see FIG. 6) centered on each pixel of the target image 70, the mask patterns 61 are arranged at a plurality of positions, and calculations are performed according to the mask patterns 61 to obtain a plurality of masks. A plurality of pixel feature quantities respectively corresponding to the pattern 61 are acquired. The pixel classifier 312 determines whether the pixel is included in the defect area based on the pixel feature quantity vector (step S23). For example, the pixel determined to be included in the defect area (hereinafter referred to as "detected defect pixel") is assigned the value 1 and the pixel determined not to be included in the defect area is assigned the value 0. Be done. Thus, a detection area image 73 shown on the left side of FIG. 10 is obtained with respect to the target image 70 shown in FIG. The detection area image 73 shows a detection defect area (white area). Each detection defect area is a set (closed area) of detection defect pixels adjacent to each other, and is also called a blob.
検出領域画像73は、分類部32に入力される。領域特徴量算出部321では、検出領域画像73の各検出欠陥領域に対して収縮処理を施し、続いて、当該収縮処理と同程度の膨張処理が施される。このようにして、検出領域画像73に対して微小領域を除去する前処理(ノイズ除去処理)が施され、図10の右側に示す処理済み検出領域画像74が取得される(ステップS24)。なお、領域特徴量算出部321における前処理は、検出領域画像73における微小領域が除去可能であるならば、他の手法にて行われてよい。 The detection area image 73 is input to the classification unit 32. In the region feature quantity calculation unit 321, a contraction process is performed on each detection defect area of the detection area image 73, and then, an expansion process similar to the contraction process is performed. Thus, preprocessing (noise removal processing) for removing a minute area is performed on the detection area image 73, and a processed detection area image 74 shown on the right side of FIG. 10 is obtained (step S24). Note that the preprocessing in the region feature quantity calculation unit 321 may be performed by another method as long as a minute region in the detection region image 73 can be removed.
領域特徴量算出部321では、図4のステップS14と同様の処理により、処理済み検出領域画像74の各検出欠陥領域に対して領域特徴量ベクトルが取得される(ステップS25)。例えば、処理済み検出領域画像74により特定される対象画像70の検出欠陥領域において、HLAC特徴量が求められる。HLAC特徴量に加えて、欠陥の面積、周囲長、重心位置、モーメント量、階調値の平均、分散、最大、最小等の特徴量が、対象画像70または処理済み検出領域画像74から取得され、領域特徴量ベクトルに含まれてもよい。処理済み検出領域画像74における検出欠陥領域毎の領域特徴量ベクトルは領域分類器322に入力され、分類結果が出力される。すなわち、領域分類器322により、検出欠陥領域(ブロブ)が領域特徴量ベクトルに基づいて複数の欠陥クラスのいずれかに分類される(ステップS26)。分類部32では、検査部31にて検出欠陥領域が検出される毎に領域特徴量の算出がリアルタイムにて行われ、多数の検出欠陥領域の自動分類が高速に行われる。 The area feature quantity calculation unit 321 acquires an area feature quantity vector for each detection defect area of the processed detection area image 74 by the same process as step S14 in FIG. 4 (step S25). For example, in the detection defect area of the target image 70 specified by the processed detection area image 74, the HLAC feature value is obtained. In addition to the HLAC feature quantities, feature quantities such as defect area, perimeter, center of gravity position, moment quantity, average of tone values, variance, maximum, minimum, etc. are acquired from the target image 70 or the processed detection area image 74 , And may be included in the region feature vector. The area feature value vector for each detection defect area in the processed detection area image 74 is input to the area classifier 322, and the classification result is output. That is, the area classification unit 322 classifies the detected defect area (blob) into any one of a plurality of defect classes based on the area feature quantity vector (step S26). In the classification unit 32, calculation of the area feature amount is performed in real time each time the inspection unit 31 detects a detected defect area, and automatic classification of a large number of detected defect areas is performed at high speed.
なお、図11では、図9の対象画像70を参照画像と比較することにより差分画像を生成し、当該差分画像を二値化する等して取得した欠陥領域画像72を示している。図10の左側の検出領域画像73、および、右側の処理済み検出領域画像74は、図11の欠陥領域画像72と近似している。このように、検出領域画像73および処理済み検出領域画像74では、欠陥領域が適切に検出され、検出領域画像73および処理済み検出領域画像74を、欠陥領域画像72に代えて、欠陥領域の分類に利用可能であることが判る。 Note that FIG. 11 shows a defect area image 72 obtained by generating a difference image by comparing the target image 70 of FIG. 9 with a reference image and binarizing the difference image. The detection area image 73 on the left side of FIG. 10 and the processed detection area image 74 on the right side are similar to the defect area image 72 of FIG. Thus, in the detection area image 73 and the processed detection area image 74, the defect area is appropriately detected, and the detection area image 73 and the processed detection area image 74 are replaced with the defect area image 72 to classify the defect area. It can be seen that it is available to
以上に説明したように、領域検出装置である検査・分類装置1では、対象画像70の各画素を中心とするウィンドウ6内において、各マスクパターン61を複数の位置に配置して当該マスクパターン61に従った演算を行うことにより、複数のマスクパターン61にそれぞれ対応する複数の画素特徴量が当該画素に対して取得される。そして、複数の画素特徴量に基づいて、当該画素が、基板9上の欠陥を示す欠陥領域に含まれるか否かが判定される。これにより、対象画像70において、欠陥の検出および分類に利用される目的領域である検出欠陥領域(欠陥領域)を、参照画像を用いることなく容易に検出することが実現される。 As described above, in the inspection / classification apparatus 1 which is an area detection apparatus, each mask pattern 61 is arranged at a plurality of positions in the window 6 centered on each pixel of the target image 70 and the mask pattern 61 is arranged. A plurality of pixel feature amounts respectively corresponding to the plurality of mask patterns 61 are obtained for the pixels by performing the calculation according to the above. Then, based on the plurality of pixel feature amounts, it is determined whether the pixel is included in a defect area indicating a defect on the substrate 9 or not. Thereby, in the target image 70, it is realized to easily detect a detection defect area (defect area) which is a target area used for detection and classification of a defect without using a reference image.
また、検出欠陥領域に対して領域特徴量が算出され、当該領域特徴量に基づいて当該検出欠陥領域が分類される。これにより、検出欠陥領域を適切に分類することができる。領域特徴量として、対象画像70における検出欠陥領域に対するHLAC特徴量を算出することにより、検出欠陥領域を精度よく分類することができる。さらに、検出欠陥領域を他の領域と区別して示す検出領域画像73に対して、微小領域を除去する前処理を施し、前処理済みの検出領域画像74が示す検出欠陥領域に対して領域特徴量を算出することにより、検出欠陥領域をより適切に分類することができる。 In addition, an area feature amount is calculated for the detected defect area, and the detected defect area is classified based on the area feature amount. Thereby, the detection defect area can be appropriately classified. By calculating the HLAC feature quantity for the detection defect area in the target image 70 as the area feature quantity, the detection defect area can be classified with high accuracy. Further, the detection area image 73 showing the detected defect area separately from the other areas is subjected to pre-processing for removing a minute area, and the area feature amount for the detected defect area indicated by the pre-processed detection area image 74 The detection defect area can be classified more appropriately by calculating.
検査・分類装置1では、欠陥を示す欠陥画像71と所定の参照画像との差分画像に基づいて取得される欠陥領域画像72と、当該欠陥画像71の各画素に対する複数の画素特徴量とを用いて学習を行うことにより、画素分類器312が構築される。これにより、画素分類器312の構築においてユーザによる教示作業(欠陥領域に含まれる画素の教示作業)を省略または簡略化することができる。 The inspection / classification apparatus 1 uses a defect area image 72 acquired based on a difference image between a defect image 71 indicating a defect and a predetermined reference image, and a plurality of pixel feature amounts for each pixel of the defect image 71. By performing learning, the pixel classifier 312 is constructed. This makes it possible to omit or simplify the teaching operation (teaching operation for the pixels included in the defect area) by the user in the construction of the pixel classifier 312.
上記検査・分類装置1および領域検出方法では様々な変形が可能である。 Various modifications can be made to the inspection / classification apparatus 1 and the area detection method.
例えば、対象画像(欠陥画像)の各画素を中心とするウィンドウ内において、マスクパターンである微分フィルタを複数の位置に配置することにより、当該複数の位置の濃度勾配方向が求められ、当該複数の位置の濃度勾配方向の分散を示す値が、当該画素に対する一の画素特徴量として取得されてよい。このように、画素特徴量算出部311では、高次局所自己相関特徴量用のマスクパターン以外の様々なマスクパターンが用いられてよい。 For example, in the window centered on each pixel of the target image (defective image), the density gradient direction of the plurality of positions can be determined by arranging the differential filter, which is a mask pattern, in the plurality of positions. A value indicating the dispersion in the density gradient direction of the position may be acquired as one pixel feature amount for the pixel. Thus, in the pixel feature quantity calculation unit 311, various mask patterns other than the mask pattern for the high-order local autocorrelation feature quantity may be used.
対象画像は、半導体基板以外の基板の外観を示すものであってよい。すなわち、欠陥画像は、半導体基板以外の基板のパターンの欠陥や異物等の欠陥を示すものであってよい。当該基板として、ハードディスク基板等の薄膜デバイス、プラズマディスプレイや液晶ディスプレイ等の薄型ディスプレイに用いられるガラス基板、フォトマスク基板、フィルム基板、プリント配線基板等が例示される。 The target image may show the appearance of a substrate other than the semiconductor substrate. That is, the defect image may indicate a defect of a pattern of a substrate other than the semiconductor substrate or a defect such as a foreign substance. Examples of the substrate include thin film devices such as hard disk substrates, glass substrates used for thin displays such as plasma displays and liquid crystal displays, photomask substrates, film substrates, printed wiring substrates and the like.
また、検査・分類装置1が、太陽電池パネルを撮像した画像の検査および分類に用いられてよい。この場合、例えば、太陽電池パネルのEL(エレクトロ・ルミネッセンス)発光やPL(フォト・ルミネッセンス)発光を撮像して得られる画像や、レーザーテラヘルツエミッション顕微鏡(LTEM)を用いて得られる太陽電池パネルの画像において、参照画像が示す正常な領域とは異なる領域が検出対象の欠陥領域(目的領域)となる。 Moreover, the inspection and classification device 1 may be used for inspection and classification of an image obtained by imaging a solar cell panel. In this case, for example, an image obtained by imaging EL (electro luminescence) or PL (photo luminescence) emission of a solar cell panel, or an image of a solar cell panel obtained using a laser terahertz emission microscope (LTEM) An area different from the normal area indicated by the reference image is the defect area (target area) to be detected.
図12および図13は、太陽電池パネルのEL発光を撮像して得られる画像を示し、図12は、欠陥を含む領域を示す欠陥画像であり、図13は、欠陥を含まない領域を示す参照画像である。図14は、欠陥画像と参照画像との差分画像に基づいて取得される欠陥領域画像を示す。検査・分類装置1の画素特徴量算出部311では、欠陥画像の各画素に対する複数の画素特徴量が算出され、欠陥領域画像と各画素の画素特徴量ベクトルとを用いて学習を行うことにより、画素分類器312が構築される。そして、欠陥領域の有無および位置が未知である図15に示す対象画像が入力されると、対象画像の各画素の画素特徴量ベクトルに基づいて当該画素が欠陥領域に含まれるか否かが判定され、図16に示す検出領域画像が取得される。もちろん、上記実施の形態と同様にして、領域分類器322が構築され、領域特徴量ベクトルに基づく欠陥クラスの分類が行われてよい。 12 and 13 show images obtained by imaging the EL emission of the solar cell panel, FIG. 12 is a defect image showing a region including a defect, and FIG. 13 is a reference showing a region not including a defect It is an image. FIG. 14 shows a defect area image obtained based on the difference image between the defect image and the reference image. The pixel feature quantity calculation unit 311 of the inspection / classification apparatus 1 calculates a plurality of pixel feature quantities for each pixel of the defect image, and performs learning using the defect area image and the pixel feature quantity vector of each pixel. A pixel classifier 312 is constructed. Then, when the target image shown in FIG. 15 in which the presence or absence and the position of the defect area are unknown is input, it is determined whether the pixel is included in the defect area based on the pixel feature quantity vector of each pixel of the target image. And a detection area image shown in FIG. 16 is acquired. Of course, in the same manner as the above embodiment, the region classifier 322 may be constructed, and classification of defect classes based on region feature vectors may be performed.
また、検査・分類装置1が、血液や培養液等の所定の液中の細胞を分類する用途に用いられてもよい。この場合、細胞を含む液を撮像して撮像画像(細胞画像)が取得される。例えば、培養中の細胞(例えば、ガン細胞)から死細胞を取り除くために、当該細胞を示す撮像画像から、死細胞の領域を目的領域として検出する場合、死細胞の領域を示す撮像画像である死細胞画像において死細胞の領域がユーザにより指定され、2値の死細胞領域画像が生成される。また、画素特徴量算出部311では、死細胞画像の各画素に対する複数の画素特徴量が算出され、死細胞領域画像と各画素の画素特徴量ベクトルとを用いて学習を行うことにより、画素分類器312が構築される。そして、死細胞の領域の有無および位置が未知である撮像画像が対象画像として入力されると、対象画像の各画素の画素特徴量ベクトルに基づいて当該画素が死細胞の領域に含まれるか否かが判定され、対象画像における死細胞の領域が検出される。検出対象の目的領域は、例えば、培養中のips細胞において生成される目的外の細胞の領域等であってもよい。もちろん、領域特徴量ベクトルに基づく目的領域の分類が行われてよい。 Further, the inspection / classification apparatus 1 may be used for classifying cells in a predetermined liquid such as blood or culture liquid. In this case, a liquid containing cells is imaged to obtain a captured image (cell image). For example, in order to remove dead cells from cells in culture (for example, cancer cells), when a dead cell area is detected as a target area from a captured image showing the cells, the captured image is a dead cell area. In the dead cell image, the region of dead cells is specified by the user, and a binary dead cell region image is generated. The pixel feature quantity calculation unit 311 calculates a plurality of pixel feature quantities for each pixel of the dead cell image, and performs learning using the dead cell area image and the pixel feature quantity vector of each pixel to perform pixel classification. Vessel 312 is constructed. Then, when a captured image whose presence or absence and position of a dead cell region is unknown is input as a target image, whether or not the pixel is included in the dead cell region based on the pixel feature quantity vector of each pixel of the target image The area of dead cells in the target image is detected. The target region to be detected may be, for example, a region of non-target cells generated in ips cells in culture. Of course, classification of the target area based on the area feature vector may be performed.
以上のように、検査・分類装置1では、様々な種類の対象物を撮像した対象画像から、所定の目的に利用される目的領域を容易に検出することが可能である。検査・分類装置1において、目的領域を検出する領域検出装置としての機能は、様々な用途に利用されてよく、撮像部2と分離して用いられてもよい。検査・分類装置1では、レーザ光、電子線やX線等により撮像される画像が検査および分類されてよい。 As described above, the inspection / classification apparatus 1 can easily detect a target area used for a predetermined purpose from target images obtained by imaging various types of objects. In the inspection / classification apparatus 1, the function as an area detection apparatus for detecting a target area may be used for various applications, and may be used separately from the imaging unit 2. In the inspection / classification apparatus 1, an image captured by a laser beam, an electron beam, an X-ray or the like may be inspected and classified.
上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。 The configurations in the above embodiment and each modification may be combined as appropriate as long as no contradiction arises.
1 検査・分類装置
6 ウィンドウ
9 基板
61 マスクパターン
70 対象画像
71 欠陥画像
72 欠陥領域画像
73 検出領域画像
74 処理済み検出領域画像
311 画素特徴量算出部
312 画素分類器
321 領域特徴量算出部
322 領域分類器
711,711a 画素
S11〜S15,S21〜S26 ステップ
1 inspection / classification apparatus 6 window 9 substrate 61 mask pattern 70 target image 71 defect image 72 defect area image 73 detection area image 74 processed detection area image 311 pixel feature quantity calculation section 312 pixel classifier 321 area feature quantity calculation section 322 area Classifier 711, 711a Pixels S11 to S15, S21 to S26 Steps
Claims (10)
互いに異なる複数のマスクパターンが準備されており、対象画像の各画素を中心とするウィンドウ内において、前記ウィンドウよりもサイズが小さい各マスクパターンを複数の位置に配置して前記各マスクパターンに従った演算を行うことにより、前記複数のマスクパターンにそれぞれ対応する複数の画素特徴量を前記各画素に対して取得する画素特徴量算出部と、
前記複数の画素特徴量に基づいて、前記各画素が目的領域に含まれるか否かを判定する画素分類器と、
前記画素分類器により検出された前記目的領域に対して領域特徴量を算出する領域特徴量算出部と、
前記領域特徴量に基づいて前記目的領域を分類する領域分類器と、
を備え、
前記領域特徴量算出部が、前記目的領域に含まれる各画素に対してマスクパターンに従った演算により得られる値を画素演算値として、前記目的領域に含まれる全ての画素の画素演算値の和を、前記領域特徴量として算出することを特徴とする領域検出装置。 An area detection apparatus for detecting a target area used for a predetermined purpose from a target image, the area detection apparatus comprising:
A plurality of mask patterns different from one another are prepared, and each mask pattern smaller in size than the window is arranged at a plurality of positions in a window centered on each pixel of the target image, and the mask patterns are followed. A pixel feature amount calculation unit configured to obtain a plurality of pixel feature amounts respectively corresponding to the plurality of mask patterns by performing an operation;
A pixel classifier that determines whether each pixel is included in a target area based on the plurality of pixel feature amounts;
An area feature quantity calculation unit which calculates an area feature quantity for the target area detected by the pixel classifier;
An area classifier that classifies the target area based on the area feature amount;
Equipped with
A sum of pixel operation values of all the pixels included in the target area, wherein the region feature quantity calculation unit uses a value obtained by calculation according to a mask pattern for each pixel included in the target region as a pixel operation value. a region detection apparatus characterized that you calculated as the region feature.
前記複数のマスクパターンが、高次局所自己相関特徴量用のマスクパターンを含むことを特徴とする領域検出装置。 The area detection apparatus according to claim 1, wherein
An area detection apparatus characterized in that the plurality of mask patterns include mask patterns for high-order local autocorrelation features.
前記領域特徴量算出部が、前記目的領域を他の領域と区別して示す画像に対して微小領域を除去する前処理を施し、前記前処理済みの前記画像が示す前記目的領域に対して前記領域特徴量を算出することを特徴とする領域検出装置。 The area detection device according to claim 1 or 2 , wherein
The area feature quantity calculation unit performs preprocessing for removing a micro area on an image that distinguishes the target area from other areas, and performs the pre-processing on the target area indicated by the pre-processed image. An area detection apparatus characterized by calculating a feature quantity.
前記対象画像が、対象物を撮像した画像であり、前記目的領域が、前記対象物上の欠陥を示す領域であることを特徴とする領域検出装置。 The area detection apparatus according to any one of claims 1 to 3 , wherein
An area detection apparatus characterized in that the target image is an image obtained by imaging an object, and the target area is an area indicating a defect on the object.
欠陥を示す欠陥画像と所定の参照画像との差分画像に基づいて取得される欠陥領域画像と、前記欠陥画像の各画素に対する複数の画素特徴量とを用いて学習を行うことにより、前記画素分類器が構築されることを特徴とする領域検出装置。 The area detection apparatus according to claim 4 , wherein
The pixel classification is performed by performing learning using a defect area image acquired based on a difference image between a defect image indicating a defect and a predetermined reference image, and a plurality of pixel feature amounts for each pixel of the defect image. An area detection device characterized in that the device is constructed.
a)互いに異なる複数のマスクパターンが準備されており、対象画像の各画素を中心とするウィンドウ内において、前記ウィンドウよりもサイズが小さい各マスクパターンを複数の位置に配置して前記各マスクパターンに従った演算を行うことにより、前記複数のマスクパターンにそれぞれ対応する複数の画素特徴量を前記各画素に対して取得する工程と、
b)前記複数の画素特徴量に基づいて、前記各画素が目的領域に含まれるか否かを判定する工程と、
c)前記b)工程において検出された前記目的領域に対して領域特徴量を算出する工程と、
d)前記領域特徴量に基づいて前記目的領域を分類する工程と、
を備え、
前記c)工程において、前記目的領域に含まれる各画素に対してマスクパターンに従った演算により得られる値を画素演算値として、前記目的領域に含まれる全ての画素の画素演算値の和が、前記領域特徴量として算出されることを特徴とする領域検出方法。 A region detection method for detecting a target region to be used for a predetermined purpose from a target image, comprising:
a) A plurality of mask patterns different from each other are prepared, and in a window centered on each pixel of the target image, each mask pattern smaller in size than the window is arranged at a plurality of positions to make each mask pattern Acquiring a plurality of pixel feature amounts respectively corresponding to the plurality of mask patterns by performing the operation according to the plurality of pixel patterns;
b) determining whether each pixel is included in a target area based on the plurality of pixel feature quantities;
c) calculating an area feature amount for the target area detected in the step b);
d) classifying the target area based on the area feature amount;
Equipped with
In the step c), the sum of pixel operation values of all the pixels included in the target region is a value obtained by performing an operation according to a mask pattern for each pixel included in the target region as a pixel operation value, region detection method according to claim Rukoto calculated as the region feature.
前記複数のマスクパターンが、高次局所自己相関特徴量用のマスクパターンを含むことを特徴とする領域検出方法。 The area detection method according to claim 6 , wherein
A region detection method characterized in that the plurality of mask patterns include mask patterns for high-order local autocorrelation feature quantities.
前記c)工程が、
前記目的領域を他の領域と区別して示す画像に対して微小領域を除去する前処理を施す工程と、
前記前処理済みの前記画像が示す前記目的領域に対して前記領域特徴量を算出する工程と、
を備えることを特徴とする領域検出方法。 The area detection method according to claim 6 or 7 , wherein
The step c)
Pre-processing to remove a micro area to an image in which the target area is shown separately from other areas;
Calculating the region feature amount for the target region indicated by the preprocessed image;
A region detection method comprising:
前記対象画像が、対象物を撮像した画像であり、前記目的領域が、前記対象物上の欠陥を示す領域であることを特徴とする領域検出方法。 The area detection method according to any one of claims 6 to 8 , wherein
The area detection method, wherein the target image is an image obtained by imaging an object, and the target area is an area indicating a defect on the object.
欠陥を示す欠陥画像と所定の参照画像との差分画像に基づいて取得される欠陥領域画像と、前記欠陥画像の各画素に対する複数の画素特徴量とを用いて学習を行うことにより、前記b)工程にて利用される画素分類器が構築されることを特徴とする領域検出方法。 The area detection method according to claim 9 ,
The above b) is performed by learning using a defect area image acquired based on a difference image between a defect image indicating a defect and a predetermined reference image, and a plurality of pixel feature amounts for each pixel of the defect image. An area detection method characterized in that a pixel classifier used in the process is constructed.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015060675A JP6549396B2 (en) | 2015-03-24 | 2015-03-24 | Region detection apparatus and region detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015060675A JP6549396B2 (en) | 2015-03-24 | 2015-03-24 | Region detection apparatus and region detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016181098A JP2016181098A (en) | 2016-10-13 |
JP6549396B2 true JP6549396B2 (en) | 2019-07-24 |
Family
ID=57132639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015060675A Active JP6549396B2 (en) | 2015-03-24 | 2015-03-24 | Region detection apparatus and region detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6549396B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7185388B2 (en) * | 2016-11-21 | 2022-12-07 | 日東電工株式会社 | Inspection device and inspection method |
WO2018128091A1 (en) * | 2017-01-05 | 2018-07-12 | コニカミノルタ株式会社 | Image analysis program and image analysis method |
JP2020052475A (en) * | 2018-09-21 | 2020-04-02 | 株式会社Screenホールディングス | Sorter building method, image classification method, sorter building device, and image classification device |
KR102252592B1 (en) * | 2019-08-16 | 2021-05-17 | 라온피플 주식회사 | Apparatus and method for inspecting substrate defect |
KR102467010B1 (en) * | 2020-09-16 | 2022-11-14 | 엔에이치엔클라우드 주식회사 | Method and system for product search based on image restoration |
KR102524151B1 (en) * | 2020-12-14 | 2023-04-21 | 주식회사 아이디알인비전 | Labeling learning method of artificial intelligence machine for smart products inspection |
CN113109350A (en) * | 2021-03-23 | 2021-07-13 | 深圳中科飞测科技股份有限公司 | Detection method, system, device and computer readable storage medium |
CN116342610B (en) * | 2023-05-31 | 2023-08-15 | 山东恒海钢结构有限公司 | Steel structure assembly type building welding abnormality detection method |
CN117477320B (en) * | 2023-11-07 | 2024-05-03 | 乐沪电子有限公司 | Connector assembling method, device and computer storage medium |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011158373A (en) * | 2010-02-02 | 2011-08-18 | Dainippon Screen Mfg Co Ltd | Method for creation of teacher data for use in automatic defect classification, and method and apparatus for automatic defect classification |
JP4728444B2 (en) * | 2010-08-23 | 2011-07-20 | 独立行政法人産業技術総合研究所 | Abnormal region detection apparatus and abnormal region detection method |
JP2013098267A (en) * | 2011-10-31 | 2013-05-20 | Hitachi High-Technologies Corp | Semiconductor pattern inspection device |
JP2013134666A (en) * | 2011-12-27 | 2013-07-08 | Dainippon Screen Mfg Co Ltd | Binary image generation device, classification device, binary image generation method, and classification method |
-
2015
- 2015-03-24 JP JP2015060675A patent/JP6549396B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016181098A (en) | 2016-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6549396B2 (en) | Region detection apparatus and region detection method | |
KR101934313B1 (en) | System, method and computer program product for detection of defects within inspection images | |
US7689029B2 (en) | Apparatus and method for inspecting pattern | |
JP6401648B2 (en) | Defect classification apparatus and defect classification method | |
US20170069075A1 (en) | Classifier generation apparatus, defective/non-defective determination method, and program | |
JP2019124591A (en) | Substrate defect inspection device, substrate defect inspection, and storage medium | |
JP6669453B2 (en) | Image classification device and image classification method | |
US20160364849A1 (en) | Defect detection method for display panel based on histogram of oriented gradient | |
JP6113024B2 (en) | Classifier acquisition method, defect classification method, defect classification device, and program | |
KR20220014805A (en) | Generating training data usable for examination of a semiconductor specimen | |
KR100868884B1 (en) | Flat glass defect information system and classification method | |
JP2013134666A (en) | Binary image generation device, classification device, binary image generation method, and classification method | |
Islam et al. | Capsule image segmentation in pharmaceutical applications using edge-based techniques | |
US12039441B2 (en) | Methods and systems for crack detection using a fully convolutional network | |
JP2009223414A (en) | Matching degree computing device and method, program | |
Liao et al. | A flexible PCB inspection system based on statistical learning | |
CN116596875A (en) | Wafer defect detection method and device, electronic equipment and storage medium | |
Hegenbart et al. | Systematic assessment of performance prediction techniques in medical image classification a case study on celiac disease | |
JP2004045356A (en) | Surface defect detection method | |
JP2007192688A (en) | Flaw inspection method | |
JP7414629B2 (en) | Learning data processing device, learning device, learning data processing method, and program | |
JP5231779B2 (en) | Appearance inspection device | |
Ieamsaard et al. | Automatic optical inspection of solder ball burn defects on head gimbal assembly | |
JP2008040959A (en) | Passive and interactive immediate image recognition method | |
JP2007017264A (en) | Method and device for evaluating image processing algorithm, method and device for generating image processing algorithm, program, and program recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181210 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190627 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6549396 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |