WO2007145235A1 - 異常領域検出装置および異常領域検出方法 - Google Patents

異常領域検出装置および異常領域検出方法 Download PDF

Info

Publication number
WO2007145235A1
WO2007145235A1 PCT/JP2007/061871 JP2007061871W WO2007145235A1 WO 2007145235 A1 WO2007145235 A1 WO 2007145235A1 JP 2007061871 W JP2007061871 W JP 2007061871W WO 2007145235 A1 WO2007145235 A1 WO 2007145235A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
feature data
abnormal
subspace
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2007/061871
Other languages
English (en)
French (fr)
Inventor
Nobuyuki Otsu
Takuya Nanri
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to US12/304,552 priority Critical patent/US20100021067A1/en
Publication of WO2007145235A1 publication Critical patent/WO2007145235A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Definitions

  • the present invention relates to an abnormal region detection apparatus and an abnormal region detection method for capturing an image and automatically detecting a region different from a normal region.
  • an abnormality inspection using an image is automated.
  • an inspection method for example, a pattern matching method is used in which a reference image registered for each product is compared.
  • Patent Document 1 Japanese Patent No. 2982814
  • Non-Special Reference 1 Juyang Weng, Yilu Zhang and Wey-bhiuan Hwang, Candid and ovarian ce- Free Incremental Principal Component Analysis ", IEEti, fransactions on Pattern Analysis and Machine Intelligence, Vol.25, No.8, pp.1034— 1040, 2003.
  • Non-Patent Document 2 Dorin Comaniciu and Peter Meer. Mean shift: A robust approach to ward feature space analysis. IEEE Transactions on Pattern Analysis and Machine Intelli gence, Vol.24, No.5, pp.603—619, 2002.
  • the pattern matching method which is the conventional abnormal region detection method described above, has no versatility or learning effect on the target, and needs to be matched in position and direction, and has the accuracy of long processing time. There was a problem of being bad.
  • the conductor part of the flexible wiring board is a resin printed on a film and is granular, there is a problem that it is difficult to detect a defect that makes it difficult to detect graphics such as straight edges.
  • An object of the present invention is to solve the problems of the conventional example as described above, and to use a high-order local autocorrelation feature to detect the presence and absence of an abnormality and a position with high accuracy.
  • the object is to provide a detection apparatus and an abnormal region detection method.
  • the abnormal region detection apparatus of the present invention includes feature data extraction means for extracting feature data by high-order local autocorrelation for each pixel of image data power, and a pixel for each pixel separated by a predetermined distance.
  • a pixel-corresponding feature data generating means for adding the feature data extracted by the feature data extracting means for a pixel group within a predetermined range, and a pixel-corresponding feature data generating means for a partial space indicating a normal region.
  • Index calculating means for calculating an index indicating the abnormality of the generated characteristic data, an abnormality determining means for determining that the index is larger than a predetermined value, an abnormality determining means for which the abnormality is determined to be abnormal, and a pixel for which the abnormality determining means has determined to be abnormal.
  • the feature data extraction unit is characterized in that it extracts a plurality of higher-order local autocorrelation feature data having different displacement widths.
  • an index indicating abnormality with respect to the partial space is there is also a feature in that the distance from the partial space of the feature data includes the deviation of the angle information.
  • the principal component subspace generation means for obtaining a partial space indicating a normal region based on the principal component vector by the principal component analysis method from the feature data extracted by the feature data extraction means. It is also characterized by having In the abnormal region detection apparatus described above, the principal component subspace generation unit is characterized in that a subspace based on a principal component vector is obtained by a sequential principal component analysis method.
  • the pixel correspondence feature data generated by the pixel correspondence feature data generation means is further a similarity index based on the canonical angle between the partial space and the partial space obtained.
  • Classifying means for classifying each pixel using a clustering method, and the principal component subspace generating means adds the feature data for each class to obtain a class-corresponding subspace
  • the index calculation means is also characterized in that it calculates an index indicating abnormality of the feature data generated by the pixel correspondence feature data generation means with respect to the subspace corresponding to the class.
  • the abnormal region detection method of the present invention includes a step of extracting feature data by high-order local autocorrelation for each pixel from image data, and a predetermined range including the pixel for each pixel separated by a predetermined distance. Adding the feature data to the pixel group, calculating an index indicating the abnormality of the feature data with respect to the partial space indicating the normal region, and determining that the index is abnormal when the index is greater than a predetermined value. And a step of outputting a determination result indicating that the pixel position determined to be abnormal is abnormal.
  • the present invention has the following effects.
  • An abnormality can be determined corresponding to a pixel, and the position of the abnormal area can be detected accurately.
  • the detection accuracy is further improved by classifying according to the position.
  • classification may be processed in advance, or classification processing may be automatically updated simultaneously with abnormality determination.
  • FIG. 1 is a block diagram showing a configuration of an abnormal area detection device according to the present invention.
  • FIG. 2 is an explanatory diagram showing an outline of abnormal region detection processing according to the present invention.
  • FIG. 3 is an explanatory diagram showing autocorrelation processing coordinates in a two-dimensional pixel space.
  • FIG. 4 is an explanatory diagram showing the contents of an autocorrelation mask pattern.
  • FIG. 5 is a flowchart showing the contents of abnormality detection processing of the present invention.
  • FIG. 6 is a flowchart showing the contents of pixel-compatible HLAC data generation processing.
  • FIG. 7 is a flowchart showing the contents of HLAC feature data generation processing.
  • FIG. 8 is an explanatory diagram showing the properties of the subspace of the HLAC feature.
  • FIG. 9 is an explanatory diagram showing an input image and an image representing an abnormality determination result.
  • an abnormal region is defined as “not a normal region”. If the normal region is a region where the distribution is concentrated when considering the statistical distribution of region features, it can be learned as a statistical distribution without a teacher. And its distribution power is also large An area that deviates frequently is defined as an abnormal area.
  • a partial space of a normal region feature is generated in a region feature space based on higher-order local autocorrelation features, and the abnormal region is detected using the distance or angle of the partial space force as an index Is detected.
  • the principal component analysis method is used to generate the normal region subspace, and the principal component subspace is composed of principal component vectors having a cumulative contribution ratio of 0.99, for example.
  • the high-order local autocorrelation feature has a property that it does not require extraction of an object and has a caloric property in the screen. Due to this additivity, when a normal region subspace is constructed, the feature vector will be contained in the normal region subspace no matter how many normal wires are in the screen, and even in one of the power locations If a region exists, it can be detected as an abnormal value by jumping out of the subspace. Since it is not necessary to track and cut out each line individually, the amount of calculation is constant without being proportional to the number of lines, and can be calculated at high speed.
  • a predetermined region including (centering) this pixel for each pixel separated by a predetermined distance (arbitrary distance of 1 pixel or more)
  • the pixel-corresponding HLAC feature data obtained by integrating the HLAC data is obtained, and an abnormality is determined based on the distance or angle between this data and the normal region partial space. This process makes it possible to determine a normal Z or higher for each pixel.
  • High-order local autocorrelation (HLAC) features are used to extract region features from image data.
  • the kth component of the HLAC feature is given by Equation 1 below.
  • I (r) represents an image
  • variable r (reference point) and N local displacements are two-dimensional vectors having in-screen coordinates x and y as components.
  • N k is a local displacement matrix with N local displacements as column components. Furthermore, the integration range is the image area of WX H, and W and H represent the width and height of the image.
  • the neighborhood region is not limited to 3 X 3 with respect to the HLAC feature, and a wider region. Are extracted. Therefore, using the matrix R, we consider a cubic higher-order local autocorrelation feature that is formulated as follows.
  • the feature quantity having a wider range of correlation using the matrix R is ⁇ ⁇ times the HLAC feature quantity obtained by extracting the image power obtained by reducing the original image.
  • FIG. 1 is a block diagram showing a configuration of an abnormal area detecting apparatus according to the present invention.
  • the digital camera 10 outputs image data of a product to be inspected. Even a camera built into a microscope. Digital camera 10 can be monochrome! / Can be a color camera.
  • the computer 11 may be a known personal computer (PC) having an input terminal for capturing an image such as USB.
  • the present invention is realized by creating, installing, and starting a processing program described later on an arbitrary known computer 11 such as a personal computer.
  • the monitor device 12 is a well-known output device of the computer 11, and is used, for example, to display to the operator that an abnormal region has been detected.
  • the keyboard 13 and the mouse 14 are well-known input devices used for input by the operator.
  • the digital camera 10 may be connected to the computer 11 via an arbitrary communication network, or may transfer data to the computer 11 via a memory card.
  • FIG. 2 is an explanatory diagram showing an outline of the abnormal area detection processing according to the present invention.
  • the displacement width that is, the displacement width equal to the pixel width
  • the displacement width is set to 2, that is, twice the pixel width
  • pixel-specific HLAC data is calculated for each pixel in the same manner (b).
  • This process is repeated up to the maximum displacement width (eg 3). As a result, pixel-corresponding HLAC data for each displacement width is obtained.
  • a set of feature data obtained by adding (g) HLAC data (c) for each displacement width is defined as all HLAC feature data (h).
  • Principal component analysis from all HLAC feature data (h)! / ⁇ finds principal component subspace by sequential principal component analysis (i). Usually most of the images Since this area is a normal area, this principal component subspace represents the characteristics of the normal area.
  • the normal region partial space generation processing (g), (i) is performed on the entire region of the image in advance or on a part of the region sampled randomly or regularly. Execute the abnormality determination process (j) based on the obtained partial space information of the normal area!
  • FIG. 5 is a flowchart showing the contents of the abnormality detection process of the present invention. For example, assume that 256 gray scale image data has already been read. In S10, set the displacement width to 1. In S11, pixel-specific HLAC data based on the displacement width is generated and stored for each pixel of the image. Details of this processing will be described later.
  • FIG. 3 is an explanatory diagram showing autocorrelation processing coordinates in a two-dimensional pixel space.
  • the mask pattern is information indicating a combination of pixels to be correlated, and the pixel of interest (reference point) that is the center of the square is always selected, and the surroundings represent local displacement.
  • the pixel data selected by the mask pattern is used to calculate the correlation value.
  • FIG. 4 is an explanatory diagram showing the contents of the autocorrelation mask pattern.
  • Figure 4 (1) shows the simplest 0th-order mask pattern (1) with only the target pixel.
  • (2) is an example of a primary mask pattern in which two pixels are selected (a total of five). The number in the frame indicates the number of times the pixel value is multiplied.
  • (3) The following lines are examples of tertiary mask patterns (total of 29) with 3 pixels selected. Excluding overlapping patterns when the pixel of interest is moved, there are a total of 35 mask patterns for grayscale images, that is, HLAC feature components. In other words, the high-order local autocorrelation feature vector for one 2D data is 35 dimensions.
  • HLAC data of a predetermined region centered on the pixel of interest for example, a 10 ⁇ 10 region
  • S13 all the pixel-corresponding HLAC data are added, and all the ⁇ -corresponding HLAC feature data are stored.
  • a principal component vector is also obtained for all HLAC feature data forces by principal component analysis or sequential principal component analysis, and is used as a subspace of the normal region. Since the principal component analysis method itself is well known, the outline will be described.
  • the principal component vector is obtained by principal component analysis from all HLAC feature data.
  • the dimensional HLA C feature vector X is expressed as follows.
  • the matrix U in which the principal component vectors are arranged in columns is obtained as follows.
  • the autocorrelation matrix R is given by
  • the optimum value of the rate OC depends on the monitoring target and detection accuracy, and is determined by experimentation.
  • a possible method for sequential principal component analysis is to first solve the eigenvalue problem for each step.
  • the autocorrelation matrix R required for the eigenvalue problem is updated as follows.
  • Rx (n) Rx (n _ 1) + -x ( ⁇ ) ⁇ ( ⁇ ) ⁇
  • C CIPCA is a technique for updating eigenvectors sequentially without solving the eigenvalue problem and without obtaining the correlation matrix.
  • This algorithm is a very fast method because it is not necessary to solve the eigenvalue problem for each step. Also, with this method, eigenvalue convergence is not so good, but eigenvector convergence is fast.
  • the first eigenvector and the first eigenvalue are updated as follows.
  • n-th eigenvector and n-th eigenvalue! are gradually updated from the first eigenvector and the first eigenvalue according to the Gram-Schmidt orthogonalization method, and converge to the true eigenvalue and eigenvector. Is shown. Specifically, the update algorithm is as follows.
  • ⁇ (n) v i (n- ⁇ ) + ⁇ 'U i (n) u i (n)
  • an upper limit value is determined for obtaining eigenvectors obtained by CCIPCA!
  • the eigenvalue is obtained and the cumulative contribution rate is calculated from the force and the cumulative contribution rate is taken to take a dimension exceeding, for example, 0.99999.
  • the upper limit is set for the following two reasons. Provide. First, the conventional method requires a large amount of computation. In order to obtain the contribution rate, all eigenvalues must be estimated, and the calculation time is several tens of seconds even if the calculation time for feature extraction is not included. On the other hand, if the dimension is calculated as a constant, for example 4, it can be calculated in several milliseconds.
  • the second reason is that the eigenvalue convergence is slow in this CCIPCA method.
  • the dimension of the normal region subspace is finally about two hundred and it can be seen that it has not converged to the convergence value of 4.
  • the dimension of the subspace is determined to be constant.
  • the approximate value of this parameter can be obtained by solving the eigenvalue problem once for an input vector of a certain duration.
  • the distance d ⁇ between the pixel-corresponding HLAC feature data obtained in S16 and the subspace obtained in S17 is obtained.
  • FIG. 8 is an explanatory diagram showing the properties of the subspace of the HLAC feature.
  • Fig. 8 shows that the HLAC feature data space is 2D (actually 26 X 3D), and the normal region is 1D (according to a cumulative contribution ratio of 0.99, for example, 3).
  • the HLAC feature data in the normal area form a group for each number of monitoring targets.
  • the normal region subspace S obtained by the principal component analysis exists in the vicinity including the HLAC feature data of the normal region.
  • the HLAC feature data A of the abnormal region has a large vertical distance d ⁇ with the normal region subspace S. Therefore, an abnormal area can be easily detected by measuring the vertical distance d ⁇ between the HLAC feature data and the subspace of the normal area.
  • Projector P to normal subspace and its corresponding projector P ⁇ to orthogonal complement space are as follows.
  • U is a transposed matrix of matrix U
  • I is an M-th unit matrix.
  • the square distance in the orthogonal complement space, that is, the square distance d 2 ⁇ of the perpendicular to the subspace U can be expressed as follows.
  • this vertical distance d ⁇ can be used as an indicator of whether or not the force is abnormal. Noh.
  • the above vertical distance d ⁇ is an index that changes depending on the scale (norm of the feature vector). Therefore, different judgment results may be obtained depending on the scale. Therefore, as other indicators, the following more robust indicators may be adopted.
  • this index is an index that gives a very large value even for features with very small scales such as noise, and is not a very appropriate index. Therefore, in order to make the scale force small even in this case, this index is changed as follows.
  • S19 it is determined whether or not the distance d ⁇ exceeds a predetermined threshold value. If the determination result is negative, the process proceeds to S20. If the determination is positive, the process proceeds to S21. In S20, it is judged as normal. In S21, it is determined as abnormal. In S22, it is determined whether or not the determination process has been completed for all pixels. If the determination result is negative, the process proceeds to S18. If the determination is positive, the process proceeds to S23. In S23, the determination result is output.
  • FIG. 6 is a flowchart showing the contents of the S11 pixel-corresponding HLAC data generation process.
  • the correlation pattern corresponding feature value is cleared.
  • one unprocessed pixel (reference point) is selected.
  • one unprocessed pattern is selected.
  • the correlation value is calculated by multiplying the pixel luminance value at the position corresponding to the pattern using Equation 1 described above. Note that this process is r) r + al) ...! This corresponds to the calculation of (r + aN).
  • the correlation value is stored in correspondence with the correlation pattern. Everything in S35 Whether or not the process is completed is determined for this pattern. If the determination result is negative, the process moves to S32. If the determination is negative, the process moves to S36. In S36, the correlation value group is stored for each pixel. In S37, it is determined whether or not processing has been completed for all pixels. If the determination result is negative, the process proceeds to S31, but if the determination is affirmative, the process proceeds to S38. In S38, a set of correlation values is output as pixel-corresponding HLAC data.
  • FIG. 7 is a flowchart showing the contents of the S12 HLAC feature data generation process.
  • S40 one unprocessed pixel (reference point) is selected.
  • the selection method may be to scan all pixels, but it may be possible to select (sample) each pixel at a predetermined distance of 2 pixels or more on the XY coordinates of the image. In this way, the amount of processing is reduced.
  • pixel-corresponding HLAC data in a predetermined area centered on the reference point is added.
  • the predetermined area may be, for example, 10 ⁇ 10 including the pixel of interest (centered).
  • This processing corresponds to the integration operation in Equation 1 described above, in which the pixel of interest is moved (scanned) by a desired range and the correlation values are added (correlation values are added for each dimension).
  • the added data is stored in correspondence with pixels.
  • the set of feature addition values is output as pixel-corresponding HLAC feature data.
  • FIG. 9 is an explanatory diagram showing an input image and an image representing an abnormality determination result.
  • Fig. 9 (a) shows the input grayscale image
  • Fig. 9 (b) shows the grayscale normalized by assuming that the abnormal index value for each pixel processed by the method of the present invention is 255 as the maximum value and 0 as the minimum value.
  • the index value in the central defect is large (white), indicating that a defect has been detected.
  • Example 1 the force that determines the partial space of the normal area of the entire image in Example 1 In Example 2, for example, there are a mixture of areas with straight wiring and areas with many round patterns. If the area is a circle with a straight line and many patterns Classify it into several existing areas, and determine the subspace of the normal area for each class to determine the abnormality. By doing so, the determination accuracy is improved.
  • principal component vectors are obtained from all HLAC data and pixel-corresponding HLAC feature data by principal component analysis or sequential principal component analysis, respectively.
  • the canonical angles of the two principal component vectors are obtained, and the pixels are divided into classes based on the similarity based on the canonical angles.
  • the canonical angle means the angle between two subspaces in statistics, and N ( ⁇ M) canonical angles can be defined between the M-dimensional subspace and the N-dimensional subspace. .
  • the second canonical angle ⁇ is
  • Minimum canonical angle measured in the direction perpendicular to the minimum canonical angle ⁇ .
  • the base vector of L is ⁇ , ⁇ , and the projection matrix of F X F calculated from these is shown below.
  • the similarity S [n] is defined as follows using n ( ⁇ N) canonical angles, and this index is used.
  • pixel-corresponding HLAC data is added for each class, and the principal component vector for each class is obtained by the principal component analysis method or the sequential principal component analysis method as described above.
  • a subspace of a normal area for each class is obtained by the principal component analysis method or the sequential principal component analysis method as described above.
  • abnormality determination is performed based on the distance between the pixel-corresponding HLAC feature data and the subspace of the normal area corresponding to the determined class.
  • the embodiment for detecting the abnormal region has been described.
  • the present invention may be modified as follows.
  • an example in which the abnormal region is detected while updating the partial space of the normal region has been disclosed.
  • the normal region partial space is generated in advance by the learning phase, and the fixed partial space is used.
  • An abnormal region may be detected.
  • a small amount of data may be learned in advance, such as by random sampling.
  • the feature data having similar force positions disclosed in the example in which the feature data is generated for each pixel is more similar. Therefore, for example, by performing the processing shown in FIG. 9 for each pixel separated by a predetermined distance, the processing load is reduced and the region can be made faster.
  • this method is a trade-off with the problem of specifying the location or detection accuracy, and appropriate settings are required for each problem.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

　高次局所自己相関特徴を用いて異常の有無と共にその位置を高い精度で検出できる高速かつ汎用的な異常領域検出装置を提供する。異常領域検出装置は、画像データから画素毎に高次局所自己相関によって特徴データを抽出する手段、画素毎に、その画素を含む所定の範囲の画素群について特徴データを加算する手段、正常領域を示す部分空間に対する特徴データの異常さを示す指標を計算する手段、指標に基づき異常判定する手段、異常と判定した画素位置を出力する手段とを備える。変位幅の異なる複数の高次局所自己相関特徴データを抽出してもよい。更に、特徴データから主成分分析手法により主成分ベクトルに基づく正常領域を示す部分空間を求める手段を備えていてもよい。画素対応に異常判定が可能であり、異常領域の位置を正確に検出可能である。

Description

明 細 書
異常領域検出装置および異常領域検出方法
技術分野
[0001] 本発明は、画像を取り込んで自動的に通常とは異なる領域を検出する異常領域検 出装置および異常領域検出方法に関するものである。
背景技術
[0002] 従来、例えばフレキシブル配線基板のフィルムの欠陥検査にぉ 、て、線が断線し ている場合は通電により検出可能であるが、製品の欠陥の原因となる恐れのある線 の細りなどは通電では検出できない。従って、細り等の異常は目視、あるいは画像を 用いて検出する必要がある。
目視の場合には、線が微細であるため、画像を拡大する目視検査装置等を利用す る必要がある。また欠陥の製造工程へのフィードバックを行うために、欠陥の座標、程 度を出力する必要があり、手間が力かるので大量の製品を全て検査することが困難 であるという問題点があった。
[0003] そこで、今日では、多くの製品検査において画像を用いた異常検査の自動化がな されている。検査手法としては、例えば製品ごとに登録された基準画像との照合を行 うパターンマッチング手法が採用されて 、る。
一方、画像データから特定の図形等を検出したり、登録されている画像との一致 Z 不一致を判定するために各種の技術が提案されている。本発明者らが出願した下記 の特許文献 1には、 2次元画像に対する高次局所自己相関特徴 (以下、 HLACデー タとも記す)を用いた学習適応型画像認識'計測方式の技術が開示されている。 特許文献 1：特許第 2982814号公報
非特干文献 1： Juyang Weng, Yilu Zhang and Wey-bhiuan Hwang, Candidし ovarian ce- Free Incremental Principal Component Analysis", IEEti, fransactions on Pattern Analysis and Machine Intelligence,Vol.25, No.8, pp.1034— 1040, 2003。
非特許文献 2： Dorin Comaniciu and Peter Meer. Mean shift:A robust approach towa rd feature space analysis. IEEE Transactions on Pattern Analysis and Machine Intelli gence,Vol.24, No.5, pp.603— 619, 2002。
発明の開示
発明が解決しょうとする課題
[0004] 上記した従来の異常領域検出手法であるパターンマッチング手法にお!、ては対象 に対する汎用性や学習効果が無ぐかつ位置や方向を合わせる必要があり、処理時 間が長ぐ精度が悪いという問題点があった。また、フレキシブル配線基板の導体部 はフィルム上に印刷された榭脂であり、粒状であるため、画像力も直線のエッジ等の 図形を検出し難ぐ欠陥の検出が難しいという問題点があった。
[0005] 一方で、高次局所自己相関特徴を用いた学習適応型画像認識方式においては、 対象 (欠陥領域)が画像のどの位置にあっても同じ検出結果となる位置不変性があり 、対象 (欠陥領域)の位置を特定できないので、欠陥検査に適用できないという問題 点がめった。
[0006] 本発明の目的は、上記したような従来例の問題点を解決し、高次局所自己相関特 徴を用いて異常の有無と共に位置を高い精度で検出できる高速かつ汎用的な異常 領域検出装置および異常領域検出方法を提供する点にある。
課題を解決するための手段
[0007] 本発明の異常領域検出装置は、画像データ力 画素毎に高次局所自己相関によ つて特徴データを抽出する特徴データ抽出手段と、所定の距離だけ離れた画素毎 に、その画素を含む所定の範囲の画素群について前記特徴データ抽出手段によつ て抽出された前記特徴データを加算する画素対応特徴データ生成手段と、正常領 域を示す部分空間に対する前記画素対応特徴データ生成手段により生成された特 徴データの異常さを示す指標を計算する指標計算手段と、前記指標が所定値よりも 大き 、場合に異常と判定する異常判定手段と、前記異常判定手段が異常と判定した 画素位置を異常とする判定結果を出力する出力手段とを備えたことを主要な特徴と する。
[0008] また、前記した異常領域検出装置において、前記特徴データ抽出手段は、変位幅 の異なる複数の高次局所自己相関特徴データを抽出する点にも特徴がある。また、 前記した異常領域検出装置において、前記部分空間に対する異常さを示す指標は 特徴データの前記部分空間との距離ある 、は角度の情報の 、ずれかを含んで 、る 点にも特徴がある。
[0009] また、前記した異常領域検出装置において、更に、特徴データ抽出手段によって 抽出された特徴データから主成分分析手法により主成分ベクトルに基づく正常領域 を示す部分空間を求める主成分部分空間生成手段を備えた点にも特徴がある。また 、前記した異常領域検出装置において、前記主成分部分空間生成手段は、逐次的 主成分分析手法により主成分ベクトルに基づく部分空間を求める点にも特徴がある。
[0010] また、前記した異常領域検出装置において、更に、前記画素対応特徴データ生成 手段によって生成された画素対応特徴データ力 得られる部分空間と前記部分空間 との正準角に基づく類似度の指標を求め、クラスタリング手法を用いて画素毎にクラ ス分けするクラス分け手段を備え、前記主成分部分空間生成手段は、クラス毎に前 記特徴データを加算してクラス対応の部分空間を求め、前記指標計算手段は、前記 画素対応特徴データ生成手段により生成された特徴データの前記クラス対応の部分 空間に対する異常さを示す指標を計算する点にも特徴がある。
[0011] 本発明の異常領域検出方法は、画像データから画素毎に高次局所自己相関によ つて特徴データを抽出するステップ、所定の距離だけ離れた画素毎に、その画素を 含む所定の範囲の画素群につ!、て前記特徴データを加算するステップ、正常領域 を示す部分空間に対する前記特徴データの異常さを示す指標を計算するステップ、 前記指標が所定値よりも大きい場合に異常と判定するステップ、異常と判定された画 素位置を異常とする判定結果を出力するステップを含むことを主要な特徴とする。 発明の効果
[0012] 本発明によれば、以下のような効果がある。
(1)画素対応に異常判定が可能であり、異常領域の位置を正確に検出可能である。
(2)従来は対象が多数存在していると異常検出精度が低下してしまうが、画素を中 心とする所定の範囲を適切に選択すれば、検出対象が多数あっても異常領域の判 定精度が低下することがな 、。
(3)特徴抽出や異常判定のための計算量が少なぐかつ計算量は対象に依らず一 定であるので、高速に処理可能である。 [0013] (4)正常領域を陽に定義することなく統計的に学習しているため、設計の段階で正 常領域とは何かについて定義する必要がなぐ監視対象に則した検出を行うことがで きる。さらに、監視対象についての仮定が不要であり、さまざまな監視対象に対しても 、正常、異常を判別でき、汎用性が高い。また、異常判定と同時に正常領域の部分 空間を更新することにより、正常領域の変化に追従していくことができる。
[0014] (5)対象の種類が複数種あっても位置によってクラス分けすることにより、検出精度が 更に向上する。また、クラス分けを予め処理してもよいし、クラス分け処理を異常判定 と同時に自動的に更新することも可能である。
図面の簡単な説明
[0015] [図 1]本発明による異常領域検出装置の構成を示すブロック図である。
[図 2]本発明による異常領域検出処理の概要を示す説明図である。
[図 3]2次元画素空間における自己相関処理座標を示す説明図である。
[図 4]自己相関マスクパターンの内容を示す説明図である。
[図 5]本発明の異常検出処理の内容を示すフローチャートである。
[図 6]画素対応 HLACデータ生成処理の内容を示すフローチャートである。
[図 7]HLAC特徴データ生成処理の内容を示すフローチャートである。
[図 8]HLAC特徴の部分空間の性質を示す説明図である。
[図 9]入力画像および異常判定結果を表す画像を示す説明図である。
符号の説明
[0016] 10…デジタルカメラ
11 · ··コンピュータ
12…モニタ装置
13· "キーボード
14· ··マウス
発明を実施するための最良の形態
[0017] 本明細書においては、異常領域を「正常領域ではないもの」として定義する。正常 領域は、領域特徴の統計的な分布を考えた場合に分布の集中する領域であるものと すれば、統計的な分布として教師無しで学習可能である。そして、その分布力も大き く逸脱する領域を異常領域とする。
[0018] 異常領域検出の具体的な手法としては、高次局所自己相関特徴による領域特徴 空間の中で正常領域特徴の部分空間を生成し、その部分空間力もの距離あるいは 角度を指標として異常領域を検出する。正常領域部分空間の生成には例えば主成 分分析手法を用い、例えば累積寄与率 0.99の主成分ベクトルにより主成分部分空間 を構成する。
[0019] ここで、高次局所自己相関特徴には、対象の切りだしが不要で画面内においてカロ 法性があるという性質がある。この加法性により、正常領域部分空間を構成すると、画 面内に正常な配線が何本あっても特徴ベクトルは正常領域部分空間の中に収まるこ とになり、その中の一力所でも異常領域が存在すると、部分空間から飛び出して異常 値として検出できる。線を個々にトラッキングし、切り出す必要がないため、計算量は 線の数に比例することなく一定となり、高速に計算可能である。
[0020] また、本発明においては、対象の位置を検出するために、所定の距離（1画素以上 の任意の距離)だけ離れた画素毎に、この画素を含む（中心とする)所定の領域の H LACデータを積算した画素対応 HLAC特徴データを求め、このデータと正常領域部 分空間との距離あるいは角度によって異常判定を行う。この処理によって画素毎の 正常 Z以上の判定が可能である。
画像データからの領域特徴の抽出には、高次局所自己相関 (HLAC)特徴を用いる 。 HLAC特徴の第 k成分は次の数式 1で与えられる。
[0021] [数 1] BN k ) = jWxH I(r)I(r + ) -/(r + aN k )dr
a、 a N
[0022] ここで、 I(r)は画像を表し、変数 r (参照点）と N個の局所変位 は、画面内の座標 x , yを成分として持つ二次元のベクトルである。 B
N kは、 N個の局所変位を列成分とし た局所変位行列である。さらに、積分範囲は WX Hの画像領域とし、 W, Hは画像の 幅と高さを表す。
[0023] また、本発明では、 HLAC特徴に対して近傍領域を 3 X 3に限らずさらに広い領域 の高次相関も抽出する。そこで、行列 Rを用いて、下記のように定式ィ匕される立体高 次局所自己相関特徴を考える。
[数 2] え' 0
0 λ y
h(BN k iR) = J/(r)/(r + Ra^- -I(r + RaN k )dr = KRBN k ) この特徴は、画像 I(r)に対して、画像平面内のスケールを水平方向に ΐΖλχ倍、垂 直方向に ΐΖλ倍縮小した画像 I (r,R)=I(Rr)カゝら抽出した特徴量に比例する特徴
y amp
量となる。即ち I (r,R)に対して抽出される CHLAC特徴 h (Br,R)は以下のようになる
[0026] [数 3]
KmP (BN , R) R)dr
Figure imgf000008_0001
r'= Rrとおくと
Figure imgf000008_0002
丁 jl (r，）I (r，+ Ra … I (r，+ RaN k )dr，
Figure imgf000008_0003
[0027] 従って、行列 Rを用いてより広い範囲の相関をとつた特徴量は、元の画像を縮小し た画像力も抽出した HLAC特徴量の λ λ倍であることが分かる。実際に、ある対象 力もより多くの相関特徴を抽出しようと考えた場合、対象や画像に応じて画像のスケ ールを適切に変化させる必要がある力 これらのパラメータによって、対象の特徴がう まく抽出できるようにスケールを調整することができる。
[0028] そこで、スケールに対してロバストにするために、スケールの異なる特徴（λ , λ ) をベクトルの成分に追加し、それを新たな特徴として用いる。例えば、（え ， え） = (1
, 1)で抽出した特徴と（λ , λ ) = {2, 2)で抽出した特徴を組み合わせることで 35
X 2次元のスケールにロバストな特徴を得る。
[0029] (実施例 1)
図 1は、本発明による異常領域検出装置の構成を示すブロック図である。デジタル カメラ 10は例えば検査対象となる製品の画像データを出力する。顕微鏡に組み込ま れたカメラであってもよ 、。デジタルカメラ 10はモノクロでもよ!/ヽしカラーカメラであつ てもよい。コンピュータ 11は例えば USB等の画像を取り込むための入力端子を備え た周知のパソコン（PC)であってもよい。本発明は、パソコンなどの周知の任意のコン ピュータ 11に後述する処理のプログラムを作成してインストールして起動することによ り実現される。
[0030] モニタ装置 12はコンピュータ 11の周知の出力装置であり、例えば異常領域が検出 されたことをオペレータに表示するために使用される。キーボード 13およびマウス 14 は、オペレータが入力に使用する周知の入力装置である。なお、デジタルカメラ 10は 任意の通信網を介してコンピュータ 11と接続されて ヽてもよ ヽし、メモリカードを介し てコンピュータ 11にデータを転送してもよ 、。
[0031] 図 2は、本発明による異常領域検出処理の概要を示す説明図である。例えば 360 画素 X 240画素、 256階調グレースケールの入力画像データ（a)について、まず変 位幅 1、即ち変位幅が画素幅と等しく設定して、画素毎に画素対応 HLACデータを計 算する（b)。 HLACデータについては後述する。次に、変位幅を 2、即ち画素幅の 2倍 に設定して同じように画素毎に画素対応 HLACデータを計算する (b)。この処理を変 位幅の最大値 (例えば 3)まで繰り返す。この結果、変位幅毎の画素対応 HLACデー タ ）が得られる。
[0032] 次に、変位幅毎に HLACデータ（c)を加算 (g)して求めた特徴データの集合を全 H LAC特徴データ (h)とする。そして、全 HLAC特徴データ (h)から主成分分析ある!/ヽ は逐次的主成分分析によって主成分部分空間を求める（i)。通常、画像のほとんど の領域は正常な領域であるので、この主成分部分空間は正常領域の特徴を表して いる。
[0033] 一方、変位幅毎の画素対応 HLACデータ（c)から、変位幅毎に、注目画素を移動さ せながら、注目画素を中心とする所定領域 (例えば 10 X 10)の HLACデータを加算 する処理を行い（e)、画素対応 HLAC特徴データ (f)を得る。最後に、画素毎に正常 部分空間と画素対応 HLAC特徴データとの距離あるいは角度によって異常判定を行 い (j)、異常と判定された画素位置を異常領域として表示、出力する (k)。
[0034] なお、本発明にお 、ては、正常領域の部分空間生成処理 (g)、 (i)を予め画像の全 領域あるいはランダムにまたは規則的にサンプリングした一部の領域にっ 、て実行し 、得られた正常領域の部分空間情報に基づき異常判定処理 (j)を行ってもよ!、。
[0035] 以下に、処理の詳細について説明する。図 5は、本発明の異常検出処理の内容を 示すフローチャートである。なお、例えば 256階調のグレイスケール画像データが既 に読み込まれているものとする。 S10においては、変位幅えを 1にセットする。 S11に おいては、画像の画素毎に、変位幅えに基づく画素対応 HLACデータを生成し、保 存する。この処理の詳細については後述する。
[0036] 図 3は、 2次元画素空間における自己相関処理座標を示す説明図である。本発明 にお!/、ては、注目する参照画素を中心とする 3 X 3 = 9画素の正方形の内部の画素 について相関を取る（λ = 1の場合)。マスクパターンは、相関を取る画素の組合せを 示す情報であり、正方形の中心である注目画素 (参照点）は必ず選択され、周りが局 所変位を表す。マスクパターンによって選択された画素のデータが相関値の計算に 使用される。
[0037] 図 4は、自己相関マスクパターンの内容を示す説明図である。図 4 (1)は注目画素 のみの最も簡単な 0次のマスクパターン（1個）である。 (2)は 2つの画素が選択されて いる 1次マスクパターン例（計 5個）であり、枠内の数はその画素値を乗算する回数を 示して 、る。（3)以降の行は 3つの画素が選択されて 、る 3次マスクパターン例（計 2 9個）である。注目画素を移動した場合に重複するパターンを除くと、濃淡画像に対 するマスクパターン、即ち HLAC特徴の成分の数は合計 35個ある。即ち、 1つの 2次 元データに対する高次局所自己相関特徴ベクトルは 35次元となる。 [0038] S12においては、注目画素を移動させながら、注目画素を中心とする所定領域、例 えば 10 X 10の領域の HLACデータを加算して、 λ対応画素対応 HLAC特徴データ を生成する。この処理の詳細については後述する。 S 13においては、全ての画素対 応 HLACデータを加算し、 λ対応全 HLAC特徴データを保存する。
[0039] S14においては、 λに 1を加算する。 S15においては、 λが最高値（例えば 3)を越 えた力否かが判定され、判定結果が否定の場合には SS11に移行するが、肯定の場 合には SS16に移行する。 S16においては、 λ対応画素対応 HLAC特徴データおよ びえ対応全 HLAC特徴データのそれぞれについて、全えについてまとめる。従って、 えの最高値が 3である場合には画素対応 HLAC特徴データおよび全 HLAC特徴デ ータの次元は 35 X 3 = 105次元となる。
[0040] S17においては、主成分分析あるいは逐次的主成分分析手法により全 HLAC特徴 データ力も主成分ベクトルを求め、正常領域の部分空間とする。主成分分析手法自 体は周知であるので概略を説明する。まず、正常領域の部分空間を構成するために 、全 HLAC特徴データから主成分分析により主成分ベクトルを求める。 Μ次元の HLA C特徴ベクトル Xを以下のように表す。
[0041] [数 4]
[0042] なお、 Μ = 35である。また、主成分ベクトルを列に並べた行列 U (固有ベクトル）を 以下のように表す。
[0043] [数 5]
Figure imgf000011_0001
[0044] 主成分ベクトルを列に並べた行列 Uは、以下のように求める。自己相関行列 Rを次 式に示す。
[0045] [数 6]
Figure imgf000011_0002
[0046] 行列 Uはこの自己相関行列 を用いて、次の式の固有値問題より求まる。
[0047] [数 7]
RXU = UK
[0048] 固有値行列 Λを次式で表す。
[0049] [数 8]
Figure imgf000012_0001
[0050] 第 Κ固有値までの累積寄与率 α は、以下のように表される。
Κ
[0051] [数 9]
Figure imgf000012_0002
[0052] そこで、累積寄与率 α が所定値 (例えば α =0.99)となる次元までの固有ベクトル
Κ Κ
u ,...,uにより張られる空間を、正常領域の部分空間として適用する。なお、累積寄
1 K
与率 OC の最適値は監視対象や検出精度にも依存するので実験等により決定する。
K
以上の計算を行うことにより、正常領域と対応する部分空間が生成される。
[0053] 次に、固有値問題を解かず、共分散行列を求めずに、インクリメンタルに部分空間 を求める逐次主成分分析手法を説明する。実世界への応用では大量のデータを扱 うため、全てのデータを保持しておくことは難しい。そこで、逐次的に通常領域の部分 空間を学習、更新する。
[0054] 逐次的な主成分分析として考えられる手法としては、まず、ステップごとに固有値問 題を解くことが考えられる。固有値問題に必要な自己相関行列 Rは、次のように更新 される。
[0055] [数 10]
Rx(n) = Rx(n _ 1) + -x( η)χ(η)τ
η η [0056] ここで Rx(n)は nステップ目の自己相関行列であり、 x(n)は nステップ目の入力べタト ルである。これは、前記した主成分分析手法に忠実ではあるが、ステップごとに固有 値問題を解力なければならないため、計算量が多いという問題がある。そこで、固有 値問題を解くことなく相関行列を求めずに固有ベクトルを逐次更新する手法である C CIPCAを適用する。 CCIPCAの内容については、非特許文献 1に開示されている。
[0057] このアルゴリズムでは、ステップごとに固有値問題を解く必要がないため、非常に高 速な手法となっている。また、この手法では、固有値の収束はあまり良くないが、固有 ベクトルの収束は速いという性質を持つ。第 1固有ベクトルと第 1固有値は、次のよう に更新される。
[0058] [数 11] n - \ 1
v(n) = ν(η - 1) +—χ{ n)x(n)
n n v(n一 1)
[0059] ここで、固有ベクトルは vZ II v IIであり、固有値は II V IIである。この更新則では、 n が無限大のときに ν(η)〉± λ eとなることが証明されている。ここでえ は、サンプルの
1 1 1
相関行列 Rの最大固有値であり、 e
1はそれに対応する固有ベクトルである。第 n固有 ベクトルと第 n固有値につ!、ては、第 1固有ベクトルと第 1固有値から Gram-Schmidt の直交化法に則って漸ィ匕的に更新され、真の固有値、固有ベクトルに収束すること が示されて 、る。詳し 、更新アルゴリズムは次のようになる。
[0060] [数 12]
からん個の主要な固有べク トル^ (n\ - - -vk (n を計算する。
" = 1,2,…について以下の処理を行う。
1. u^n) = χ(ή)
2. = 1，2, " ' 1^!1(ん, 2)まで以下の処理を行ぅ。
リもし/ = wならば/番目のベタ トルを
·0) = Μ/ ( に初期化する。
(b)そうでなければ下記の処理を行う。
ν{η - 1)
^ (n) = vi (n - \) + ~' Ui {n)ui (n)
n n ν{η - 1) +1
Figure imgf000014_0001
[0061] 本発明にお 、ては、 CCIPCAで求める固有ベクトルにつ!/、て全次元の Μ個を求め るのではなぐ上限値を決める。固有値問題を解く場合には、固有値を求めて力ゝら累 積寄与率を求め、累積寄与率が例えば 0.99999を越える次元まで取るということを行う 力 CCIPCAでは、次の二つの理由で上限値を設ける。第一に、従来の方法では計 算量が大きいという点である。寄与率を求めるためには、全ての固有値を推定しなけ ればならず、その計算時間は特徴抽出の計算時間を含めない場合でもパソコンで数 十秒も力かってしまう。一方、次元を定数の例えば 4として計算すると数ミリ秒で計算 出来る。
[0062] 2つ目の理由は、この CCIPCA手法においては固有値の収束が遅いという点である 。数千フレームのデータ数に対して CCIPCA手法を用いた場合、最終的に通常領域 部分空間の次元は二百程度であり、収束値である 4に全く収束していないことが分か る。これらの理由により部分空間の次元を一定として求める。このパラメータのおおよ その値は、ある時間幅の入力ベクトルに対して一度固有値問題を解くことによって求 めることができる。 [0063] S18においては、 S16にて求めた画素対応 HLAC特徴データと S17で求めた部分 空間との距離 d丄を求める。
[0064] 図 8は、 HLAC特徴の部分空間の性質を示す説明図である。図 8は、説明を簡単に するために、 HLAC特徴データ空間を 2次元（実際には 26 X 3次元）とし、正常領域 の部分空間を 1次元（実施例では例えば累積寄与率 0.99とすると 3〜12次元程度）と したものであり、正常領域の HLAC特徴データが監視対象の個数ごとの集団を形成 している。
[0065] 主成分分析によって求められた正常領域部分空間 Sは正常領域の HLAC特徴デ ータを含む形で近傍に存在して ヽる。これに対して異常領域の HLAC特徴データ A は、正常領域部分空間 Sとの垂直距離 d丄が大きくなる。従って、 HLAC特徴データと 通常領域の部分空間との垂直距離 d丄を測ることによって、容易に異常領域を検出 することができる。
[0066] 距離 d丄は以下のように求める。主成分直交基底 U =[u ,... ,u ]によって張られた
K 1 K
正常部分空間への射影子 Pおよびそれに対する直交補空間への射影子 P丄は下記 のようになる。
[0067] [数 13]
P = uKuK'
[0068] U，は行列 Uの転置行列であり、 Iは M次の単位行列である。直交補空間での 2乗 距離、即ち、部分空間 Uへの垂線の 2乗距離 d2丄は、次のように表すことができる。
[0069] [数 14]
Figure imgf000015_0001
= x\IM - UKUK' )VM - UKUK' )x
= x'(IM - UKUK f )x
[0070] 本実施例においては、この垂直距離 d丄を異常である力否かの指標として採用可 能である。但し、上記した垂直距離 d丄はスケール (特徴ベクトルのノルム）により変化 する指標である。従って、スケールの違いによって異なる判定結果が出る恐れがある 。そこで、他の指標として、以下に示す、よりスケールロバストな指標を採用してもよい
[0071] まず部分空間 Sとの角度、即ち sin Θを指標とする場合を考える。しかし、この指標は ノイズなどのスケールが非常に小さい特徴に対しても非常に大きな値が出る指標であ り、あまり適切な指標ではない。そこで、スケール力 、さい場合でも小さい値とするた めに、この指標を次のように変更する。
[0072] [数 15]
Figure imgf000016_0001
[0073] ここで cは正の定数である。この指標により異常判定値はスケールに対して補正され 、ノイズにも強い指標となる。この指標は、図 8のグラフ上では原点カゝら—cだけ横軸 方向にずらした点からの角度を測ることを意味する。
[0074] S19においては、距離 d丄が所定の閾値を越えた力否かが判定され、判定結果が 否定の場合には S20に移行する力 肯定の場合には S21に移行する。 S20におい ては正常と判定する。また、 S21においては異常と判定する。 S22においては、全て の画素について判定処理が完了した力否かが判定され、判定結果が否定の場合に は S18に移行する力 肯定の場合には S23に移行する。 S23においては、判定結果 を出力する。
[0075] 図 6は、 S 11の画素対応 HLACデータ生成処理の内容を示すフローチャートである 。 S30においては、相関パターン対応特徴値をクリアする。 S31においては、未処理 の画素（参照点）を 1つ選択する。 S32においては、未処理のパターンを 1つ選択す る。 S33においては、相関パターンおよび変位幅えに基づいて、前記した数式 1を用 いてパターンと対応する位置の画素輝度値を乗算して相関値を計算する。なお、こ の処理は前記した数式 1における r) r+al)…！ (r+aN)の演算に相当する。
[0076] S34においては、相関値を相関パターン対応に保存する。 S35においては、全て のパターンにつ 、て処理が完了したか否かが判定され、判定結果が否定の場合に は S32に移行する力 肯定の場合には S36に移行する。 S36においては、相関値群 を画素対応に保存する。 S37においては、全ての画素について処理が完了したか否 かが判定され、判定結果が否定の場合には S31に移行するが、肯定の場合には S3 8に移行する。 S38においては、相関値群の集合を画素対応 HLACデータとして出 力する。
[0077] 図 7は、 S 12の HLAC特徴データ生成処理の内容を示すフローチャートである。 S4 0においては、未処理の画素（参照点）を 1つ選択する。選択方法は全ての画素をス キャンしてもよ ヽが、画像の XY座標上で 2画素以上の所定の距離だけ離れた画素ご とに選択 (サンプリング)するようにしてもよい。このようにすれば、処理量が軽減される
[0078] S41においては、参照点を中心とする所定の領域の画素対応 HLACデータを加算 する。所定の領域は例えば注目画素を含む（中心とする） 10 X 10であってもよい。な お、この処理は、前記した数式 1において、注目画素を所望の範囲だけ移動 (スキヤ ン)させて相関値を足し合わせる (次元毎に相関値を加算する)積分操作に相当する
[0079] S42においては、加算されたデータを画素対応に保存する。 S43においては、全 ての画素について処理が完了した力否かが判定され、判定結果が否定の場合には S40に移行する力 肯定の場合には S44に移行する。 S44においては、特徴加算値 の集合を画素対応 HLAC特徴データとして出力する。
[0080] 図 9は、入力画像および異常判定結果を表す画像を示す説明図である。図 9 (a)は 入力された濃淡画像を表し、図 9 (b)は、本発明の方式により処理した画素ごとの異 常指標値を最大値を 255、最小値を 0として正規化した濃淡画像を表す。中央の欠 陥部分の指標値が大きく（白く）なっており、欠陥が検出されていることが判る。
[0081] (実施例 2)
実施例 1においては、画像全体力 正常領域の部分空間を求めている力 実施例 2においては、例えば直線状の配線のある領域と丸いパターンが多数存在する領域 とが混在して 、るような場合に、領域を直線状の配線のある領域と丸 、パターンが多 数存在する領域とにクラス分けし、各クラス毎に正常領域の部分空間を求めて異常 判定を行う。このようにすることにより、判定精度が向上する。
[0082] まず、主成分分析手法あるいは逐次的主成分分析手法により全 HLACデータおよ び画素対応 HLAC特徴データからそれぞれ主成分ベクトルを求める。次に、求めた 2 つの主成分ベクトルの正準角を求め、正準角に基づく類似度によって画素をクラスに 分ける。
[0083] 正準角とは、統計学において二つの部分空間のなす角度を意味し、 M次元部分空 間と N次元部分空間の間には N (≤M)個の正準角が定義できる。第 2正準角 Θ は
2 最小正準角 Θ に直交する方向において測った最小角、同様に第 3正準角 Θ は 0
1 3 2 と Θ に直交した方向で測った最小角となる。 F次元特徴空間における部分空間 Lと
1 1
Lの基底ベクトルを Φ、 Ψ、これらから計算される F X Fの射影行列を下記に示す。
2 i i
[0084] [数 16]
Figure imgf000018_0001
[0085] P Pあるいは P Pの i番目に大きい固有値 λが cos2 Θとなる。 Μ次元部分空間 Lと
1 2 2 1 i i 1
N次元部分空間 Lの関係は N個の正準角により完全に規定される。二つの部分空
2
間が完全に一致して 、る場合には N個の正準角はすべて 0度となる。両者が離れる につれて下位の正準角から大きくなり、両者が完全に直交するときにすベての角度 が 90度となる。このように複数の正準角は二つの部分空間の構造的な類似度を表す 。そこで n(≤N)個の正準角を用いて類似度 S[n]を以下のように定義し、この指標を 用いる。
[0086] [数 17]
Figure imgf000018_0002
次に、正準角の類似度によって求めた指標値について、 Mean Shift法を用いてクラ スタリングを行う。 Mean Shift法の内容については下記の非特許文献 2に開示されて いる。 Mean Shift法は、クラス数を与えないクラスタリング手法であり、どの程度の近傍 を近いものとするかのスケールパラメータを設定する必要がある。本実施例において は、 0から 1の間の値し力持たない正準角の類似度を指標としているため、およそ 0. 1程度のスケールパラメータとする。
[0088] 最後に、クラス毎に画素対応 HLACデータを加算し、加算された HLAC特徴データ カゝら前記したような主成分分析手法あるいは逐次主成分分析手法でクラス毎の主成 分ベクトルを求め、クラス毎の正常領域の部分空間とする。そして、画素対応 HLAC 特徴データと、判定されたクラスと対応する正常領域の部分空間との距離によって異 常判定を行う。
[0089] 以上、異常領域の検出を行う実施例について説明したが、本発明には以下のよう な変形例も考えられる。実施例においては、正常領域の部分空間を更新しながら異 常領域の検出を行う例を開示したが、学習フェーズによって予め正常領域の部分空 間を生成しておき、固定した部分空間を使用して異常領域の検出を行ってもよい。更 に、ランダムサンプリングなどによって少量のデータを前もって学習しておいてもよい
[0090] 実施例にお!、ては、画素毎に特徴データを生成する例を開示した力 位置が近接 する特徴データほど類似している。従って、例えば図 9に示す処理を所定の距離だ け離れた画素毎に行うことにより、処理負荷が軽くなり、より高速に領域させることがで きる。但しこの方法は場所を特定する、あるいは検出精度という課題とトレードオフで あり、各課題に対して適切な設定が必要である。
[0091] 実施例にお!、ては、スケールを制御するパラメータである λとして画素の整数倍の 値を使用する例を開示したが、 λとしては小数点以下も含む任意の実数値を採用可 能である。但し、実数値の場合には画素値の補間演算が必要である。また、画像を 小数点以下も含む任意の倍率で拡大縮小処理して力 特徴抽出するようにしてもよ い。

Claims

請求の範囲
[1] 画像データから画素毎に高次局所自己相関によって特徴データを抽出する特徴 データ抽出手段と、
所定の距離だけ離れた画素毎に、その画素を含む所定の範囲の画素群について 前記特徴データ抽出手段によって抽出された前記特徴データを加算する画素対応 特徴データ生成手段と、
正常領域を示す部分空間に対する前記画素対応特徴データ生成手段により生成 された特徴データの異常さを示す指標を計算する指標計算手段と、
前記指標が所定値よりも大きい場合に異常と判定する異常判定手段と、 前記異常判定手段が異常と判定した画素位置を異常とする判定結果を出力する 出力手段と
を備えたことを特徴とする異常領域検出装置。
[2] 前記特徴データ抽出手段は、変位幅の異なる複数の高次局所自己相関特徴デー タを抽出することを特徴とする請求項 1に記載の異常領域検出装置。
[3] 前記部分空間に対する異常さを示す指標は特徴データの前記部分空間との距離 あるいは角度の情報の 、ずれかを含んで 、ることを特徴とする請求項 1に記載の異 常領域検出装置。
[4] 更に、特徴データ抽出手段によって抽出された特徴データ力も主成分分析手法に より主成分べ外ルに基づく正常領域を示す部分空間を求める主成分部分空間生成 手段を備えたことを特徴とする請求項 1に記載の異常領域検出装置。
[5] 前記主成分部分空間生成手段は、逐次的主成分分析手法により主成分ベクトルに 基づく部分空間を求めることを特徴とする請求項 4に記載の異常領域検出装置。
[6] 更に、前記画素対応特徴データ生成手段によって生成された画素対応特徴デー タカ 得られる部分空間と前記部分空間との正準角に基づく類似度の指標を求め、 クラスタリング手法を用いて画素毎にクラス分けするクラス分け手段を備え、
前記主成分部分空間生成手段は、クラス毎に前記特徴データを加算してクラス対 応の部分空間を求め、
前記指標計算手段は、前記画素対応特徴データ生成手段により生成された特徴 データの前記クラス対応の部分空間に対する異常さを示す指標を計算する ことを特徴とする請求項 4に記載の異常領域検出装置。
画像データから画素毎に高次局所自己相関によって特徴データを抽出するステツ プ、
所定の距離だけ離れた画素毎に、その画素を含む所定の範囲の画素群について 前記特徴データを加算するステップ、
正常領域を示す部分空間に対する前記特徴データの異常さを示す指標を計算す るステップ、
前記指標が所定値よりも大きい場合に異常と判定するステップ、
異常と判定された画素位置を異常とする判定結果を出力するステップ
を含むことを特徴とする異常領域検出方法。
PCT/JP2007/061871 2006-06-16 2007-06-13 異常領域検出装置および異常領域検出方法 Ceased WO2007145235A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/304,552 US20100021067A1 (en) 2006-06-16 2007-06-13 Abnormal area detection apparatus and abnormal area detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006167961A JP4603512B2 (ja) 2006-06-16 2006-06-16 異常領域検出装置および異常領域検出方法
JP2006-167961 2006-06-16

Publications (1)

Publication Number Publication Date
WO2007145235A1 true WO2007145235A1 (ja) 2007-12-21

Family

ID=38831749

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/061871 Ceased WO2007145235A1 (ja) 2006-06-16 2007-06-13 異常領域検出装置および異常領域検出方法

Country Status (3)

Country Link
US (1) US20100021067A1 (ja)
JP (1) JP4603512B2 (ja)
WO (1) WO2007145235A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008287478A (ja) * 2007-05-17 2008-11-27 National Institute Of Advanced Industrial & Technology 異常検出装置および異常検出方法
JP2009140247A (ja) * 2007-12-06 2009-06-25 United Technologies Institute 異常動作監視装置
CN106999161A (zh) * 2014-12-01 2017-08-01 国立研究开发法人产业技术综合研究所 超声波检查系统以及超声波检查方法
CN116337868A (zh) * 2023-02-28 2023-06-27 靖江安通电子设备有限公司 一种表面缺陷检测方法及检测系统

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4368767B2 (ja) * 2004-09-08 2009-11-18 独立行政法人産業技術総合研究所 異常動作検出装置および異常動作検出方法
JP4215781B2 (ja) * 2006-06-16 2009-01-28 独立行政法人産業技術総合研究所 異常動作検出装置および異常動作検出方法
JP4429298B2 (ja) * 2006-08-17 2010-03-10 独立行政法人産業技術総合研究所 対象個数検出装置および対象個数検出方法
US8150165B2 (en) * 2008-04-11 2012-04-03 Recognition Robotics, Inc. System and method for visual recognition
US9576217B2 (en) 2008-04-11 2017-02-21 Recognition Robotics System and method for visual recognition
WO2010041447A1 (ja) 2008-10-09 2010-04-15 日本電気株式会社 異常検知システム、異常検知方法及び異常検知プログラム記録媒体
JP5131863B2 (ja) * 2009-10-30 2013-01-30 独立行政法人産業技術総合研究所 Ｈｌａｃ特徴量抽出方法、異常検出方法及び装置
US8751191B2 (en) * 2009-12-22 2014-06-10 Panasonic Corporation Action analysis device and action analysis method
JP6112291B2 (ja) * 2012-12-11 2017-04-12 パナソニックＩｐマネジメント株式会社 診断支援装置および診断支援方法
JP6510931B2 (ja) * 2015-08-19 2019-05-08 株式会社神戸製鋼所 データ解析方法
JP6794737B2 (ja) * 2015-12-01 2020-12-02 株式会社リコー 情報処理装置、情報処理方法、プログラムおよび検査システム
EP3176751B1 (en) * 2015-12-01 2020-12-30 Ricoh Company, Ltd. Information processing device, information processing method, computer-readable recording medium, and inspection system
CN108737406B (zh) * 2018-05-10 2020-08-04 北京邮电大学 一种异常流量数据的检测方法及系统
CN109211917A (zh) * 2018-08-20 2019-01-15 苏州富鑫林光电科技有限公司 一种通用复杂表面缺陷检测方法
CN110060247B (zh) * 2019-04-18 2022-11-25 深圳市深视创新科技有限公司 应对样本标注错误的鲁棒深度神经网络学习方法
JP7146092B2 (ja) * 2019-07-25 2022-10-03 三菱電機株式会社 検査装置及び方法、並びにプログラム及び記録媒体
CN117928139B (zh) * 2024-03-19 2024-06-04 宁波惠康工业科技股份有限公司 制冰机运行状态实时监控系统及方法
CN119672008B (zh) * 2024-12-13 2026-01-09 合肥公共安全技术研究院 顶头异常检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10111930A (ja) * 1996-10-07 1998-04-28 Konica Corp 画像処理方法及び画像処理装置
JP2000030065A (ja) * 1998-07-14 2000-01-28 Toshiba Corp パターン認識装置及びその方法
JP2003162718A (ja) * 2001-11-22 2003-06-06 Toshiba Corp 画像処理方法及びプログラム
JP2005092346A (ja) * 2003-09-12 2005-04-07 National Institute Of Advanced Industrial & Technology ３次元データからの特徴抽出方法および装置
JP2006079272A (ja) * 2004-09-08 2006-03-23 National Institute Of Advanced Industrial & Technology 異常動作検出装置および異常動作検出方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0363828B1 (en) * 1988-10-11 1999-01-07 Kabushiki Kaisha Ouyo Keisoku Kenkyusho Method and apparatus for adaptive learning type general purpose image measurement and recognition
JPH09171552A (ja) * 1995-10-18 1997-06-30 Fuji Xerox Co Ltd 画像認識装置
US6466685B1 (en) * 1998-07-14 2002-10-15 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method
JP2000090277A (ja) * 1998-09-10 2000-03-31 Hitachi Denshi Ltd 基準背景画像更新方法及び侵入物体検出方法並びに侵入物体検出装置
JP4226730B2 (ja) * 1999-01-28 2009-02-18 株式会社東芝 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置
US6985620B2 (en) * 2000-03-07 2006-01-10 Sarnoff Corporation Method of pose estimation and model refinement for video representation of a three dimensional scene
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US7016884B2 (en) * 2002-06-27 2006-03-21 Microsoft Corporation Probability estimate for K-nearest neighbor
JP3954484B2 (ja) * 2002-12-12 2007-08-08 株式会社東芝 画像処理装置およびプログラム
JP4079136B2 (ja) * 2003-12-10 2008-04-23 日産自動車株式会社 動き検出装置及び動き検出方法
JP2006098152A (ja) * 2004-09-29 2006-04-13 Dainippon Screen Mfg Co Ltd 欠陥検出装置および欠陥検出方法
JP3970877B2 (ja) * 2004-12-02 2007-09-05 独立行政法人産業技術総合研究所 追跡装置および追跡方法
US7739284B2 (en) * 2005-04-20 2010-06-15 International Business Machines Corporation Method and apparatus for processing data streams
US7760911B2 (en) * 2005-09-15 2010-07-20 Sarnoff Corporation Method and system for segment-based optical flow estimation
JP4215781B2 (ja) * 2006-06-16 2009-01-28 独立行政法人産業技術総合研究所 異常動作検出装置および異常動作検出方法
JP4429298B2 (ja) * 2006-08-17 2010-03-10 独立行政法人産業技術総合研究所 対象個数検出装置および対象個数検出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10111930A (ja) * 1996-10-07 1998-04-28 Konica Corp 画像処理方法及び画像処理装置
JP2000030065A (ja) * 1998-07-14 2000-01-28 Toshiba Corp パターン認識装置及びその方法
JP2003162718A (ja) * 2001-11-22 2003-06-06 Toshiba Corp 画像処理方法及びプログラム
JP2005092346A (ja) * 2003-09-12 2005-04-07 National Institute Of Advanced Industrial & Technology ３次元データからの特徴抽出方法および装置
JP2006079272A (ja) * 2004-09-08 2006-03-23 National Institute Of Advanced Industrial & Technology 異常動作検出装置および異常動作検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AMANO T.: "Gazo no Sokansei ni Motozuku Kekkan Kenshutsu", MEETING ON IMAGE RECOGNITION AND UNDERSTANDING 2005 RONBUNSHU, SHADAN HOJIN INFORMATION PROCESSING SOCIETY OF JAPAN, 18 July 2005 (2005-07-18), pages 1458 - 1465 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008287478A (ja) * 2007-05-17 2008-11-27 National Institute Of Advanced Industrial & Technology 異常検出装置および異常検出方法
JP2009140247A (ja) * 2007-12-06 2009-06-25 United Technologies Institute 異常動作監視装置
CN106999161A (zh) * 2014-12-01 2017-08-01 国立研究开发法人产业技术综合研究所 超声波检查系统以及超声波检查方法
CN106999161B (zh) * 2014-12-01 2020-01-24 国立研究开发法人产业技术综合研究所 超声波检查系统
CN116337868A (zh) * 2023-02-28 2023-06-27 靖江安通电子设备有限公司 一种表面缺陷检测方法及检测系统
CN116337868B (zh) * 2023-02-28 2023-09-19 靖江安通电子设备有限公司 一种表面缺陷检测方法及检测系统

Also Published As

Publication number Publication date
JP4603512B2 (ja) 2010-12-22
US20100021067A1 (en) 2010-01-28
JP2007334766A (ja) 2007-12-27

Similar Documents

Publication Publication Date Title
JP4603512B2 (ja) 異常領域検出装置および異常領域検出方法
US11915406B2 (en) Generating training data usable for examination of a semiconductor specimen
JP4728444B2 (ja) 異常領域検出装置および異常領域検出方法
TWI750553B (zh) 對樣本的缺陷檢測的方法及其系統
US8331650B2 (en) Methods, systems and apparatus for defect detection
CN109348731B (zh) 一种图像匹配的方法及装置
JP4215781B2 (ja) 異常動作検出装置および異常動作検出方法
US11816946B2 (en) Image based novelty detection of material samples
CN106156778A (zh) 用于识别三维机器视觉系统的视野中的已知对象的装置和方法
JP6476802B2 (ja) 情報処理装置及び情報処理方法
CN113807378A (zh) 训练数据增量方法、电子装置与计算机可读记录介质
JP6937508B2 (ja) 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム
CN116258908A (zh) 一种基于无人机遥感影像数据的地灾预测评估分类方法
CN113870280A (zh) 预测以细胞为基质的抗体核型类别的方法、设备和介质
JP2020071716A (ja) 異常判定方法、特徴量算出方法、外観検査装置
CN114663711B (zh) 一种面向x光安检场景的危险品检测方法及装置
CN114202665A (zh) 一种图像相似度确定方法及装置、设备、存储介质
CN116883417A (zh) 基于机器视觉的工件质检方法及装置
US9483827B2 (en) Method of object orientation detection
CN107368832A (zh) 基于图像的目标检测及分类方法
Khairudin et al. Choosing the Quality of Two Dimension Objects by Comparing Edge Detection Methods and Error Analysis.
CN117788444A (zh) Smt贴片偏移检测方法、装置及视觉检测系统
Mishne et al. Multi-channel wafer defect detection using diffusion maps
Nikoo et al. A supervised method for determining displacement of gray level co-occurrence matrix
Menéndez A Hybrid Framework for Statistical Feature Selection and Image-Based Noise-Defect Detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07745149

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12304552

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 07745149

Country of ref document: EP

Kind code of ref document: A1