WO2019176614A1 - 画像処理装置、画像処理方法、およびコンピュータプログラム - Google Patents

画像処理装置、画像処理方法、およびコンピュータプログラム Download PDF

Info

Publication number
WO2019176614A1
WO2019176614A1 PCT/JP2019/008332 JP2019008332W WO2019176614A1 WO 2019176614 A1 WO2019176614 A1 WO 2019176614A1 JP 2019008332 W JP2019008332 W JP 2019008332W WO 2019176614 A1 WO2019176614 A1 WO 2019176614A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel block
pixel
image processing
processor
density
Prior art date
Application number
PCT/JP2019/008332
Other languages
English (en)
French (fr)
Inventor
山田　栄二
Original Assignee
日本電産株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電産株式会社 filed Critical 日本電産株式会社
Publication of WO2019176614A1 publication Critical patent/WO2019176614A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/45—Analysis of texture based on statistical description of texture using co-occurrence matrix computation

Definitions

  • the present application relates to an image processing apparatus, an image processing method, and a computer program that can be used for appearance inspection.
  • Japanese Unexamined Patent Application Publication No. 2009-103498 discloses a color component determination method that extracts a color component from a product image and determines whether welding is good or bad as an appearance inspection method that replaces visual observation.
  • a pixel having a brass color component is extracted from an image of a welding workpiece, and a good / bad color component is determined based on the area of the extracted pixel.
  • a good / bad determination is made based on energy and entropy by texture analysis for a welded work that is assumed to be in a good / bad gray zone.
  • Embodiments of the present disclosure provide a new image processing apparatus, an image processing method, and a computer program that can be used for appearance inspection.
  • the image processing apparatus includes a processor and a memory that stores a program for controlling the operation of the processor.
  • the processor acquires data of an image including at least one inspection area of the inspection object and divides the image data into a plurality of pixel blocks, based on the texture of each pixel block. Calculating a density co-occurrence matrix of each pixel block; calculating a plurality of feature quantities from the density co-occurrence matrix of each pixel block; assigning the plurality of feature quantities to each pixel block; and Based on this, each pixel block is classified into one of a good pixel block and a defective pixel block.
  • an appearance inspection system includes the image processing device, a light source that irradiates the inspection object with light, and an image sensor that outputs an image signal for generating image data. And a display for displaying a result of the determination performed by the processor included in the image processing apparatus.
  • an image processing method of the present disclosure is an image processing method used for appearance inspection, and acquires image data including at least one inspection region included in an inspection object to obtain the image data.
  • a computer program acquires image data including at least one inspection region included in an inspection object, and divides the image data into a plurality of pixel blocks. Calculating a density co-occurrence matrix of each pixel block based on the texture of the block; calculating a plurality of feature quantities from the density co-occurrence matrix of each pixel block; and assigning the plurality of feature quantities to each pixel block; The computer is caused to classify each pixel block into one of a non-defective pixel block and a defective pixel block based on the plurality of feature amounts.
  • FIG. 1 is a block diagram illustrating a configuration example of an appearance inspection system according to the present disclosure.
  • FIG. 2 is a diagram schematically showing the appearance of a part of the configuration of the appearance inspection system 1000.
  • FIG. 3A is a flowchart illustrating an example of a part of a procedure in image processing according to the present embodiment.
  • FIG. 3B is a flowchart illustrating another example of the procedure in the image processing according to the present embodiment.
  • FIG. 4 is a diagram illustrating a frame image including an image of the work 70.
  • FIG. 5 is a diagram schematically illustrating a configuration example of the plurality of pixel blocks 90.
  • FIG. 6 is a diagram illustrating a positional relationship between a pixel of interest and other pixels for a pair of pixels.
  • FIG. 7 is a diagram schematically illustrating an example of obtaining a density co-occurrence matrix (GLCM) from a pixel block of 8 gradation levels.
  • FIG. 8 is a diagram illustrating a first pixel block 91 surrounded by a broken-line circle C1 and a second pixel block surrounded by a broken-line circle C2.
  • FIG. 9 is a diagram schematically illustrating an example of a binary image.
  • FIG. 10 is a diagram illustrating an example of the arrangement of defective pixel blocks after the morphology processing.
  • FIG. 11 is a diagram illustrating an image of a base plate of a hard disk drive which is an example of a work.
  • FIG. 12 is a diagram illustrating an enlarged image including a portion to which a transparent adhesive is attached.
  • FIG. 13 is a graph illustrating an example of feature vectors in the two-dimensional feature amount space according to the embodiment of the present disclosure.
  • a texture originally means a texture of a fabric, but in an image processing technique, it refers to a “pattern” on an object surface.
  • the texture provides information on the “pattern” such as the smoothness, roughness, gloss, roughness, fine regularity / messyness of the object surface, and the like.
  • the density co-occurrence matrix is generated by calculating the frequency in the image that a pixel having a density (gray level) value i has a designated spatial relationship with respect to a pixel having a density value j.
  • the spatial relationship can be specified by an angle ⁇ and a distance d that define the direction of the pixel of density value j relative to the pixel of density value i. Specific processing contents performed using the density co-occurrence matrix will be described later.
  • the image processing apparatus of the present disclosure includes a processor and a memory that stores a program that controls the operation of the processor.
  • the processor executes the following processing according to the program.
  • Image data including at least one inspection region included in the inspection object is acquired, and the image data is divided into a plurality of pixel blocks.
  • a density co-occurrence matrix (grayscale co-occurrence matrix) of each pixel block is calculated based on the texture of each pixel block.
  • a plurality of feature amounts are calculated from the density co-occurrence matrix of each pixel block, and the plurality of feature amounts are assigned to each pixel block.
  • Each pixel block is classified into one of a good pixel block and a defective pixel block based on a plurality of feature amounts.
  • FIG. 1 is a block diagram illustrating a configuration example of an appearance inspection system according to the present disclosure.
  • the appearance inspection system 1000 includes an image processing apparatus 100 having a processor 10 and a memory 12.
  • the processor 10 may be an integrated circuit (IC) chip such as a central processing unit (CPU) or a digital signal processor, for example.
  • the memory 12 is a recording medium that stores a computer program that controls the operation of the processor 10.
  • the memory 12 does not have to be a single recording medium, and can be a collection of a plurality of recording media.
  • the memory 12 may include a storage device such as a semiconductor volatile memory such as a RAM, a semiconductor nonvolatile memory such as a flash ROM, and a hard disk drive.
  • the memory 12 may be a removable recording medium.
  • the memory 12 stores “learned non-defective product data” that can be used for non-defective / defective product determination in an embodiment.
  • the processor 10 may be connected to a server or a database device on the cloud by wire or wirelessly. In this case, the server or the database device may store the learned good data.
  • the appearance inspection system 1000 further includes a light source 20, an image sensor (imaging device) 30, a display 40, and an operation device 50. *
  • the light source 20 is an illumination device that irradiates an inspection object (inspection object) with light.
  • Inspection object is various articles such as various products or parts to be subjected to appearance inspection.
  • the inspected object may be referred to as “workpiece”.
  • the light source 20 may be, for example, an LED lighting unit in which a large number of white LED elements are arranged in a planar shape or a ring shape.
  • the light source 20 includes a lighting circuit (not shown).
  • the light source 20 is arranged to allow coaxial epi-illumination.
  • the wavelength (color) of the light emitted from the light source 20 is not particularly limited, but can be selected according to the inspection object.
  • the polarization state of light may be either polarization or non-polarization, but it is desirable that the polarization state does not change between non-defective learning and inspection.
  • the light source 20 is connected to the processor 10, but such a connection is not essential. Operations such as on / off of the light source 20 and illuminance adjustment may be performed directly from the user on the lighting circuit of the light source 20 without going through the processor 10. *
  • the imaging device 30 is a device that outputs an image signal for generating image data of an object to be inspected.
  • the image signal is sent to the processor 10 by wire or wireless.
  • a typical example of the imaging device 30 is a camera including an area sensor such as a CMOS image sensor or a CCD image sensor in which a large number of photodiodes are arranged in a matrix.
  • the imaging device 30 generates color image data or monochrome image data of the inspection object.
  • Various cameras for visual inspection can be used for the imaging device 30. *
  • the display 40 is a device that displays the result of determination performed by the image processing apparatus 100.
  • the display 40 may be referred to as a monitor, and can display an image acquired by the imaging device 30. *
  • the operation device 50 is an input device that receives an input from a user including designation of a selection area and gives the input to the processor 10.
  • Examples of the operation device 50 are a touch panel, a mouse, and / or a keyboard.
  • the display 40 and the operation device 50 do not need to be always connected to the processor 10 by wire, and may be connected only when necessary by radio or wire through the communication interface.
  • the display 40 and the operation device 50 may be a terminal device or a smartphone carried by the user. *
  • FIG. 2 is a diagram schematically showing a configuration example of a part of the appearance inspection system 1000.
  • the light source 20 and the imaging device 30 are supported by a support member 60 inside the housing 120.
  • a work 70 as an object to be inspected is placed on the transfer table 62 and fixed to the transfer table 62 by a gripping mechanism.
  • the transfer table 62 can be moved in the horizontal direction by the transfer stage 64 with the work 70 placed thereon.
  • the transfer table 62 is located directly below the light source 20, coaxial incident illumination from the light source 20 to the work 70 is performed. While the illumination is performed, the imaging device 30 captures an image of the work 70.
  • the workpiece 70 may be held by the robot arm and placed at the imaging position.
  • Image data acquired by imaging is sent from the imaging device 30 to the image processing device 100 of FIG.
  • the number of pixels of an image acquired by one imaging is, for example, 300,000 to 50 million pixels.
  • the image processing apparatus 100, the display 40, and the operation apparatus 50 in FIG. 1 can be realized by a general-purpose digital computer system, for example, a personal computer. *
  • the image processing apparatus 100 that has acquired the image data performs the above-described processing and performs an appearance inspection of the work 70. Hereinafter, the contents of this process will be described in more detail. *
  • FIG. 3A is a flowchart illustrating an example of a part of a procedure in image processing according to the present embodiment. *
  • step S10 the processor 10 acquires image data of the inspection object.
  • the image data is a frame image including an image of the work 70, as schematically shown in FIG.
  • the actual image is an array of 256 gradation luminance values (“brightness” or “grayscale” values) reflecting the unevenness and pattern of the surface of the work 70.
  • the luminance value may be referred to as a pixel value or density.
  • FIG. 4 the description of the texture that appears on the surface of the inspection object is omitted. *
  • One frame image may include a part of the transfer table 62 in addition to the work 70 as the background 70B.
  • an area 82 surrounded by a line 82 ⁇ / b> L is an “inspection area”.
  • One frame image may include a plurality of inspection regions 82. Alignment is performed so that the position of the work 70 is aligned with a predetermined position in the frame image. This alignment is to match a plurality of reference points of the work 70 with a plurality of reference points in the field of view of the imaging device 30. The first stage of such alignment is to adjust the physical positional relationship of the work 70 with respect to the lens optical axis of the imaging device 30.
  • the second stage of alignment is to adjust the pixel position (coordinates) of the captured image.
  • the second stage alignment includes translating, rotating, enlarging and / or reducing the image by an image processing technique.
  • the inspection area 82 of each workpiece 70 is always aligned with the area surrounded by the line 82L. In this way, the image of the inspection area 82 of each workpiece 70 belonging to the same product type can be compared with the image of the good sample on a pixel basis.
  • step S12 of FIG. 3A the processor 10 divides the image data into a plurality of pixel blocks.
  • FIG. 5 schematically shows a configuration example of a plurality of pixel blocks 90 obtained by dividing one image 80.
  • Each of the plurality of pixel blocks 90 is composed of N ⁇ M pixels.
  • N and M are each an integer of 8 to 64, for example.
  • the description of the pixel block at a position completely deviated from the inspection region is omitted. *
  • the plurality of pixel blocks 90 includes a first pixel block 91 that is entirely located inside the inspection region 82, and a second pixel block 92 that straddles the boundary between the inside and outside of the inspection region 82. Including. In FIG. 5, for the sake of easy understanding, a rectangular broken line region is described in each of the second pixel blocks 92. *
  • step S ⁇ b> 14 the processor 10 adjusts the contrast of each pixel block 90.
  • This contrast adjustment can be performed by dividing the brightness of 256 gradations into, for example, an 8-level brightness range (levels 1 to 8) for each pixel. *
  • step S ⁇ b> 16 the processor 10 generates a density co-occurrence matrix for each pixel block 90.
  • a density co-occurrence matrix for each pixel block 90.
  • FIG. 6 is a diagram illustrating a positional relationship between a pixel of interest (Pixel of interest) and other pixels with respect to a pair of pixels (pixel pair).
  • the position of another pixel can be represented by [X ⁇ d, Y ⁇ d].
  • d is a pixel pitch
  • X and Y are integers.
  • 6 indicates a counterclockwise angle with respect to an axis extending in the horizontal right direction in FIG.
  • the angle ⁇ is 0 °
  • FIG. 7 is a diagram schematically illustrating an example of obtaining a density co-occurrence matrix (GLCM) from a pixel block having an array of pixel values of 8 gradation levels (4 rows and 5 columns).
  • GLCM density co-occurrence matrix
  • the appearance frequency (number of co-occurrence or simultaneous generation) of pixel pairs in a relationship where the angle ⁇ is shifted by one pixel in the direction of 0 ° is counted.
  • the appearance frequency in the block of the pixel pair in which the luminance value of the reference pixel is “1” and the luminance value of the other pixel located on the right side is “1” is “1”.
  • the appearance frequency in the block of the pixel pair in which the luminance value of the reference pixel is “1” and the luminance value of the other pixel on the right is “2” is “2”.
  • the density co-occurrence matrix is expressed as an 8 ⁇ 8 matrix if the luminance value of the pixel block is 8 gradations. Even in the same pixel block, different density co-occurrence matrices are obtained according to the arrangement relationship of the pixel pairs.
  • Each element of the concentration co-occurrence matrix shown in FIG. 7 is “frequency” of appearance for simplicity, but is expressed below by “probability” of appearance.
  • the size of the pixel block is not limited to 4 ⁇ 5 pixels, and is arbitrary. In the embodiment of the present disclosure, for example, image data may be divided into pixel blocks of 8 ⁇ 8 pixels. *
  • the processor 10 determines the density co-occurrence matrix
  • a plurality of pixels located inside the examination region 82 are selected from the second pixel block 92 illustrated in FIG.
  • the density co-occurrence matrix of the second pixel block 92 is determined based on the pixels.
  • the processor 10 determines the density co-occurrence matrix of the first pixel block 91 based on all the pixels in the first pixel block 91.
  • FIG. 8 shows a first pixel block 91 surrounded by a broken-line circle C1 and a second pixel block surrounded by a broken-line circle C2.
  • the density co-occurrence matrix P (i, j) is also calculated for the second pixel block 92 straddling the line (boundary line) 82L that defines the outer edge of the inspection region 82. According to this embodiment, it is possible to appropriately detect dirt generated on the outer edge portion of the inspection region 82, as compared with the case where the density co-occurrence matrix P (i, j) is calculated only for the first pixel block. Become. This is beneficial when the line 82L is curved or finely bent. *
  • step S18 of FIG. 3A the processor 10 calculates a texture feature amount from the determined density co-occurrence matrix P (i, j).
  • the following four feature amounts are calculated as texture feature amounts.
  • the feature quantities are contrast, uniformity, energy, and entropy, respectively.
  • the feature amount is not limited to the above example. *
  • FIG. 3B is a flowchart illustrating another example of the procedure in the image processing according to the present embodiment. *
  • step S20 the processor 10 performs “identification”.
  • the identification is to classify (identify) each pixel block into one of “non-defective pixel block” and “defective pixel block” based on the texture feature amount.
  • an “identifier” that operates according to a learned model can be used.
  • a typical example of a discriminator is a support vector machine. *
  • each pixel block is represented by a vector (feature vector) in a 48-dimensional feature space. Therefore, “identification” is to determine whether the feature vector of the pixel block of interest is similar to the feature vector of “non-defective pixel block” or “defective pixel block”.
  • the “discriminator” operating by the learned model acquires the feature vector of “non-defective pixel block” and the feature vector of “defective pixel block” by learning. Since 48 dimensions are high dimensions, the dimensions may be compressed by principal component analysis or the like. *
  • learning is performed using a defective product sample having a stain due to adhesion of a transparent adhesive and a good product sample having no such stain, and feature vector data is collected. . Based on the feature vector thus obtained, even a defect having a small contrast with respect to the surroundings, for example, adhesion of an adhesive by a finger, can be detected with high accuracy.
  • texture features are obtained and identified and discriminated in units of pixel blocks, abnormalities or defects that cannot be detected by the conventional method of identifying individual pixels as normal pixels or abnormal pixels are detected. It becomes possible.
  • step S22 the processor generates a binary image based on the identification result.
  • the binary values mean “non-defective pixel block” and “defective pixel block”, respectively.
  • FIG. 9 is a diagram schematically illustrating an example of the binary image 84.
  • the defective pixel block is a “black” rectangular area
  • the non-defective pixel block is a “white” rectangular area.
  • step S ⁇ b> 24 of FIG. 3B the processor 10 performs a morphology process on the obtained binary image 84. Specifically, isolated defective pixel blocks are removed and adjacent defective pixel blocks are connected. As a result, for example, a binary image 86 shown in FIG. 10 is obtained.
  • the morphology process corresponds to the processor 10 correcting the arrangement of pixel blocks classified as defective pixel blocks. *
  • step S ⁇ b> 26 of FIG. 3B the processor 10 performs “threshold determination” based on the binary image 86 after the morphology processing. Specifically, the size, area, and other parameters of the entire defective pixel block indicated by “black” included in the binary image 86 of FIG. 10 are obtained and compared with a threshold value. When these parameters exceed the threshold values, it may be determined that the workpiece is not a good product. *
  • step S28 it is determined whether the workpiece is a non-defective product or a defective product based on the result of the above threshold determination.
  • the processor determines whether or not the inspection object is a non-defective product based on the arrangement of pixel blocks classified as defective pixel blocks.
  • a final determination may be made after additionally performing other inspections on the workpiece thus determined.
  • FIG. 11 is an image of a base plate of a hard disk drive that is an example of a workpiece. A transparent adhesive is attached to a part of this image.
  • This base plate is a component coated with a molded body produced by aluminum die casting. *
  • FIG. 12 is an enlarged image of a photograph including a portion to which a transparent adhesive is attached on the surface of the base plate of FIG. 11.
  • the transparent adhesive adheres mainly to the area surrounded by the white line in FIG.
  • FIG. 13 is a graph showing an example of feature vectors in a two-dimensional feature quantity space selected from the 48-dimensional feature quantity space.
  • a dot “•” indicates a non-defective product
  • a cross “ ⁇ ” indicates a defective product with an adhesive
  • a circle “ ⁇ ” indicates a support vector.
  • the feature vectors of the non-defective product and the defective product are obtained by learning, and the support vector is determined so as to maximize the margin between the good product and the defective product. According to the embodiment of the present disclosure, it is possible to mechanically identify a defective product having dirt with low contrast based on the texture feature amount described above. *
  • each pixel block when one frame image is divided into a plurality of pixel blocks, each pixel block does not overlap with an adjacent pixel block. However, each pixel block may partially overlap with an adjacent pixel block.
  • the density co-occurrence matrix may be generated by sliding the pixel region for which the density co-occurrence matrix is generated by one pixel or several pixels. In this way, it is possible to acquire the density co-occurrence matrix and the texture feature amount with higher spatial resolution from the same frame image without reducing the size of the pixel block.
  • the appearance inspection may be performed by combining the image processing according to the present disclosure with the conventional image processing for comparing density values in units of pixels.
  • the hardware necessary for executing the image processing of the present disclosure is common to the conventional visual inspection apparatus, and the major difference is in software. For this reason, it becomes possible to execute the image processing of the present disclosure by changing the computer program of the conventional appearance inspection apparatus.
  • the image processing apparatus, the image processing method, and the computer program of the present disclosure can be suitably used for appearance inspection of products or parts in a manufacturing site such as a factory.
  • SYMBOLS 1000 ... Appearance inspection system, 10 ... Processor 10 ... Memory, 100 ... Image processing apparatus, 20 ... Light source, 30 ... Image sensor (imaging device), 40 ... Display, 50. Operating device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】外観検査に用いられ得る新しい画像処理装置、画像処理方法、およびコンピュータプログラムを提供する。【解決手段】本開示の画像処理装置（１００）は、プロセッサ（１０）と、プロセッサの動作を制御するプログラムを記憶するメモリ（１２）とを備える。プロセッサは、被検査物が有する少なくとも１個の検査領域を含む画像のデータを取得して画像のデータを複数の画素ブロックに分割すること、各画素ブロックのテクスチャに基づいて各画素ブロックの濃度共起行列を算出すること、各画素ブロックの濃度共起行列から複数の特徴量を算出し、複数の特徴量を各画素ブロックに割り当てること、複数の特徴量に基づいて各画素ブロックを良品画素ブロックおよび欠陥画素ブロックの一方に分類することを実行する。

Description

画像処理装置、画像処理方法、およびコンピュータプログラム
本願は、外観検査に用いられ得る画像処理装置、画像処理方法、およびコンピュータプログラムに関する。
工場などの製造現場では、製造された完成品または部品の外観に現れた欠陥、傷、異物、および汚れを目視検査によって検出することが行われている。このような外観検査を機械化または自動化するため、さまざまな画像処理技術が開発されている。　
特開２００９－１０３４９８号公報は、目視に代わる外観検査方法として、製品の画像から色成分を抽出して溶接の良不良を判定する色成分判定法を開示している。この方法は、溶接ワークの画像から黄銅色成分を有する画素を抽出して、抽出された画素の面積により良不良の色成分判定を行う。色判定では、良不良のグレーゾーンにあるとされた溶接ワークについて、テクスチャ解析によるエネルギおよびエントロピに基づいて良不良の判定を行う。
特開２００９－１０３４９８号公報
上記の従来技術は、特定領域内で不良が発生しやすく、また不良部分で色成分に変化が生じるような溶接ワークの外観検査には適している。しかし、一般的な物の外観の不良には、周囲との間で大きなコントラストが生じない汚れも含まれ、今でも人の目視によって検出することが行われている。　
本開示の実施形態は、外観検査に用いられ得る新しい画像処理装置、画像処理方法、およびコンピュータプログラムを提供する。
本開示の画像処理装置は、例示的な実施形態において、プロセッサと、前記プロセッサの動作を制御するプログラムを記憶するメモリとを備える。前記プログラムに従って、前記プロセッサは、被検査物が有する少なくとも１個の検査領域を含む画像のデータを取得して前記画像のデータを複数の画素ブロックに分割すること、各画素ブロックのテクスチャに基づいて各画素ブロックの濃度共起行列を算出すること、各画素ブロックの前記濃度共起行列から複数の特徴量を算出し、前記複数の特徴量を各画素ブロックに割り当てること、前記複数の特徴量に基づいて各画素ブロックを良品画素ブロックおよび欠陥画素ブロックの一方に分類することを実行する。　
本開示の外観検査システムは、例示的な実施形態において、上記の画像処理装置と、前記被検査物を光で照射する光源と、前記画像のデータを生成するための画像信号を出力するイメージセンサと、前記画像処理装置が備える前記プロセッサが実行した判別の結果を表示するディスプレイとを備える。　
本開示の画像処理方法は、例示的な実施形態において、外観検査に用いられる画像処理方法であって、被検査物が有する少なくとも１個の検査領域を含む画像のデータを取得して前記画像のデータを複数の画素ブロックに分割すること、各画素ブロックのテクスチャに基づいて各画素ブロックの濃度共起行列を算出すること、各画素ブロックの前記濃度共起行列から複数の特徴量を算出し、前記複数の特徴量を各画素ブロックに割り当てること、前記複数の特徴量に基づいて各画素ブロックを良品画素ブロックおよび欠陥画素ブロックの一方に分類することを含む。　
本開示のコンピュータプログラムは、例示的な実施形態において、被検査物が有する少なくとも１個の検査領域を含む画像のデータを取得して前記画像のデータを複数の画素ブロックに分割すること、各画素ブロックのテクスチャに基づいて各画素ブロックの濃度共起行列を算出すること、各画素ブロックの前記濃度共起行列から複数の特徴量を算出し、前記複数の特徴量を各画素ブロックに割り当てること、前記複数の特徴量に基づいて各画素ブロックを良品画素ブロックおよび欠陥画素ブロックの一方に分類することをコンピュータに実行させる。
本開示の実施形態によれば、汚れなどの欠陥を有する領域の模様と周囲の模様とを判別することができるため、周囲に対してコントラストが小さな欠陥であっても検出することが可能になる。
図１は、本開示の外観検査システムの構成例を示すブロック図である。 図２は、外観検査システム１０００の一部の構成の外観を模式的に示す図である。 図３Ａは、本実施形態による画像処理における手順の一部の例を示すフローチャートである。 図３Ｂは、本実施形態による画像処理における手順の他の一部の例を示すフローチャートである。 図４は、ワーク７０の像を含むフレーム画像を示す図である。 図５は、複数の画素ブロック９０の構成例を模式的に示す図である。 図６は、一対の画素について、着目する画素と他の画素との位置関係を示す図である。 図７は、８階調レベルの画素ブロックから濃度共起行列（ＧＬＣＭ）を求める例を模式的に示す図である。 図８は、破線の円Ｃ１に囲まれた第１画素ブロック９１と、破線の円Ｃ２に囲まれた第２画素ブロックを示す図である。 図９は、２値画像の例を模式的に示す図である。 図１０は、モルフォロジ処理後における欠陥画素ブロックの配列例を示す図である。 図１１は、ワークの一例であるハードディスクドライブのベースプレートの画像を示す図である。 図１２は、透明接着剤が付着した部分を含む拡大画像を示す図である。 図１３は、本開示の実施形態における２次元特徴量空間内の特徴ベクトルの例を示すグラフである。
本開示における画像処理の装置および方法は、デジタル画像処理の「テクスチャ解析」を利用する。テクスチャとは、本来は布地の織目を意味するが、画像処理技術では、物体表面の「模様」を指す。テクスチャは、物体表面の滑らかさ、粗さ、光沢、ざらざら感、微細形状の規則性／乱雑さなどの「模様」に関する情報を提供する。　
従来の画像処理技術によって製品の外観検査を行うと、画素の輝度値（グレースケールまたは濃度）そのものの偏差によっては検出できない欠陥がある。この欠陥の具体例は、透明な接着剤などが物体表面に付着して形成された汚れである。このような汚れは、周囲との間で大きなコントラストが生じないため、自動化された従来の外観検査装置では検出されないことが多く、どうしても人の目視検査工程を必要とする。しかし、本発明者の検討によると、画像データを複数の画素ブロックに分割し、各画素ブロックのテクスチャから算出した濃度共起行列（グレースケール同時生起行列：ＧＬＣＭ）を利用すると、周囲とのコントラストが小さな汚れも十分に検出できることがわかった。　
濃度共起行列は、画像内において、濃度（グレーレベル）値ｉの画素が濃度値ｊの画素に対して指定された空間関係にある頻度を計算することによって生成される。空間関係は、濃度値ｉの画素に対する濃度値ｊの画素の方向を規定する角度θおよび距離ｄによって指定され得る。濃度共起行列を利用して行う具体的な処理内容は後述する。　
本開示の画像処理装置は、非限定的で例示的な実施形態において、プロセッサと、プロセッサの動作を制御するプログラムを記憶するメモリを備える。プロセッサは、プログラムに従って、以下の処理を実行する。　
（１）被検査物が有する少なくとも１個の検査領域を含む画像のデータを取得して前記画像のデータを複数の画素ブロックに分割する。　
（２）各画素ブロックのテクスチャに基づいて各画素ブロックの濃度共起行列（グレースケール同時生起行列）を算出する。　
（３）各画素ブロックの濃度共起行列から複数の特徴量を算出し、前記複数の特徴量を各画素ブロックに割り当てる。　
（４）複数の特徴量に基づいて各画素ブロックを良品画素ブロックおよび欠陥画素ブロックの一方に分類する。　
図１は、本開示の外観検査システムの構成例を示すブロック図である。図示されている例において、外観検査システム１０００は、プロセッサ１０およびメモリ１２を有する画像処理装置１００を備える。プロセッサ１０は、例えば中央演算処理装置（ＣＰＵ）またはデジタル信号処理プロセッサなどの集積回路（ＩＣ）チップであり得る。メモリ１２は、プロセッサ１０の動作を制御するコンピュータプログラムを格納した記録媒体である。メモリ１２は、単一の記録媒体である必要はなく、複数の記録媒体の集合であり得る。メモリ１２は、例えばＲＡＭなどの半導体揮発性メモリ、フラッシュＲＯＭなどの半導体不揮発性メモリ、およびハードディスクドライブなどのストレージ装置を含み得る。メモリ１２の少なくとも一部は、取り外し可能な記録媒体であってもよい。メモリ１２は、ある実施形態において、良品／不良品判定に使用され得る「学習済み良品データ」を記憶している。プロセッサ１０は、メモリ１２とは別に、クラウド上のサーバまたはデータベース装置に有線または無線によって接続されていてもよい。この場合、サーバまたはデータベース装置が学習済み良品データを記憶していてもよい。　
外観検査システム１０００は、更に、光源２０と、イメージセンサ（撮像装置）３０と、ディスプレイ４０と、操作装置５０とを備える。　
光源２０は、被検査物（検査対象）を光で照射する照明装置である。非検査物は、外観検査の対象となるさまざまな製品または部品などの各種の物品である。以下、被検査物を「ワーク」と称する場合がある。光源２０は、例えば多数の白色ＬＥＤ素子が面状またはリング状に配列されたＬＥＤ照明ユニットであり得る。光源２０は不図示の点灯回路を備えている。ある実施形態において、光源２０は同軸落射照明を可能にするように配置される。光源２０が放射する光の波長（色）は、特に限定されないが、検査対象に応じて選択され得る。光の偏光状態は、偏光または非偏光のいずれであってもよいが、良品学習時と検査時とで偏光状態が変化していないことが望ましい。図１の例において、光源２０はプロセッサ１０に接続されているが、このような接続は不可欠ではない。光源２０のオン／オフおよび照度調整などの動作は、プロセッサ１０を介することなく、光源２０の点灯回路に対してユーザから直接に行われてもよい。　
撮像装置３０は、被検査対物の画像のデータを生成するための画像信号を出力する装置である。画像信号は、有線または無線により、プロセッサ１０に送られる。撮像装置３０の典型例は、多数のフォトダイオードが行列状に配列されたＣＭＯＳイメージセンサまたはＣＣＤイメージセンサなどのエリアセンサを備えるカメラである。撮像装置３０は、被検査物のカラー画像またはモノクローム画像のデータを生成する。撮像装置３０には、外観検査用の各種カメラを使用することができる。　
ディスプレイ４０は、画像処理装置１００が実行した判別の結果などを表示する装置である。ディスプレイ４０は、モニタと称されることもあり、撮像装置３０によって取得された画像を表示することもできる。　
操作装置５０は、選択領域の指定を含むユーザからの入力を受け取り、プロセッサ１０に与える入力デバイスである。操作装置５０の例は、タッチパネル、マウスおよび／またはキーボードである。ディスプレイ４０および操作装置５０は、プロセッサ１０に有線によって常に接続されている必要はなく、通信インタフェースを介して無線または有線によって必要なときだけ接続されていてよい。ディスプレイ４０および操作装置５０は、ユーザが携帯する端末装置またはスマートフォンであってもよい。　
図２は、外観検査システム１０００の一部の構成例を模式的に示す図である。光源２０および撮像装置３０は、筐体１２０の内部において、サポート部材６０によって支持されている。被検査物
であるワーク７０は、移送台６２に乗せられ、把持機構によって移送台６２に固定される。移送台６２は、ワーク７０を乗せたまま、搬送ステージ６４によって水平方向に移動可能である。移送台６２が光源２０の真下に位置しているとき、光源２０からワーク７０に対する同軸落射照明が行われる。照明が行われている間に撮像装置３０は、ワーク７０の撮像を行う。ワーク７０は、ロボットアームに把持されて撮像ポジションに置かれてもよい。　
撮像によって取得された画像のデータは、撮像装置３０から図１の画像処理装置１００に送られる。１回の撮像によって取得される画像の画素数は、例えば３０万画素から５０００万画素である。図１の画像処理装置１００、ディスプレイ４０および操作装置５０は、汎用的なデジタルコンピュータシステム、例えばパーソナルコンピュータによって実現され得る。　
画像データを取得した画像処理装置１００は、前述した処理を実行してワーク７０の外観検査を実行する。以下、この処理の内容をより詳しく説明する。　
図３Ａを参照する。図３Ａは、本実施形態による画像処理における手順の一部の例を示すフローチャートである。　
まず、ステップＳ１０において、プロセッサ１０は、被検査物の画像データを取得する。画像データは、例えば図４に模式的に示されるように、ワーク７０の像を含むフレーム画像である。現実の画像は、ワーク７０の表面が有する凹凸および模様を反映した２５６階調の輝度値（「明るさ」または「グレースケール」の値）の配列である。輝度値を画素値または濃度と称する場合がある。図４では、被検査物の表面に現れるテクスチャの記載は省略されている。　
１枚のフレーム画像には、ワーク７０以外に移送台６２の一部が背景７０Ｂとして含まれ得る。図４の例において、線８２Ｌによって囲まれた領域８２が「検査領域」である。１枚のフレーム画像は、複数の検査領域８２を含んでいてもよい。ワーク７０の位置は、フレーム画像内において予め決められた位置に整合するようにアライメントが実行される。このアライメントは、ワーク７０の複数の基準点を撮像装置３０の視野における複数の基準点に一致させることである。このようなアライメントの第１段階は、撮像装置３０のレンズ光軸に対するワーク７０の物理的な配置関係を調整することである。アライメントの第２段階は、撮像された画像の画素位置（座標）を調整することである。第２段階のアライメントは、画像処理技術によって画像の並進、回転、拡大および／または縮小などを行うことを含む。このようなアライメントの結果、各ワーク７０の検査領域８２は、常に線８２Ｌによって囲まれた領域に整合する。こうして、同じ品種に属する各ワーク７０の検査領域８２の画像は、画素単位で良品見本の画像と比較することが可能になる。　
図３ＡのステップＳ１２において、プロセッサ１０は、画像のデータを複数の画素ブロックに分割する。図５は、１枚の画像８０を分割した複数の画素ブロック９０の構成例を模式的に示す。複数の画素ブロック９０のそれぞれは、Ｎ×Ｍ個の画素から構成されている。ここで、ＮおよびＭは、それぞれ、例えば８以上６４以下の整数である。図５では、検査領域から完全に外れた位置にある画素ブロックの記載を省略した。　
図５に示すように、複数の画素ブロック９０は、検査領域８２の内側にそれぞれの全体が位置する第１画素ブロック９１と、検査領域８２の内側と外側との境界を跨ぐ第２画素ブロック９２とを含んでいる。図５では、わかりやすさのため、第２画素ブロック９２のそれぞれに矩形の破線領域を記載している。　
図３Ａを再び参照する。ステップＳ１４において、プロセッサ１０は、各画素ブロック９０のコントラストを調整する。このコントラスト調整は、個々の画素について、２５６階調の明るさを例えば８段階の明るさ範囲（レベル１～８）に区分することによって行われ得る。　
次に、ステップＳ１６において、プロセッサ１０は、個々の画素ブロック９０の濃度共起行列を生成する。ここで、図６および図７を参照して「濃度共起行列」の例を説明する。　
図６は、一対の画素（画素ペア）について、着目する画素（Pixel of interest）と他の画素との位置関係を示す図である。着目する画素を基準として、他の画素の位置を［Ｘ×ｄ，Ｙ×ｄ］によって表すことができる。ここで、ｄは、画素ピッチ、ＸおよびＹは、それぞれ、整数である。図６に示される角度θは、図６の水平右方向の延びる軸を基準として反時計回りの角度を示す。角度θが０°の例として、図６には、［０，ｄ］が示されているが、これは、Ｘ＝０、Ｙ＝１に相当する。角度θが０°であっても、［０，２×ｄ］、［０，３×ｄ］、・・・の位置から他の画素を選択することも可能である。　
図７は、８階調レベルの画素値の配列（４行５列）である画素ブロックから濃度共起行列（ＧＬＣＭ）を求める例を模式的に示す図である。この例では、最も明るい画素に輝度値「１」を与え、最も暗い画素に輝度値「８」を与えている。これを反対にして、最も明るい画素に輝度値「８」を与え、最も暗い画素に輝度値「１」を与えてもよい。　
図７の例において、角度θが０°の方向に１画素だけシフトした関係にある画素ペアの出現頻度（共起または同時生成の個数）がカウントされている。具体的には、基準とする画素の輝度値が「１」、右となりに位置する他の画素の輝度値が「１」となる画素ペアのブロック内出現頻度は「１」である。このため、濃度共起行列の（ｉ，ｊ）＝（１，１）の要素には「１」の数値が書き込まれている。同様に、基準とする画素の輝度値が「１」、右となりの他の画素の輝度値が「２」の画素ペアのブロック内出現頻度は「２」である。このため、濃度共起行列の（ｉ，ｊ）＝（１，２）の要素には「２」の数値が書き込まれている。図７における濃度共起行列の要素（ｉ，ｊ）の値は、画素ブロック内において、輝度値がｉの画素と輝度値がｊの画素との配置が図６の０°［０，ｄ］の関係で出現する頻度である。　
このように、濃度共起行列は、画素ブロックの輝度値が８階調であれば、８行８列の行列として表現される。同じ画素ブロックであっても、画素ペアの配置関係に応じて異なる濃度共起行列が得られる。　
図７に示されている濃度共起行列の各要素は、簡単のため、出現の「頻度」であるが、以下、出現の「確率」によって表現される。画素ブロックのサイズは、４×５画素に限定されず、任意である。本開示の実施形態では、例えば８×８画素の画素ブロックに画像データを分割し得る。　
本開示の実施形態では、プロセッサ１０が濃度共起行列を決定するとき、図５に示される第２画素ブロック９２から検査領域８２の内側に位置する複数の画素を選択し、選択された複数の画素に基づいて第２画素ブロック９２の濃度共起行列を決定する。これに対して、第１画素ブロック９１については、プロセッサ１０が第１画素ブロック９１内の全ての画素に基づいて第１画素ブロック９１の濃度共起行列を決定する。　
図８は、破線の円Ｃ１に囲まれた第１画素ブロック９１と、破線の円Ｃ２に囲まれた第２画素ブロックを示している。画素ブロック９１、９２は、それぞれ、８×８＝６４個の画素から構成されている。しかし、破線の円Ｃ２に囲まれた第２画素ブロック９２を構成する６４個の画素のうち、検査領域８２の内側に位置する画素は、５０個である。このため、破線の円Ｃ２に囲まれた第２画素ブロック９２については、検査領域８２の内側に位置する５０個の画素に基づいて、濃度共起行列Ｐ（ｉ，ｊ）が決定される。濃度共起行列Ｐ（ｉ，ｊ）の要素（ｉ，ｊ）は、確率を示すように画素数で規格化されている。図８の破線の円Ｃ２に囲まれた第２画素ブロック９２では、規格化に用いられる画素数は６４個ではなく、５０個である。　
このようにして、本開示の実施形態では、検査領域８２の外縁を規定する線（境界線）８２Ｌを跨ぐ第２画素ブロック９２についても濃度共起行列Ｐ（ｉ，ｊ）を算出する。この実施形態によれば、第１画素ブロックのみについて濃度共起行列Ｐ（ｉ，ｊ）を算出する場合に比べて、検査領域８２の外縁部に発生する汚れを適切に検出することが可能になる。このことは、線８２Ｌが曲線または細かく屈曲している場合に有益である。　
次に、図３ＡのステップＳ１８において、プロセッサ１０は、決定した濃度共起行列Ｐ（ｉ，ｊ）からテクスチャ特徴量を算出する。テクスチャ特徴量として、本開示の実施形態では、以下の４つの特徴量を算出する。　　
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
上記の特徴量は、それぞれ、コントラスト、均一性、エネルギおよびエントロピである。特徴量は、上記の例に限定されない。　
各画素ブロックについて、画素ペアの配置関係が１２通りである場合、それぞれの配置関係に応じて異なる１２通りの濃度共起行列が得られる。このため、各画素ブロックについて、１２通りのコントラストが算出される。他のテクスチャ特徴量も同様である。本開示の実施形態では、このようにして各画素ブロックから４×１２＝４８個のテクスチャ特徴量を算出する。　
次に図３Ｂを参照する。図３Ｂは、本実施形態による画像処理における手順の他の一部の例を示すフローチャートである。　
ステップＳ２０において、プロセッサ１０は「識別」を行う。識別とは、上記のテクスチャ特徴量に基づいて、各画素ブロックを「良品画素ブロック」および「欠陥画素ブロック」の一方に分類（識別）することである。プロセッサ１０が、複数の特徴量に基づいて、各画素ブロックを良品画素ブロックおよび欠陥画素ブロックの一方に分類するとき、学習済みモデルによって動作する「識別器」を用いることができる。識別器の典型例は、サポートベクターマシンである。　
上述した例においては、個々の画像ブロックに４８個の特徴量が与えられる。言い換えると、各画素ブロックは、４８次元の特徴空間内のベクトル（特徴ベクトル）によって表現される。従って「識別」とは、着目する画素ブロックの特徴ベクトルが「良品画素ブロック」および「欠陥画素ブロック」のいずれの特徴ベクトルに類似しているかを判定することである。学習済みモデルによって動作する「識別器」は、「良品画素ブロック」の特徴ベクトルおよび「欠陥画素ブロック」の特徴ベクトルを学習によって取得している。なお、４８次元は高次元であるため、主成分分析などによって次元を圧縮しておいてもよい。　
本開示の実施形態では、透明な接着剤の付着による汚れを有する不良品サンプルと、そのような汚れを有していない良品サンプルとを用いて学習を行い、特徴ベクトルのデータを採取しておく。このようにして得た特徴ベクトルに基づくと、周囲に対してコントラストが小さな欠陥、例えば指
による接着剤の付着であっても、高い正確度で検出することが可能になった。画素ブロックの単位でテクスチャ特徴量を求めて識別・判別を行う本開示の実施形態によれば、従来技術による個々の画素を正常画素または異常画素に識別する方法では検出できない異常または不良を検出することが可能になる。　
続いて、ステップＳ２２では、プロセッサは、この識別の結果に基づいて２値画像を生成する。２値は、それぞれ、「良品画素ブロック」および「欠陥画素ブロック」を意味する。図９は、２値画像８４の例を模式的に示す図である。図９の例において、欠陥画素ブロックは「黒」の矩形領域であり、良品画素ブロックは「白」の矩形領域である。　
次に、図３ＢのステップＳ２４において、プロセッサ１０は、得られた２値画像８４に対してモルフォロジ処理を行う。具体的には、孤立した欠陥画素ブロックの除去、隣接する欠陥画素ブロックの連結を行う。その結果、例えば図１０に示される２値画像８６が得られる。モルフォロジ処理は、プロセッサ１０が、欠陥画素ブロックに分類した画素ブロックの配列を修正することに相当する。　
次に、図３ＢのステップＳ２６において、プロセッサ１０は、モルフォロジ処理後の２値画像８６に基づいて「閾値判定」を行う。具体的には、図１０の２値画像８６に含まれる「黒」で示された欠陥画素ブロック全体のサイズ、面積、その他のパラメータを求め、閾値と比較する。これらのパラメータが閾値を超えたとき、ワークが良品ではないと判定してよい。　
ステップＳ２８では、上記の閾値判定の結果に基づいて、ワークが良品か不良品かを判定する。言い換えると、プロセッサは、欠陥画素ブロックに分類された画素ブロックの配列に基づいて、被検査物が良品であるか否かを判別することを実行する。なお、ワークが良品ではない、すなわち不良品であると判定された場合、そのように判定されたワークについて他の検査を付加的に行ってから最終的な判断を行うようにしてもよい。　
図１１は、ワークの一例であるハードディスクドライブのベースプレートの画像である。この画像の一部には、透明接着剤が付着している。このベースプレートは、アルミダイカスト鋳造によって作製された成形体を塗装した部品である。　
図１２は、図１１のベースプレートの表面において透明接着剤が付着した部分を含む写真の拡大画像である。透明接着剤は、主に図１２の白線に囲まれた領域に付着している。従来技術によって画素単位の濃度値に基づいて良品見本の画像と比較した場合、周囲とのコントラストが小さいため、異常を検出することは困難である。なお、この拡大画像には１０×１０＝１００個の画素ブロックが存在している。各画素ブロックは、６４×４８＝３０７２個の画素から構成されている。各ブロックについて前述した濃度共起行列およびテクスチャ特徴量を算出する本開示の実施形態によれば、このような透明接着剤の存在を検出することが可能である。　
図１３は、４８次元特徴量空間のうちから選択した２次元特徴量空間内の特徴ベクトルの例を示すグラフである。ドット「・」は良品、クロス「×」は接着剤が付着した不良品、サークル「○」はサポートベクタを示している。良品および不良品の特徴ベクトルは学習によって取得され、サポートベクタは良品－不良品間のマージンを最大化するように決定されている。本開示の実施形態によれば、前述したテクスチャ特徴量に基づいてコントラストの低い汚れを持った不良品の識別を機械的に行うことが可能である。　
上記の例において、１枚のフレーム画像を複数の画素ブロックに分割するとき、各画素ブロックは、隣接する画素ブロックにオーバーラップしていない。しかし、各画素ブロックは、隣接する画素ブロックに部分的にオーバーラップしていてもよい。言い換えると、濃度共起行列を生成する対象となる画素領域を、１画素または数画素単位でスライドさせて濃度共起行列を生成してもよい。このようにすると、同じフレーム画像から、画素ブロックのサイズを縮小することなく、より高い空間分解能で濃度共起行列およびテクスチャ特徴量を取得することが可能になる。　
なお、本開示による画像処理を従来の画素単位で濃度値を比較する画像処理と組み合わせて外観検査を行ってもよい。図１および図２を参照しながら説明したように、本開示の画像処理を実行するために必要なハードウェアは、従来の外観検査装置と共通しており、大きく異なる点はソフトウェアにある。このため、従来の外観検査装置のコンピュータプログラムを変更することにより、本開示の画像処理を実行することが可能になる。
本開示画像処理装置、画像処理方法、およびコンピュータプログラムは、工場などの製造現場における製品または部品の外観検査に好適に利用され得る。
１０００・・・外観検査システム、１０・・・プロセッサ１０・・・メモリ、１００・・・画像処理装置、２０・・・光源、３０・・・イメージセンサ（撮像装置）、４０・・・ディスプレイ、５０・・・操作装置

Claims (11)

  1. プロセッサと、　前記プロセッサの動作を制御するプログラムを記憶するメモリと、を備え、　前記プログラムに従って、前記プロセッサは、　被検査物が有する少なくとも１個の検査領域を含む画像のデータを取得して前記画像のデータを複数の画素ブロックに分割すること、　各画素ブロックのテクスチャに基づいて各画素ブロックの濃度共起行列を算出すること、　各画素ブロックの前記濃度共起行列から複数の特徴量を算出し、前記複数の特徴量を各画素ブロックに割り当てること、　前記複数の特徴量に基づいて各画素ブロックを良品画素ブロックおよび欠陥画素ブロックの一方に分類すること、を実行する、画像処理装置。
  2. 前記複数の画素ブロックは、前記検査領域の内側にそれぞれの全体が位置する複数の第１画素ブロック、および、前記検査領域の内側と外側との境界を跨ぐ少なくとも１個の第２画素ブロックを含み、　前記プログラムに従って、前記プロセッサは、前記第２画素ブロックから前記検査領域の内側に位置する複数の画素を選択し、選択された複数の画素に基づいて前記第２画素ブロックの前記濃度共起行列を決定することを実行する、請求項１に記載の画像処理装置。
  3. 前記複数の画素ブロックのそれぞれは、Ｎ×Ｍ個の画素（ＮおよびＭは、それぞれ、８以上６４以下の整数である）から構成されている、請求項１または２に記載の画像処理装置。
  4. 前記プロセッサは、前記複数の特徴量に基づいて各画素ブロックを良品画素ブロックおよび欠陥画素ブロックの一方に分類するとき、学習済みモデルによって動作する識別器を用いる、請求項１から３のいずれかに記載の画像処理装置。
  5. 前記識別器はサポートベクターマシンである、請求項４に記載の画像処理装置。
  6. 前記画像のデータを複数の画素ブロックに分割するとき、各画素ブロックは、隣接する画素ブロックに部分的にオーバーラップしている、請求項１から５のいずれかに記載の画像処理装置。
  7. 前記プログラムに従って、前記プロセッサは、前記欠陥画素ブロックに分類された画素ブロックの配列に基づいて、前記被検査物が良品であるか否かを判別することを実行する、請求項１から６のいずれかに記載の画像処理装置。
  8. 前記プログラムに従って、前記プロセッサは、前記欠陥画素ブロックに分類された前記画素ブロックの配列にモルフォロジ処理を施して前記画素ブロックの配列を修正することを実行する、請求項７に記載の画像処理装置。
  9. 請求項１から８のいずれかに記載の画像処理装置と、　前記被検査物を光で照射する光源と、　前記画像のデータを生成するための画像信号を出力するイメージセンサと、　前記画像処理装置が備える前記プロセッサが実行した判別の結果を表示するディスプレイと、を備える、外観検査システム。
  10. 外観検査に用いられる画像処理方法であって、　被検査物が有する少なくとも１個の検査領域を含む画像のデータを取得して前記画像のデータを複数の画素ブロックに分割すること、　各画素ブロックのテクスチャに基づいて各画素ブロックの濃度共起行列を算出すること、　各画素ブロックの前記濃度共起行列から複数の特徴量を算出し、前記複数の特徴量を各画素ブロックに割り当てること、　前記複数の特徴量に基づいて各画素ブロックを良品画素ブロックおよび欠陥画素ブロックの一方に分類すること、を含む、画像処理方法。
  11. 被検査物が有する少なくとも１個の検査領域を含む画像のデータを取得して前記画像のデータを複数の画素ブロックに分割すること、　各画素ブロックのテクスチャに基づいて各画素ブロックの濃度共起行列を算出すること、　各画素ブロックの前記濃度共起行列から複数の特徴量を算出し、前記複数の特徴量を各画素ブロックに割り当てること、　前記複数の特徴量に基づいて各画素ブロックを良品画素ブロックおよび欠陥画素ブロックの一方に分類すること、をコンピュータに実行させるコンピュータプログラム。
PCT/JP2019/008332 2018-03-16 2019-03-04 画像処理装置、画像処理方法、およびコンピュータプログラム WO2019176614A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-048846 2018-03-16
JP2018048846 2018-03-16

Publications (1)

Publication Number Publication Date
WO2019176614A1 true WO2019176614A1 (ja) 2019-09-19

Family

ID=67906995

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008332 WO2019176614A1 (ja) 2018-03-16 2019-03-04 画像処理装置、画像処理方法、およびコンピュータプログラム

Country Status (1)

Country Link
WO (1) WO2019176614A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021192376A1 (ja) * 2020-03-24 2021-09-30 日本電産株式会社 外観検査システムおよびコンピュータプログラム
CN115661161A (zh) * 2022-12-29 2023-01-31 成都数联云算科技有限公司 零件的缺陷检测方法、装置、存储介质、设备及程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11110560A (ja) * 1997-10-03 1999-04-23 Mitsubishi Electric Corp 画像検査方法および画像検査装置
JP2005061929A (ja) * 2003-08-08 2005-03-10 Ricoh Co Ltd 欠陥検査方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11110560A (ja) * 1997-10-03 1999-04-23 Mitsubishi Electric Corp 画像検査方法および画像検査装置
JP2005061929A (ja) * 2003-08-08 2005-03-10 Ricoh Co Ltd 欠陥検査方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021192376A1 (ja) * 2020-03-24 2021-09-30 日本電産株式会社 外観検査システムおよびコンピュータプログラム
CN115661161A (zh) * 2022-12-29 2023-01-31 成都数联云算科技有限公司 零件的缺陷检测方法、装置、存储介质、设备及程序产品

Similar Documents

Publication Publication Date Title
CN112955732B (zh) 用于确定空白光罩上的缺陷的类型及大小的系统及方法
KR101338576B1 (ko) 화상 해석에 의해서 결함 검사를 실시하는 결함검사장치
US8977035B2 (en) System, method and computer program product for detection of defects within inspection images
US10867382B2 (en) Detecting mura defects in master panel of flat panel displays during fabrication
US8731274B2 (en) Method and system for wafer registration
TW201100779A (en) System and method for inspecting a wafer (3)
JP2004294202A (ja) 画面の欠陥検出方法及び装置
KR102449376B1 (ko) 다이 내부 검사에 있어서의 등록 및 설계 주변부에서 야기된 노이즈의 저감
WO2020071234A1 (ja) 画像処理装置、画像処理方法、外観検査システムおよびコンピュータプログラム
WO2019194064A1 (ja) 画像処理装置、画像処理方法、外観検査システムおよび外観検査方法
JP2007078540A (ja) 外観検査方法及び外観検査装置
JP2010164487A (ja) 欠陥検査装置及び欠陥検査方法
CN114136975A (zh) 一种微波裸芯片表面缺陷智能检测系统和方法
KR101146081B1 (ko) 마이크로-검사 입력을 이용한 매크로 결함 검출 방법 및시스템
WO2019176614A1 (ja) 画像処理装置、画像処理方法、およびコンピュータプログラム
JPWO2007132925A1 (ja) 表面検査装置
JP2001209798A (ja) 外観検査方法及び検査装置
CN117252861A (zh) 一种晶圆表面缺陷的检测方法、装置及系统
JP6647903B2 (ja) 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2012237585A (ja) 欠陥検査方法
Wei et al. Surface Defects Detection of Cylindrical High-Precision Industrial Parts Based on Deep Learning Algorithms: A Review
JP2019158711A (ja) 画像処理システム、画像処理装置、画像処理プログラム
US11729512B2 (en) Image capturing device captures an object in an illumination environment appropriate for individual identification and object collation
JP2000097869A (ja) パターンの欠陥検査方法およびその装置
JP6939501B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19767673

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19767673

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP