WO2018105028A1 - 検査装置及び検査方法 - Google Patents

検査装置及び検査方法 Download PDF

Info

Publication number
WO2018105028A1
WO2018105028A1 PCT/JP2016/086138 JP2016086138W WO2018105028A1 WO 2018105028 A1 WO2018105028 A1 WO 2018105028A1 JP 2016086138 W JP2016086138 W JP 2016086138W WO 2018105028 A1 WO2018105028 A1 WO 2018105028A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
unit
inspected
image data
inspection apparatus
Prior art date
Application number
PCT/JP2016/086138
Other languages
English (en)
French (fr)
Inventor
一之 宮澤
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US16/343,306 priority Critical patent/US11645744B2/en
Priority to KR1020197015539A priority patent/KR102011628B1/ko
Priority to CN201680091308.9A priority patent/CN110036279B/zh
Priority to JP2017523001A priority patent/JP6241576B1/ja
Priority to DE112016007498.0T priority patent/DE112016007498B4/de
Priority to PCT/JP2016/086138 priority patent/WO2018105028A1/ja
Priority to TW105143296A priority patent/TWI638157B/zh
Publication of WO2018105028A1 publication Critical patent/WO2018105028A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95684Patterns showing highly reflecting parts, e.g. metallic elements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/002Image coding using neural networks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8896Circuits specially adapted for system specific signal conditioning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N2021/95638Inspecting patterns on the surface of objects for PCB's
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box

Definitions

  • the present invention relates to an inspection apparatus and an inspection method for inspecting the presence or absence of an abnormality such as a defect, misplacement, or defect of an object from acquired object data.
  • Taking a picture of an object with a camera and automatically inspecting the machine for the presence or absence of an abnormality from the acquired image data means that, for example, visual inspection or visual inspection performed in the manufacturing process of industrial products is automated or labor-saving. This is an important technology.
  • the inspection apparatus of Patent Document 1 inspecting whether there is an abnormality such as a defect, misplacement, or defect of an object, for example, in the inspection apparatus of Patent Document 1, a plurality of image data obtained by photographing an object is stored, and the plurality of image data The range of the luminance value for determining that there is no abnormality in the object for each pixel having the same coordinates is calculated and set as a reference for the inspection for the presence or absence of abnormality of the object.
  • the inspection apparatus determines whether or not the luminance value of the image data obtained by photographing the object to be inspected for each pixel having the same coordinates is within the range of luminance values determined to be normal for the set object. By determining, the presence or absence of an abnormality such as a defect, misplacement, or defect of the object was inspected.
  • the present invention has been made in order to solve the above-described problems, and more reliably fixes the object and the camera and each pixel of the image data acquired by photographing the object than the conventional inspection apparatus. It is an object of the present invention to provide an inspection apparatus and an inspection method for inspecting whether there is an abnormality such as a defect, misplacement, or defect of an object while relaxing restrictions such as highly accurate alignment.
  • the inspection apparatus calculates a parameter representing the property of data of an object that does not include an abnormality by performing dimension compression that reduces the data dimension of the data of the object that does not include an abnormality, and
  • An analysis unit that performs dimensional compression of data using parameters, a restoration unit that generates restoration data obtained by restoring the data of an object to be inspected that has been dimensionally compressed by the analysis unit, and a difference between the data of the object to be inspected and the restored data
  • a determination unit that outputs a determination result indicating whether or not an object to be inspected based on the size is abnormal, and an output unit that outputs the determination result output by the determination unit.
  • the data representing the property of the object data not including the abnormality is calculated by performing dimension compression to reduce the data dimension of the object data not including the abnormality, and the object data to be inspected is calculated.
  • Dimensionally compressed using parameters dimensionally compressed restoration object data is generated, and the object to be inspected is abnormal based on the difference between the data of the object to be inspected and the restored data
  • the object and the camera are more securely fixed and the pixel data of the image data acquired by photographing the object is more accurately aligned than the conventional inspection apparatus. It is possible to inspect whether there is an abnormality such as a defect, misplacement, or defect of an object while relaxing the restrictions.
  • FIG. 1 is a functional block diagram of an inspection system including an inspection device according to Embodiment 1 of the present invention. It is a hardware block diagram of the inspection apparatus which concerns on Embodiment 1 of this invention. It is a flowchart which shows the operation
  • a printed circuit board is used as an object to inspect whether there is any abnormality on the board.
  • This is an example of a case where a part of a substrate that is an object to be inspected has a defect. It is the result of threshold processing. It is an example of a two-dimensional mask for limiting an inspection object area.
  • It is an example of the display content which an input / output part instruct
  • FIG. 1 is a functional block diagram of an inspection system including an inspection apparatus 1 according to Embodiment 1 of the present invention.
  • the inspection system includes an inspection device 1 for inspecting the object 3, a camera 2 for photographing the object 3, and an input / output device 4 for inputting inspection contents and outputting inspection results.
  • the inspection apparatus 1 receives image data of the object 3 photographed by the camera 2 as input data, performs analysis, and transmits the result to the input / output apparatus 4.
  • the inspection apparatus 1 includes a control unit 10 that controls each unit, an input unit 11 that receives image data, an analysis unit 12a that analyzes image data input from the input unit 11, and a storage unit that records the analysis results. 13a, a determination unit 14a that outputs a determination result indicating whether or not the object 3 is abnormal from the analyzed result and the acquired image data, and an input / output unit 15 that outputs the determination result output by the determination unit 14a. ing.
  • the control unit 10 controls each unit by transmitting and receiving instructions to and from the input unit 11, the analysis unit 12a, the storage unit 13a, the determination unit 14a, and the input / output unit 15.
  • the input unit 11 receives the image data of the object 3 from the camera 2.
  • the image data is an example of data of the object 3 and may be data indicating a waveform, a solid, or the like without being limited to an image.
  • the input image data is assumed to be digital data, but may be analog data.
  • the analysis unit 12a switches and executes two different operation modes based on the instruction transmitted from the control unit 10.
  • the two operation modes are a learning mode and an inspection mode.
  • the learning mode one or more pieces of image data of a normal object 3 that does not include an abnormality are used, and the image data of the normal object 3 that does not include an abnormality is subjected to dimensional compression that reduces the dimension of the image data of the object 3.
  • the inspection apparatus 1 does not inspect whether the object 3 is abnormal.
  • the inspection for the presence or absence of abnormality is performed in an inspection mode that is performed after the learning mode is completed.
  • dimensional compression similar to the dimensional compression performed when the image data of the object 3 to be inspected is calculated as a parameter representing the data characteristics of the normal object 3 learned in the learning mode is performed.
  • the storage unit 13a stores the learning result based on an instruction from the control unit 10, reads the learning result, and transmits the learning result to the analysis unit 12a.
  • the learning result read out here is a learning result corresponding to the dimension compression method used in the learning mode.
  • the determination unit 14a restores the dimensionally compressed image data of the object 3 to be inspected by a method similar to the method used in dimension compression, and restores the restored data that is the restored image data and the image data of the object 3 to be inspected. Based on the magnitude of the difference, a determination result indicating whether or not the object 3 to be inspected is abnormal is output to the input / output unit 15.
  • the determination unit 14a is an example of a unit that combines the restoration unit and the determination unit.
  • the input / output unit 15 outputs information representing the progress of learning and the like from the input / output device 4 to the outside based on an instruction from the control unit 10.
  • the input / output unit 15 outputs the determination result received from the determination unit 14 a to the outside from the input / output device 4 based on an instruction from the control unit 10.
  • the operator confirms the input / output device 4 outside, but it is not always necessary to do so, and a signal is output to an external control device or the like without intervening the worker. You may make it do.
  • the input / output unit 15 is an example of an output unit. In the first embodiment, the output unit is further provided with an input unit.
  • the camera 2 acquires the image data of the object 3 by photographing the object 3 and storing it in the image data.
  • the camera 2 transmits image data of the object 3 to the inspection apparatus 1.
  • the camera 2 is an example, and the present invention is not limited to this as long as the data of the object 3 can be acquired.
  • the input / output device 4 inputs the inspection content of the inspection device 1 and outputs the inspection result output by the inspection device 1.
  • the input / output device 4 may be configured with, for example, a display, a speaker, a keyboard, a mouse, and the like.
  • the display is an example of a display unit.
  • FIG. 2 is a hardware configuration diagram of the inspection apparatus 1 according to Embodiment 1 of the present invention. The configuration of the inspection apparatus 1 according to the first embodiment of the present invention will be described with reference to FIG.
  • the inspection apparatus 1 is configured by a computer.
  • a computer constituting the inspection apparatus 1 reads and executes a program of the bus 104, an input / output interface 100 that transmits and receives data, a memory 102, a storage medium 103 that stores programs, learning data, and the like, and a storage medium 103 loaded in the memory 102.
  • Hardware such as the processor 101 is provided.
  • the input / output interface 100 is referred to as an input / output IF 100.
  • the bus 104 is a signal path for electrically connecting the devices and exchanging data.
  • the input / output IF 100 transmits and receives data.
  • the input / output IF 100 receives the activation signal and the setting signal of the inspection device 1 from the input / output device 4 and transmits them to the control unit 10.
  • the input / output IF 100 receives an instruction signal from the control unit 10 to the analysis unit 12a
  • the input / output IF 100 transmits the instruction signal to the analysis unit 12a.
  • the input unit 11 and the input / output unit 15 are realized by the input / output IF 100.
  • the memory 102 functions as a work area for loading the program stored in the storage medium 103.
  • the memory 102 is, for example, a RAM (Random Access Memory).
  • the storage medium 103 stores a program for realizing the functions of a learning mode program and an inspection mode program.
  • the storage medium 103 stores learning data and the like.
  • the storage medium 103 is, for example, a ROM (Read Only Memory), a flash memory, or an HDD (Hard Disk Drive).
  • the storage medium 103 also stores an OS (Operating System).
  • the storage unit 13a is realized by the storage medium 103.
  • the processor 101 is connected to other devices via the bus 104 and controls these other devices and each unit.
  • the processor 101 reads and executes the program in the storage medium 103 loaded in the memory 102.
  • the processor 101 loads at least a part of the OS stored in the storage medium 103 into the memory 102, and executes the program while executing the OS.
  • the processor 101 is an integrated circuit (IC) that performs processing.
  • the processor 101 is, for example, a CPU (Central Processing Unit).
  • the control unit 10, the analysis unit 12a, and the determination unit 14a are realized by reading and executing the program of the storage medium 103 loaded into the memory 102 by the processor 101.
  • information, data, signal values, variable values, and the like indicating the results of each device are stored in the memory 102, the storage medium 103, or a register or cache memory in the processor 101.
  • the memory 102 and the storage medium 103 may be the same device without dividing the device.
  • the program may be stored in a portable recording medium such as a magnetic disk, a flexible disk, an optical disk, a compact disk, or a DVD (Digital Versatile Disc).
  • a portable recording medium such as a magnetic disk, a flexible disk, an optical disk, a compact disk, or a DVD (Digital Versatile Disc).
  • FIG. 3 is a flowchart showing the operation in the learning mode of the inspection apparatus 1 according to Embodiment 1 of the present invention. The operation in the learning mode of the inspection apparatus 1 will be described below using FIG.
  • step S10 the control unit 10 receives the activation signal and the setting signal from the input / output device 4 via the input / output unit 15. Then, an instruction is given to the input unit 11 based on the setting signal.
  • the input unit 11 receives normal image data of the object 3 from the camera 2. At this time, the timing of receiving normal image data may be determined in advance, for example, 30 times per second, or may be determined based on an instruction from the control unit 10.
  • the control unit 10 gives an instruction to start processing in the learning mode to the analysis unit 12a.
  • the analysis unit 12 a switches to the learning mode by reading from the memory 102 a program corresponding to the learning mode of the storage medium 103 loaded in the memory 102 and executing it by the processor 101.
  • the analysis unit 12a receives normal image data of the object 3 captured by the camera 2 from the input unit 11.
  • the analysis unit 12a further determines whether to receive normal image data or to finish receiving normal image data.
  • the end determination of normal image data reception may be determined by the analysis unit 12 a or may be determined based on an instruction from the control unit 10.
  • the analysis unit 12a determines, for example, it may be considered that the reception of normal image data is terminated when the number of received normal image data reaches a predetermined number.
  • the number of sheets designated in advance is, for example, 100 sheets, 1000 sheets, or the like.
  • the control unit 10 receives a normal image data reception end instruction from the input / output device 4 via the input / output unit 15, and transmits it to the analysis unit 12a. It is possible to do.
  • step S12 the analysis unit 12a returns to reception of normal image data based on the determination result in step S11, or proceeds to the next step.
  • step S12 is No, and the process returns to step S10 again. If it is determined that the normal image data reception has been completed, step S12: Yes, and the process proceeds to the next step.
  • step S13 the analysis unit 12a performs dimension compression using the received normal image data.
  • dimensional compression refers to converting high-dimensional data such as image data and three-dimensional solid data into low-dimensional data.
  • the analysis unit 12a performs learning using normal image data in the learning mode, and obtains a data conversion method that is optimal for normal image data.
  • Dimensional compression techniques include principal component analysis, linear discriminant analysis, canonical correlation analysis, discrete cosine transform, random projection, neural network self-encoder, and the like. Of these, principal component analysis is one of the most commonly used linear dimension compression techniques. Below, the case where a principal component analysis is used is demonstrated.
  • Principal component analysis is a technique for obtaining a low-dimensional space indicating the characteristics of distribution from a large number of normal image data for learning distributed in a multi-dimensional space. This low-dimensional space is called a subspace. When the pixel values of a large number of normal image data received in step S10 are plotted in the space as they are, they are often distributed in a very low-dimensional subspace.
  • FIG. 4 is a conceptual diagram of principal component analysis.
  • normal image data distributed in a three-dimensional space is shown as a collection confined in a plane.
  • a two-dimensional plane as shown in FIG.
  • a dimension does not have a physical meaning but is an element included in data. That is, the number of dimensions is the number of elements included in the data.
  • 1 pixel 1 dimension.
  • image data of 10 pixels vertically and 10 pixels horizontally this image data is 10 ⁇ 10 and has 100 pixels, so “100-dimensional data” It turns out that. That is, it is expressed as one point in the 100-dimensional space.
  • FIG. 4 is a schematic diagram illustrated in three dimensions so that the principal component analysis can be visualized. Each ellipse in FIG. 4 corresponds to one piece of image data.
  • the image data is image data of three pixels.
  • image data actually distributed in a three-dimensional space is shown in a two-dimensional subspace, that is, a state in which dimension compression is performed is shown.
  • N be the total number of normal image data received in step S10
  • K be the total number of pixels per normal image data.
  • the value of N is 100, 1000
  • the value of K is 1024 if the size of normal image data is 32 pixels ⁇ 32 pixels
  • 409600 if the size of normal image data is 640 pixels ⁇ 640 pixels.
  • T is a transposed vector.
  • Equation (2) the average vector M and the variance-covariance matrix S are obtained by Equation (2) and Equation (3).
  • the first principal component which is a straight line that passes through the average point and has the largest spread
  • a straight line of the second principal component in the direction of the second largest spread orthogonal to the first principal component and passing through the average is obtained.
  • the direction of large spread through the average is the same as the problem of obtaining the eigenvector of the variance-covariance matrix S.
  • the eigenvalue ⁇ j and the eigenvector u j satisfying the equation (4) are obtained using the calculated variance-covariance matrix S.
  • j is the number of dimensions.
  • d-dimensional principal components (u 1 , u 2 ,..., U d ) are obtained.
  • the larger eigenvalue ⁇ j indicates the main component in the principal component analysis. Sort out important parameters of principal component analysis by extracting main components. However, d ⁇ K, and d is generally much smaller than K.
  • u j is called the j-th principal component.
  • the principal components are orthogonal to each other and are sometimes called bases.
  • the values of the d-dimensional principal components (u 1 , u 2 ,..., u d ) are an example of parameters representing the data properties of the object 3.
  • the original normal image data before dimension compression can be expressed by a linear combination of the principal components.
  • normal image data which was originally K dimension can be compressed to d dimension.
  • the value of d is an important parameter that affects the performance of the inspection apparatus 1 according to the first embodiment.
  • the value of d By appropriately setting the value of d, it is possible to extract only important components that appear in common in the normal image data received in step S10.
  • unnecessary components such as variations among objects 3 of the same type, variations in image data due to different shooting timings, camera noise, and the like can be excluded.
  • the value of d is determined based on an instruction from the control unit 10, for example.
  • the control unit 10 receives the value d from the input / output device 4 via the input / output unit 15 and transmits it to the analysis unit 12a.
  • the analysis unit 12a may read and use the value of d stored in the memory 102 or the storage medium 103.
  • the value of d stored in advance may be, for example, about 1/10 of the total number K of pixels of the image data, or about 1/5.
  • the analysis unit 12a adaptively determines the value of d based on the nature of normal image data for learning. In this case, it is effective to use the cumulative contribution rate P calculated by Expression (5).
  • the cumulative contribution rate P is an index representing how much the information of the original normal image data before dimensional compression can be expressed by using components up to d dimension, and is an analysis unit 12a.
  • the threshold for the cumulative contribution rate P is determined based on an instruction from the control unit 10, for example.
  • the control unit 10 receives the threshold value from the input / output device 4 via the input / output unit 15 and transmits it to the analysis unit 12a.
  • the analysis unit 12a may read and use the threshold value stored in the memory 102 or the storage medium 103.
  • the threshold value stored in advance may be 80, 100, or the like.
  • the analysis unit 12 a uses the d-dimensional principal component (u 1 , u as a parameter indicating the property of the data of the object 3 as a result of learning normal image data.
  • u 2 ,..., u d ) are transmitted to the storage unit 13a.
  • the storage unit 13 a stores a parameter representing the data property of the object 3 as a learning result output from the analysis unit 12 a in the storage medium 103 based on an instruction from the control unit 10.
  • the storage unit 13a stores the parameter representing the data property of the object 3 as the learning result output from the analysis unit 12a in the storage medium 103 based on an instruction from the control unit 10, but the storage location is
  • the memory 102 may be used.
  • the control unit 10 gives an instruction to start processing to the input / output unit 15 after the processing of the analysis unit 12a is completed. Based on an instruction from the control unit 10, the input / output unit 15 outputs information indicating the progress of learning and the like from the input / output device 4 to the outside.
  • the worker confirms the input / output device 4 outside, but it is not always necessary to do so, and a signal is output to the external control device without any operator intervening. You may do it.
  • FIG. 5 is a part of a flowchart showing an operation in the inspection mode of the inspection apparatus 1 according to the first embodiment of the present invention. The operation in the inspection mode of the inspection apparatus 1 will be described below with reference to FIG.
  • step S ⁇ b> 20 the control unit 10 receives the activation signal and the setting signal from the input / output device 4 via the input / output unit 15. Then, an instruction is given to the input unit 11 based on the setting signal.
  • the input unit 11 receives image data for inspecting the object 3 from the camera 2. At this time, the timing of receiving the image data may be determined in advance, for example, 30 times per second, or may be determined based on an instruction from the control unit 10.
  • the control unit 10 gives an instruction to start processing in the inspection mode to the analysis unit 12a.
  • the analysis unit 12 a switches to the inspection mode by reading the program corresponding to the inspection mode of the storage medium 103 loaded in the memory 102 from the memory 102 and executing it by the processor 101.
  • the analysis unit 12a receives the image data of the object 3 captured by the camera 2 from the input unit 11.
  • the image data to be inspected by the object 3 is an example of the data of the object to be inspected.
  • the analysis unit 12a determines whether to further receive image data or to finish receiving image data.
  • the end determination of the image data reception may be determined by the analysis unit 12 a or may be determined based on an instruction from the control unit 10.
  • the analysis unit 12a determines, for example, it is conceivable that the reception of the image data is terminated when the number of received image data reaches a predetermined number.
  • the number of sheets designated in advance is, for example, 1 or 10 sheets.
  • the control unit 10 receives an image data reception end instruction from the input / output device 4 via the input / output unit 15, and transmits it to the analysis unit 12a. It is possible.
  • step S22 the analysis unit 12a returns to the reception of the image data based on the determination result in step S21 or proceeds to the next step.
  • step S22 No, and the process returns to S20 again. If it is determined that image data acquisition has been completed, step S22: Yes, and the process proceeds to the next step.
  • step S23 the analysis unit 12a transmits a read request to the control unit 10 in order to read the result learned in the learning mode.
  • the storage unit 13a reads a necessary learning result from the storage medium 103 based on an instruction from the control unit 10, and inputs the learning result to the analysis unit 12a.
  • the learning result read out here is a learning result corresponding to the dimension compression method step S13 used in the learning mode. That is, in the first embodiment, since principal component analysis is used as an example, learning in which the values of d-dimensional principal components (u 1 , u 2 ,..., U d ), which are vectors representing the principal components, are read out. Result.
  • step S24 the analysis unit 12a performs dimensional compression of the received image data to be inspected based on the read learning result.
  • the dimension compression method is a dimension compression method corresponding to the dimension compression technique step S13 used in the learning mode. Since the values of the d-dimensional principal components (u 1 , u 2 ,..., U d ), which are vectors representing the principal components in the learning mode, are obtained, the image data to be inspected is projected onto the d-dimensional vector. Perform dimension compression.
  • the analysis unit 12a transmits to the determination unit 14a image data to be inspected and a vector that is a result of dimensional compression of the image data to be inspected.
  • A is the next process, and details will be described later.
  • FIG. 6 is a part of a flowchart showing an operation in the inspection mode of the inspection apparatus 1 according to Embodiment 1 of the present invention. The continuation of the operation of the inspection apparatus 1 in the inspection mode will be described below with reference to FIG.
  • step S30 as a continuation of the process A after step S24, the control unit 10 gives an instruction to start processing to the determination unit 14a after the processing of the analysis unit 12a is completed.
  • the determination unit 14 a reads a program stored in the storage medium 103 loaded into the memory 102 from the memory 102 and executes the program on the processor 101.
  • the determination unit 14a first restores, as image data, a vector that is a result of dimensional compression of the image data to be inspected received from the analysis unit 12a.
  • the method for restoring the image data is the same as the method used in the dimensional compression in step S24. That is, in the first embodiment, restoration is performed using principal component analysis.
  • the vector that is the result of dimensional compression of the received image data to be inspected is shown in a low-dimensional subspace as shown in FIG.
  • the image data is restored by projecting onto the same dimensional space.
  • step S31 the determination unit 14a calculates a difference between the restored image data and the image data to be inspected. At this time, the difference is calculated for each pixel.
  • the difference may be an absolute value difference.
  • the restored image data is referred to as restored data.
  • FIG. 7 shows an example in which the printed circuit board is the object 3 and the substrate is inspected for any abnormality.
  • FIG. 7 shows the image data to be inspected on the left, the restored data on the center, and the data representing the difference between the image data to be inspected and the restored data on the right.
  • the difference is smaller as it is black, and the difference is larger as it is white.
  • the substrate that is the object 3 to be inspected is normal, it is possible to restore image data that is substantially the same as the image data to be inspected even if dimension compression is performed.
  • the learning mode the method of efficiently showing the characteristics of the normal image data is learned. If the object 3 to be inspected is normal in the inspection mode, the image is very similar to the normal image data used for learning. This is because the data becomes image data to be inspected.
  • FIG. 8 shows an example in which a part of the substrate that is the object 3 to be inspected has a defect.
  • FIG. 8 shows the image data to be inspected on the left, the restored data on the center, and the data representing the difference between the image data to be inspected and the restored data.
  • the difference is smaller as it is black, and the difference is larger as it is white.
  • the normal part is correctly restored in the restored data, the missing part cannot be restored correctly because it is restored based on the normal image data used in the learning mode.
  • step S ⁇ b> 32 the determination unit 14 a outputs, to the input / output unit 15, a determination result indicating whether there is an abnormality in the image data to be inspected based on the difference between the restored data and the image data to be inspected.
  • the determination unit 14a performs threshold processing on the difference between the restored data and the image data to be inspected, and sets the value of a pixel whose difference value is less than the threshold to 0 and the value of a pixel where the difference value is greater than or equal to the threshold.
  • 0 and 1 may be interchanged or other values may be used.
  • the threshold value may be determined based on an instruction from the control unit 10, for example.
  • the control unit 10 receives the threshold value from the input / output device 4 via the input / output unit 15 and transmits it to the analysis unit 12a.
  • the determination unit 14 a may read and use the threshold value stored in the memory 102 or the storage medium 103.
  • the threshold value stored in advance is 100, 200, or the like, for example.
  • the determination unit 14a may adaptively determine the threshold value according to the distribution of difference values.
  • a set of pixels having a pixel value equal to or greater than the threshold when a certain threshold is determined is class 1
  • a set of other pixels is class 2
  • the inter-class variance and within the class are determined from the pixel values of class 1 and class 2.
  • the variance is obtained, and the threshold value is determined so that the degree of separation calculated from these values is maximized.
  • FIG. 9 shows the result of threshold processing. Assume that the result shown in FIG. 9 is obtained by the threshold processing. However, in FIG. 9, the area indicated by black is an area where the area is less than the threshold, and the area indicated by white is an area where the area is greater than or equal to the threshold.
  • the determination unit 14a obtains a rectangle circumscribing the white area as indicated by a broken line in FIG. 9, and transmits to the input / output unit 15 that an abnormality exists at the position.
  • a rectangle circumscribing the white area is referred to as a bounding box.
  • the information to be transmitted includes the upper left coordinates, the vertical width, the horizontal width, etc. of the bounding box.
  • the determination unit 14 a may transmit all of the positions of pixels having an abnormality to the input / output unit 15 without transmitting the bounding box to the input / output unit 15.
  • the determination unit 14 a may transmit the calculated difference image data to the input / output unit 15.
  • a condition may be set for the position or size of the bounding box, and the bounding box that does not satisfy the condition may be ignored. By doing so, it is possible to prevent erroneous detection outside the target area in the image data or prevent erroneous detection due to noise.
  • the condition for the bounding box may be determined based on an instruction from the control unit 10, for example.
  • the control unit 10 receives a condition from the input / output device 4 via the input / output unit 15 and transmits the condition to the analysis unit 12a.
  • the determination unit 14a may read and use the conditions stored in the memory 102 or the storage medium 103.
  • the conditions stored in advance in this case are, for example, that the vertical width of the bounding box is 3 pixels or more, the horizontal width of the bounding box is 3 pixels or more, and in the two-dimensional mask for limiting the inspection target region. There are some things.
  • FIG. 10 is an example of a two-dimensional mask for limiting the inspection target area.
  • FIG. 10 shows image data to be inspected on the left side, and a two-dimensional mask on the right side.
  • the determination unit 14a applies the two-dimensional mask in the right figure to the image data to be inspected in the left figure.
  • the area indicated in white is the inspection target area
  • the area indicated in black is the bounding box. Therefore, when the two-dimensional mask in the right figure is applied to the image data to be inspected in the left figure, even if there is an abnormality in the area in the left figure corresponding to the bounding box shown in black in the two-dimensional mask in the right figure It will be ignored.
  • the control unit 10 gives an instruction to start processing to the input / output unit 15 after the processing of the determination unit 14 a is completed.
  • the input / output unit 15 outputs the determination result received from the determination unit 14 a to the outside from the input / output device 4 based on an instruction from the control unit 10.
  • the worker confirms the input / output device 4 outside, but it is not always necessary to do so, and a signal is output to an external control device or the like without interposing the worker in particular. You may make it do.
  • FIG. 11 is an example of display contents that the input / output unit 15 instructs the input / output device 4 when the input / output device 4 includes a display in its configuration.
  • FIG. 11 shows a case where no abnormality is detected by the determination unit 14a.
  • the image data to be inspected is simply displayed as it is, and a message for notifying that there is no abnormality is displayed.
  • An example of the message for notifying that there is no abnormality is the OK mark shown in the upper left of FIG. Instead of an OK mark, a mark such as no abnormality, normal, or a mark may be used.
  • FIG. 12 shows another example of display contents that the input / output unit 15 instructs the input / output device 4 when the input / output device 4 includes a display.
  • FIG. 12 shows a case where two abnormalities are detected by the determination unit 14a.
  • a detected abnormal point is superimposed on the image data to be inspected with a dotted line, and a message for notifying that an abnormality has been detected is displayed.
  • An example of the message for notifying that an abnormality has been detected is the NG mark shown in the upper left of FIG. Instead of the NG mark, a mark such as abnormal, abnormal, or x mark may be used.
  • the abnormal part is specified based on the bounding box received from the determination unit 14a.
  • the determination of the abnormal part based on the bounding box may be performed by either the determination unit 14a or the input / output unit 15. Note that the bounding box may or may not be displayed.
  • FIG. 13 shows still another example of display contents that the input / output unit 15 instructs the input / output device 4 when the input / output device 4 includes a display in its configuration.
  • FIG. 13 shows a case where two abnormalities are detected by the determination unit 14a as in FIG.
  • the difference composite image data obtained by combining the image data to be inspected on the left side and the difference image data calculated by the determination unit 14a with the image data to be inspected on the right side. indicate.
  • about difference synthetic image data it has shown that a difference is so small that it is black, and a difference is so large that it is white.
  • the portion that is conspicuous in white in the difference composite image data on the right side of FIG. 13 appears to be remarkably conspicuous as a portion where the difference from the normal state is large in the image data to be inspected, the abnormality is inspected. It is possible to easily grasp the location that the operator should pay attention to.
  • either the determination unit 14a or the input / output unit 15 may identify the abnormal part based on the bounding box.
  • the display method in the input / output device 4 shown in FIGS. 11, 12, and 13 is merely an example, and in actuality, a combination of these or a display method different from these may be used.
  • the input / output device 4 may be configured by a speaker instead of a display. In this case, it may be possible to output information to the outside by voice, music, or the like.
  • the object 3 and the camera 2 are securely fixed by repeating the learning mode process and the inspection mode process as described above until there is a trigger for the end of the process such as turning off the power or performing an end operation.
  • a trigger for the end of the process such as turning off the power or performing an end operation.
  • the learning mode process and the inspection mode process are repeated, the learning mode process may be performed only once without being repeated. Similarly, the inspection mode process may be performed only once without being repeated.
  • the inspection apparatus 1 included in the inspection system of the first embodiment expresses the property of the data of the object 3 that does not include an abnormality by dimensionally compressing the data of the object 3 that does not include the abnormality.
  • the parameter is calculated, the data of the object 3 to be inspected is dimensionally compressed using the parameters, the restored data of the dimension-compressed object 3 to be inspected is generated, and the data and the restored data of the object 3 to be inspected are generated. Since the determination result indicating whether or not the object 3 to be inspected is abnormal is output to the input / output unit 15 based on the difference between the object 3 and the camera 2, the object 3 and the camera 2 are more securely fixed than the conventional inspection apparatus. In addition, it is possible to inspect whether there is an abnormality such as a defect, misplacement, or defect of the object 3 while relaxing the restriction that highly accurate alignment is performed for each pixel of image data obtained by photographing the object 3.
  • the inspection apparatus 1 included in the inspection system of the first embodiment extracts only parameters representing the properties of the data of the object 3 that appear in common in normal image data by dimensional compression using principal component analysis. Efficient features can be obtained. In this process, unnecessary information such as variations among objects 3 of the same type, variations in image data due to different shooting timings, camera noise, and the like are discarded, so that the data size is reduced and the storage medium 103 is required. Storage capacity can be reduced.
  • the inspection apparatus 1 included in the inspection system according to the first embodiment learns and inspects the image data of the target object 3 in the normal state from the normal image data, the user, the developer, etc. about the abnormal state. There is no need to define it. For this reason, there is a leak in the definition of the abnormal state, and the abnormality is not overlooked, and can be applied universally to any abnormality.
  • the inspection device 1, the camera 2, and the input / output device 4 are separated.
  • the camera 2, the input / output device 4, or the camera 2 and the input / output device 4 are separated. It is good also as a structure which included both in the inspection apparatus 1. FIG. Even in the inspection system configured as described above, the effect of the first embodiment described above can be obtained.
  • the determination unit 14a restores the image data of the object 3 to be inspected, which has been dimensionally compressed, by a method similar to the method used in the dimension compression, and is restored image data. Based on the difference between the data and the image data of the object 3 to be inspected, a determination result indicating whether or not the object 3 to be inspected is abnormal is output to the input / output unit 15.
  • the determination unit 14a is an example of a unit that combines the restoration unit and the determination unit.
  • a restoration unit that restores the image data of the object 3 to be inspected subjected to dimension compression by a method similar to the method used in the dimension compression may be provided in the inspection apparatus 1 independently, or the analysis unit 12a may include the restoration unit. You may have the function of. Even in the inspection system configured as described above, the effect of the first embodiment described above can be obtained.
  • the analysis unit 12a uses principal component analysis for dimensional compression of the object 3, the storage unit 13a stores the result of the principal component analysis, and the determination unit 14a
  • restoration was performed using component analysis
  • the dimension compression method may be changed for each type of the object 3.
  • the analysis unit 12 a uses principal component analysis for dimensional compression of the first type of object 3
  • the storage unit 13 a stores the result of the principal component analysis
  • the determination unit 14 a Is restored using principal component analysis
  • the analysis unit 12a uses linear discriminant analysis for dimensional compression of the second type of object 3, and the storage unit 13a performs linear discrimination.
  • the analysis result may be stored, and the determination unit 14a may perform restoration using linear discriminant analysis.
  • the number of types of the target object 3 may be any number, and the combination of the type of the target object 3 and the dimension compression method is arbitrary. However, in the case of the same type of object 3, the same dimensional compression method is used. Even in the inspection system configured as described above, the effect of the first embodiment described above can be obtained.
  • the analysis unit 12a uses principal component analysis for dimensional compression of the object 3, the storage unit 13a stores the result of the principal component analysis, and the determination unit 14a restores using principal component analysis. Went.
  • Principal component analysis is a representative example of a linear dimensional compression technique.
  • the analysis unit 12b, the storage unit 13b, and the determination unit 14b according to the second embodiment use a self-encoder that uses a neural network for dimensional compression.
  • a self-encoder using a neural network is known as a technique capable of nonlinear dimensional compression. For this reason, since non-linear dimensional compression is possible compared with principal component analysis which is a linear dimensional compression method, it is possible to acquire features more efficiently. The rest is the same as in the first embodiment.
  • FIG. 14 is a functional block diagram of an inspection system including the inspection apparatus 200 according to Embodiment 2 of the present invention.
  • the configurations and operations already described are denoted by the same reference numerals, and redundant description is omitted.
  • an analysis unit 12b, a storage unit 13b, and a determination unit 14b are added as a configuration of the functional block diagram instead of the analysis unit 12a, the storage unit 13a, and the determination unit 14a of FIG. 1 of the first embodiment.
  • the analysis unit 12b performs dimensional compression using a self-encoder using a neural network instead of the principal component analysis used in the dimensional compression in the analysis unit 12a of the first embodiment.
  • the rest is the same as the analysis unit 12a.
  • the storage unit 13b stores the learning result of the principal component analysis stored in the storage unit 13a of the first embodiment and reads out the learning result of the principal component analysis and inputs it to the analysis unit 12a.
  • the learning result of the self-encoder using the memory and the neural network is read out and input to the analysis unit 12b.
  • the rest is the same as the storage unit 13a.
  • the determination unit 14b performs restoration using a self-encoder using a neural network instead of the principal component analysis used in the restoration in the determination unit 14b of the first embodiment. Other than that is the same as the determination part 14a.
  • the hardware configuration diagram of the inspection apparatus 200 according to the second embodiment of the present invention is the same as FIG. 2 of the first embodiment.
  • the analysis unit 12b has the same hardware configuration as the analysis unit 12a
  • the storage unit 13b has the same hardware configuration as the storage unit 13a
  • the determination unit 14b has the same hardware configuration as the determination unit 14a.
  • FIG. 15 is a flowchart showing the operation in the learning mode of the inspection apparatus 200 according to Embodiment 2 of the present invention. The operation in the learning mode of the inspection apparatus 200 will be described below using FIG.
  • Step S40, step S41, and step S42 are the same as step S10, step S11, and step S12 of the first embodiment.
  • the analysis unit 12b performs processing instead of the analysis unit 12a.
  • step S43 the analysis unit 12b performs dimensional compression using the received normal image data.
  • dimensional compression refers to converting high-dimensional data such as image data and three-dimensional stereoscopic data into low-dimensional data, as in the first embodiment.
  • the analysis unit 12b performs learning using normal image data in the learning mode, and obtains a data conversion method that is optimal for normal image data. Below, the case where the self-encoder by a neural network is used as a dimension compression method is demonstrated.
  • a neural network is a computer that mimics the mechanism of the human brain in which neurons connected in a network form through synapses perform learning, pattern recognition, etc. with the strength of the current flowing therethrough.
  • the simplest model is the perceptron. be called.
  • FIG. 16 is a diagram in which neurons are modeled as nodes with multiple inputs and one output.
  • the perceptron is a diagram in which a neuron is modeled as a node with multiple inputs and one output.
  • the total number of pixels per normal image data received in step S40 is K, and the number of dimensions is j.
  • K is 1024 if the size of normal image data is 32 pixels ⁇ 32 pixels, and 409600 if the size of 640 pixels ⁇ 640 pixels.
  • FIG. 16 shows the calculation for one piece of image data. If there are 1000 pieces of image data, the same calculation is performed 1000 times.
  • discriminant function 2 classes take values 1 or 0 It becomes.
  • a class c1 that collects dog image data and a class c2 that collects cat image data are prepared in advance, and each image data includes dog image data. Label that it is.
  • image data of a dog that is not labeled as input data is put into the discriminant function, image data that is not labeled as input data from the class c1 dog image data and the class c2 cat image data is class.
  • the image data is c1 dog image data or class c2 cat image data, and dog image data that is not labeled as input data is determined to be dog image data.
  • the threshold logic function z (u) in the perceptron can be replaced with various other functions more generally called activation functions. For example, a sigmoid function, ReLU, etc. can be mentioned.
  • a plurality of data belonging to class c1 and data belonging to class c2 are prepared in advance.
  • the data belonging to the class c1 and the data belonging to the class c2 prepared in advance are described as learning data.
  • the value of the weight vector w is an example of a parameter that represents the nature of the data of the object 3.
  • FIG. 17 is an example of an hourglass neural network.
  • the self-encoder is an hourglass type in which the number of nodes in the hidden layer between the input layer to which data is input and the output layer to be output is smaller than the number of nodes in the input layer and the output layer.
  • It is a neural network.
  • the left end of the network shown in FIG. 17 is the input layer
  • the right end of the network shown in FIG. 17 is the output layer
  • the middle of the network shown in FIG. 17 is the hidden layer.
  • the total number of pixels per normal image data received in step S40 is K
  • the number of dimensions is j.
  • the value of K is 1024 if the size of normal image data is 32 pixels ⁇ 32 pixels, and 409600 if the size of 640 pixels ⁇ 640 pixels.
  • the input data is a normal image data vector x that is a collection of pixels x j of normal image data, and a collection of weights w j is a weight vector w.
  • the vector of the hidden layer be a j .
  • the output data is a vector y of image data that is a collection of pixels y j that is substantially the same as a vector x of normal image data that is a collection of pixels x j of normal image data, and a collection of weights v j is a weight vector v. It becomes.
  • FIG. 17 shows the calculation for one piece of image data. If there are 1000 pieces of image data, the same calculation is performed 1000 times.
  • the self-encoder learns the weight of each node so that the input data and the output data substantially match the learning data. By doing so, it is known that features with reduced dimensions can be obtained while preserving input data information in the hidden layer as much as possible.
  • step S43 the normal image data acquired in step S40 is used as input data, and a self-encoder that substantially matches the input data and output data is learned, so that it is common to normal image data. Only the important components that appear can be extracted in the hidden layer. In other words, a self-encoder is learned such that normal image data input as input data and image data obtained by restoring input data output through a hidden layer match with important components that appear in common in normal image data. . On the other hand, unnecessary components such as variations between objects of the same type, image variations due to different shooting timings, camera noise, and the like can be excluded.
  • FIG. 18 is an example showing a state when the total number of hidden layers of the self-encoder is changed.
  • the hidden layer of the self-encoder shown in FIG. 17 is one layer, the total number can be changed freely. It is easy to change the total number, and as shown in FIG. 18A, first, the hidden layer shown in FIG. Thereafter, as shown in (2) of FIG. 18, a network that compresses the dimension of the input data is obtained by removing the output layer of the self-encoder and leaving the input layer and the hidden layer. Next, as shown in (3) of FIG. 18, by further learning a self-encoder having a weight vector different from that of (1) of FIG. 18 using the dimension-compressed data as input data. Dimension can be compressed.
  • the number of layers of the self-encoder is an important parameter that affects the performance of the inspection apparatus 200 according to the second embodiment.
  • the number of layers By appropriately setting the number of layers, it is possible to extract only important components that appear in common in the normal image data acquired in S40.
  • unnecessary components such as variations among objects 3 of the same type, variations in image data due to different shooting timings, camera noise, and the like can be excluded.
  • the number of layers may be determined based on an instruction from the control unit 10.
  • the control unit 10 receives the number of layers from the input / output device 4 via the input / output unit 15 and transmits it to the analysis unit 12b.
  • the analysis unit 12b may read and use the value of the number of layers stored in the memory 102 or the storage medium 103.
  • the number of layers stored in advance is about 5, for example, about 10.
  • the analysis unit 12b transmits the value of the weight vector of each node to the storage unit 13b as a result of learning the normal image data.
  • the storage unit 13 b stores the learning result output from the analysis unit 12 b in the storage medium 103 based on an instruction from the control unit 10.
  • the storage unit 13b stores the learning result output from the analysis unit 12b in the storage medium 103 based on an instruction from the control unit 10, the storage location may be the memory 102.
  • the control unit 10 gives an instruction to start processing to the input / output unit 15 after the processing of the analysis unit 12a is completed. Based on an instruction from the control unit 10, the input / output unit 15 outputs information indicating the progress of learning and the like from the input / output device 4 to the outside.
  • the worker confirms the input / output device 4 outside, but it is not always necessary to do so, and a signal is output to the external control device without any operator intervening. You may do it.
  • FIG. 19 is a part of a flowchart showing an operation in the inspection mode of the inspection apparatus 200 according to Embodiment 2 of the present invention. The operation in the inspection mode of the inspection apparatus 200 will be described below using FIG.
  • Step S50, step S51, and step S52 are the same as step S20, step S21, and step S22 of the first embodiment.
  • the analysis unit 12b performs processing instead of the analysis unit 12a.
  • step S53 the analysis unit 12b transmits a read request to the control unit 10 in order to read the result learned in the learning mode.
  • the storage unit 13b reads a necessary learning result from the storage medium 103 based on an instruction from the control unit 10, and inputs the learning result to the analysis unit 12b.
  • the learning result read out here is a learning result corresponding to the dimension compression method step S43 used in the learning mode. That is, in the second embodiment, since a self-encoder using a neural network is used as an example, a learning result in which the weight vector value of each node is read out is obtained.
  • step S54 the analysis unit 12b performs dimensional compression of the received image data to be inspected based on the read learning result.
  • the dimension compression method is a dimension compression method corresponding to the dimension compression method step S43 used in the learning mode. Since the value of the weight vector of each node is obtained in the learning mode, the dimension compression can be performed by inputting the image data to be inspected to the neural network using the same weight.
  • the analysis unit 12b transmits the image data to be inspected and a vector that is a result of dimensional compression of the image data to be inspected to the determination unit 14b.
  • the vector that is the result of dimension compression of the image data to be inspected is output data that is the value of the output layer.
  • B is the next process, and details will be described later.
  • FIG. 20 is a part of a flowchart showing the operation in the inspection mode of the inspection apparatus 200 according to Embodiment 2 of the present invention. The continuation of the operation in the inspection mode of the inspection apparatus 200 will be described below with reference to FIG.
  • step S60 as a continuation of the processing of B after step S54, the control unit 10 gives an instruction to start processing to the determination unit 14b after the processing of the analysis unit 12b is completed.
  • the determination unit 14 b reads a program in the storage medium 103 loaded into the memory 102 from the memory 102 and executes the program on the processor 101.
  • the determination unit 14b restores, as image data, a vector that is a result of dimensional compression of image data to be inspected received from the analysis unit 12b.
  • the method for restoring the image data is the same as the method used in the dimension compression in step S54. That is, in the second embodiment, restoration is performed using a self-encoder based on a neural network.
  • the output of the neural network is a one-dimensional vector
  • the image data is restored by rearranging it into a two-dimensional array.
  • the output of the neural network may be two-dimensional image data. In this case, it is not necessary to restore the image data.
  • Step S61 and step S62 are the same as step S31 and step S32 of the first embodiment.
  • the analysis unit 12b performs processing instead of the analysis unit 12a, the storage unit 13b instead of the storage unit 13a, and the determination unit 14b instead of the determination unit 14a.
  • the object 3 and the camera 2 are securely fixed by repeating the learning mode process and the inspection mode process as described above until there is a trigger for the end of the process such as turning off the power or performing an end operation.
  • a trigger for the end of the process such as turning off the power or performing an end operation.
  • the learning mode process and the inspection mode process are repeated, the learning mode process may be performed only once without being repeated. Similarly, the inspection mode process may be performed only once without being repeated.
  • the inspection apparatus 200 included in the inspection system according to the second embodiment expresses the property of the data of the object 3 that does not include an abnormality by dimensionally compressing the data of the object 3 that does not include the abnormality.
  • the parameter is calculated, the data of the object 3 to be inspected is dimensionally compressed using the parameters, the restored data of the dimension-compressed object 3 to be inspected is generated, and the data and the restored data of the object 3 to be inspected are generated. Since the determination result indicating whether or not the object 3 to be inspected is abnormal is output to the input / output unit 15 based on the difference between the object 3 and the camera 2, the object 3 and the camera 2 are more securely fixed than the conventional inspection apparatus. In addition, it is possible to inspect whether there is an abnormality such as a defect, misplacement, or defect of the object 3 while relaxing the restriction that highly accurate alignment is performed for each pixel of image data obtained by photographing the object 3.
  • an abnormality such as a defect, misplacement, or defect of the object 3
  • the inspection apparatus 200 included in the inspection system of the second embodiment has an efficient feature in which only parameters appearing in normal image data are extracted by dimensional compression using a self-encoder based on a neural network. Obtainable. In this process, unnecessary information such as variations among objects 3 of the same type, variations in image data due to different shooting timings, camera noise, and the like are discarded, so that the data size is reduced and the storage medium 103 is required. Storage capacity can be reduced.
  • the inspection apparatus 200 included in the inspection system according to the second embodiment learns the image data of the target object 3 in the normal state from the normal image data and performs the inspection, the user, the developer, etc. about the abnormal state. There is no need to define it. For this reason, there is a leak in the definition of the abnormal state, and the abnormality is not overlooked, and can be applied universally to any abnormality.
  • the inspection apparatus 200 included in the inspection system of the second embodiment has a more efficient feature because the self-encoder can perform non-linear dimensional compression compared to principal component analysis, which is a linear dimensional compression method. Can be acquired.
  • the inspection device 200, the camera 2, and the input / output device 4 are separated from each other. Both may be included in the inspection apparatus 200. Even in the inspection system configured as described above, the effect of the second embodiment described above can be obtained.
  • the determination unit 14b restores the image data of the object 3 to be inspected that has been dimensionally compressed by the same method as that used in the dimension compression, and is restored image data. Based on the difference between the data and the image data of the object 3 to be inspected, a determination result indicating whether or not the object 3 to be inspected is abnormal is output to the input / output unit 15.
  • the determination unit 14b is an example of a unit that combines the restoration unit and the determination unit.
  • a restoration unit that restores the image data of the object 3 to be inspected subjected to dimension compression by a method similar to the method used in dimension compression may be provided independently in the inspection apparatus 200, or the analysis unit 12b may include a restoration unit. You may have the function of. Even in the inspection system configured as described above, the effect of the second embodiment described above can be obtained.
  • the analysis unit 12b uses a self-encoder using a neural network for dimensional compression of the object 3, and the storage unit 13b stores the result of the self-encoder using the neural network. Then, the determination unit 14b performs the restoration using the self-encoder based on the neural network. However, when there are a plurality of types in the target object 3, the dimensional compression method is changed for each type of the target object 3. Good. For example, in the first type object 3, the analysis unit 12 b uses a neural network self-encoder for dimensional compression of the first type object 3, and the storage unit 13 b uses a neural network self-encoder.
  • the determination unit 14b performs restoration using a self-encoder based on a neural network.
  • the analysis unit 12b is linear in the dimensional compression of the second type of object 3.
  • the storage unit 13b may store the result of linear discriminant analysis, and the determination unit 14b may perform restoration using linear discriminant analysis.
  • the number of types of the target object 3 may be any number, and the combination of the type of the target object 3 and the dimension compression method is arbitrary. However, in the case of the same type of object 3, the same dimensional compression method is used. Even in the inspection system configured as described above, the effect of the second embodiment described above can be obtained.
  • the analysis unit 12b uses a self-encoder based on a neural network for dimensional compression of the object 3, but the self-encoder is a dimensional compression method based on a neural network. Since it is the simplest method among them, a more complicated method may be used. Even in the inspection system configured as described above, in addition to the effect of the above-described second embodiment, an effect that the performance can be further improved can be obtained. Examples of more complicated methods include a method using a convolutional neural network (Convolutional Neural Network), a General Adversal Network, and the like. In the inspection apparatus 1 according to the second embodiment, any of these various dimensional compression methods may be used. Steps S43 and S44 in FIG. 15, steps S53 and S54 in FIG. The processing method of the self-encoder by the neural network in step S60 of 20 may be changed to a convolutional neural network, a generalized advisory network, or the like.
  • Convolutional Neural Network Convolutional Neural Network
  • General Adversal Network General Adversal
  • Embodiment 3 the data representing the property of the object 3 that does not include the abnormality is calculated by dimension-compressing the data of the object 3 that does not include the abnormality, and the data of the object 3 to be inspected is used as the parameter.
  • the object 3 to be inspected based on the magnitude of the difference between the data of the object 3 to be inspected and the restored data is generated by generating dimensionally compressed data and restoring data obtained by restoring the data of the object 3 to be inspected that has been dimensionally compressed.
  • the determination result indicating whether or not is output to the input / output unit 15.
  • a filter that reduces an error between the restored data and the image data to be inspected is designed, and correction for filtering the restored data using the designed filter is performed.
  • the unit 16 is newly added, and includes a determination unit 14c instead of the determination unit 14a. For this reason, even when a significant error occurs between the restored data and the image data to be inspected due to, for example, lack of normal image data for learning used in the learning mode, the correction unit 16 reduces both errors. Thus, the determination accuracy in the subsequent determination unit 14c can be increased.
  • the rest is the same as in the first embodiment.
  • FIG. 21 is a functional block diagram of an inspection system including the inspection apparatus 300 according to Embodiment 3 of the present invention.
  • the configurations and operations already described are denoted by the same reference numerals, and redundant description is omitted.
  • a determination unit 14c is added instead of the determination unit 14a in FIG. 1 of the first embodiment, and a correction unit 16 is newly added as a configuration of the functional block diagram.
  • the correcting unit 16 restores the image data of the inspection object 3 subjected to dimension compression by a method similar to the method used in the dimension compression, and designs a filter that corrects an error between the restored data and the image data to be inspected.
  • the restoration data is filtered using the designed filter to generate correction data.
  • the correction data is restored data obtained by filtering the restored data using a filter that corrects an error between the restored data and the data of the object to be inspected.
  • the correction unit 16 is an example of a unit that combines the restoration unit and the correction unit.
  • the determination unit 14c indicates whether or not the object 3 to be inspected is abnormal based on the difference between the correction data that is the image data restored and corrected by the correction unit 16 and the image data of the object 3 to be inspected.
  • the determination result is output to the input / output unit 15.
  • the determination unit 14c is different from 14a including the restoration unit, and the restoration is performed by the correction unit 16. Therefore, the determination unit 14c does not perform restoration. Other than that is the same as the determination part 14a.
  • the hardware configuration diagram of the inspection apparatus 300 according to the third embodiment of the present invention is the same as FIG. 2 of the first embodiment.
  • the hardware configuration of the determination unit 14c is the same as that of the determination unit 14a.
  • the correction unit 16 is realized by reading and executing the program of the storage medium 103 loaded into the memory 102 by the processor 101.
  • the flowchart showing the operation in the learning mode of the inspection apparatus 300 according to the third embodiment of the present invention is the same as FIG. 3 of the first embodiment.
  • Part of the flowchart showing the operation in the inspection mode of the inspection apparatus 300 according to the third embodiment of the present invention is the same as FIG. 5 of the first embodiment.
  • FIG. 22 is a part of a flowchart showing an operation in the inspection mode of the inspection apparatus 300 according to the third embodiment of the present invention. The continuation of the operation of the inspection apparatus 300 in the inspection mode will be described below with reference to FIG.
  • step S70 as a continuation of the process A after step S24, the control unit 10 gives an instruction to start processing to the correction unit 16 after the processing of the analysis unit 12a is completed.
  • the correction unit 16 reads the program of the storage medium 103 loaded into the memory 102 based on an instruction from the control unit 10 and executes the program on the processor 101.
  • the correction unit 16 receives a vector which is a result of dimensional compression of the image data to be inspected received from the analysis unit 12a and an image data to be inspected, and images the vector which is a result of dimensional compression of the received image data to be inspected Restore as data.
  • the method for restoring the image data is the same as the method performed by the determination unit 14a in step S30 of FIG. 6 of the first embodiment.
  • step S71 the correction unit 16 designs a filter that reduces an error between the restored data and the image data to be inspected.
  • the correction unit 16 reduces both errors.
  • the determination accuracy in the subsequent determination unit 14c can be increased.
  • Equation (9) N represents the Fourier transform of noise.
  • the filter K w represented by the formula (10) is called a Wiener filter.
  • step S72 the correcting unit 16 transmits the image data to be inspected after performing correction by filtering using a filter K w relative to the restored data and correction data to the determining unit 14c.
  • C is the next processing, and details will be described later.
  • FIG. 23 is a part of a flowchart showing an operation in the inspection mode of the inspection apparatus 300 according to the third embodiment of the present invention. The continuation of the operation of the inspection apparatus 300 in the inspection mode will be described below with reference to FIG.
  • step S80 as a continuation of the process of C after step S72, the control unit 10 gives an instruction to start the process to the determination unit 14c.
  • the determination unit 14 c reads the program of the storage medium 103 loaded into the memory 102 based on an instruction from the control unit 10 from the memory 102 and executes the program on the processor 101.
  • the determination unit 14c first receives image data and correction data to be inspected from the correction unit 16.
  • the determination unit 14c calculates a difference between the correction data and the image data to be inspected. Except for the above, the determination unit 14c performs the same processing as the determination unit 14a in step S31 of FIG.
  • Step S81 is the same as step S32 in the first embodiment.
  • the determination unit 14c performs processing instead of the determination unit a.
  • the object 3 and the camera 2 are securely fixed by repeating the learning mode process and the inspection mode process as described above until there is a trigger for the end of the process such as turning off the power or performing an end operation.
  • a trigger for the end of the process such as turning off the power or performing an end operation.
  • the learning mode process and the inspection mode process are repeated, the learning mode process may be performed only once without being repeated. Similarly, the inspection mode process may be performed only once without being repeated.
  • the inspection apparatus 300 included in the inspection system according to the third embodiment expresses the property of the data of the object 3 that does not include an abnormality by dimensionally compressing the data of the object 3 that does not include an abnormality.
  • the parameter is calculated, the data of the object 3 to be inspected is dimensionally compressed using the parameters, the restored data of the dimension-compressed object 3 to be inspected is generated, and the data and the restored data of the object 3 to be inspected are generated. Since the determination result indicating whether or not the object 3 to be inspected is abnormal is output to the input / output unit 15 based on the difference between the object 3 and the camera 2, the object 3 and the camera 2 are more securely fixed than the conventional inspection apparatus. In addition, it is possible to inspect whether there is an abnormality such as a defect, misplacement, or defect of the object 3 while relaxing the restriction that highly accurate alignment is performed for each pixel of image data obtained by photographing the object 3.
  • an abnormality such as a defect, misplacement, or defect of the object 3
  • the inspection apparatus 300 included in the inspection system of the third embodiment extracts only parameters representing the data properties of the object 3 that appear in common with normal image data by dimensional compression using principal component analysis. Efficient features can be obtained. In this process, unnecessary information such as variations among objects 3 of the same type, variations in image data due to different shooting timings, camera noise, and the like are discarded, so that the data size is reduced and the storage medium 103 is required. Storage capacity can be reduced.
  • the inspection apparatus 300 included in the inspection system of the third embodiment learns the image data of the target object 3 in the normal state from the normal image data and performs the inspection, the user, the developer, etc. about the abnormal state There is no need to define it. For this reason, there is a leak in the definition of the abnormal state, and the abnormality is not overlooked, and can be applied universally to any abnormality.
  • the inspection apparatus 300 included in the inspection system of the third embodiment designs a filter that reduces an error between the restored data restored from the image data of the dimensionally compressed object 3 to be inspected and the image data to be inspected.
  • restoration data using the designed filter is newly added, and the determination part 14c is provided instead of the determination part 14a. For this reason, even when a significant error occurs between the restored data and the image data to be inspected due to, for example, lack of normal image data for learning used in the learning mode, the correction unit 16 reduces both errors. Thus, the determination accuracy in the subsequent determination unit 14c can be increased.
  • the inspection device 300, the camera 2, and the input / output device 4 are separated.
  • the camera 2, the input / output device 4, or the camera 2 and the input / output device 4 are separated. It is good also as a structure which included both in the inspection apparatus 300. FIG. Even with the inspection system configured as described above, the effects of the third embodiment described above can be obtained.
  • the correction unit 16 designs a filter that corrects an error between the restored data and the image data to be inspected, and filters the restored data using the designed filter.
  • the correction unit 16 is an example of a unit that combines the restoration unit and the correction unit.
  • a restoration unit that restores the image data of the object 3 to be inspected subjected to dimension compression by a method similar to the method used in the dimension compression may be provided independently in the inspection apparatus 300, or the analysis unit 12a may include the restoration unit. You may have the function of. Even with the inspection system configured as described above, the effects of the third embodiment described above can be obtained.
  • the analysis unit 12a uses principal component analysis for dimensional compression of the object 3, the storage unit 13a stores the result of the principal component analysis, and the correction unit 16
  • restoration was performed using component analysis
  • the dimension compression method may be changed for each type of the object 3.
  • the analysis unit 12 a uses principal component analysis for dimensional compression of the first type of object 3
  • the storage unit 13 a stores the result of the principal component analysis, and the correction unit 16. Is restored using principal component analysis, and in the second type of object 3, the analysis unit 12a uses linear discriminant analysis for dimensional compression of the second type of object 3, and the storage unit 13a performs linear discrimination.
  • the analysis result may be stored, and the correction unit 16 may perform restoration using linear discriminant analysis.
  • the number of types of the target object 3 may be any number, and the combination of the type of the target object 3 and the dimension compression method is arbitrary. However, in the case of the same type of object 3, the same dimensional compression method is used. Even with the inspection system configured as described above, the effects of the third embodiment described above can be obtained.
  • the analysis unit 12a uses principal component analysis for dimensional compression of the object 3, but a self-encoder by a neural network or a convolutional neural network (General Neural Network), General A more complicated method may be used than a self-encoder using a neural network such as Adversial Network. Even in the inspection system configured as described above, in addition to the effect of the third embodiment described above, an effect that the performance can be further improved can be obtained. In the inspection apparatus 300 according to the third embodiment, any of these various dimensional compression techniques may be used.
  • the inspection system provided with the inspection apparatus described in the above-described embodiment is merely an example, and can be appropriately combined and configured, and is not limited to the configuration of the embodiment alone.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

従来の検査装置では、画素毎に演算及び異常の有無を判定し、全ての画素で高精度に位置合わせを行う必要があるため、導入コストの増加及びコンピュータの計算時間の増加を招くという問題があった。 異常を含まない対象物のデータをデータの次元を減らす次元圧縮をすることにより異常を含まない対象物のデータの性質を表すパラメータを算出し、検査する対象物のデータをパラメータを用いて次元圧縮する解析部(12a)と、解析部(12a)で次元圧縮した検査する対象物のデータを復元した復元データを生成する復元部(14a)と、検査する対象物のデータと復元データとの差分の大小に基づき検査する対象物が異常であるか否かを示す判定結果を出力する判定部(14a)と、判定部(14a)が出力した判定結果を出力する出力部(15)とを設けるようにする。

Description

検査装置及び検査方法
 本発明は、取得した対象物のデータから、対象物の欠損、誤配置、欠陥等の異常の有無を検査する検査装置及び検査方法に関するものである。
 対象物をカメラで撮影し、取得した画像データから対象物の異常の有無を機械が自動的に検査することは、例えば工業製品の製造過程で行われる目視検査または外観検査の自動化または省力化のために重要な技術である。
 従来、対象物の欠損、誤配置、欠陥等の異常の有無の検査は、例えば、特許文献1の検査装置では、対象物を撮影して取得した画像データを複数記憶し、その複数の画像データから同一座標をもつ画素毎に対象物に異常がないと判定する輝度値の範囲を算出し、対象物の異常の有無の検査の基準に設定する。検査装置は、同一座標をもつ画素毎に、検査する対象物を撮影して取得した画像データの輝度値が設定した対象物に異常がないと判定する輝度値の範囲内であるか否かを判定することによって、対象物の欠損、誤配置、欠陥等の異常の有無を検査していた。
特開2013-32995号公報
 しかしながら、上記した従来の検査装置では、画素毎に対象物に異常がないと判定する輝度値の範囲を算出し、画素毎に対象物の欠損、誤配置、欠陥等の異常の有無を判定して検査をしている。そのため、撮影時の対象物とカメラの位置関係は常に一定であり、全ての画素に対し、高精度に位置合わせを行う処理が必要である。検査装置の導入に伴って全ての画素に対し、高精度に位置合わせを行うためのカメラ及び対象物を固定するための治具、位置決め装置等も導入する必要がある。したがって、導入コストの増加及びコンピュータの計算時間の増加を招くという問題があった。
 本発明は、上述のような問題を解決するためになされたものであって、従来の検査装置よりも、対象物とカメラの確実な固定及び対象物を撮影して取得した画像データの画素毎に高精度な位置合わせを行うといった制約を緩和しつつ、対象物の欠損、誤配置、欠陥等の異常の有無を検査する検査装置及び検査方法を提供することを目的とする。
 本発明に係る検査装置は、異常を含まない対象物のデータをデータの次元を減らす次元圧縮をすることにより異常を含まない対象物のデータの性質を表すパラメータを算出し、検査する対象物のデータをパラメータを用いて次元圧縮する解析部と、解析部で次元圧縮した検査する対象物のデータを復元した復元データを生成する復元部と、検査する対象物のデータと復元データとの差分の大小に基づき検査する対象物が異常であるか否かを示す判定結果を出力する判定部と、判定部が出力した判定結果を出力する出力部とを備える。
 本発明によれば、異常を含まない対象物のデータをデータの次元を減らす次元圧縮をすることにより異常を含まない対象物のデータの性質を表すパラメータを算出し、検査する対象物のデータをパラメータを用いて次元圧縮し、次元圧縮した検査する対象物のデータを復元した復元データを生成し、検査する対象物のデータと復元データとの差分の大小に基づき検査する対象物が異常であるか否かを示す判定結果を出力するため、従来の検査装置よりも、対象物とカメラの確実な固定及び対象物を撮影して取得した画像データの画素毎に高精度な位置合わせを行うといった制約を緩和しつつ、対象物の欠損、誤配置、欠陥等の異常の有無を検査できる。
本発明の実施の形態1に係る検査装置を含む検査システムの機能ブロック図である。 本発明の実施の形態1に係る検査装置のハードウェア構成図である。 本発明の実施の形態1に係る検査装置の学習モードにおける動作を示すフローチャートである。 主成分分析の概念図である。 本発明の実施の形態1に係る検査装置の検査モードにおける動作を示すフローチャートの一部である。 本発明の実施の形態1に係る検査装置の検査モードにおける動作を示すフローチャートの一部である。 プリント基板を対象物とし、基板上に異常がないかどうかを検査する例である。 検査する対象物となっている基板の一部に欠損がある場合の例である。 閾値処理の結果である。 検査対象領域を限定するための2次元マスクの例である。 入出力装置がその構成にディスプレイを含む場合に、入出力部が入出力装置に対して指示する表示内容の例である。 入出力装置がその構成にディスプレイを含む場合に、入出力部が入出力装置に対して指示する表示内容の別の例である。 入出力装置がその構成にディスプレイを含む場合に、入出力部が入出力装置に対して指示する表示内容のさらに別の例である。 本発明の実施の形態2に係る検査装置を含む検査システムの機能ブロック図である。 本発明の実施の形態2に係る検査装置の学習モードにおける動作を示すフローチャートである。 ニューロンを多入力1出力のノードとしてモデル化した図である。 砂時計型ニューラルネットワークの例である。 自己符号化器の隠れ層の総数を変更したときの様子を示す一例である。 本発明の実施の形態2に係る検査装置の検査モードにおける動作を示すフローチャートの一部である。 本発明の実施の形態2に係る検査装置の検査モードにおける動作を示すフローチャートの一部である。 本発明の実施の形態3に係る検査装置を含む検査システムの機能ブロック図である。 本発明の実施の形態3に係る検査装置の検査モードにおける動作を示すフローチャートの一部である。 本発明の実施の形態3に係る検査装置の検査モードにおける動作を示すフローチャートの一部である。
実施の形態1.
 図1は、本発明の実施の形態1に係る検査装置1を含む検査システムの機能ブロック図である。
 検査システムは、対象物3を検査する検査装置1と対象物3を撮影するカメラ2と検査内容の入力及び検査結果を出力する入出力装置4とを備えている。検査装置1は、カメラ2で撮影した対象物3の画像データを入力データとして受信し、解析を行ってその結果を入出力装置4に送信する。
 検査装置1は、各部を制御する制御部10と、画像データが入力される入力部11と、入力部11から入力された画像データを解析する解析部12aと、解析した結果を記録する記憶部13aと、解析した結果と取得した画像データから対象物3が異常か否かを示す判定結果を出力する判定部14aと、判定部14aが出力した判定結果を出力する入出力部15とを備えている。
 制御部10は、入力部11と、解析部12aと、記憶部13aと、判定部14aと、入出力部15と指示を送受信することで、各部を制御する。
 入力部11は、カメラ2から対象物3の画像データを受信する。画像データは、対象物3のデータの一例であり、画像に限らず波形、立体等を示すデータでもよい。なお、実施の形態1では入力される画像データはデジタルデータであることを前提とするが、アナログデータであってもよい。
 解析部12aは、制御部10から送信された指示に基づいて2つの異なる動作モードを切り替えて実行する。ここで、2つの動作モードとは学習モードと検査モードである。学習モードでは、異常を含まない正常な対象物3の画像データを1枚以上使用し、異常を含まない正常な対象物3の画像データを対象物3の画像データの次元を減らす次元圧縮をすることにより、異常を含まない正常な対象物3のデータの性質を表すパラメータを算出することで正常な状態がどんな状態であるかを学習する。したがって、学習モードでは検査装置1は対象物3の異常の有無の検査は行わない。異常の有無の検査は、学習モードの完了後に実施される検査モードにて行われる。ここで、異常を含まない正常な対象物3の画像データは複数でも算出される正常な対象物3のデータの性質を表すパラメータは1つである。なお、学習モードにおいては、対象物3は異常を含まない正常な状態であることを前提とする。ただし、対象物3が同じ種類の物体であれば、複数の異なる物体から画像データを取得しても構わない。以下では、異常を含まない対象物3を撮影することで取得される画像データを正常画像データと記載する。
 検査モードでは、検査する対象物3の画像データを学習モードで学習した正常な対象物3のデータの性質を表すパラメータを算出した際に行った次元圧縮と同様の次元圧縮を行う。
 記憶部13aは、制御部10からの指示に基づいて学習結果を記憶及び学習結果を読み出し、解析部12aに送信する。ここで読み出される学習結果は学習モードにおいて用いた次元圧縮手法に対応した学習結果である。
 判定部14aは、次元圧縮した検査する対象物3の画像データを次元圧縮で用いた方法と同様の方法で復元し、復元した画像データである復元データと検査する対象物3の画像データとの差分の大小に基づき、検査する対象物3が異常であるか否かを示す判定結果を入出力部15に出力する。なお、判定部14aは、復元部と判定部とを合わせた部の一例である。
 入出力部15は、制御部10からの指示に基づき、学習の進捗状況等を表す情報を入出力装置4から外部に出力する。なお、ここでは外部で作業者が入出力装置4を確認することを想定しているが、必ずしもそのようにする必要はなく、特に作業者を介在させることなく外部の制御装置等に信号を出力するようにしてもよい。また、入出力部15は、制御部10からの指示に基づき、判定部14aから受信した判定結果を入出力装置4から外部に出力する。なお、ここでは外部で作業者が入出力装置4を確認することを想定しているが、必ずしもそのようにする必要はなく、特に作業者を介在させることなく外部の制御装置等に信号を出力するようにしてもよい。なお、入出力部15は、出力部の一例であり、実施の形態1では出力部にさらに入力部も備えられたものである。
 カメラ2は、対象物3を撮影して画像データに保存することで対象物3の画像データを取得する。カメラ2は、対象物3の画像データを検査装置1に送信する。カメラ2は一例であり、対象物3のデータを取得できればこれに限らない。
 入出力装置4は、検査装置1の検査内容を入力し、検査装置1が出した検査結果を出力する。入出力装置4は、例えばディスプレイ、スピーカ、キーボード、マウス等で構成することが考えられる。また、ディスプレイは表示部の一例である。
 図2は、本発明の実施の形態1に係る検査装置1のハードウェア構成図である。図2を用いて、本発明の実施の形態1に係る検査装置1の構成について説明する。
 実施の形態1において、検査装置1はコンピュータで構成される。検査装置1を構成するコンピュータは、バス104、データを送受信する入出力インターフェース100、メモリ102、プログラム、学習データ等を記憶する記憶媒体103、メモリ102にロードした記憶媒体103のプログラムを読み込み実行するプロセッサ101といったハードウェアを備える。なお、以下では入出力インターフェース100は入出力IF100と記載する。
 バス104は、各装置間を電気的に接続し、データのやり取りを行う信号経路である。
 入出力IF100は、データを送受信する。例えば、入出力IF100は、入出力装置4からの検査装置1の起動信号及び設定信号を受信すると、制御部10に送信する。また、例えば、入出力IF100は、制御部10から解析部12aへの指示信号を受信すると、解析部12aへ指示信号を送信する。入力部11と、入出力部15とは、入出力IF100によって実現する。
 メモリ102は、記憶媒体103に記憶したプログラムをロードするワークエリアとして機能する。メモリ102は、例えば、RAM(Random Access Memory)である。
 記憶媒体103は、学習モードのプログラム、検査モードのプログラムの機能を実現するプログラムを記憶する。また、記憶媒体103は、学習データ等を記憶する。記憶媒体103は、例えば、ROM(Read Only Memory)、フラッシュメモリ、又は、HDD(Hard Disk Drive)である。記憶媒体103は、OS(Operating System)も記憶する。記憶部13aは、記憶媒体103によって実現する。
 プロセッサ101は、バス104を介して他の装置と接続し、これら他の装置及び各部を制御する。プロセッサ101は、メモリ102にロードした記憶媒体103のプログラムを読み込み、実行する。プロセッサ101は、記憶媒体103に記憶したOSの少なくとも一部をメモリ102にロードし、OSを実行しながら、プログラムを実行する。プロセッサ101は、プロセッシングを行うIC(Integrated Circuit)である。プロセッサ101は、例えば、CPU(Central Processing Unit)である。制御部10と、解析部12aと、判定部14aとは、プロセッサ101がメモリ102にロードした記憶媒体103のプログラムを読み込み、実行することにより実現する。
 なお、各装置の結果を示す情報、データ、信号値、変数値等を、メモリ102、記憶媒体103、又は、プロセッサ101内のレジスタ又はキャッシュメモリに記憶する。
 また、メモリ102と記憶媒体103とは、装置を分けずに同一の装置であってもよい。
 さらに、プログラムを、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、DVD(Digital Versatile Disc)といった可搬記録媒体に記憶してもよい。
 次に、本発明の実施の形態1に係る検査装置1の動作について説明する。
 図3は本発明の実施の形態1に係る検査装置1の学習モードにおける動作を示すフローチャートである。図3を用いて、検査装置1の学習モードにおける動作を以下に説明する。
 ステップS10において、制御部10は、入出力部15を経由して入出力装置4から起動信号及び設定信号を受信する。そして、その設定信号に基づいて入力部11に指示を与える。入力部11は、カメラ2から対象物3の正常画像データを受信する。このとき、正常画像データを受信するタイミングは、例えば1秒間に30回といったように予め決めておいてもよいし、制御部10からの指示に基づいて決めてもよい。制御部10は、解析部12aに学習モードの処理開始の指示を与える。解析部12aは、メモリ102にロードした記憶媒体103の学習モードに対応するプログラムをメモリ102から読み出してプロセッサ101で実行することにより学習モードに切り替える。解析部12aは、入力部11からカメラ2が撮影した対象物3の正常画像データを受信する。
 ステップS11において、解析部12aは、さらに正常画像データを受信するか、あるいは正常画像データを受信するのを終了するかを判定する。ここで、正常画像データ受信の終了判定は解析部12aが決定してもよいし、制御部10からの指示に基づいて決定してもよい。解析部12aが決定する場合は、例えば受信した正常画像データの枚数が予め指定された枚数に達した時点で正常画像データの受信を終了することが考えられる。予め指定された枚数は、例えば100枚、1000枚等である。制御部10からの指示に基づいて決定する場合は、例えば制御部10が入出力部15を経由して入出力装置4から正常画像データの受信終了指示を受信し、それを解析部12aに送信することが考えられる。
 ステップS12において、解析部12aは、ステップS11の判定結果に基づいて正常画像データの受信に戻るか、あるいは次のステップへ進める。正常画像データ受信終了判定の結果、さらに正常画像データの受信が必要であると判断された場合、ステップS12:Noとなり、再びステップS10に戻る。正常画像データ受信終了と判定された場合、ステップS12:Yesとなり、次のステップへ進む。
 ステップS13において、解析部12aは受信した正常画像データを使って次元圧縮を行う。ここで、次元圧縮とは、画像データ、3次元立体データ等の高次元データを低次元のデータに変換することを指す。解析部12aは、学習モードにおいて正常画像データを用いて学習を行い、正常画像データに最適なデータ変換方法を獲得する。
 次元圧縮手法としては、主成分分析、線形判別分析、正準相関分析、離散コサイン変換、ランダムプロジェクション、ニューラルネットワークによる自己符号化器等が知られている。これらの中で、線形の次元圧縮手法としては主成分分析が最もよく用いられる手法の一つである。以下では、主成分分析を用いた場合について説明する。
 主成分分析とは、多次元の空間に分散する多数の学習用の正常画像データから、分布の特徴を示す低次元の空間を求める手法である。この低次元の空間を部分空間と呼ぶ。ステップS10で受信した多数の正常画像データの画素値をそのまま空間にプロットすると、きわめて低い次元の部分空間に固まって分布する場合が多い。
 図4は、主成分分析の概念図である。図4に示すように、例えば、3次元の空間に分布する正常画像データは面の中に閉じ込められた集まりとして示される。主成分分析では、この集まりの特徴を示す図4のような2次元平面を求める。ここで、次元とは物理的な意味を持っておらず、データに含まれる要素のことである。つまり、次元数とはデータに含まれる要素の数のことである。ここでは、1画素=1次元であり、例えば、縦10画素、横10画素の画像データがあったとすると、この画像データは10×10で100個の画素を持つので、「100次元のデータ」ということになる。これはつまり、100次元空間における一つの点として表される。図4は、主成分分析を可視化できるように3次元で図示した模式図である。図4における楕円の一つ一つが1枚の画像データに対応する。図4では、3次元で表しているため、画像データは3画素の画像データである。この例では、実際には3次元空間に分布する画像データを2次元の部分空間で示す、つまり、次元圧縮する様子を示している。
 ステップS10で受信した正常画像データの総数をNとし、正常画像データ1枚あたりの画素数の総数をKとする。例えば、Nの値は100、1000等であり、Kの値は正常画像データのサイズが32画素×32画素であれば1024、640画素×640画素であれば409600等である。このとき、正常画像データの枚数をnとすると、正常画像データxはベクトルとして式(1)で表すことができる。ただし、Tは転置ベクトルである。
Figure JPOXMLDOC01-appb-M000001
 次に、この平均ベクトルMと分散共分散行列Sを式(2)、式(3)で求める。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
 主成分分析では、正常画像データの空間中の分布において、平均値となる点を通り、広がりの最も大きい方向の直線である第1主成分を求める。次に、その第1主成分に直交しかつ平均を通る2番目に広がりの大きい方向の第2主成分の直線を求める。このように次々と主成分を求めていく。平均を通る広がりの大きい方向とは分散共分散行列Sの固有ベクトルを求める問題と同じとなる。
 すなわち、計算した分散共分散行列Sを用いて、式(4)を満たす固有値λと固有ベクトルuを求める。ここで、jは次元の個数である。
Figure JPOXMLDOC01-appb-M000004
 固有値λの大きい方からそれに対応する固有ベクトルuをd個選ぶとd次元の主成分(u、u、…、u)が求まる。固有値λの大きい方とは、主成分分析の中で主要な成分を示す。主要な成分を抜き出すことで主成分分析の重要なパラメータ順にソートする。ただし、d≦Kであり、一般にdはKよりも大幅に小さい。uを第j主成分と呼ぶ。主成分は互いに直交しており、基底と呼ばれることもある。d次元の主成分(u、u、…、u)の値が、対象物3のデータの性質を表すパラメータの一例である。
 次元圧縮する前の元の正常画像データは、この主成分の線形結合で表すことができる。d次元までを採用し、それ以外であるd+1次元以上を捨てることで元はK次元であった正常画像データをd次元に圧縮できることになる。
 ここで、dの値は実施の形態1に係る検査装置1の性能を左右する重要なパラメータである。dの値を適切に設定することで、ステップS10で受信した正常画像データに共通して現れる重要な成分だけを取り出すことができる。一方で、同じ種類の対象物3間でのばらつき、撮影タイミングが異なることによる画像データのばらつき、カメラのノイズ等といった不要な成分は除外することができる。
 しかし、dの値を小さくしすぎると重要な成分までが除外されてしまい、また、dの値を大きくしすぎると不要な成分が残ってしまう。
 dの値は例えば制御部10からの指示に基づいて決定することが考えられる。この場合、制御部10は入出力部15を経由して入出力装置4からdの値を受信し、解析部12aに送信する。
 また、解析部12aは、メモリ102あるいは記憶媒体103に記憶されているdの値を読み出して用いてもよい。この場合に予め記憶しておくdの値は例えば画像データの画素数の総数Kの10分の1程度、5分の1程度等とすることが考えられる。
 また、解析部12aは、学習用の正常画像データの性質に基づいて適応的にdの値を決定することも考えられる。この場合、式(5)で計算される累積寄与率Pを用いることが有効である。
Figure JPOXMLDOC01-appb-M000005
 累積寄与率Pは、d次元までの成分を用いることで次元圧縮する前の元の正常画像データが持っている情報をどの程度まで特徴を示すことができるかを表す指標であり、解析部12aにおいてPの値が閾値を超える最小のdの値を求めることで正常画像データの性質に応じた適切な次元圧縮を行うことができる。
 累積寄与率Pに対する閾値は例えば制御部10からの指示に基づいて決定することが考えられる。この場合、制御部10は入出力部15を経由して入出力装置4から閾値を受信し、解析部12aに送信する。
 また、解析部12aは、メモリ102あるいは記憶媒体103に記憶されている閾値を読み出して用いてもよい。この場合に予め記憶しておく閾値は例えば80、100等とすることが考えられる。
 図3に戻って、ステップS14において、次元圧縮を行った後、解析部12aは正常画像データを学習した結果である対象物3のデータの性質を表すパラメータとしてd次元の主成分(u、u、…、u)を記憶部13aに送信する。記憶部13aは、解析部12aから出力された学習結果である対象物3のデータの性質を表すパラメータを制御部10からの指示に基づいて記憶媒体103に保存する。なお、記憶部13aは、解析部12aから出力された学習結果である対象物3のデータの性質を表すパラメータを制御部10からの指示に基づいて記憶媒体103に保存するとしたが、保存場所はメモリ102でもよい。
 学習モードの場合、制御部10は、解析部12aの処理完了後、入出力部15に処理開始の指示を与える。入出力部15は、制御部10からの指示に基づき、学習の進捗状況等を表す情報を入出力装置4から外部に出力する。なお、ここでは外部で作業者が入出力装置4を確認することを想定しているが、必ずしもそのようにする必要はなく、特に作業者を介在させることなく外部の制御装置に信号を出力するようにしてもよい。
 図5は、本発明の実施の形態1に係る検査装置1の検査モードにおける動作を示すフローチャートの一部である。図5を用いて、検査装置1の検査モードにおける動作を以下に説明する。
 ステップS20において、制御部10は、入出力部15を経由して入出力装置4から起動信号及び設定信号を受信する。そして、その設定信号に基づいて入力部11に指示を与える。入力部11は、カメラ2から対象物3の検査する画像データを受信する。このとき、画像データを受信するタイミングは、例えば1秒間に30回といったように予め決めておいてもよいし、制御部10からの指示に基づいて決めてもよい。制御部10は、解析部12aに検査モードの処理開始の指示を与える。解析部12aは、メモリ102にロードした記憶媒体103の検査モードに対応するプログラムをメモリ102から読み出してプロセッサ101で実行することにより検査モードに切り替える。解析部12aは、入力部11からカメラ2が撮影した対象物3の画像データを受信する。なお、対象物3の検査する画像データが検査する対象物のデータの一例である。
 ステップS21において、解析部12aは、さらに画像データを受信するか、あるいは画像データを受信するのを終了するかを判定する。ここで、画像データ受信の終了判定は解析部12aが決定してもよいし、制御部10からの指示に基づいて決定してもよい。解析部12aが決定する場合は、例えば受信した画像データの枚数が予め指定された枚数に達した時点で画像データの受信を終了することが考えられる。予め指定された枚数は、例えば1枚、10枚等である。制御部10からの指示に基づいて決定する場合は、例えば制御部10が入出力部15を経由して入出力装置4から画像データの受信終了指示を受信し、それを解析部12aに送信することが考えられる。
 ステップS22において、解析部12aは、ステップS21の判定結果に基づいて画像データの受信に戻るか、あるいは次のステップへ進める。画像データ受信終了判定の結果、さらに画像データの受信が必要であると判断された場合、ステップS22:Noとなり、再びS20に戻る。画像データ取得終了と判断された場合、ステップS22:Yesとなり、次のステップへ進む。
 ステップS23において、解析部12aは学習モードで学習した結果を読み出すため制御部10に対して読み出し要求を送信する。記憶部13aは、制御部10からの指示に基づいて必要な学習結果を記憶媒体103から読み出し、解析部12aに入力する。ここで読み出される学習結果は学習モードにおいて用いた次元圧縮手法ステップS13に対応した学習結果である。つまり、実施の形態1では、例として主成分分析を用いたので、主成分を表すベクトルであるd次元の主成分(u、u、…、u)の値が読みだされる学習結果となる。
 ステップS24において、解析部12aは、読み出した学習結果に基づき受信した検査する画像データの次元圧縮を行う。次元圧縮の方法は、学習モードにおいて用いた次元圧縮手法ステップS13に対応した次元圧縮の方法である。学習モードにおいて主成分を表すベクトルであるd次元の主成分(u、u、…、u)の値が得られているため、検査する画像データをd次元のベクトルに投影することで次元圧縮を行う。解析部12aは、検査する画像データと、検査する画像データを次元圧縮した結果であるベクトルとを判定部14aに送信する。ここで、Aは次の処理であって、詳細は後述する。
 図6は本発明の実施の形態1に係る検査装置1の検査モードにおける動作を示すフローチャートの一部である。図6を用いて、検査装置1の検査モードにおける動作の続きを以下に説明する。
 ステップS30において、ステップS24の後のAの処理の続きとして、制御部10は、解析部12aの処理完了後、判定部14aに処理開始の指示を与える。判定部14aは、制御部10からの指示に基づいてメモリ102にロードした記憶媒体103のプログラムをメモリ102から読み出してプロセッサ101で実行する。判定部14aは、まず解析部12aから受信した検査する画像データを次元圧縮した結果であるベクトルを画像データとして復元する。ここで、画像データを復元する方法は、ステップS24の次元圧縮で用いた手法と同様の復元をする。つまり、実施の形態1では、主成分分析を用いて復元を行う。
 次元圧縮に主成分分析を用いた場合、受信した検査する画像データを次元圧縮した結果であるベクトルは図4に示すような低次元の部分空間で示されているため、これを元の画像データと同じ次元の空間に投影することで画像データの復元が行われる。
 ステップS31において、判定部14aは、復元した画像データと検査する画像データとの差分を計算する。このとき差分は画素ごとに差分を計算する。なお、差分は絶対値差分としてもよい。ここで、以下では復元した画像データを復元データと記載する。
 図7は、プリント基板を対象物3とし、基板上に異常がないかどうかを検査する例である。図7は、左図が検査する画像データ、中央図が復元データ、右図が検査する画像データと復元データとの差分を表すデータである。右図の検査する画像データと復元データとの差分を表すデータでは、黒いほど差分が小さく、白くなるほど差分が大きいことを示している。いま、検査する対象物3となっている基板が正常である場合、次元圧縮を行っても検査する画像データとほぼ同じ画像データを復元することが可能である。これは、学習モードにおいて、正常画像データの特徴を効率的に示す方法を学習しており、検査モードにおいても検査する対象物3が正常であれば学習に使用した正常画像データときわめて類似した画像データが検査する画像データとなるためである。
 したがって、図7に示すように、復元データと検査する画像データとの差分を計算しても画像データ全体に渡って差分値はほぼゼロとなる。
 一方、検査する対象物3に異常がある場合、正常画像データで学習した結果を使って次元圧縮を行うと正常画像データと著しく異なる部分は正しく復元することはできない。
 図8は、検査する対象物3となっている基板の一部に欠損がある場合の例である。図8は、左図が検査する画像データ、中央図が復元データ、右図が検査する画像データと復元データとの差分を表すデータである。右図の検査する画像データと復元データとの差分を表すデータでは、黒いほど差分が小さく、白くなるほど差分が大きいことを示している。この場合、正常部分については復元データにおいて正しく復元されるものの、欠損部分については学習モードで使用した正常画像データに基づいて復元されるため正しく復元することができない。
 したがって、図8に示すように、復元データと検査する画像データとの差分を計算すると、異常部分となる正常画像データと異なる箇所だけ差分が大きくなる。
 図6に戻って、ステップS32において、判定部14aは、復元データと検査する画像データとの差分に基づいて検査する画像データに異常が存在するかどうかを示す判定結果を入出力部15に出力する。判定部14aは、復元データと検査する画像データとの差分に閾値処理を行い、差分値が閾値未満となる画素の値を0、閾値以上となる画素の値を1とする。ここで、0と1を入れ替えたり、他の値を用いたりしても構わない。
 閾値は例えば制御部10からの指示に基づいて決定することが考えられる。この場合、制御部10は入出力部15を経由して入出力装置4から閾値を受信し、解析部12aに送信する。
 また、判定部14aは、メモリ102あるいは記憶媒体103に記憶している閾値の値を読み出して用いてもよい。この場合に予め記憶しておく閾値の値は例えば100、200等である。
 さらに、判定部14aは、差分値の分布に応じて適応的に閾値を決定してもよい。ある閾値を決めたときにその閾値以上の画素値を持つ画素の集合をクラス1、それ以外の画素の集合をクラス2とすると、クラス1とクラス2との画素値からクラス間分散とクラス内分散を求め、これらの値から計算される分離度が最大となるように閾値を決定する。
 図9は、閾値処理の結果である。閾値処理により図9のような結果が得られたとする。ただし、図9において、黒で示した領域が閾値未満となる領域、白で示した領域が閾値以上となる領域である。
 判定部14aは、図9に破線で示すように白領域に外接する矩形を求め、当該位置に異常が存在することを入出力部15に送信する。ここで、以下では、白領域に外接する矩形をバウンディングボックスと記載する。なお、送信する情報としては、バウンディングボックスの左上座標、縦幅、横幅等である。なお、判定部14aは、バウンディングボックスを入出力部15に送信せず、異常がある画素の位置のすべてを入出力部15に送信してもよい。
 また、判定部14aは、計算した差分画像データを入出力部15に送信するようにしてもよい。
 なお、バウンディングボックスの位置または大きさに対して条件を設け、その条件を満たさないバウンディングボックスについては無視するようにしてもよい。このようにすることで、画像データ中の対象領域外での誤検知を防いだり、ノイズによる誤検知を防いだりすることが可能となる。
 バウンディングボックスに対する条件は例えば制御部10からの指示に基づいて決定することが考えられる。この場合、制御部10は入出力部15を経由して入出力装置4から条件を受信し、解析部12aに送信する。
 また、判定部14aは、メモリ102あるいは記憶媒体103に記憶している条件を読み出して用いてもよい。この場合に予め記憶しておく条件は例えば、バウンディングボックスの縦幅が3画素以上であること、バウンディングボックスの横幅が3画素以上であること、検査対象領域を限定するための2次元マスク内にあること等があげられる。
 図10は、検査対象領域を限定するための2次元マスクの例である。図10は、左図が検査する画像データであり、右図が2次元マスクである。判定部14aは、右図の2次元マスクを左図の検査する画像データに適応する。図10の右図の2次元マスクにおいて、白で示された領域が検査対象領域であり、黒で示された領域がバウンディングボックスである。したがって、右図の2次元マスクを左図の検査する画像データに適応した場合、右図の2次元マスクの黒で示されたバウンディングボックス内に対応する左図の領域内は異常があっても無視される。
 図6に戻って、検査モードの場合、制御部10は、判定部14aの処理完了後、入出力部15に処理開始の指示を与える。入出力部15は、制御部10からの指示に基づき、判定部14aから受信した判定結果を入出力装置4から外部に出力する。なお、ここでは外部で作業者が入出力装置4を確認することを想定しているが、必ずしもそのようにする必要はなく、特に作業者を介在させることなく外部の制御装置などに信号を出力するようにしてもよい。
 図11は、入出力装置4がその構成にディスプレイを含む場合に、入出力部15が入出力装置4に対して指示する表示内容の例である。
 図11は、判定部14aで異常が検出されなかった場合を示している。この場合、単に検査する画像データをそのまま表示し、かつ異常がないことを通知するためのメッセージを表示する。異常がないことを通知するためのメッセージは、例えば図11の左上に示したOKマークがあげられる。なお、OKマークではなく、異常なし、正常、○マーク等のマークでもよい。
 図12は、入出力装置4がその構成にディスプレイを含む場合に、入出力部15が入出力装置4に対して指示する表示内容の別の例である。
 図12は、判定部14aで2ヶ所の異常が検出された場合を示している。この場合、検査する画像データに対して検出された異常箇所を点線で重畳表示し、かつ異常が検出されたことを通知するためのメッセージを表示する。異常が検出されたことを通知するためのメッセージは、例えば図12の左上に示したNGマークがあげられる。なお、NGマークではなく、異常、非正常、×マーク等のマークでもよい。また、異常箇所にメッセージとして「CHECK!」マークを付けてもよい。異常箇所は、判定部14aから受信したバウンディングボックスに基づいて特定する。バウンディングボックスに基づいて異常個所を特定するのは、判定部14aまたは入出力部15いずれが行ってもよい。なお、バウンディングボックスは、表示されてもされなくてもよい。
 図13は、入出力装置4がその構成にディスプレイを含む場合に、入出力部15が入出力装置4に対して指示する表示内容のさらに別の例である。
 図13は、図12と同じく判定部14aで2ヶ所の異常が検出された場合を示している。ただし、検出された異常箇所を直接的に示すのではなく、左側に検査する画像データを、右側に検査する画像データに対して判定部14aで計算した差分画像データを合成した差分合成画像データを表示する。差分合成画像データについては、黒いほど差分が小さく、白いほど差分が大きいことを示している。このようにすると、図13の右側の差分合成画像データで白く目立っている部分が、検査する画像データにおいて正常状態からの差分が大きくなっている箇所として著しく目立って見えるため、異常の検査を行う作業者が着目すべき箇所を容易に把握できるようになる。図12と同様に、バウンディングボックスに基づいて異常個所を特定するのは、判定部14aまたは入出力部15いずれが行ってもよい。
 なお、図11、図12、図13に示した入出力装置4での表示方法はあくまでも例であり、実際にはこれらの組み合わせまたはこれらとは異なる表示方法を用いることも考えられる。また、入出力装置4がディスプレイではなく、スピーカで構成される場合もあり、その場合は音声、音楽等により外部に情報を出力することも考えられる。
 電源をOFFにすることあるいは終了操作がなされる等の処理の終了のトリガーがあるまで上記のような学習モードの処理及び検査モードの処理を繰り返すことによって、対象物3とカメラ2の確実な固定及び対象物3を撮影して取得した画像データの画素毎に高精度な位置合わせを行うといった制約を緩和しつつ、対象物3の欠損、誤配置、欠陥等の異常の有無を検査できる。なお、学習モードの処理及び検査モードの処理を繰り返すとしたが、学習モードの処理は繰り返さず1回行うだけでもよい。同様に、検査モードの処理は繰り返さず1回行うだけでもよい。
 以上述べたように、本実施の形態1の検査システムに含まれる検査装置1は、異常を含まない対象物3のデータを次元圧縮することにより異常を含まない対象物3のデータの性質を表すパラメータを算出し、検査する対象物3のデータをパラメータを用いて次元圧縮し、次元圧縮した検査する対象物3のデータを復元した復元データを生成し、検査する対象物3のデータと復元データとの差分の大小に基づき検査する対象物3が異常であるか否かを示す判定結果を入出力部15に出力するため、従来の検査装置よりも、対象物3とカメラ2の確実な固定及び対象物3を撮影して取得した画像データの画素毎に高精度な位置合わせを行うといった制約を緩和しつつ、対象物3の欠損、誤配置、欠陥等の異常の有無を検査できる。
 また、本実施の形態1の検査システムに含まれる検査装置1は、主成分分析を用いた次元圧縮により、正常画像データに共通して現れる対象物3のデータの性質を表すパラメータだけを取り出した効率的な特徴を得ることができる。この過程で同じ種類の対象物3間でのばらつき、撮影タイミングが異なることによる画像データのばらつき、カメラのノイズ等といった不要な情報は捨て去れるため、データサイズが小さくなり記憶媒体103が必要とする記憶容量を削減することができる。
 さらに、本実施の形態1の検査システムに含まれる検査装置1は、正常画像データから正常状態の対象物3の画像データを学習し、検査を行うため、異常状態について利用者、開発者等が定義する必要がない。そのため、異常状態の定義に漏れがあり、異常を見逃すといったことがなく、どのような異常にも汎用的に適用することができる。
 なお、上記した本実施の形態1の検査システムでは、検査装置1、カメラ2、および入出力装置4を分離した構成としているが、カメラ2または入出力装置4またはカメラ2と入出力装置4の両方を検査装置1の中に含めた構成としてもよい。このように構成された検査システムであっても、上記した実施の形態1の効果を得ることができる。
 上記した本実施の形態1の検査システムでは、判定部14aは、次元圧縮した検査する対象物3の画像データを次元圧縮で用いた方法と同様の方法で復元し、復元した画像データである復元データと検査する対象物3の画像データとの差分の大小に基づき、検査する対象物3が異常であるか否かを示す判定結果を入出力部15に出力する。そして、判定部14aは、復元部と判定部とを合わせた部の一例であるとした。しかし、次元圧縮した検査する対象物3の画像データを次元圧縮で用いた方法と同様の方法で復元する復元部は独立して検査装置1に備えていてもよいし、解析部12aが復元部の機能を備えていてもよい。このように構成された検査システムであっても、上記した実施の形態1の効果を得ることができる。
 上記した本実施の形態1の検査システムでは、解析部12aは、対象物3の次元圧縮に主成分分析を用い、記憶部13aは、主成分分析の結果を記憶し、判定部14aは、主成分分析を用いて復元を行ったが、対象物3に複数の種類が存在する場合、対象物3の種類ごとに次元圧縮方法を変更してもよい。例えば、1種類目の対象物3において、解析部12aは、1種類目の対象物3の次元圧縮に主成分分析を用い、記憶部13aは、主成分分析の結果を記憶し、判定部14aは、主成分分析を用いて復元を行い、2種類目の対象物3において、解析部12aは、2種類目の対象物3の次元圧縮に線形判別分析を用い、記憶部13aは、線形判別分析の結果を記憶し、判定部14aは、線形判別分析を用いて復元を行う等してもよい。なお、対象物3の種類はいくつでもよく、対象物3の種類と次元圧縮方法との組み合わせは、任意である。ただし、同一種類の対象物3の場合は、同一の次元圧縮の方法を用いる。このように構成された検査システムであっても、上記した実施の形態1の効果を得ることができる。
実施の形態2.
 実施の形態1では、解析部12aは、対象物3の次元圧縮に主成分分析を用い、記憶部13aは、主成分分析の結果を記憶し、判定部14aは、主成分分析を用いて復元を行った。主成分分析は線形な次元圧縮手法の代表例である。実施の形態2に係る解析部12b、記憶部13b及び判定部14bは、図14~図20に示すように、次元圧縮にニューラルネットワークを用いた自己符号化器を用いる。ニューラルネットワークを用いた自己符号化器は、非線形な次元圧縮が可能な手法として知られている。このため、線形な次元圧縮手法である主成分分析と比べ、非線形な次元圧縮が可能であるため、さらに効率的に特徴を獲得することが可能である。それ以外は、実施の形態1と同様である。
 図14は本発明の実施の形態2に係る検査装置200を含む検査システムの機能ブロック図である。以下の説明において既に説明した構成及び動作については同一符号を付して、重複する説明を省略する。
 実施の形態2では、実施の形態1の図1の解析部12a、記憶部13a及び判定部14aの代わりに解析部12b、記憶部13b及び判定部14bが機能ブロック図の構成として加わる。
 解析部12bは、実施の形態1の解析部12aでの次元圧縮において用いた主成分分析の代わりに、ニューラルネットワークを用いた自己符号化器を用いて次元圧縮を行う。それ以外は、解析部12aと同様である。
 記憶部13bは、実施の形態1の記憶部13aで記憶した主成分分析の学習結果を記憶及び主成分分析の学習結果を読み出し、解析部12aに入力する代わりに、ニューラルネットワークを用いた自己符号化器の学習結果を記憶及びニューラルネットワークを用いた自己符号化器の学習結果を読み出し、解析部12bに入力する。それ以外は、記憶部13aと同様である。
 判定部14bは、実施の形態1の判定部14bでの復元において用いた主成分分析の代わりに、ニューラルネットワークを用いた自己符号化器を用いて復元を行う。それ以外は、判定部14aと同様である。
 本発明の実施の形態2に係る検査装置200のハードウェア構成図は、実施の形態1の図2と同様である。解析部12bのハードウェア構成は解析部12aと同様、記憶部13bのハードウェア構成は記憶部13aと同様、判定部14bのハードウェア構成は判定部14aと同様である。
 次に、本発明の実施の形態2に係る検査装置200の学習モードにおける動作について説明する。
 図15は、本発明の実施の形態2に係る検査装置200の学習モードにおける動作を示すフローチャートである。図15を用いて、検査装置200の学習モードにおける動作を以下に説明する。
 ステップS40、ステップS41、ステップS42は実施の形態1のステップS10、ステップS11、ステップS12と同様である。ただし、解析部12aの代わりに解析部12bが処理を行う。
 ステップS43において、解析部12bは受信した正常画像データを使って次元圧縮を行う。ここで、次元圧縮とは、実施の形態1と同様に、画像データ、3次元立体データ等の高次元データを低次元のデータに変換することを指す。解析部12bは、学習モードにおいて正常画像データを用いて学習を行い、正常画像データに最適なデータ変換方法を獲得する。以下では、次元圧縮の方法として、ニューラルネットワークによる自己符号化器を用いた場合について説明する。
 ニューラルネットワークとは、シナプスを通じてネットワーク状に結びついたニューロンがそこを流れる電流の強弱で学習、パターン認識等を行うという人間の脳のメカニズムを計算機で模したものであり、最も単純なモデルはパーセプトロンと呼ばれる。
 図16は、ニューロンを多入力1出力のノードとしてモデル化した図である。
 パーセプトロンは、図16に示すように、ニューロンを多入力1出力のノードとしてモデル化した図である。実施の形態1と同様に、ステップS40で受信した正常画像データ1枚あたりの画素数の総数をK、次元の個数をjとする。例えば、Kの値は正常画像データのサイズが32画素×32画素であれば1024、640画素×640画素であれば409600等である。パーセプトロンは、入力データである正常画像データの画素xに対して重みwで重みづけしてバイアスbを減じた線形加重和と、その線形加重和の正負によって1と0を出力する閾値論理関数z(u)から構成される。なお、入力データである正常画像データの画素xの集まりが正常画像データのベクトルx、重みwの集まりが重みベクトルwとなる。yを出力データとすると、パーセプトロンは、式(6)で表される。なお、図16は画像データ1枚に対する計算であり、画像データが1000枚ある場合は、同様の計算を1000回行う。
Figure JPOXMLDOC01-appb-M000006
 式(6)は、入力データである正常画像データの画素xの閾値論理関数z(u)がクラスc1に属するかクラスc2に属するかで、1または0の値をとる2クラスの識別関数となる。識別関数とは、例えば、予め犬の画像データを集めたクラスc1と猫の画像データを集めたクラスc2を用意しておき、それぞれの画像データに犬の画像データであること、猫の画像データであることのラベル付けをしておく。入力データとしてラベル付けのされていない犬の画像データを識別関数に入れると、クラスc1の犬の画像データとクラスc2の猫の画像データとから入力データとしてラベル付けのされていない画像データがクラスc1の犬の画像データであるのかクラスc2の猫の画像データであるのかを判定し、入力データとしてラベル付けのされていない犬の画像データを犬の画像データであると判定する。なお、パーセプトロンにおける閾値論理関数z(u)は、より一般には活性化関数と呼ばれる他の様々な関数で置き換えることが可能である。例えば、シグモイド関数、ReLU等があげられる。
 式(6)では、クラスc1に属するデータとクラスc2に属するデータを予め複数用意しておく。ここで、予め用意したクラスc1に属するデータとクラスc2に属するデータを学習データと記載する。学習データに対してクラスc1に属するかクラスc2に属するかを識別できるように重みベクトルwを学習することで、新たなデータが入力されたときにそのクラスを識別することが可能となる。重みベクトルwの値が、対象物3のデータの性質を表すパラメータの一例である。
 図17は、砂時計型ニューラルネットワークの例である。
 自己符号化器とは、図17に示すようにデータが入力される入力層と出力される出力層との中間にある隠れ層のノード数が入力層及び出力層のノード数よりも小さい砂時計型ニューラルネットワークである。なお、図17に示すネットワークの左端が入力層、図17に示すネットワークの右端が出力層、図17に示すネットワークの中間が隠れ層である。ここで、図16と同様に、ステップS40で受信した正常画像データ1枚あたりの画素数の総数をK、次元の個数をjとする。例えば、Kの値は正常画像データのサイズが32画素×32画素であれば1024、640画素×640画素であれば409600等である。入力データは、正常画像データの画素xの集まりである正常画像データのベクトルxとし、重みwの集まりを重みベクトルwとする。また、隠れ層のベクトルをaとする。出力データは、正常画像データの画素xの集まりである正常画像データのベクトルxとほぼ同じである画素yの集まりである画像データのベクトルyであり、重みvの集まりが重みベクトルvとなる。入力データである正常画像データの画素xの集まりの正常画像データのベクトルxに、重みwの集まりの重みベクトルwをかけると、隠れ層のベクトルaとなり、隠れ層のベクトルaに、重みvの集まりの重みベクトルvをかけると、正常画像データの画素xの集まりである正常画像データのベクトルxとほぼ同じである画素yの集まりである画像データのベクトルyになる。隠れ層のベクトルaが画像データで主要な成分を示し、重みベクトルwの値及び重みベクトルvの値が、対象物3のデータの性質を表すパラメータの一例である。なお、図17は画像データ1枚に対する計算であり、画像データが1000枚ある場合は、同様の計算を1000回行う。
 自己符号化器は、学習データに対して入力データと出力データとがほぼ一致するように各ノードの重みを学習する。このようにすることで、隠れ層に入力データの情報をできるだけ保存しつつ低次元化した特徴が得られることが知られている。
 図15に戻って、ステップS43において、ステップS40で取得した正常画像データを入力データとし、入力データと出力データとがほぼ一致するような自己符号化器を学習することで、正常画像データに共通して現れる重要な成分だけを隠れ層において取り出すことができる。つまり、入力データとして入力した正常画像データと隠れ層を通して出力する入力データを復元した画像データとが正常画像データに共通して現れる重要な成分に対して一致するような自己符号化器を学習する。一方で、同じ種類の物体間でのばらつき、撮影タイミングが異なることによる画像のばらつき、カメラのノイズ等といった不要な成分は除外することができる。
 図18は、自己符号化器の隠れ層の総数を変更したときの様子を示す一例である。
 図17に示す自己符号化器の隠れ層は1層であるが、この総数は自由に変更することができる。総数の変更は容易であり、図18の(1)に示すように、まず図17に示す隠れ層が1層の自己符号化器を学習させる。その後、図18の(2)に示すように、自己符号化器の出力層を取り除き、入力層と隠れ層を残すことで、入力データの次元を圧縮するネットワークが得られる。次に、図18の(3)に示すように、その次元圧縮されたデータを入力データとして、新たに図18の(1)とは異なる重みベクトルとなる自己符号化器を学習することでさらに次元を圧縮することができる。
 ここで、自己符号化器の層数は実施の形態2に係る検査装置200の性能を左右する重要なパラメータである。層数を適切に設定することで、S40で取得した正常画像データに共通して現れる重要な成分だけを取り出すことができる。一方で、同じ種類の対象物3間でのばらつき、撮影タイミングが異なることによる画像データのばらつき、カメラのノイズ等といった不要な成分は除外することができる。
 しかし、層数を大きくしすぎると重要な成分までが除外されてしまい、また、層数を小さくしすぎると不要な成分が残ってしまう。
 層数は例えば制御部10からの指示に基づいて決定することが考えられる。この場合、制御部10は入出力部15を経由して入出力装置4から層数を受信し、解析部12bに送信する。
 また、解析部12bは、メモリ102あるいは記憶媒体103に記憶されている層数の値を読み出して用いてもよい。この場合に予め記憶しておく層数の値は例えば5程度、10程度等とすることが考えられる。
 図15に戻って、ステップS24において、次元圧縮を行った後、解析部12bは正常画像データを学習した結果として各ノードの重みベクトルの値を記憶部13bに送信する。なお、層数に応じて記憶する重みベクトルの値の数も異なる。記憶部13bは、解析部12bから出力された学習結果を制御部10からの指示に基づいて記憶媒体103に保存する。なお、記憶部13bは、解析部12bから出力された学習結果を制御部10からの指示に基づいて記憶媒体103に保存するとしたが、保存場所はメモリ102でもよい。
 学習モードの場合、制御部10は、解析部12aの処理完了後、入出力部15に処理開始の指示を与える。入出力部15は、制御部10からの指示に基づき、学習の進捗状況等を表す情報を入出力装置4から外部に出力する。なお、ここでは外部で作業者が入出力装置4を確認することを想定しているが、必ずしもそのようにする必要はなく、特に作業者を介在させることなく外部の制御装置に信号を出力するようにしてもよい。
 図19は、本発明の実施の形態2に係る検査装置200の検査モードにおける動作を示すフローチャートの一部である。図19を用いて、検査装置200の検査モードにおける動作を以下に説明する。
 ステップS50、ステップS51、ステップS52は実施の形態1のステップS20、ステップS21、ステップS22と同様である。ただし、解析部12aの代わりに解析部12bが処理を行う。
 ステップS53において、解析部12bは学習モードで学習した結果を読み出すため制御部10に対して読み出し要求を送信する。記憶部13bは、制御部10からの指示に基づいて必要な学習結果を記憶媒体103から読み出し、解析部12bに入力する。ここで読み出される学習結果は学習モードにおいて用いた次元圧縮手法ステップS43に対応した学習結果である。つまり、実施の形態2では、例としてニューラルネットワークによる自己符号化器を用いたので、各ノードの重みベクトルの値が読みだされる学習結果となる。
 ステップS54において、解析部12bは、読み出した学習結果に基づき受信した検査する画像データの次元圧縮を行う。次元圧縮の方法は、学習モードにおいて用いた次元圧縮手法ステップS43に対応した次元圧縮の方法である。学習モードにおいて各ノードの重みベクトルの値が得られているため、同じ重みを使ったニューラルネットワークに検査する画像データを入力することで次元圧縮を行うことができる。解析部12bは、検査する画像データと、検査する画像データを次元圧縮した結果であるベクトルとを判定部14bに送信する。検査する画像データを次元圧縮した結果であるベクトルとは、出力層の値である出力データとなる。ここで、Bは次の処理であって、詳細は後述する。
 図20は本発明の実施の形態2に係る検査装置200の検査モードにおける動作を示すフローチャートの一部である。図20を用いて、検査装置200の検査モードにおける動作の続きを以下に説明する。
 ステップS60において、ステップS54の後のBの処理の続きとして、制御部10は、解析部12bの処理完了後、判定部14bに処理開始の指示を与える。判定部14bは、制御部10からの指示に基づいてメモリ102にロードした記憶媒体103のプログラムをメモリ102から読み出してプロセッサ101で実行する。判定部14bは、まず解析部12bから受信した検査する画像データを次元圧縮した結果であるベクトルを画像データとして復元する。ここで、画像データを復元する方法は、ステップS54の次元圧縮で用いた手法と同様の復元をする。つまり、実施の形態2では、ニューラルネットワークによる自己符号化器を用いて復元を行う。
 次元圧縮にニューラルネットワークを用いた場合、ニューラルネットワークの出力は1次元ベクトルとなっているため、これを2次元の配列に整列しなおすことで画像データの復元が行われる。なお、用いるニューラルネットワークの種類によっては、ニューラルネットワークの出力が2次元の画像データとなっている場合もある。この場合は、画像データの復元処理は不要である。
 ステップS61、ステップS62は実施の形態1のステップS31、ステップS32と同様である。ただし、解析部12aの代わりに解析部12bが、記憶部13aの代わりに記憶部13bが、判定部14aの代わりに判定部14bが処理を行う。
 電源をOFFにすることあるいは終了操作がなされる等の処理の終了のトリガーがあるまで上記のような学習モードの処理及び検査モードの処理を繰り返すことによって、対象物3とカメラ2の確実な固定及び対象物3を撮影して取得した画像データの画素毎に高精度な位置合わせを行うといった制約を緩和しつつ、対象物3の欠損、誤配置、欠陥等の異常の有無を検査できる。なお、学習モードの処理及び検査モードの処理を繰り返すとしたが、学習モードの処理は繰り返さず1回行うだけでもよい。同様に、検査モードの処理は繰り返さず1回行うだけでもよい。
 以上述べたように、本実施の形態2の検査システムに含まれる検査装置200は、異常を含まない対象物3のデータを次元圧縮することにより異常を含まない対象物3のデータの性質を表すパラメータを算出し、検査する対象物3のデータをパラメータを用いて次元圧縮し、次元圧縮した検査する対象物3のデータを復元した復元データを生成し、検査する対象物3のデータと復元データとの差分の大小に基づき検査する対象物3が異常であるか否かを示す判定結果を入出力部15に出力するため、従来の検査装置よりも、対象物3とカメラ2の確実な固定及び対象物3を撮影して取得した画像データの画素毎に高精度な位置合わせを行うといった制約を緩和しつつ、対象物3の欠損、誤配置、欠陥等の異常の有無を検査できる。
 また、本実施の形態2の検査システムに含まれる検査装置200は、ニューラルネットワークによる自己符号化器を用いた次元圧縮により、正常画像データに共通して現れるパラメータだけを取り出した効率的な特徴を得ることができる。この過程で同じ種類の対象物3間でのばらつき、撮影タイミングが異なることによる画像データのばらつき、カメラのノイズ等といった不要な情報は捨て去れるため、データサイズが小さくなり記憶媒体103が必要とする記憶容量を削減することができる。
 さらに、本実施の形態2の検査システムに含まれる検査装置200は、正常画像データから正常状態の対象物3の画像データを学習し、検査を行うため、異常状態について利用者、開発者等が定義する必要がない。そのため、異常状態の定義に漏れがあり、異常を見逃すといったことがなく、どのような異常にも汎用的に適用することができる。
 本実施の形態2の検査システムに含まれる検査装置200は、自己符号化器は、線形な次元圧縮手法である主成分分析と比べ、非線形な次元圧縮が可能であるためさらに効率的な特徴の獲得ができる。
 なお、上記した本実施の形態2の検査システムでは、検査装置200、カメラ2、および入出力装置4を分離した構成としているが、カメラ2または入出力装置4またはカメラ2と入出力装置4の両方を検査装置200の中に含めた構成としてもよい。このように構成された検査システムであっても、上記した実施の形態2の効果を得ることができる。
 上記した本実施の形態2の検査システムでは、判定部14bは、次元圧縮した検査する対象物3の画像データを次元圧縮で用いた方法と同様の方法で復元し、復元した画像データである復元データと検査する対象物3の画像データとの差分の大小に基づき、検査する対象物3が異常であるか否かを示す判定結果を入出力部15に出力する。そして、判定部14bは、復元部と判定部とを合わせた部の一例であるとした。しかし、次元圧縮した検査する対象物3の画像データを次元圧縮で用いた方法と同様の方法で復元する復元部は独立して検査装置200に備えていてもよいし、解析部12bが復元部の機能を備えていてもよい。このように構成された検査システムであっても、上記した実施の形態2の効果を得ることができる。
 上記した本実施の形態2の検査システムでは、解析部12bは、対象物3の次元圧縮にニューラルネットワークによる自己符号化器を用い、記憶部13bは、ニューラルネットワークによる自己符号化器の結果を記憶し、判定部14bは、ニューラルネットワークによる自己符号化器を用いて復元を行ったが、対象物3に複数の種類が存在する場合、対象物3の種類ごとに次元圧縮方法を変更してもよい。例えば、1種類目の対象物3において、解析部12bは、1種類目の対象物3の次元圧縮にニューラルネットワークによる自己符号化器を用い、記憶部13bは、ニューラルネットワークによる自己符号化器の結果を記憶し、判定部14bは、ニューラルネットワークによる自己符号化器を用いて復元を行い、2種類目の対象物3において、解析部12bは、2種類目の対象物3の次元圧縮に線形判別分析を用い、記憶部13bは、線形判別分析の結果を記憶し、判定部14bは、線形判別分析を用いて復元を行う等してもよい。なお、対象物3の種類はいくつでもよく、対象物3の種類と次元圧縮方法との組み合わせは、任意である。ただし、同一種類の対象物3の場合は、同一の次元圧縮の方法を用いる。このように構成された検査システムであっても、上記した実施の形態2の効果を得ることができる。
 上記した本実施の形態2の検査システムでは、解析部12bは、対象物3の次元圧縮にニューラルネットワークによる自己符号化器を用いたが、自己符号化器は、ニューラルネットワークに基づく次元圧縮手法の中では最も単純な方式であるため、より複雑な方式を用いてもよい。このように構成された検査システムであっても、上記した実施の形態2の効果に加え、さらに性能を向上させることができるという効果を得ることができる。より複雑な方式の例としては、畳み込みニューラルネットワーク(Convolutional Neural Network)、Generative Adversarial Network等を用いる方法がある。実施の形態2に係る検査装置1では、こうした様々な次元圧縮手法のいずれを用いてもよく、用いた手法に応じて図15のステップS43、ステップS44、図19のステップS53、ステップS54、図20のステップS60におけるニューラルネットワークによる自己符号化器の処理方法を畳み込みニューラルネットワークまたはGenerative Adversarial Network等に変更すればよい。
実施の形態3.
 実施の形態1では、異常を含まない対象物3のデータを次元圧縮することにより異常を含まない対象物3のデータの性質を表すパラメータを算出し、検査する対象物3のデータをパラメータを用いて次元圧縮し、次元圧縮した検査する対象物3のデータを復元した復元データを生成し、検査する対象物3のデータと復元データとの差分の大小に基づき検査する対象物3が異常であるか否かを示す判定結果を入出力部15に出力していた。実施の形態3では、図21~図23に示すように、復元データと検査する画像データとの間の誤差を小さくするようなフィルタを設計及びその設計したフィルタを用いて復元データをフィルタリングする補正部16が新たに加えられ、判定部14aの代わりに判定部14cを備える。このため、例えば学習モードにおいて使用した学習用の正常画像データの不足等により、復元データと検査する画像データとの間に著しい誤差が生じてしまう場合でも補正部16において両者の誤差を低減することで、続く判定部14cにおける判定精度を高めることが可能となる。それ以外は、実施の形態1と同様である。
 図21は本発明の実施の形態3に係る検査装置300を含む検査システムの機能ブロック図である。以下の説明において既に説明した構成及び動作については同一符号を付して、重複する説明を省略する。
 実施の形態3では、実施の形態1の図1の判定部14aの代わりに判定部14cが加わり、さらに補正部16が新たに機能ブロック図の構成として加わる。
 補正部16は、次元圧縮した検査する対象物3の画像データを次元圧縮で用いた方法と同様の方法で復元し、復元データと検査する画像データとの間の誤差を補正するフィルタを設計及びその設計したフィルタを用いて復元データをフィルタリングし、補正データを生成する。補正データは、復元データと検査する対象物のデータとの誤差を補正するフィルタを用いて復元データをフィルタリングして補正した復元データである。なお、補正部16は、復元部と補正部とを合わせた部の一例である。
 判定部14cは、補正部16で復元及び補正した画像データである補正データと検査する対象物3の画像データとの差分の大小に基づき、検査する対象物3が異常であるか否かを示す判定結果を入出力部15に出力する。なお、判定部14cは、復元部を備える14aと異なり、復元は補正部16が行うため、判定部14cは復元を行わない。それ以外は、判定部14aと同様である。
 本発明の実施の形態3に係る検査装置300のハードウェア構成図は、実施の形態1の図2と同様である。判定部14cのハードウェア構成は判定部14aと同様である。また、補正部16は、プロセッサ101がメモリ102にロードした記憶媒体103のプログラムを読み込み、実行することにより実現する。
 本発明の実施の形態3に係る検査装置300の学習モードにおける動作を示すフローチャートは、実施の形態1の図3と同様である。
 本発明の実施の形態3に係る検査装置300の検査モードにおける動作を示すフローチャートの一部は、実施の形態1の図5と同様である。
 図22は本発明の実施の形態3に係る検査装置300の検査モードにおける動作を示すフローチャートの一部である。図22を用いて、検査装置300の検査モードにおける動作の続きを以下に説明する。
 ステップS70において、ステップS24の後のAの処理の続きとして、制御部10は、解析部12aの処理完了後、補正部16に処理開始の指示を与える。補正部16は、制御部10からの指示に基づいてメモリ102にロードした記憶媒体103のプログラムをメモリ102から読み出してプロセッサ101で実行する。補正部16は、まず解析部12aから受信した検査する画像データを次元圧縮した結果であるベクトルと検査する画像データとを受信し、受信した検査する画像データを次元圧縮した結果であるベクトルを画像データとして復元する。画像データの復元の方法は、実施の形態1の図6のステップS30における判定部14aで行われる方法と同様である。
 ステップS71において、補正部16は、復元した復元データと検査する画像データとの間の誤差を小さくするようなフィルタを設計する。このことによって、例えば学習モードにおいて使用した学習用の正常画像データの不足等により、復元データと検査する画像データとの間に著しい誤差が生じてしまう場合、補正部16において両者の誤差を低減することで、続く判定部14cにおける判定精度を高めることができる。
 ある信号がノイズにより劣化した場合、それを復元するためのフィルタとしては逆フィルタ、ウィーナーフィルタ、適応フィルタ、ノイズ除去フィルタ等がある。ここで、本発明の実施の形態3においては劣化前の原信号である検査する画像データが既知であることから、ウィーナーフィルタを用いることが最も効果的である。以下では例としてウィーナーフィルタの設計方法について述べる。
 劣化した信号gから、原信号fを復元するための空間フィルタkを考える。このとき、周波数領域においては、劣化信号のフーリエ変換Gは、原信号のフーリエ変換Fと点拡がり関数のフーリエ変換Hとの積で表される。そこで、点拡がり関数が既知である場合、式(7)に示すように逆フィルタKinvを用いて劣化信号をフィルタリングすることによって、式(8)のように原信号のフーリエ変換Fを求めることができる。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
 ここで、周波数領域におけるノイズを考慮した劣化過程は式(9)のように表される。ただし、Nはノイズのフーリエ変換を表す。
Figure JPOXMLDOC01-appb-M000009
 このとき、復元データf’と原信号となる検査する画像データである元データf間の誤差を最小にするようなフィルタKは式(10)で与えられる。
Figure JPOXMLDOC01-appb-M000010
 式(10)で表されるフィルタKをウィーナーフィルタと呼ぶ。
 図22に戻って、ステップS72において、補正部16は復元データに対してフィルタKを用いてフィルタリングして補正を行ったうえで検査する画像データと補正データとを判定部14cに送信する。ここで、Cは次の処理であって、詳細は後述する。
 図23は本発明の実施の形態3に係る検査装置300の検査モードにおける動作を示すフローチャートの一部である。図23を用いて、検査装置300の検査モードにおける動作の続きを以下に説明する。
 ステップS80において、ステップS72の後のCの処理の続きとして、制御部10は、判定部14cに処理開始の指示を与える。判定部14cは、制御部10からの指示に基づいてメモリ102にロードした記憶媒体103のプログラムをメモリ102から読み出してプロセッサ101で実行する。判定部14cは、まず補正部16から検査する画像データと補正データとを受信する。判定部14cは、補正データと検査する画像データとの差分を計算する。上記以外は、判定部14cは、図6のステップS31の判定部14aと同様の処理を行う。
 ステップS81は実施の形態1のステップS32と同様である。ただし、判定部aの代わりに判定部14cが処理を行う。
 電源をOFFにすることあるいは終了操作がなされる等の処理の終了のトリガーがあるまで上記のような学習モードの処理及び検査モードの処理を繰り返すことによって、対象物3とカメラ2の確実な固定及び対象物3を撮影して取得した画像データの画素毎に高精度な位置合わせを行うといった制約を緩和しつつ、対象物3の欠損、誤配置、欠陥等の異常の有無を検査できる。なお、学習モードの処理及び検査モードの処理を繰り返すとしたが、学習モードの処理は繰り返さず1回行うだけでもよい。同様に、検査モードの処理は繰り返さず1回行うだけでもよい。
 以上述べたように、本実施の形態3の検査システムに含まれる検査装置300は、異常を含まない対象物3のデータを次元圧縮することにより異常を含まない対象物3のデータの性質を表すパラメータを算出し、検査する対象物3のデータをパラメータを用いて次元圧縮し、次元圧縮した検査する対象物3のデータを復元した復元データを生成し、検査する対象物3のデータと復元データとの差分の大小に基づき検査する対象物3が異常であるか否かを示す判定結果を入出力部15に出力するため、従来の検査装置よりも、対象物3とカメラ2の確実な固定及び対象物3を撮影して取得した画像データの画素毎に高精度な位置合わせを行うといった制約を緩和しつつ、対象物3の欠損、誤配置、欠陥等の異常の有無を検査できる。
 また、本実施の形態3の検査システムに含まれる検査装置300は、主成分分析を用いた次元圧縮により、正常画像データに共通して現れる対象物3のデータの性質を表すパラメータだけを取り出した効率的な特徴を得ることができる。この過程で同じ種類の対象物3間でのばらつき、撮影タイミングが異なることによる画像データのばらつき、カメラのノイズ等といった不要な情報は捨て去れるため、データサイズが小さくなり記憶媒体103が必要とする記憶容量を削減することができる。
 さらに、本実施の形態3の検査システムに含まれる検査装置300は、正常画像データから正常状態の対象物3の画像データを学習し、検査を行うため、異常状態について利用者、開発者等が定義する必要がない。そのため、異常状態の定義に漏れがあり、異常を見逃すといったことがなく、どのような異常にも汎用的に適用することができる。
 本実施の形態3の検査システムに含まれる検査装置300は、次元圧縮した検査する対象物3の画像データから復元した復元データと検査する画像データとの間の誤差を小さくするようなフィルタを設計及びその設計したフィルタを用いて復元データをフィルタリングする補正部16が新たに加えられ、判定部14aの代わりに判定部14cを備える。このため、例えば学習モードにおいて使用した学習用の正常画像データの不足等により、復元データと検査する画像データとの間に著しい誤差が生じてしまう場合でも補正部16において両者の誤差を低減することで、続く判定部14cにおける判定精度を高めることが可能となる。
 なお、上記した本実施の形態3の検査システムでは、検査装置300、カメラ2、および入出力装置4を分離した構成としているが、カメラ2または入出力装置4またはカメラ2と入出力装置4の両方を検査装置300の中に含めた構成としてもよい。このように構成された検査システムであっても、上記した実施の形態3の効果を得ることができる。
 上記した本実施の形態3の検査システムでは、補正部16は、復元データと検査する画像データとの間の誤差を補正するフィルタを設計及びその設計したフィルタを用いて復元データをフィルタリングする。そして、補正部16は、復元部と補正部とを合わせた部の一例であるとした。しかし、次元圧縮した検査する対象物3の画像データを次元圧縮で用いた方法と同様の方法で復元する復元部は独立して検査装置300に備えていてもよいし、解析部12aが復元部の機能を備えていてもよい。このように構成された検査システムであっても、上記した実施の形態3の効果を得ることができる。
 上記した本実施の形態3の検査システムでは、解析部12aは、対象物3の次元圧縮に主成分分析を用い、記憶部13aは、主成分分析の結果を記憶し、補正部16は、主成分分析を用いて復元を行ったが、対象物3に複数の種類が存在する場合、対象物3の種類ごとに次元圧縮方法を変更してもよい。例えば、1種類目の対象物3において、解析部12aは、1種類目の対象物3の次元圧縮に主成分分析を用い、記憶部13aは、主成分分析の結果を記憶し、補正部16は、主成分分析を用いて復元を行い、2種類目の対象物3において、解析部12aは、2種類目の対象物3の次元圧縮に線形判別分析を用い、記憶部13aは、線形判別分析の結果を記憶し、補正部16は、線形判別分析を用いて復元を行う等してもよい。なお、対象物3の種類はいくつでもよく、対象物3の種類と次元圧縮方法との組み合わせは、任意である。ただし、同一種類の対象物3の場合は、同一の次元圧縮の方法を用いる。このように構成された検査システムであっても、上記した実施の形態3の効果を得ることができる。
 上記した本実施の形態3の検査システムでは、解析部12aは、対象物3の次元圧縮に主成分分析を用いたが、ニューラルネットワークによる自己符号化器または畳み込みニューラルネットワーク(Convolutional Neural Network)、Generative Adversarial Network等のニューラルネットワークによる自己符号化器より複雑な方式を用いてもよい。このように構成された検査システムであっても、上記した実施の形態3の効果に加え、さらに性能を向上させることができるという効果を得ることができる。実施の形態3に係る検査装置300では、こうした様々な次元圧縮手法のいずれを用いてもよい。
 ところで、上記した実施の形態に示した検査装置を備えた検査システムは一例に過ぎず、適宜、組み合わせて構成することが出来るものであって、実施の形態単独の構成に限られるものではない。
 1, 200, 300 検査装置、 2 カメラ、 3 対象物、
 4 入出力装置、 10 制御部、 11 入力部、
 12a, 12b 解析部、 13a, 13b 記憶部、
 14a, 14b, 14c 判定部、 15 入出力部、
 16 補正部、 100 入出力IF、 101 プロセッサ、
 102 メモリ、 103 記憶媒体、 104 バス。

Claims (15)

  1.  異常を含まない対象物のデータをデータの次元を減らす次元圧縮をすることにより前記異常を含まない対象物のデータの性質を表すパラメータを算出し、検査する対象物のデータを前記パラメータを用いて次元圧縮する解析部と、
     前記解析部で次元圧縮した前記検査する対象物のデータを復元した復元データを生成する復元部と、
     前記検査する対象物のデータと前記復元データとの差分の大小に基づき前記検査する対象物が異常であるか否かを示す判定結果を出力する判定部と、
     前記判定部が出力した前記判定結果を出力する出力部と
    を備えた検査装置。
  2.  前記解析部が算出した前記パラメータを記憶する記憶部とを備え、
     前記解析部は、前記検査する対象物のデータを前記記憶部に記憶した前記パラメータを用いて次元圧縮する
    請求項1に記載の検査装置。
  3.  前記復元部が復元した復元データと前記検査する対象物のデータとの誤差を補正するフィルタを用いて前記復元データをフィルタリングして補正した復元データを生成する補正部とを備え、
     前記判定部は、前記検査する対象物のデータと補正した前記復元データとの差分の大小に基づき前記検査する対象物が異常であるか否かを示す判定結果を出力する
    請求項1~2のいずれか1項に記載の検査装置。
  4.  前記フィルタは、ウィーナーフィルタである
    請求項3に記載の検査装置。
  5.  前記判定部は、前記差分が閾値以上のとき前記検査する対象物が異常であると示す判定結果を出力する
    請求項1~4のいずれか1項に記載の検査装置。
  6.  前記異常を含まない対象物のデータは、異常を含まない対象物の画像データであり、
     前記検査する対象物のデータは、検査する対象物の画像データである
    請求項1~5のいずれか1項に記載の検査装置。
  7.  前記次元圧縮は、主成分分析を用いる
    請求項1~6のいずれか1項に記載の検査装置。
  8.  前記次元圧縮は、ニューラルネットワークを用いた自己符号化器を用いる
    請求項1~6のいずれか1項に記載の検査装置。
  9.  前記復元部は、前記パラメータを用いて前記復元データを生成する
    請求項8記載の検査装置。
  10.  前記判定部は、前記検査する対象物が異常であると示す判定結果を出力した前記差分が閾値以上の領域に外接する矩形であるバウンディングボックスを算出し、
     前記出力部は、前記判定部が算出した前記バウンディングボックスを前記判定結果として出力する
    請求項5に記載の検査装置。
  11.  前記出力部は、前記バウンディングボックスに基づき特定された前記検査する対象物の画像データの異常個所を点線で前記検査する対象物の画像データに重畳表示させるように出力する
    請求項10に記載の検査装置。
  12.  前記出力部は、前記検査する対象物の画像データに対して前記差分の画像データを合成した差分合成画像データを出力する
    請求項10に記載の検査装置。
  13.  前記出力部は、前記判定部が前記検査する対象物が異常であると示す判定結果を出力する場合、異常が検出されたことを通知するためのメッセージを表示させるように出力する
    請求項1~12のいずれか1項に記載の検査装置。
  14.  前記出力部が出力した前記判定結果を表示する表示部とを備えた
    請求項1~13のいずれか1項に記載の検査装置。
  15.  異常を含まない対象物のデータをデータの次元を減らす次元圧縮をすることにより前記異常を含まない対象物のデータの性質を表すパラメータを算出し、検査する対象物のデータを記憶媒体に記憶された前記パラメータを用いて次元圧縮するステップと、
     次元圧縮した前記検査する対象物のデータを復元した復元データを生成するステップと、
     前記検査する対象物のデータと前記復元データとの差分の大小に基づき前記検査する対象物が異常であるか否かを示す判定結果を出力するステップと、
     前記判定結果を出力するステップと
    を備えた検査方法。
PCT/JP2016/086138 2016-12-06 2016-12-06 検査装置及び検査方法 WO2018105028A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US16/343,306 US11645744B2 (en) 2016-12-06 2016-12-06 Inspection device and inspection method
KR1020197015539A KR102011628B1 (ko) 2016-12-06 2016-12-06 검사 장치 및 검사 방법
CN201680091308.9A CN110036279B (zh) 2016-12-06 2016-12-06 检查装置和检查方法
JP2017523001A JP6241576B1 (ja) 2016-12-06 2016-12-06 検査装置及び検査方法
DE112016007498.0T DE112016007498B4 (de) 2016-12-06 2016-12-06 Untersuchungseinrichtung und untersuchungsverfahren
PCT/JP2016/086138 WO2018105028A1 (ja) 2016-12-06 2016-12-06 検査装置及び検査方法
TW105143296A TWI638157B (zh) 2016-12-06 2016-12-27 Inspection device and inspection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/086138 WO2018105028A1 (ja) 2016-12-06 2016-12-06 検査装置及び検査方法

Publications (1)

Publication Number Publication Date
WO2018105028A1 true WO2018105028A1 (ja) 2018-06-14

Family

ID=60570330

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/086138 WO2018105028A1 (ja) 2016-12-06 2016-12-06 検査装置及び検査方法

Country Status (7)

Country Link
US (1) US11645744B2 (ja)
JP (1) JP6241576B1 (ja)
KR (1) KR102011628B1 (ja)
CN (1) CN110036279B (ja)
DE (1) DE112016007498B4 (ja)
TW (1) TWI638157B (ja)
WO (1) WO2018105028A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018211891A1 (ja) * 2017-05-18 2018-11-22 住友電気工業株式会社 異変検出装置及び異変検出方法
KR20200026784A (ko) * 2018-08-31 2020-03-11 도시바 미쓰비시덴키 산교시스템 가부시키가이샤 제조 프로세스 감시 장치
WO2020110224A1 (ja) * 2018-11-28 2020-06-04 Eizo株式会社 情報処理方法及びコンピュータプログラム
JP2020139905A (ja) * 2019-03-01 2020-09-03 セイコーエプソン株式会社 検査装置、検査方法、およびプログラム
JP2020160616A (ja) * 2019-03-25 2020-10-01 ブラザー工業株式会社 生成装置、コンピュータプログラム、生成方法
WO2020202734A1 (ja) * 2019-03-29 2020-10-08 株式会社ワコム ペン状態検出回路、システム及び方法
JP2020190791A (ja) * 2019-05-20 2020-11-26 株式会社アルム 画像処理装置、画像処理システム、および画像処理プログラム
JP2020188839A (ja) * 2019-05-20 2020-11-26 株式会社アルム 画像処理装置、画像処理システム、および画像処理プログラム
CN112082653A (zh) * 2019-06-12 2020-12-15 株式会社日立制作所 自动检查系统以及无线分机
JP2021176070A (ja) * 2020-05-02 2021-11-04 Arithmer Inc 画像検査装置、画像検査方法及びプログラム
WO2021220437A1 (ja) * 2020-04-28 2021-11-04 三菱電機株式会社 外観検査装置および外観検査方法
WO2022201968A1 (ja) 2021-03-26 2022-09-29 コニカミノルタ株式会社 情報処理装置、制御プログラム、および制御方法
WO2022264824A1 (ja) * 2021-06-16 2022-12-22 株式会社日立製作所 異常判定用計算機及び異常判定方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102171491B1 (ko) * 2017-12-21 2020-10-29 동의대학교 산학협력단 딥러닝을 이용한 양품 선별 방법
JP2021042955A (ja) * 2017-12-27 2021-03-18 キユーピー株式会社 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法
US20190205751A1 (en) * 2017-12-29 2019-07-04 University Of Southern California Method for prioritizing candidate objects
WO2019146538A1 (ja) 2018-01-29 2019-08-01 日本電気株式会社 画像処理装置、画像処理方法及び記録媒体
DE112018007171T5 (de) 2018-03-29 2021-01-28 Mitsubishi Electric Corporation Abnormalitätsinspektionsvorrichtung und abnormalitätsinspektionsverfahren
JP2019178941A (ja) * 2018-03-30 2019-10-17 リコーエレメックス株式会社 検査システムおよび検査方法
JP6424309B1 (ja) * 2018-08-15 2018-11-14 裕樹 有光 採寸値に基づく3次元モデルを生成するプログラム及び装置
JP2021009441A (ja) * 2019-06-28 2021-01-28 ルネサスエレクトロニクス株式会社 異常検知システム及び異常検知プログラム
JP6653929B1 (ja) * 2019-07-18 2020-02-26 Jeインターナショナル株式会社 自動判別処理装置、自動判別処理方法、検査システム、プログラム、および記録媒体
JP2021089219A (ja) * 2019-12-05 2021-06-10 東洋製罐グループホールディングス株式会社 画像検査システム、及び画像検査方法
KR20220146666A (ko) * 2020-04-27 2022-11-01 미쓰비시덴키 가부시키가이샤 화상 검사 장치 및 화상 검사 방법
KR102437115B1 (ko) * 2020-06-04 2022-08-29 한국생산기술연구원 제품 구조 예측 기술을 이용한 딥러닝 기반 결함 검사 장치 및 방법
TWI803353B (zh) * 2022-04-19 2023-05-21 南亞科技股份有限公司 晶圓檢測方法
JP7386287B1 (ja) 2022-05-09 2023-11-24 Jfeテクノリサーチ株式会社 検査方法及び検査装置
CN114782445B (zh) * 2022-06-22 2022-10-11 深圳思谋信息科技有限公司 对象缺陷检测方法、装置、计算机设备和存储介质
TWI819698B (zh) * 2022-07-14 2023-10-21 友達光電股份有限公司 判斷瑕疵的方法及電子裝置
CN117315368B (zh) * 2023-10-23 2024-04-23 龙坤(无锡)智慧科技有限公司 一种大规模数据中心智能运维巡检方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06281592A (ja) * 1993-03-29 1994-10-07 Sumitomo Metal Ind Ltd 表面検査方法
JP2000346627A (ja) * 1999-06-07 2000-12-15 Toray Eng Co Ltd 検査装置
JP2006322766A (ja) * 2005-05-18 2006-11-30 Hitachi High-Technologies Corp パターン欠陥検査装置および方法
JP2009032273A (ja) * 2008-08-29 2009-02-12 Olympus Corp 分類装置
JP2011138388A (ja) * 2009-12-28 2011-07-14 Canon Inc データ補正装置及び方法
JP2016091359A (ja) * 2014-11-06 2016-05-23 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1209693A (en) * 1983-06-02 1986-08-12 Craig C. Todd Helical scan recording and playback systems
JPH0695728B2 (ja) * 1984-05-29 1994-11-24 株式会社リコー 画像データ圧縮再生装置
JPS60251771A (ja) * 1984-05-29 1985-12-12 Ricoh Co Ltd 画像デ−タ圧縮再生方法及び装置
CA1288516C (en) * 1987-07-31 1991-09-03 Leendert M. Bijnagte Apparatus and method for communicating textual and image information between a host computer and a remote display terminal
CN1062963C (zh) * 1990-04-12 2001-03-07 多尔拜实验特许公司 用于产生高质量声音信号的解码器和编码器
AUPN002594A0 (en) * 1994-12-13 1995-01-12 Dunn, Alexander Atkinson Improvements in software for the protection of executable programs, libraries and their data
CA2595719A1 (en) * 1997-07-15 1999-01-28 Silverbrook Research Pty. Limited Image transformation means including user interface
EP1296351A4 (en) * 2000-06-27 2009-09-23 Ebara Corp INVESTIGATION DEVICE FOR LOADED PARTICLE RAYS AND METHOD FOR PRODUCING A COMPONENT ELEVATED WITH THIS INSPECTION DEVICE
KR100425447B1 (ko) * 2001-05-10 2004-03-30 삼성전자주식회사 명도 보정 및 선택적 결함 검출 방법 및 이를 기록한 기록매체
JP3904419B2 (ja) * 2001-09-13 2007-04-11 株式会社日立製作所 検査装置および検査システム
EP1451561A2 (en) * 2001-11-28 2004-09-01 Applied Materials, Inc. Method for detecting defects in substrates
JP2005156516A (ja) 2003-11-05 2005-06-16 Hitachi Ltd パターン欠陥検査方法及びその装置
JP4550559B2 (ja) 2004-11-24 2010-09-22 シャープ株式会社 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
US7570796B2 (en) * 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
CN101796399A (zh) * 2007-09-05 2010-08-04 株式会社尼康 观察装置和观察方法以及检查装置和检查方法
JP5301955B2 (ja) * 2008-11-13 2013-09-25 オリンパス株式会社 欠陥修正装置
JP5247480B2 (ja) * 2009-01-13 2013-07-24 キヤノン株式会社 オブジェクト識別装置及びオブジェクト識別方法
JP4742193B2 (ja) * 2009-04-28 2011-08-10 Necソフト株式会社 年齢推定装置、年齢推定方法及びプログラム
JP5506274B2 (ja) * 2009-07-31 2014-05-28 富士フイルム株式会社 画像処理装置及び方法、データ処理装置及び方法、並びにプログラム
JP5695924B2 (ja) * 2010-02-01 2015-04-08 株式会社ニューフレアテクノロジー 欠陥推定装置および欠陥推定方法並びに検査装置および検査方法
JP5804834B2 (ja) * 2011-08-03 2015-11-04 株式会社オービット 検査プログラム、同プログラムを格納した記録媒体及び検査装置
DE102012101242A1 (de) * 2012-02-16 2013-08-22 Hseb Dresden Gmbh Inspektionsverfahren
CN102881029A (zh) 2012-07-19 2013-01-16 中国人民解放军第二炮兵工程大学 一种热波图像序列的压缩和重构方法
JP5944850B2 (ja) * 2013-03-11 2016-07-05 株式会社日立ハイテクノロジーズ 欠陥検査方法及びこれを用いた装置
DE112013004507T5 (de) * 2013-03-28 2015-12-31 Fujifilm Corporation Bildverarbeitungsvorrichtung, Bilderfassungsvorrichtung, Bildverarbeitungsverfahren, Programm und Aufzeichnungsmedium
JP6389651B2 (ja) * 2013-09-10 2018-09-12 Juki株式会社 検査方法、実装方法、及び実装装置
US9710728B2 (en) * 2014-10-28 2017-07-18 Kla-Tencor Corporation Image based signal response metrology
JP2016139467A (ja) * 2015-01-26 2016-08-04 株式会社日立ハイテクノロジーズ 試料観察方法および試料観察装置
US10012599B2 (en) * 2015-04-03 2018-07-03 Kla-Tencor Corp. Optical die to database inspection
TWI571701B (zh) * 2015-04-30 2017-02-21 力晶科技股份有限公司 偵測微影熱點的方法
CN105426902B (zh) * 2015-09-16 2019-06-25 西安印钞有限公司 基于形变复原技术的钞券质量检测系统及方法
US10416087B2 (en) * 2016-01-01 2019-09-17 Kla-Tencor Corporation Systems and methods for defect detection using image reconstruction
US9915625B2 (en) * 2016-01-04 2018-03-13 Kla-Tencor Corp. Optical die to database inspection
US10346740B2 (en) * 2016-06-01 2019-07-09 Kla-Tencor Corp. Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
CN106663316A (zh) * 2016-08-30 2017-05-10 深圳大学 一种基于块稀疏压缩感知的红外图像重构方法及其系统
US10031997B1 (en) * 2016-11-29 2018-07-24 Taiwan Semiconductor Manufacturing Co., Ltd. Forecasting wafer defects using frequency domain analysis

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06281592A (ja) * 1993-03-29 1994-10-07 Sumitomo Metal Ind Ltd 表面検査方法
JP2000346627A (ja) * 1999-06-07 2000-12-15 Toray Eng Co Ltd 検査装置
JP2006322766A (ja) * 2005-05-18 2006-11-30 Hitachi High-Technologies Corp パターン欠陥検査装置および方法
JP2009032273A (ja) * 2008-08-29 2009-02-12 Olympus Corp 分類装置
JP2011138388A (ja) * 2009-12-28 2011-07-14 Canon Inc データ補正装置及び方法
JP2016091359A (ja) * 2014-11-06 2016-05-23 株式会社リコー 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018211891A1 (ja) * 2017-05-18 2018-11-22 住友電気工業株式会社 異変検出装置及び異変検出方法
KR20200026784A (ko) * 2018-08-31 2020-03-11 도시바 미쓰비시덴키 산교시스템 가부시키가이샤 제조 프로세스 감시 장치
KR102194352B1 (ko) 2018-08-31 2020-12-23 도시바 미쓰비시덴키 산교시스템 가부시키가이샤 제조 프로세스 감시 장치
KR102647255B1 (ko) 2018-11-28 2024-03-12 에이조 가부시키가이샤 정보 처리 방법 및 기록 매체에 기록된 컴퓨터 프로그램
JPWO2020110629A1 (ja) * 2018-11-28 2021-10-21 Eizo株式会社 情報処理方法及びコンピュータプログラム
WO2020110629A1 (ja) * 2018-11-28 2020-06-04 Eizo株式会社 情報処理方法及びコンピュータプログラム
US11776114B2 (en) 2018-11-28 2023-10-03 Eizo Corporation Information processing method and computer program
JP7008843B2 (ja) 2018-11-28 2022-01-25 Eizo株式会社 情報処理方法及びコンピュータプログラム
WO2020110224A1 (ja) * 2018-11-28 2020-06-04 Eizo株式会社 情報処理方法及びコンピュータプログラム
KR20210084576A (ko) * 2018-11-28 2021-07-07 에이조 가부시키가이샤 정보 처리 방법 및 기록 매체에 기록된 컴퓨터 프로그램
TWI735967B (zh) * 2018-11-28 2021-08-11 日商Eizo股份有限公司 信息處理方法及計算機程序
JP2020139905A (ja) * 2019-03-01 2020-09-03 セイコーエプソン株式会社 検査装置、検査方法、およびプログラム
US11562479B2 (en) 2019-03-01 2023-01-24 Seiko Epson Corporation Inspection apparatus, inspection method, and non-volatile storage medium
JP2020160616A (ja) * 2019-03-25 2020-10-01 ブラザー工業株式会社 生成装置、コンピュータプログラム、生成方法
WO2020202352A1 (ja) * 2019-03-29 2020-10-08 株式会社ワコム ペン状態検出回路及びペン状態検出方法
US11604521B2 (en) 2019-03-29 2023-03-14 Wacom Co., Ltd. Pen state detection circuit, system, and method
WO2020202734A1 (ja) * 2019-03-29 2020-10-08 株式会社ワコム ペン状態検出回路、システム及び方法
US11841999B2 (en) 2019-03-29 2023-12-12 Wacom Co., Ltd. Pen state detection circuit, system, and method
JPWO2020202734A1 (ja) * 2019-03-29 2021-11-25 株式会社ワコム ペン状態検出回路、システム及び方法
JP7277567B2 (ja) 2019-03-29 2023-05-19 株式会社ワコム ペン状態検出回路、システム及び方法
JP2020188839A (ja) * 2019-05-20 2020-11-26 株式会社アルム 画像処理装置、画像処理システム、および画像処理プログラム
JP2020190791A (ja) * 2019-05-20 2020-11-26 株式会社アルム 画像処理装置、画像処理システム、および画像処理プログラム
CN112082653A (zh) * 2019-06-12 2020-12-15 株式会社日立制作所 自动检查系统以及无线分机
JP7270842B2 (ja) 2020-04-28 2023-05-10 三菱電機株式会社 外観検査装置および外観検査方法
JPWO2021220437A1 (ja) * 2020-04-28 2021-11-04
WO2021220437A1 (ja) * 2020-04-28 2021-11-04 三菱電機株式会社 外観検査装置および外観検査方法
JP2021176070A (ja) * 2020-05-02 2021-11-04 Arithmer Inc 画像検査装置、画像検査方法及びプログラム
JP6989860B2 (ja) 2020-05-02 2022-01-12 Arithmer株式会社 画像検査装置、画像検査方法及びプログラム
WO2022201968A1 (ja) 2021-03-26 2022-09-29 コニカミノルタ株式会社 情報処理装置、制御プログラム、および制御方法
WO2022264824A1 (ja) * 2021-06-16 2022-12-22 株式会社日立製作所 異常判定用計算機及び異常判定方法

Also Published As

Publication number Publication date
KR102011628B1 (ko) 2019-08-16
US11645744B2 (en) 2023-05-09
CN110036279A (zh) 2019-07-19
DE112016007498B4 (de) 2020-11-26
JPWO2018105028A1 (ja) 2018-12-06
TWI638157B (zh) 2018-10-11
DE112016007498T5 (de) 2019-08-29
JP6241576B1 (ja) 2017-12-06
KR20190065457A (ko) 2019-06-11
US20210295485A1 (en) 2021-09-23
TW201821788A (zh) 2018-06-16
CN110036279B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
JP6241576B1 (ja) 検査装置及び検査方法
JP6547275B2 (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム
US20150363634A1 (en) Face Hallucination Using Convolutional Neural Networks
KR101786754B1 (ko) 나이 추정 장치 및 방법
US8421877B2 (en) Feature data compression device, multi-directional face detection system and detection method thereof
JP6347589B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2011227704A (ja) 情報処理装置および方法ならびにプログラム
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
US9940691B2 (en) Information processing apparatus, control method of the same, and video camera
CN110879982A (zh) 一种人群计数系统及方法
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
Giboulot et al. Steganalysis into the wild: How to define a source?
US20220414827A1 (en) Training apparatus, training method, and medium
JP5146797B2 (ja) パターン欠陥検査のための装置、その方法及びそのプログラムを記録したコンピュータ読取り可能な記録媒体
CN114419406A (zh) 图像变化检测方法、训练方法、装置和计算机设备
JP7046768B2 (ja) 情報推定装置及び情報推定方法
CN113139963A (zh) 缺陷检测方法和装置
WO2022194344A1 (en) Learnable augmentation space for dense generative adversarial networks
JP2012243285A (ja) 特徴点位置決定装置、特徴点位置決定方法及びプログラム
JP2004054442A (ja) 顔検出装置、顔検出方法および顔検出プログラム
CN115272229A (zh) 一种类别不平衡条件下的异常视觉图像检测方法及装置
Mandal et al. Super-resolving a single intensity/range image via non-local means and sparse representation
JP6147003B2 (ja) 情報処理装置、情報処理方法及びプログラム
Sadjadi Measures of effectiveness and their use in comparative image fusion analysis
WO2016051707A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017523001

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16923132

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20197015539

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 16923132

Country of ref document: EP

Kind code of ref document: A1