WO2011052332A1 - 欠陥検査用画像処理装置および欠陥検査用画像処理方法 - Google Patents

欠陥検査用画像処理装置および欠陥検査用画像処理方法 Download PDF

Info

Publication number
WO2011052332A1
WO2011052332A1 PCT/JP2010/066934 JP2010066934W WO2011052332A1 WO 2011052332 A1 WO2011052332 A1 WO 2011052332A1 JP 2010066934 W JP2010066934 W JP 2010066934W WO 2011052332 A1 WO2011052332 A1 WO 2011052332A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
line
data
image
inspection object
Prior art date
Application number
PCT/JP2010/066934
Other languages
English (en)
French (fr)
Inventor
廣瀬　修
Original Assignee
住友化学株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友化学株式会社 filed Critical 住友化学株式会社
Priority to KR1020127013652A priority Critical patent/KR101682744B1/ko
Priority to CA2778128A priority patent/CA2778128A1/en
Priority to CN201080048759.7A priority patent/CN102630299B/zh
Priority to US13/504,791 priority patent/US20130128026A1/en
Priority to EP10826466A priority patent/EP2495552A1/en
Publication of WO2011052332A1 publication Critical patent/WO2011052332A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8901—Optical details; Scanning details
    • G01N21/8903—Optical details; Scanning details using a multiple detector array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G01N2021/8822—Dark field detection
    • G01N2021/8825—Separate detection of dark field and bright field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Definitions

  • the present invention relates to a defect inspection system for inspecting a defect of an inspection object such as a sheet, and a defect inspection imaging device, a defect inspection image processing device, a defect inspection image processing program, and a defect inspection image processing used therein.
  • the present invention relates to a computer-readable recording medium on which a program is recorded, and an image processing method for defect inspection.
  • the arrangement of the optical system shown in FIG. 15 (a) is called a regular transmission method, and the arrangement of the optical system shown in FIG. 15 (b) is called a transmission scattering method.
  • a method of measuring transmitted light such as a regular transmission method and a transmission scattering method, is used when inspecting an inspection object 502 having a high light transmittance.
  • the arrangement of the optical system shown in FIG. 15C is called a regular reflection method, and the arrangement of the optical system shown in FIG. 15D is called a reflection / scattering method.
  • a method of measuring reflected light such as a regular reflection method and a reflection / scattering method, is used when inspecting an inspection object 502 having a low light transmittance.
  • a line sensor 501 is disposed on the optical axis of the light emitted from the light source 503, and non-scattered light (regularly transmitted light or regular reflected light) from the inspection object 502. Is measured by the line sensor 501 is also called a bright field method.
  • the line sensor 501 is arranged shifted from the optical axis of the light emitted from the light source 503, and the non-scattered light from the inspection object 502 is directly incident on the line sensor 501.
  • a light shield (knife edge) 504 is disposed between the light source 503 and the inspection object 502 so that the line sensor 501 is focused on the end of the light shielding body 504, and scattered light (scattering) from the inspection object 502 is detected.
  • a method of measuring transmitted light or scattered reflected light) with the line sensor 501 is also referred to as a dark field method or an optical axis shifting method.
  • the light shield 504 may be omitted, and the line sensor 501 may be arranged so that non-scattered light from the inspection object 502 does not directly enter the line sensor 501.
  • the amount of non-scattered light received by the line sensor 501 is reduced by the light from the light source 503 being scattered by the defect of the inspection object 502.
  • the presence or absence of a defect in the inspection object 502 is determined from the amount of decrease (change) in the light received by the line sensor 501.
  • the bright field method is a method suitable for detecting a relatively large defect having a large reduction amount because of low detection sensitivity.
  • the arrangement of the optical system can be easily performed as compared with the dark field method, the operation is stable and the practical application is simple.
  • the line sensor 501 receives light scattered by the defect of the inspection object 502, and determines the presence or absence of the defect of the inspection object 502 from the amount of light received.
  • the dark field method has a higher defect detection sensitivity than the bright field method, and can detect minute irregularities (defects).
  • the optical system line sensor 501, light source 503, and light shield 504 with high accuracy, practical application is limited.
  • the dark field method is often used for the defect inspection apparatus.
  • the dark field method has a problem in that it is difficult to inspect defects of an inspection object with high accuracy because it is difficult to arrange an optical system practically as described above.
  • Patent Document 1 A technique for solving this problem is disclosed in Patent Document 1.
  • the size of a light shielding body appropriate for the arrangement of the optical system is defined.
  • JP 2007-333563 A released on December 27, 2007
  • JP 2008-292171 A released on December 4, 2008
  • Patent Document 1 also describes that in order to detect a defect with a small optical distortion, it is necessary to bring the line-shaped transmission illumination device and the light receiving means closer to each other (paragraph [0009]). Therefore, the conventional technology as described above has a problem that it is difficult to inspect various types of defects having different ray path changes caused by the defects with sufficient accuracy at a time.
  • the defect inspection apparatus using the dark field method it is necessary to arrange the optical system with high accuracy as described above. Therefore, it is practical to change the arrangement of the optical system and the size of the light shielding body according to the type of defect. ,Have difficulty. Therefore, in the conventional defect inspection apparatus using the dark field method, the arrangement of the optical system and the size of the light shielding body that can detect a specific type of defect that is relatively large are selected and used. There is a problem in that there are cases in which defects of a kind cannot be detected with sufficient accuracy.
  • the present invention has been made in view of the above-described problems, and its purpose is to provide a defect inspection system capable of detecting various types of defects having different ray path changes caused by defects at a sufficient accuracy, and A defect inspection imaging apparatus, a defect inspection image processing apparatus, a defect inspection image processing program, a computer-readable recording medium on which a defect inspection image processing program is recorded, and a defect inspection image processing method are realized. There is.
  • an image processing apparatus for defect inspection is continuously imaged in time by an imaging unit in a state where an object to be inspected and an imaging unit are relatively moved.
  • a defect inspection image processing apparatus that processes image data of a two-dimensional image of the inspection object and thereby generates defect inspection image data for inspecting a defect of the inspection object.
  • the same line extracting means for extracting one line data having the same position on the image data from the image data, and the line data extracted by the same line extracting means are arranged in time series to synthesize a plurality of lines.
  • Line synthesizing means for generating image data, and the same line extracting means includes the line data for a plurality of different positions on the image data.
  • the line composition means generates a plurality of different line composition image data by arranging the line data extracted by the same line extraction means in time series for each position on the image data. Furthermore, an operator calculation means for performing calculation using an operator for emphasizing a luminance change for each of the plurality of line composite image data and generating a plurality of emphasized image data of one line or a plurality of lines, Integrating means for integrating the luminance values of the plurality of emphasized image data indicating the same part of the inspection object for each pixel to generate image data for defect inspection.
  • the defect inspection image processing method continuously in time by the imaging unit while the object to be inspected and the imaging unit are relatively moved.
  • the same line extracting step for extracting one line data having the same position on the image data from the different image data, and the line data extracted in the same line extracting step are arranged in time series to form a plurality of lines.
  • Each line data is extracted, and in the line synthesis step, the line data extracted in the same line extraction step is arranged in time series for each position on the image data, and a plurality of different line synthesized image data Further, an operator calculation is performed for each of the plurality of line composite image data by performing an operation using an operator that emphasizes a luminance change and generating a plurality of emphasized image data of one line or a plurality of lines. And a step of integrating the luminance values of the plurality of emphasized image data indicating the same portion of the inspection object for each pixel to generate image data for defect inspection.
  • one line having the same position on the image data from among a plurality of different image data in the two-dimensional image of the inspection object imaged continuously in time by the imaging unit.
  • Data is extracted, and this extraction process is similarly performed for a plurality of different positions on the image data.
  • the extracted line data is arranged in time series for each position on the image data, and a plurality of different line combined image data composed of a plurality of lines is generated. Since the object to be inspected and the photographing unit are relatively moved, the plurality of different line composite image data corresponds to image data photographed at different photographing angles with respect to the object to be inspected. It is.
  • the line composite image data by generating the line composite image data, it is possible to obtain a plurality of image data captured at different imaging angles with respect to the inspection object without changing the imaging angle of the imaging unit with respect to the inspection object. it can. Therefore, it is possible to obtain line composite image data photographed at a plurality of optimum photographing angles for inspecting various types of defects having different ray path changes caused by the defects. Therefore, by referring to the plurality of line composite image data, it is possible to detect various types of defects on the inspection object having different ray path changes caused by the defects at a sufficient accuracy at a time. . In addition, even if the optical system placement accuracy is not high, any of the obtained multiple line composite image data is equivalent to the image data obtained when the optical system is placed with high accuracy, so defects can be detected with high accuracy. can do.
  • the operator calculation means performs calculation using an operator that emphasizes the luminance change for each of the plurality of line composite image data, thereby enhancing one line or a plurality of lines of the emphasized image data. Are generated respectively. Therefore, the luminance change in each pixel of the plurality of line composite image data is emphasized, so that it becomes easy to detect a minute defect, a thin defect, a light defect, or the like.
  • the defect inspection image data is generated by integrating the luminance values of the enhanced image data of the plurality of enhanced image data indicating the same portion of the inspection object for each pixel. By integrating, noise can be reduced.
  • the method for obtaining the plurality of emphasized image data indicating the same portion of the inspection object is not particularly limited. For example, (1) before extracting the same line, The line data indicating the same location is identified from each of the data, and an identifier indicating the same location is added to each line data.
  • the plurality of emphasized images based on the identifier A method of extracting the plurality of emphasized image data indicating the same portion of the inspection object from the data; (2) line data indicating the same portion from a plurality of different image data before extracting the same line; Identify each and add an identifier indicating the same location to each line data, and after the line synthesis, before the operator calculation, The plurality of line composite image data indicating the same part of the inspection object is extracted from the in-composition image data, and the plurality of line composite image data indicating the same part of the extracted inspection object is extracted A method of generating the plurality of emphasized image data indicating the same portion of the inspection object by performing an operator calculation; (3) after the operator calculation and before the integration, from a plurality of different emphasized image data.
  • a method for identifying and extracting enhanced image data indicating the same location (4) After the line synthesis, before the operator calculation, enhanced image data indicating the same location from a plurality of different line synthesized image data.
  • the operator operation is performed on the plurality of line composite image data that is specified and extracted and indicates the same portion of the extracted inspection object. And the like; a method of producing a plurality of weighted image data representing the same portion of the object to be inspected by the.
  • the operator calculating means performs a calculation using the differential operator on the plurality of line combined image data, thereby obtaining a center of the plurality of line combined image data.
  • the brightness value gradient along the direction orthogonal to the center line at each pixel in the line is calculated, and the brightness value of each pixel in the center line of the plurality of line composite image data is calculated as the brightness value gradient at each pixel. It is preferable to generate new one-line emphasized image data by replacing with absolute values.
  • the said operator calculating means performs the calculation using a differential operator with respect to these line synthetic
  • combination image data The gradient of the luminance value along the direction orthogonal to is calculated, and the luminance value of each pixel in the center line of the plurality of line composite image data is replaced with the absolute value of the gradient of the luminance value in each pixel, thereby creating one new line
  • the enhanced image data is generated.
  • the luminance value as an absolute value, the data can be processed without distinction as data indicating a defect regardless of whether the gradient of the luminance value is positive or negative.
  • the defect appearing on the bright side and the defect appearing on the dark side can be handled in the same manner, the defect can be detected with high accuracy even if the arrangement accuracy of the optical system is not high. Also, by adding the luminance values of the plurality of emphasized image data for each pixel to generate defect inspection image data, the data indicating the defect can be added without canceling. For this reason, it is possible to detect even a defect whose appearance changes on the bright side or on the dark side depending on the arrangement of the optical system (experience is known that many such defects actually exist). ing).
  • the integration unit may include the plurality of emphasized image data respectively indicating the plurality of portions of the inspection object for each portion of the inspection object. Are integrated for each pixel to generate a plurality of defect inspection image data respectively indicating a plurality of portions of the inspection object, and a plurality of each indicating the plurality of portions of the inspection object. It is preferable to include image generation means for arranging the defect inspection image data corresponding to the location of the inspection object and synthesizing new defect inspection image data.
  • the image generating means arranges the image data corresponding to the location of the inspection object and synthesizes new image data for defect inspection. Since the position of the image data for defect inspection synthesized by the image generation means corresponds to the location of the inspection object, it is possible to easily detect which position of the entire inspection object has a defect.
  • the integration unit may inspect the inspection object for each location of the inspection object in order from the top location of the inspection object every time the imaging unit captures an image. It is preferable that the luminance values of the plurality of emphasized image data indicating the same part of the object are integrated for each pixel to generate a plurality of defect inspection image data respectively indicating the plurality of parts of the inspection object.
  • the integration means indicates the same location of the inspected object for each location of the inspected object in order from the first location of the inspected object every time the imaging unit captures an image.
  • the luminance values of the plurality of emphasized image data are integrated for each pixel to generate a plurality of defect inspection image data respectively indicating a plurality of locations of the inspection object. Therefore, it is possible to generate defect inspection image data from the emphasized image data every time the imaging unit captures an image. Therefore, since an image for identifying the presence or absence of a defect can be output for each frame, a defect inspection can be performed in real time.
  • the defect inspection imaging apparatus provides a two-dimensional image of the inspection object in a state where the defect inspection image processing apparatus, the inspection object and the imaging unit are relatively moved. And a photographing unit that continuously photographs in time.
  • the image processing apparatus for defect inspection since the image processing apparatus for defect inspection is included, it is possible to provide an imaging apparatus for defect inspection that can detect various types of defects having different ray path changes caused by defects at a sufficient accuracy. it can.
  • the defect inspection system is a defect inspection system for inspecting a defect of an object to be inspected, and moves to relatively move the defect inspection imaging device, the object to be inspected, and the imaging unit. Means.
  • the imaging apparatus for defect inspection since the imaging apparatus for defect inspection is included, it is possible to provide a defect inspection system that can detect various types of defects having different ray path changes caused by defects at a sufficient accuracy.
  • the defect inspection system includes a light source that irradiates light to the inspection object, and a light shielding body that partially transmits or reflects the inspection object from the light source and blocks light incident on the imaging unit. And inspecting the inspection object for defects using the dark field method.
  • the image processing apparatus for defect inspection may be realized by a computer.
  • the image processing apparatus for defect inspection is operated by operating the computer as each unit of the image processing apparatus for defect inspection.
  • a control program realized by a computer and a computer-readable recording medium on which the control program is recorded also fall within the scope of the present invention.
  • the present invention it is possible to obtain a plurality of data captured at different imaging angles with respect to the same portion of the inspection object. Therefore, by referring to the plurality of data, it is possible to detect various types of defects on the inspection object.
  • FIG. 1 It is a figure which shows the process of a line synthesis
  • (a) is a conceptual diagram which shows that the 480 images which the area camera image
  • (b) is this 480 image data ( (1) to (# 480) are sequentially arranged side by side from the left
  • (c) is a diagram illustrating a state in which the Nth line is extracted from 480 pieces of image data and arranged.
  • (A) is a figure which shows the image which the area camera image
  • (b) is a figure which shows the image which extracted the line near knife edge from 480 pieces of image data which the area camera image
  • FIG. 4A is a diagram illustrating an example of an image taken by an area camera
  • FIG. 4B is an example of an RT-LCI image obtained by a defect inspection system according to an embodiment of the present invention.
  • FIG. 4B is an example of an RT-LCI image obtained by a defect inspection system according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating an example, (a) is a diagram illustrating an example of an image captured by an area camera, (b) is a diagram illustrating an example of a line composite image, and (c) is an embodiment of the present invention. It is a figure which shows an example of the RT-LCI image obtained by the defect inspection system which concerns on an example.
  • FIG. 4 is a diagram illustrating an example, (a) is a diagram illustrating an example of an image captured by an area camera, (b) is a diagram illustrating an example of a line composite image, and (c) is an embodiment of the present invention. It is a figure which shows an example of the RT-LCI image obtained by the defect inspection system which concerns on an example.
  • FIG. 4 is a diagram illustrating an example, (a) is a diagram illustrating an example of an image captured by an area camera, (b) is a diagram illustrating an example of a line composite image, and (c) is an embodiment of the present invention. It is a figure which
  • FIG. 4 is a diagram illustrating an example, (a) is a diagram illustrating an example of an image captured by an area camera, (b) is a diagram illustrating an example of a line composite image, and (c) is an embodiment of the present invention. It is a figure which shows an example of the RT-LCI image obtained by the defect inspection system which concerns on an example.
  • FIG. 2 shows an arrangement of an optical system of a defect inspection apparatus as a conventional technique, (a) shows an arrangement of an optical system of a regular transmission method, (b) shows an arrangement of an optical system of a transmission scattering method, and (c ) Is the arrangement of the specular reflection optical system, and (d) is the arrangement of the reflection scattering optical system.
  • the defect inspection system detects a defect of a molded sheet.
  • the defect inspection system according to this embodiment is suitable for inspection of a light-transmitting molded sheet, particularly a molded sheet made of a resin such as a thermoplastic resin.
  • a resin such as a thermoplastic resin.
  • the thermoplastic resin extruded from the extruder is passed through the gaps between the rolls to be treated to impart smoothness and gloss to the surface. What was shape
  • thermoplastic resin examples include methacrylic resin, methyl methacrylate-styrene copolymer, polyolefin such as polyethylene and polypropylene, polycarbonate, polyvinyl chloride, polystyrene, polyvinyl alcohol, and triacetyl cellulose resin. Etc.
  • the molded sheet may consist of only one of these thermoplastic resins, or may be a laminate (laminated sheet) obtained by laminating a plurality of types of these thermoplastic resins.
  • the defect inspection system according to the present embodiment is suitable for inspection of optical films such as polarizing films and retardation films, in particular, long optical films that are wound and stored and transported in a web shape.
  • the molded sheet may have any thickness, and even if it has a relatively thin thickness generally called a film, it has a relatively thick thickness generally called a plate. It may be.
  • defects in molded sheets include bubbles (such as those that occur during molding), fish eyes, foreign matter, tire marks, dents, scratches, and other point defects; nicks, streaks (such as those that occur due to differences in thickness), and the like. Can be mentioned.
  • the line sensor may be moved within a fluctuation tolerance (generally about several tens to several hundreds of ⁇ m) of the imaging line of the line sensor. Conceivable.
  • a fluctuation tolerance generally about several tens to several hundreds of ⁇ m
  • the optical system since it is necessary to arrange the optical system with high accuracy, it is difficult to detect defects under the same conditions while gradually changing the imaging line (imaging angle) of the line sensor. is there.
  • a method of photographing a plurality of imaging lines at the same time by arranging a plurality of line sensors can be considered, but the arrangement of a plurality of line sensors complicates the apparatus system, and the optical system needs to be arranged with higher accuracy. .
  • FIG. 2 is a diagram showing the positional relationship of the defect inspection optical system including the area camera 5, the linear light source 4 and the knife edge 7.
  • the area camera 5 is arranged above the linear light source 4 so that the center of the linear light source 4 coincides with the center of the photographing range, and the linear light source 4 is viewed from the area camera 5.
  • the knife edge 7 is arranged so that half of it is hidden.
  • FIG. 2B is a view as seen from the X-axis direction of FIG.
  • the area camera 5 includes a CCD (Charge Coupled Device) 51 and a lens 52. If the half angle ⁇ of the angle taken by the CCD 51 via the lens 52 is about ⁇ 0.1 degrees, the difference in shooting distance (1-cos ⁇ ) is negligible in the range taken by the CCD 51.
  • CCD Charge Coupled Device
  • the focal length f of the lens 52 is 35 mm
  • the distance between the lens 52 and the object to be inspected is about 300 mm
  • the area camera 5 having a resolution of 70 ⁇ m / pixel is used with the X axis as the center.
  • FIG. 3 is a schematic diagram showing an outline of the defect inspection system 1.
  • the defect inspection system 1 includes a conveyor (moving means) 3, a linear light source 4, an area camera (imaging unit) 5, an image analysis device (defect inspection image processing device) 6, a display unit 30, A knife edge 7 and an illumination diffuser 8 are included.
  • a molded sheet 2 that is an object to be inspected is disposed on a conveyor 3.
  • the area camera 5 continuously photographs the molding sheet 2 irradiated with light by the linear light source 4 while conveying the rectangular molding sheet 2 in a certain direction by the conveyor 3. Based on the two-dimensional image data of the molding sheet 2 photographed by the camera 5, the image analysis device 6 detects defects in the molding sheet 2.
  • the conveyor 3 conveys the rectangular molded sheet 2 in a direction orthogonal to its thickness direction, particularly in its longitudinal direction so that the position of the molded sheet 2 irradiated to the linear light source 4 changes.
  • the conveyor 3 includes, for example, a sending roller and a receiving roller that convey the molded sheet 2 in a fixed direction, and measures the conveying speed using a rotary encoder or the like.
  • the conveyance speed is set to about 2 m to 12 m / min, for example.
  • the conveyance speed in the conveyor 3 is set and controlled by an information processing device (not shown) or the like.
  • the linear light source 4 is arranged so that its longitudinal direction intersects with the conveyance direction of the molded sheet 2 (for example, a direction orthogonal to the conveyance direction of the molded sheet 2), and is irradiated from the linear light source 4. It is arranged at a position facing the area camera 5 with the molding sheet 2 sandwiched so that the transmitted light passes through the molding sheet 2 and enters the area camera 5.
  • the linear light source 4 is not particularly limited as long as it emits light that does not affect the composition and properties of the molded sheet 2.
  • a fluorescent light especially a high frequency fluorescent light
  • a metal halide lamp a halogen light
  • Such as a transmission light is used.
  • the linear light source 4 is arranged on the same side as the area camera 5 toward the molding sheet 2, and the linear light source 4 is reflected so as to be incident on the area camera 5 after being reflected by the molding sheet 2.
  • the light source 4 may be arranged (see the arrangement of the reflection / scattering optical system shown in FIG. 15D).
  • the configuration in which the light reflected by the molding sheet 2 is incident on the area camera 5 as described above can be applied not only to the molding sheet 2 but also to inspection of defects in various shapes and materials of inspection objects.
  • the area camera 5 receives light transmitted through the molding sheet 2 and continuously captures a two-dimensional image of the molding sheet 2 in terms of time.
  • the area camera 5 outputs data of the photographed two-dimensional image of the molded sheet 2 to the image analysis device 6.
  • the area camera 5 is composed of an area sensor composed of an image sensor such as a CCD or CMOS (Complementary Metal-Oxide Semiconductor) that captures a two-dimensional image.
  • the area camera 5 is not particularly limited as long as it outputs multi-gradation image data, but in the present embodiment, it can output 8-bit gray scale (256 gradations) image data.
  • the resolution of the area camera 5 may be selected according to the size of the defect to be detected.
  • the three-dimensional shape (ratio of width to height) of the defect detected by the defect inspection system 1 basically does not depend on the resolution of the area camera 5, so it is necessary to select the camera resolution depending on the type of defect to be detected. There is no.
  • the area camera 5 is preferably arranged so that the entire region in the width direction of the molded sheet 2 (direction orthogonal to the conveying direction of the molded sheet 2 and orthogonal to the thickness direction of the molded sheet 2) can be photographed. By photographing the entire area in the width direction of the molded sheet 2 with the area camera 5, it is possible to inspect defects in the entire area of the molded sheet 2.
  • the shooting interval (frame rate) of the area camera 5 may be fixed, may be changed by the user operating the area camera 5 itself, and an information processing device (connected to the area camera 5 ( It may be changed by the user operating (not shown; can be omitted).
  • the shooting interval of the area camera 5 may be a fraction of a second, which is the time interval of continuous shooting by the digital still camera.
  • it is usually used for an industrial CCD camera.
  • the time interval can be shortened by minimizing the number of lines in one frame.
  • the number of effective pixels is 512 x 480 pixels in the horizontal direction and 30 pixels per second (hereinafter FPS) when reading all the pixels
  • FPS pixels per second
  • the width is something.
  • FPS pixels per second
  • the number of effective pixels is about 1600 ⁇ horizontal 1200 pixels and all pixels are read out, about 150 FPS.
  • the number of effective pixels of the camera and the driving method can be appropriately selected depending on the conveyance speed of the inspection object, the size of the defect to be detected, and the like.
  • the image analysis device 6 receives the image data output from the area camera 5 and performs image processing on the image data, thereby generating defect inspection image data for inspecting the defect of the inspection object.
  • the defect inspection image data is output to the display unit 30.
  • the image analysis device 6 includes a storage unit 20 that stores image data, and an image processing unit 10 that performs image processing on the image data.
  • the area camera 5 and the image analysis device 6 constitute a defect inspection imaging device.
  • the image analysis device 6 is not particularly limited as long as it can perform image processing of two-dimensional image data.
  • a PC personal computer
  • Examples thereof include an image capture board equipped with an FPGA and a camera (called an intelligent camera) having a processor in which an image processing program is described. Details of the image processing performed by the image analysis device 6 will be described later.
  • the display unit 30 displays image data for defect inspection.
  • the display unit 30 only needs to display an image or a video.
  • an LC (Liquid Crystal) display panel, a plasma display panel, an EL (Electro Luminescence) display panel, or the like can be applied as the display unit 30.
  • the image analysis device 6 or the defect inspection imaging device may be configured to include the display unit 30. Further, the display unit 30 may be separated from the defect inspection system 1 as an external display device, and the display unit 30 may be replaced with another output device, for example, a printing device.
  • the knife edge 7 is a knife-shaped light blocking body that blocks light emitted from the linear light source 4.
  • the illumination diffusing plate 8 diffuses light in order to make the amount of light emitted from the linear light source 4 uniform.
  • the algorithm used in the present embodiment has been developed in view of the problem of the defect detection method using simple line synthesis described below.
  • a line synthesis method for generating an image equivalent to an image captured by a plurality of line sensors arranged in parallel from a plurality of images captured by the area camera 5 will be described with reference to FIG.
  • an area camera 5 having a frame rate of 60 FPS (Frame Per Second) takes 8 seconds and obtains 480 images.
  • FPS Full Per Second
  • a plurality of divisions are equally divided by at least one dividing line along the width direction of the molded sheet 2 (the direction orthogonal to the conveying direction of the molded sheet 2 and orthogonal to the thickness direction of the molded sheet 2).
  • Each of the partial images is referred to as a line.
  • the height of the entire image (size along the longitudinal direction of the molded sheet 2) is H pixels (H is a natural number), and the width of the entire image (size along the width direction of the molded sheet 2) is W pixels (W is a natural number).
  • the size of the line is a height H / L pixel (L is an integer of 2 or more) and a width W pixel.
  • the line is typically a partial image of 1 pixel ⁇ W pixels arranged on a straight line along the width direction of the molded sheet 2.
  • FIG. 4 (a) is a conceptual diagram showing that the 480 images are arranged in time series.
  • FIG. 4B is a diagram showing a state in which the 480 pieces of image data (# 1 to # 480) are arranged side by side sequentially from the left.
  • the lower dark part is a part where light is blocked by the knife edge 7, and the bright part near the center is a part where light from the linear light source 4 is transmitted.
  • the dark portion at the top is a location where the light from the linear light source 4 does not reach and is out of the inspection target. Further, the inspection object is conveyed from the bottom to the top in FIG.
  • one line (the red line shown in FIG. 4B: the Nth line) is extracted from the same position on the image data.
  • the width of one line extracted at this time is the distance that the inspection object moves per frame (1/60 second).
  • the extracted lines are arranged in order from the top so as to be a line extracted from the image data of # 1, a line extracted from the image data of # 2,..., A line extracted from the image data of # 480.
  • FIG. 4C shows a state in which the Nth line is extracted from 480 pieces of image data and arranged.
  • an image equivalent to the image captured by the line sensor that captures the Nth line can be generated by arranging the extracted lines and combining them into one piece of image data.
  • line synthesis extracting a line at the same position from a plurality of image data captured by the area camera 5 and generating an image equivalent to the image captured by the line sensor that captures the certain line.
  • a plurality of images can be obtained from the image data captured by the area camera 5.
  • Image data captured at an imaging angle (imaging position) can be generated at a time.
  • image data can be generated.
  • FIG. 5 shows an image photographed by the area camera 5 and an image obtained by line synthesis from 480 pieces of image data photographed by the area camera 5.
  • FIG. 5A is an image taken by the area camera 5.
  • FIG. 5A is an image similar to FIG. 4B, the dark part at the bottom is a part where light is blocked by the knife edge 7, and the bright part near the center is from the linear light source 4. It is a portion through which light is transmitted, and a dark portion at the top is a portion where the light from the linear light source 4 does not reach and is excluded from the inspection target.
  • the dark part protruding from the lower end to the upper part in FIG. 5A is the shadow of the object arranged for the mark.
  • FIG. 5B shows an image obtained by extracting lines near the knife edge 7 from 480 pieces of image data taken by the area camera 5 and synthesizing the lines. Specifically, it is an image obtained by extracting and synthesizing a line at a position 210 ⁇ m away from the upper end of the knife edge 7 toward the illumination side.
  • the dark portion protruding from the lower end to the upper portion in FIG. 5B is the shadow of the object arranged for the mark.
  • FIG. 5B is seen, a thing like a washboard-like stripe (bank mark) can be visually recognized.
  • a defect that cannot be viewed with the image captured by the area camera 5 as it is can be visually recognized by performing line synthesis on the image data captured by the area camera 5.
  • FIG. 6A shows an original image obtained by line synthesis, which is the same as the image shown in FIG.
  • FIG. 6B is an image obtained by performing 7 ⁇ 7 vertical differential filter processing on the image shown in FIG.
  • FIG. 6C is an image obtained by binarizing the image shown in FIG. 6B according to a fixed threshold using the Laplacian histogram method. In this way, by performing image processing on the line-combined image, it is possible to identify defects more prominently.
  • an image in which the defect is best seen is selected from a plurality of images obtained by line synthesis of image data captured by the area camera 5. Therefore, the defect inspection can be easily performed and the efficiency of the defect inspection is improved. Further, image processing is performed on each line composite image corresponding to a plurality of generated shooting angles, and an image in which a defect appears remarkably is selected from each line composite image subjected to image processing and referenced. As a result, various defects of the inspection object can be clearly recognized.
  • RT-LCI Real-Time-Line Composition-and-Integration
  • each part of the image analysis apparatus 6 that performs RT-LCI will be described with reference to FIG.
  • the number of types of photographing angles used when performing RT-LCI image processing is k (k is an integer of 2 or more).
  • the number of lines of the differential operator described later is m (m is a natural number). Note that the number k of shooting angles and the number m of differential operator rows can be set arbitrarily and are determined in advance.
  • the distance that the inspection object 2 moves from the time when the area camera 5 captures a certain image to the time when the next image is captured is defined as the movement width, and the data described later.
  • the actual distance (distance on the surface of the inspection object 2) indicated by the width of the line data (one line partial image data) extracted by the extraction unit is the same as the movement width.
  • the number of differential operator columns may be two or more, but is assumed to be one here.
  • FIG. 1 is a functional block diagram showing the configuration of the main part of the image analysis device 6.
  • the image analysis device 6 includes the image processing unit 10 and the storage unit 20.
  • the image processing unit 10 includes a data extraction unit (same line extraction unit) 11, a first segment determination unit 12, a data storage unit (line synthesis unit) 13, an all segment determination unit 14, and a change amount calculation unit (operator calculation unit) 15. ,
  • the same location determination extraction unit 16 an integration unit (integration unit) 17, and an image generation unit (image generation unit) 18.
  • the storage unit 20 includes a first storage unit 21, a second storage unit 22, a third storage unit 23, and a fourth storage unit 24.
  • the second storage unit 22 includes a first area 221, a second area 222, and a kth area 22k.
  • the first region 221 to the kth region 22k are each divided into m sections.
  • the data extraction unit 11 includes a first extraction unit 111, a second extraction unit 112,..., A kth extraction unit 11k.
  • the first extraction unit 111 extracts line data at a predetermined position on the image data (for example, line data at the bottom) from the image data stored in the first storage unit 21.
  • the line data at a predetermined position extracted by the first extraction unit 111 is set as the first line data.
  • the second extraction unit 112 extracts line data (second line data) adjacent to the moving direction side of the inspection object 2 from the line data at the predetermined position on the image data.
  • the k-th extracting unit extracts k-th line data from the line data at the predetermined position on the image data in the moving direction of the inspection object 2.
  • the data extraction unit 11 extracts one line of line data having the same position on the image data from a plurality of different image data. Each line data is extracted.
  • the 1st classification determination part 12 is provided with the 1st determination part 121, the 2nd determination part 122, ... kth determination part 12k.
  • the first determination unit 121 determines whether or not line data is already stored in the first section of the first area 221 in the second storage unit 22.
  • the second determination unit 122 determines whether line data has already been stored in the first section of the second area 222 in the second storage unit 22.
  • the kth determination unit 12k determines whether or not line data is already stored in the first section of the kth region 22k in the second storage unit 22.
  • the data storage unit 13 includes a first storage unit 131, a second storage unit 132,..., A kth storage unit 13k.
  • the first storage unit 131 extracts the first storage unit 131.
  • the line data thus stored is stored in the first section of the first area 221.
  • the first storage unit 131 stores the first region 221.
  • the storage location of the data stored in each section is moved up by one section and moved.
  • the line data stored in the first section is moved to the second section, and the line data stored in the (m ⁇ 1) th section is moved to the mth section.
  • the line data is discarded or moved to a backup location (not shown).
  • the first storage unit 131 moves the storage location of the line data stored in each section, and then stores the line data extracted by the first extraction unit 111 in the first section of the first region 221. To do.
  • the first extraction unit 111 extracts a plurality of line data at a predetermined position on the image data
  • the first storage unit 131 continues the extracted plurality of line data in the first region 221. By storing the data in the sections, the plurality of extracted line data are combined into one line composite image data.
  • the second storage unit 132 receives the line data extracted by the second extraction unit 112 based on the determination of the second determination unit 122 of the first classification determination unit 12. 2 is stored in the first section of the second area 222.
  • the second storage unit 132 continues the second line 222 with the extracted line data. By storing the data in the sections, the plurality of extracted line data are combined into one line composite image data.
  • the kth storage unit 13 k receives the line data extracted by the kth extraction unit 11 k based on the determination of the kth determination unit 12 k of the first classification determination unit 12. Stored in the first section of the k region 22k.
  • the kth storage unit 13k continues the extracted line data in the kth region 22k. By storing the data in the sections, the extracted plurality of line data are combined into one line composite image data.
  • the data storage unit 13 generates line composite image data of a plurality of lines by arranging the line data extracted by the data extraction unit 11 in time series, and the line data extracted by the data extraction unit 11 For each position on the image data, a plurality of different line combined image data are generated in time series.
  • the all category determination unit 14 includes a first determination unit 141, a second determination unit 142,..., A kth determination unit 14k.
  • the first determination unit 141 determines whether or not line data is stored in all the sections (first to mth sections) of the first area 221.
  • the second determination unit 142 determines whether or not line data is stored in all sections (first to mth sections) of the second area 222.
  • the kth determination unit 14k determines whether or not line data is stored in all the sections (first to mth sections) of the kth area 22k.
  • the change amount calculation unit 15 includes a first calculation unit 151, a second calculation unit 152,..., A kth calculation unit 15k.
  • the first calculation unit 151 includes a plurality of lines stored in the first region 221 when the first determination unit 141 of the all-segment determination unit 14 determines that line data is stored in all the segments.
  • a differential operator operation is performed on the line composite image data composed of the data, and the enhanced image data (image data of one line or a plurality of lines) obtained as a result is stored in the third storage unit 23.
  • the second calculation unit 152 has a plurality of lines stored in the second region 222.
  • a differential operator operation is performed on the line composite image data composed of the data, and the enhanced image data (image data of one line or a plurality of lines) obtained as a result is stored in the third storage unit 23.
  • the k-th calculating unit 15k when the k-th determining unit 14k of the all-segment determining unit 14 determines that the line data is stored in all the segments, the plurality of lines stored in the k-th region 22k.
  • a differential operator operation is performed on the line composite image data composed of the data, and the enhanced image data (image data of one line or a plurality of lines) obtained as a result is stored in the third storage unit 23.
  • the details of the calculation processing performed by the change amount calculation unit 15 will be described later.
  • the change amount calculation unit 15 generates one line or a plurality of lines of emphasized image data by performing an operation using an operator that emphasizes the luminance change for each of the plurality of line composite image data. It is.
  • the same location determination extraction unit 16 determines whether or not the enhanced image data of all imaging angles (k types) indicating the same location of the inspection object 2 is stored in the third storage unit 23. When it is determined that the enhanced image data of all photographing angles indicating the same location is stored, the same location determination extraction unit 16 extracts the k types of enhanced image data.
  • the accumulating unit 17 accumulates the luminance values of k kinds of emphasized image data indicating the same location of the inspection object 2 extracted by the same location determining and extracting unit 16 for each pixel, and the defect inspection image of one line or plural lines. Data (RT-LCI data) is generated.
  • the accumulating unit 17 stores the position of the inspection object 2 indicated by the accumulated k types of emphasized image data in the fourth storage unit 24 in association with the defect inspection image data obtained as a result of the accumulation.
  • the image generation unit 18 is stored in the fourth storage unit 24 based on the position of the inspection object 2 associated with each defect inspection image data stored in the fourth storage unit 24.
  • the defect inspection image data are arranged in the same manner as the positional relationship of the inspection object 2 to synthesize new defect inspection image data (RT-LCI data). Display as.
  • FIG. 7 is a diagram illustrating an operation flow of each unit of the image analysis device 6 in the RT-LCI process.
  • the first extraction unit 111 extracts line data at a predetermined position (for example, the first line data from the bottom) from the image data stored in the first storage unit 21 (S41).
  • the first extraction unit 111 associates the position of the inspection object 2 indicated by the extracted line data with the line data. For example, when the movement width and the width of the actual distance indicated by the line data are the same, the first extraction unit 111 adds “pi” as a symbol indicating the position of the inspection object 2 to the extracted line data (where i is Frame number).
  • the line data at a predetermined position is arbitrarily set in advance, and it is determined from which line the data is extracted.
  • the k-th extraction unit 11k is the k-th line from the line data at the predetermined position extracted by the first extraction unit 111 toward the moving direction of the inspection object 2.
  • Data is extracted (S4k).
  • the kth extraction unit 11k associates the position of the inspection object 2 indicated by the extracted line data with the line data. For example, when the movement width and the width of the actual distance indicated by the line data are the same, the kth extraction unit 11k uses “p (i ⁇ k + 1)” as a symbol indicating the position of the inspection object 2 in the extracted line data. Append. If i ⁇ k (NO) in S3k, the process proceeds to S140.
  • the first determination unit 121 of the first division determination unit 12 determines whether or not line data is already stored in the first division of the first region 221 of the second storage unit 22 ( S51).
  • the first storage unit 131 stores the data in each section of the first region 221.
  • the storage location of the line data is moved up by one section and moved (S61).
  • the first storage unit 131 moves the storage location of the line data stored in each section, and then stores the line data extracted by the first extraction unit 111 in the first section of the first region 221. (S71).
  • the first extraction unit 111 extracts the first storage unit 131.
  • the line data thus stored is stored in the first section of the first area 221 (S71).
  • the second determination unit 122 of the first classification determination unit 12 determines whether or not line data is already stored in the first classification of the second region 222 of the second storage unit 22 (S52). ).
  • the second determination unit 122 determines that there is line data in the first section of the second region 222 (YES in S52)
  • the second storage unit 132 stores the data in each section of the second region 222.
  • the storage location of the line data is moved up by one section and moved (S62).
  • the second storage unit 132 moves the storage location of the line data stored in each section, and then stores the line data extracted by the second extraction unit 112 in the first section of the second region 222. (S72).
  • the second extraction unit 112 extracts the second storage unit 132.
  • the line data thus stored is stored in the first section of the second area 222 (S72).
  • the kth determination unit 12k of the first classification determination unit 12 determines whether data is already stored in the first classification of the kth region 22k of the second storage unit 22 (S5k). .
  • the kth storage unit 13k stores the data in each section of the kth area 22k.
  • the storage location of the line data is moved up by one section and moved (S6k).
  • the kth storage unit 13k moves the storage location of the line data stored in each section, and then stores the line data extracted by the kth extraction unit 11k in the first section of the kth region 22k. (S7k).
  • the kth determination unit 12k determines that there is no line data in the first section of the kth region 22k (NO in S5k)
  • the kth storage unit 13k is extracted by the kth extraction unit 11k.
  • the line data thus stored is stored in the first section of the kth area 22k (S7k).
  • the first determination unit 141 of the all section determination unit 14 determines whether or not line data is stored in all sections of the first region 221 (S81).
  • the first determination unit 141 of the all category determination unit 14 determines that line data is stored in all categories (YES in S81)
  • the first calculation unit 151 is stored in the first area 221.
  • a differential operator operation is performed on the combined line image data composed of a plurality of line data, and the resultant enhanced image data is stored in the third storage unit 23 (S91).
  • a symbol indicating the position of the inspection object 2 associated with the line data stored in the mth section of the first region 221 is added to the emphasized image data that is the result of the differential operator calculation. To do.
  • the first determination unit 141 determines that the line data is not stored in all the sections (NO in S81)
  • the process proceeds to S140.
  • the second determination unit 142 of the all category determination unit 14 determines whether or not line data is stored in all categories of the second region 221 (S82).
  • the second determination unit 142 of the all category determination unit 14 determines that the line data is stored in all categories (YES in S82)
  • the second calculation unit 152 is stored in the second area 222.
  • a differential operator operation is performed on the combined line image data composed of a plurality of line data, and the resultant enhanced image data is stored in the third storage unit 23 (S92).
  • a symbol indicating the position of the inspection object 2 associated with the line data stored in the mth section of the second region 222 is added to the emphasized image data that is the result of the differential operator calculation. To do.
  • the second determination unit 142 determines that the line data is not stored in all the sections (NO in S82)
  • the process proceeds to S140.
  • the k-th determination unit 14k of the all-section determination unit 14 determines whether or not line data is stored in all the sections of the k-th region 22k (S8k).
  • the k-th calculation unit 15k is stored in the k-th area 22k.
  • a differential operator operation is performed on the combined line image data composed of a plurality of line data, and the resultant enhanced image data is stored in the third storage unit 23 (S9k).
  • the same location determination extraction unit 16 refers to the symbol indicating the position of the inspection object 2 associated with the emphasized image data stored in the third storage unit 23, and the same of the inspection object 2 is detected. It is determined whether or not enhanced image data of all shooting angles (k types) indicating the location is stored (S100). When it is determined that the same location determination extraction unit 16 does not store the enhanced image data of all imaging angles indicating the same location of the inspection object 2 (NO in S100), the process proceeds to S140. On the other hand, if the same location determination extraction unit 16 determines that enhanced image data of all imaging angles indicating the same location of the inspection object 2 is stored (YES in S100), k types that are all imaging angles are stored. Extract enhanced image data.
  • the integrating unit 17 integrates the luminance values of the k types of emphasized image data extracted by the same location determination extracting unit 16 for each pixel (S110).
  • the accumulating unit 17 associates the symbol indicating the position of the inspected object 2 associated with the accumulated k types of emphasized image data with the defect inspection image data (RT-LCI data) as a result of accumulation.
  • the image generation unit 18 is stored in the fourth storage unit based on a symbol indicating the position of the inspection object 2 associated with each RT-LCI data stored in the fourth storage unit.
  • Each RT-LCI data is arranged in the same manner as the positional relationship of the inspection object 2, and new defect inspection image data (RT-LCI data) is synthesized (S120).
  • RT-LCI real-time line synthesis integration
  • FIG. 8A is a state transition diagram showing the image data stored in each storage unit and the state of the image displayed on the display unit 30 for each frame.
  • the number of pixels of the area camera 5 is n pixels wide (size in a direction orthogonal to the moving direction of the inspection object 2; n is an integer of 2 or more) ⁇ height (size along the moving direction of the inspection object 2).
  • n pixels are an integer of 2 or more
  • ⁇ height size along the moving direction of the inspection object 2.
  • the width of one line is one pixel. That is, the number of pixels in one line is n pixels ⁇ 1 pixel.
  • the distance (movement width) by which the inspection object 2 moves by the conveyor 3 per frame and the actual distance indicated by the width of one line are the same. That is, it is assumed that the actual distance (resolution of one pixel) indicated by one pixel is the same as the movement width.
  • Reference numeral 400 shown in FIG. 8b denotes the inspection object 2, and symbols (p1, p2,%) Described in 400 indicate the parts of the inspection object 2, and each part (p1, p2,). ) Is divided for each movement width.
  • the inspection object 2 is conveyed by the conveyor 3 from the lower side to the upper side of the imaging range 401 of the area camera 5.
  • Image data 410 shown in FIG. 8 a indicates image data stored in the first storage unit 21. That is, the image data as it is taken by the area camera 5 is used.
  • the image data 301 to 310 have the number of pixels of n pixels ⁇ 9 pixels and include nine line data.
  • the image data 301 to 310 are divided into nine line data, which are referred to as a first line, a second line,..., A ninth line in order from the bottom of the image data 301 to 310.
  • line data is extracted from the first line, the second line, and the third line.
  • the line data at the predetermined position described above is set as the first line data (bottom line data).
  • the first line is set as the shooting angle A
  • the second line is set as the shooting angle B
  • the third line is set as the shooting angle C.
  • each image data 301 to 310 is attached with a part (p1, p2,...)
  • “p1-A” is the imaging angle A, that is, line data corresponding to the first line and line data corresponding to the part p1 of the inspection object 2. Show.
  • the 420 shown in FIG. 8a indicates line data of 1 line or more and m lines (5 lines in this example) stored in the second storage unit 22. Further, 421 is stored in the first area 221, 422 is stored in the second area 222, and 423 is stored in the third area 223.
  • the line data is stored in the range of 1 line to m lines (5 lines in this example). Indicates. That is, the line composite image data 311 to 320 are line data of 1 to m lines (5 lines in this example) stored in the first area 221.
  • the line composite image data 321 to 330 are Line data stored in the second area 222 is not less than 1 line and not more than m lines (in this example, 5 lines), and the line composite image data 331 to 340 includes one line or more stored in the third area 223.
  • the line data is less than m lines (5 lines in this example).
  • Each of the line composite image data 311 to 340 is composed of one or more and five or less line data, and in order from the bottom of each line composite image data 311 to 340, the first section and the second of each region ... Line data stored in the fifth section.
  • each line composite image data 311 to 340 includes a part (p1, p2,...) And an imaging angle (A to C) of the inspection object 2 corresponding to each line data. It is appended.
  • Reference numeral 430 illustrated in FIG. 8 a indicates the emphasized image data stored in the third storage unit 23.
  • the corresponding parts (p3, p4,%) Of the inspection object 2 and the photographing angles (A to C) are appended to each of the emphasized image data 430 for convenience of explanation.
  • reference numeral 440 shown in FIG. 8 a indicates defect inspection image data (RT-LCI data) stored in the fourth storage unit 24.
  • 450 shown in FIG. 8a shows the image currently displayed on the display part 30.
  • FIG. The RT-LCI data 361 to 370 and the images 381 to 384 are also appended with corresponding parts (p3, p4,...) Of the inspection object 2 for each line for convenience of explanation.
  • FIG. 8c is a diagram showing a process for generating the RT-LCI data generated first.
  • the vertical axis of FIG. 8c represents time (time in frame units).
  • the same data as the data shown in FIG. A 1 , a 2 ,..., A m shown in FIG. 8c indicate elements of the first, second,.
  • RT-LCI RT-LCI processing
  • no data is stored in each storage unit at the start of RT-LCI processing.
  • the RT-LCI processing is started when the upper end portion p1 of the inspection object 2 enters the imaging range 401 of the area camera 5.
  • the first extraction unit 111 extracts the line data p1-A from the first line (predetermined line) of the image data 301, and the first storage unit 131 is extracted by the first extraction unit 111.
  • the line data p1-A is stored in the first section of the first area 221.
  • the image data taken by the area camera 5 at this time is image data 302.
  • the first extraction unit 111 extracts line data p2-A from the first line of the image data 302.
  • the first storage unit 131 stores the first region
  • the line data p1-A (line data of the first line associated with the part p1) in the first section 221 is moved to the second section of the first region 221 and the first extraction unit
  • the line data p2-A extracted by 111 (line data associated with the part p2) is stored in the first section of the first region 221.
  • the second extraction unit 112 extracts the line data p1-B from the second line of the image data 302, and the second storage unit 132 sets the second extraction unit 112.
  • the line data p1-B extracted by the above is stored in the first section of the second area 222. Also here, since there is no line data in all the sections of the first area 221 and the second area 222, it waits to shift to the next frame.
  • Image data taken by the area camera 5 at this time is image data 303.
  • the first extraction unit 111 and the second extraction unit 112 extract line data p3-A and p2-B from the first line and the second line of the image data 303, respectively.
  • the first storage unit 131 and the second storage unit 132 move the line data stored in the first region 221 and the second region 222 upward by one section, respectively, and the first region 221 and the second storage unit Line data p3-A and p2-B are stored in the first section of area 222.
  • the third extraction unit 113 extracts the line data p1-C from the third line of the image data 303, and the third storage unit is the third extraction unit 113.
  • the line data p1-C extracted by the above is stored in the first section of the third area 223. Also here, since there is no line data in all sections of the first area 221, the second area 222, and the third area 223, it waits to shift to the next frame.
  • the first to third extraction units 111 to 113 perform the line data p4-A, p3-B, from the first to third lines of the image data 304 and 305, respectively.
  • p2-C and line data p5-A, p4-B, and p3-C are extracted, and the first to third storage units 131 to 133 are stored in the first to third areas 221 to 223, respectively.
  • the line data is moved upward by one section, and line data p4-A, p3-B, p2-C and line data p5-A, p4-B are added to the first section of the first to third regions 221 to 223. , P3-C are stored.
  • the line composite image data 315 stored in the first area 221 is combined with the line composite image data obtained by combining the first line (shooting angle A) in the image data 301 to 305 of the first to fifth frames.
  • the first determination section 141 of the all section determination section 14 It is determined that there is line data in all sections of one region 221, and the first calculation unit 151 performs a differential operator calculation (arithmetic processing that applies a differential filter) on the line composite image data 315, thereby generating a line composite image.
  • the center line data of the data 315 that is, the emphasized image data 341 representing the absolute value of the luminance gradient in the line data p3-A stored in the third section of the first area is generated and stored in the third storage unit 23.
  • the first calculation unit 151 uses the symbol p3 indicating the part of the inspection object 2 associated with the line data p3-A stored in the third section of the first area and the line composition.
  • a symbol A indicating the shooting angle corresponding to the image data 315 is added to the emphasized image data of the differential operator calculation result.
  • the same location determination extraction unit 16 determines whether or not the enhanced image data of all imaging angles (3 types) indicating the same location (part) of the inspection object 2 is stored in the third storage unit 23.
  • the third storage unit 23 has only the emphasized image data 341, it waits for a transition to the next frame.
  • the first to third extraction units 111 to 113 extract line data p6-A, p5-B, and p4-C from the first to third lines of the image data 306, respectively.
  • the first to third storage units 131 to 133 move the line data already stored in the first to third areas 221 to 223 upward one by one, and the first to third areas 221 to 223 Line data p6-A, p5-B, and p4-C are stored in the first section.
  • the line composite image data 316 and the line composite image data 326 stored in the first region 221 and the second region 222 are stored in the first line (image data 302 to 306 of the second to sixth frames).
  • the first to third extraction units 111 to 113 extract line data p7-A, p6-B, and p5-C from the first to third lines of the image data 307, respectively.
  • the first to third storage units 131 to 133 move the line data already stored in the first to third areas 221 to 223 upward one by one, and the first to third areas 221 to 223 Line data p7-A, p6-B, and p5-C are stored in the first section. Accordingly, the line composite image data 317, 327, and 337 stored in the first to third areas 221 to 223 are the first lines (shooting angle A) in the image data 303 to 307 of the third to seventh frames.
  • Line synthesized image data obtained by synthesizing the second line (shooting angle B) in the third to seventh frame image data 303 to 307, and third to seventh frame image data 303.
  • the combined line image data is obtained by combining the third lines (shooting angle C) in .about.307. Since the line data is stored in all sections of the first area 221, the second area 222, and the third area 223, the first calculation unit 151 performs a differential operator operation on the line composite image data 317, and The enhanced image data 350 representing the absolute value of the luminance gradient in the line data p5-A is generated, and the second calculation unit 152 performs a differential operator operation on the line composite image data 327, and the luminance gradient in the line data p4-B is calculated.
  • Emphasized image data 349 representing the absolute value is generated, and the third calculation unit 153 performs a differential operator operation on the line composite image data 337 to obtain the enhanced image data 347 representing the absolute value of the luminance gradient in the line data p3-C.
  • the generated enhanced image data 350, 349, and 347 are stored in the third storage unit 23.
  • enhanced image data (enhanced image data 345 to 347) of all imaging angles (three types of A, B, and C) indicating the same part p3 of the inspection object 2 is stored in the third storage unit 23.
  • the integrating unit 17 integrates the luminance values of the emphasized image data 345, 346, and 347 to generate RT-LCI data 361 of the part p3 and stores it in the fourth storage unit 24. Then, the image generation unit 18 outputs the RT-LCI data 361 of the part p3 as new defect inspection image data to the display unit 30, and the display unit 30 displays the defect inspection image 381.
  • the generation processing of the RT-LCI data 361 will be described again with reference to FIG.
  • the frame number i 5 (m)
  • 5 (m) rows and one column are added to the line synthesized image data 315 obtained by synthesizing the same lines of the image data 301 to 305 of 5 (m) frames.
  • a differential operator calculation is performed to generate emphasized image data 341 representing the absolute value of the luminance gradient in the line data p3-A (become emphasized image data 342, 345, etc. in subsequent frames).
  • a 5 ⁇ 1 differential operator operation is performed on the line composite image data 337 obtained by synthesizing the same lines of the image data 303 to 307 of 5 frames.
  • Emphasized image data 347 representing the absolute value of the luminance gradient in the data p3-C is generated.
  • the RT-LCI data 361 of the part p3 is generated by integrating the luminance values of the enhanced image data 345 to 347 at the same observation position in the generated 3 (k) frame.
  • the first to third extraction units 111 to 113 extract line data p8-A, p7-B, and p6-C from the first to third lines of the image data 308, respectively.
  • the first to third storage units 131 to 133 move the line data already stored in the first to third areas 221 to 223 upward one by one, and the first to third areas 221 to 223 Line data p8-A, p7-B, and p6-C are stored in the first section.
  • the line composite image data 318, 328, 338 stored in the first to third areas 221 to 223 are converted into the first line (shooting angle A) in the image data 304 to 308 of the fourth to eighth frames.
  • Emphasized image data 355 representing an absolute value is generated, and the third calculation unit 153 performs a differential operator operation on the line composite image data 338 to obtain enhanced image data 353 representing the absolute value of the luminance gradient in the line data p4-C.
  • the generated enhanced image data 356, 355, and 353 are stored in the third storage unit 23.
  • enhanced image data enhanced image data (enhanced image data 351 to 353) of all imaging angles (three types of A, B, and C) indicating the same part p4 of the inspection object 2 is stored in the third storage unit 23. Therefore, the integrating unit 17 integrates the luminance values of the emphasized image data 351 to 353 to generate the RT-LCI data 363 of the part p4 and stores it in the fourth storage unit 24.
  • the image generation unit 18 arranges the RT-LCI data 362 and 363 from the top so that the RT-LCI data 362 and 363 correspond to the positional relationship of the inspection object 2, and arranges the RT-LCI data 362 and 363 from the top for new defect inspection.
  • the image data is synthesized and output to the display unit 30.
  • the display unit 30 displays the defect inspection image 382 of the parts p3 and p4.
  • defect inspection image data obtained by arranging and synthesizing the RT-LCI data of the parts p3, p4, and p5 is output to the display unit 30, and the parts p3, p4, The defect inspection image data of p5 is displayed.
  • the defect inspection image data obtained by arranging and synthesizing the RT-LCI data of the parts p3, p4, p5, and p6 is output to the display unit 30 and displayed.
  • the defect inspection images of the parts p3, p4, p5, and p6 are displayed.
  • the defect inspection image data obtained by arranging and synthesizing the RT-LCI data of the parts p3 to p476 in the frame number i 480. Is output to the display unit 30, and the defect inspection images of the parts p3 to p478 are displayed on the display unit 30. Therefore, it is possible to obtain defect inspection image data for most of the inspection object 2 (474/478). If only the parts p3 to p476 of the inspection object 2 are the inspection objects, defect inspection image data for the entire inspection object can be obtained.
  • FIG. 9 shows line composite image data composed of a plurality of line data stored in the second storage unit 22, a differential operator used by the change amount calculation unit 15, and values of the emphasized image data calculated by the change amount calculation unit 15. It is a figure which shows an example.
  • a matrix 461 shown in FIG. 9 corresponds to line composite image data (line composite image data 315, 326, 337 shown in FIGS. 8a and 8c, etc.) composed of five line data stored in the second storage unit 22. ) In 5 rows by 4 columns with luminance values of all the pixels as elements.
  • a matrix 462 illustrated in FIG. 9 is a 5 ⁇ 1 differential operator (differential filter) used by the change amount calculation unit 15.
  • a matrix 463 illustrated in FIG. 9 is a 5-by-4 matrix having the vertical luminance gradient calculated by the variation calculation unit 15 as an element.
  • a matrix 464 shown in FIG. 9 is the absolute value of the matrix 463, and indicates the luminance values of all the pixels of the enhanced image data 341 to 356 shown in FIG. 8a.
  • the change amount calculation unit 15 calculates the vertical luminance gradient of the center line data of the line synthesized image data by applying the differential operator to the line synthesized image data including the five line data, and the luminance data Is generated. By calculating the gradient of the luminance value of the line composite image data, it becomes easy to detect a minute defect, a thin defect, and a light defect on the inspection object 2.
  • the brightness gradient calculated by the change amount calculation unit 15 is not 0, it indicates that there is a defect in that part of the inspection object 2 (however, if the brightness gradient is close to 0, it is a defect). And may be noise).
  • the inspection object 2 has a defect, in the inspection object 2, the defect becomes dark in a region where the light from the linear light source 4 is incident without being blocked by the knife edge 7, and the light from the linear light source 4 is converted into a knife. In the area that is shielded by the edge 7 and is not directly incident, the defect is photographed as bright. Therefore, the sign of the value of the brightness gradient does not affect the presence or absence of a defect, and the magnitude of the brightness gradient is important when determining the presence or absence of a defect.
  • the change amount calculation unit 15 generates the matrix 464 by taking the absolute value of the luminance gradient matrix 463 generated by the change amount calculation unit 15 as in the matrix 464 shown in FIG. As described above, the change amount calculation unit 15 replaces the luminance value of each pixel in the center line of the line composite image data with the absolute value of the vertical luminance gradient in each pixel, and adds new one-line emphasized image data. Generate. In this way, by using the absolute value of the luminance gradient, the defect appearing on the bright side and the defect appearing on the dark side contribute to plus in the same way, and it becomes easier to identify the presence or absence of the defect.
  • the photographing range of the area camera 5 so as to straddle the knife edge 7 when positioning the optical system. Furthermore, when positioning the knife edge 7, it is possible to perform an inspection with high accuracy without strictly matching the horizontal direction of the area camera 5. That is, it is not necessary to arrange the optical system in the dark field method with high accuracy compared to the conventional case, which is simplified. For this reason, the inspection capability of the defect inspection system and the maintainability of the apparatus system of the defect inspection system, particularly the optical system, are improved.
  • the inspection object 2 when the inspection object 2 is relatively thick or when the inspection object 2 is warped, it is irradiated from the linear light source 4. When light passes through the object 2 to be inspected, it may be refracted and incident off the optical axis of the area camera 5. Further, in the conventional reflection / scattering method, as shown in FIG. 10C, when the inspection object 2 is relatively thick or the inspection object 2 is warped, the light irradiated from the linear light source 4 is irradiated.
  • the inspection object 2 When the inspection object 2 is reflected, it may be reflected at an angle different from the reflection angle intended in the design of the optical system, and may be incident with a deviation from the optical axis of the area camera 5. As described above, the light from the linear light source 4 unintentionally shifts and enters the area camera 5 under the influence of the thickness and warpage of the object 2 to be inspected. There is a risk of misidentifying that there is a defect on the inspection object 2 because it cannot be distinguished from the deviation of the optical axis due to the defect.
  • the inspection object 2 is relatively thin, the curvature of the inspection object 2 is relatively small, or the incident angle (the Z axis and the area camera 5 shown in FIG. 2).
  • the angle of the incident light to the optical axis is relatively small, the optical axis shift is slight, so the influence on the image captured by the area camera 5 is relatively small.
  • FIG. 10B when the inspection object 2 is relatively thick, the curvature of the inspection object 2 is relatively large, or the incident angle is relatively large, the deviation of the optical axis becomes large, The influence on the image captured by the area camera 5 cannot be ignored.
  • the reflection / scattering method even when the reflection angles are slightly different, the deviation of the optical axis increases in proportion to the distance between the inspection object 2 and the area camera 5.
  • the optical axis may be shifted due to the thickness or warpage of the inspection object 2 as in the conventional case.
  • the influence of the deviation of the optical axis due to the thickness or warpage of the inspection object 2 is obtained. Can be suppressed.
  • the distance that the inspection object 2 moves from the time when the area camera 5 captures a certain image until the next image is captured one frame period
  • the data extraction unit 11 Although the actual distance indicated by the width of the extracted line data is the same, it is not limited to this.
  • the width of the line data extracted by the data extraction unit 11 is set to 5 pixels. RT-LCI processing can be performed.
  • the data extraction unit 11 performs line data (n ⁇ 1 pixel) every 5 frames.
  • the same RT-LCI process can be performed.
  • the actual distance indicated by the width of the line data extracted by the data extraction unit 11 and the moving width cannot be strictly matched (for example, the ratio of the resolution per pixel of the area camera 5 to the moving width is 1: 1).
  • the line data position is corrected using a pattern matching technique, a similar RT-LCI process can be performed. Note that the above pattern matching technique is easy to implement in hardware and various methods are known, so that a technique suitable for RT-LCI processing may be used.
  • the image analysis apparatus 6 has the first to k-th areas 221 to 22k, the first as the means for storing the line data of the first to k-th lines extracted by the data extraction unit 11.
  • the 1st to kth determination units 121 to 12k and the 1st to kth storage units 131 to 13k are provided, but instead of these, the first to kth lines of the 1st to kth lines extracted by the data extraction unit 11 are provided.
  • each FIFO memory includes first to fifth sections for storing one line of line data, and each time new line data is received, the received line data is stored in the first section.
  • the data stored in the second to fourth sections is moved to the third to fifth sections, and the data stored in the fifth section is discarded.
  • the area camera 5 is fixed and the inspection object 2 is moved using the conveyor 3.
  • the present invention is not limited to this, and the area camera 5 and the inspection object 2 move relatively. If you do.
  • data (image data, line data, etc.) not related to or used for RT-LCI processing may be discarded each time, or the same storage unit or another storage unit for backup. You may save it in For example, the image data 301 to 310 shown in FIG. 8a are not used in the RT-LCI processing after the line data is extracted, but may be stored in the first storage unit 21 or the like.
  • smoothing processing may be performed before and after the change amount calculation unit 15 calculates the gradient of the luminance value of the line composite image data.
  • the line composite image data including a plurality of line data stored in each of the first to kth regions 221 to 22k.
  • a smoothing processing unit that generates smoothed image data by performing a smoothing process using a smoothing operator of m rows and 1 column may be provided. By performing the smoothing process, it is possible to detect small (light, thin) defects that are buried in noise.
  • a smoothing operator for example, a 7 ⁇ 1 matrix (1, 1, 1, 1, 1, 1, 1) T can be used.
  • an operation using another operator such as a sharpening operator
  • An operator calculation processing unit may be provided.
  • the defect inspection image data synthesized by the image generation unit 18 may be output after binarizing the luminance value with an appropriate threshold value. Thereby, noise can be removed, and image data for defect inspection that shows defects more clearly and accurately can be output and displayed.
  • image data for defect inspection which shows a defect more correctly can be output and displayed.
  • defect inspection may be performed based on whether or not the luminance value of each pixel in the binarized image data is a luminance representing a defect (bright luminance in the present embodiment). Good.
  • a two-dimensional image of the inspection object is taken using the knife edge 7, and the dark field in the image data for defect inspection (light from the linear light source 4 is blocked by the knife edge 7 to be linear.
  • the defect of the inspection object is inspected by using a dark field method of detecting the defect as a bright part (which is caused by light scattered by the defect of the inspection object 2) in the non-incident part).
  • the present invention is not limited to this.
  • a two-dimensional image of the object to be inspected is taken without the knife edge 7, and a dark part in a bright field (portion illuminated by the linear light source 4) in the image data for defect inspection.
  • the defect of the inspection object may be inspected by using a bright field method of detecting the defect (due to light scattering by the defect of the inspection object 2).
  • the RT-LCI process is performed every frame period.
  • the present invention is not limited to this.
  • the RT-LCI process may be performed every predetermined frame period, or an image is taken. Later, the captured image data may be collected and line synthesis integration image processing similar to RT-LCI processing may be performed.
  • line synthesis integration image processing similar to RT-LCI processing
  • image processing for line synthesis integration similar to the RT-LCI processing while storing the stored image data as image data in a storage device or the like and reading the stored image data in time series. In this way, the line synthesis integration process that is not performed in real time is referred to as software LCI processing.
  • the image analysis device 6 is a PC on which image processing software is installed.
  • the area camera 5 may include the image analysis device 6.
  • a capture board PC expansion card that captures image data from the area camera 5 may incorporate the image analysis device 6.
  • the change amount calculation unit 15 performs the differential operator calculation on the partial image data stored in each area of the second storage unit 22 using the same differential operator.
  • the first calculation unit of the change amount calculation unit 15 performs a differential operator calculation using a certain differential operator A on the line composite image data (315, etc.) stored in the first region.
  • the second calculation unit performs a differential operator operation using the differential operator B different from the differential operator A on the line composite image data (326 and the like) stored in the second area
  • the calculation unit may perform a differential operator calculation on the line composite image data (eg, 337) stored in the third region using a differential operator C different from the differential operators A and B.
  • a calculation using another operator that emphasizes a luminance change such as a smoothing operator, may be performed.
  • the line composite image data extracted from each photographed image data may be substantially the same.
  • the emphasized image data may be generated by using different differential operator operations for a plurality of substantially the same line combined image data.
  • Various defects can be detected by integrating a plurality of emphasized image data generated using the different differential operator calculations.
  • the same location determination extraction unit 16 extracts enhanced image data indicating the same location of the inspection object 2.
  • the change amount calculation unit 15 applies to the line composite image data extracted by the same location determination extraction unit 16.
  • the operator image calculation may be performed to generate the emphasized image data.
  • the change amount calculation unit 15 performs an operation using an operator that emphasizes the luminance change on each of the plurality of line composite image data combined by the data storage unit 13, thereby obtaining one line or a plurality of lines.
  • a plurality of emphasized image data are respectively generated, and the same location determination extraction unit 16 extracts a plurality of emphasized image data indicating the same location of the inspection object 2 from the plurality of emphasized image data generated by the change amount calculation unit 15.
  • the integrating unit 17 may generate defect inspection image data by integrating the luminance values of the plurality of emphasized image data extracted by the same location determination extracting unit 16 for each pixel.
  • the same location determination extraction unit 16 extracts a plurality of line composite image data indicating the same location of the inspection object 2 from the plurality of line composite image data synthesized by the data storage unit 13, and a change amount calculation unit 15 performs a calculation using an operator for emphasizing a change in brightness on each of the plurality of line composite image data extracted by the same location determination extraction unit 16, thereby obtaining a plurality of emphasized image data of one line or a plurality of lines.
  • the integration unit 17 may generate the defect inspection image data by integrating the luminance values of the plurality of emphasized image data generated by the change amount calculation unit 15 for each pixel.
  • a symbol (identifying) that specifies (identifies) a position on the inspection object 2 with respect to the extracted line data. Identifier) is added, but the present invention is not limited to this.
  • the image data (captured image data, line data, line synthesis) is processed before the same location determination extraction unit 16 performs processing for extracting line composite image data (or enhanced image data) indicating the same location of the inspection object 2.
  • a symbol for specifying the position on the inspection object 2 may be added to the image data, the emphasized image data, and the like.
  • the same location determination extraction unit 16 generates line composite image data (or emphasized image data) indicating the same location of the inspection object 2. It may be identified and extracted.
  • the area camera 5 has a frame rate of 60 FPS and was shot in a normal TV format. Photographed for 8 seconds with an area camera, RT-LCI processing was performed on 480 images.
  • the conveyance speed of the conveyor 3 was set to 4.2 mm / second. That is, the inspection object 2 is set to move by 70 ⁇ m per frame.
  • a 22 kHz high frequency fluorescent lamp was used as the linear light source 4.
  • As the illumination diffuser plate 8 a milky white PMMA (polymethyl methacrylate) sheet having a thickness of 3 mm was used.
  • An NT cutter was used as the knife edge 7.
  • As the inspection object 2 a transparent PMMA sheet having defects such as bank marks and avatars was used.
  • the number of pixels of the line data extracted by the data extraction unit 11 is set to 512 ⁇ 1 pixels, and the moving width and the actual distance indicated by the width of the line data are set to coincide with each other.
  • the image shown in FIG. 11A is an original image, and is the image of the last frame (480th frame) of the moving image captured by the area camera 5.
  • This original image is the same type as the image shown in FIG.
  • the dark part at the bottom is a part where light is blocked by the knife edge 7, and the bright part near the center is from the linear light source 4.
  • the portion where the light of the linear light source 4 is transmitted, and the dark portion at the top is the portion where the light from the linear light source 4 does not reach and is out of the inspection target.
  • FIG. 11A is a shadow of an object arranged for a mark.
  • the image shown in FIG. 11B is an RT-LCI image obtained by performing RT-LCI processing on image data near the knife edge 7 of the original image and arranging the RT-LCI data according to the original image. . It shows that there is a defect in the bright part of the RT-LCI image. From the RT-LCI image, it can be seen that there are defects such as streak-like bank marks and dot-like avatars on the inspection object 2. Furthermore, since the position of the inspection object 2 corresponds to the position of the image, it is easy to identify what kind of defect exists at which position on the inspection object 2 by looking at the RT-LCI image. be able to.
  • FIG. 11A shows an image (480th frame) taken by the area camera 5.
  • m 7, and RT using a 7 ⁇ 1 matrix ( ⁇ 3, ⁇ 2, ⁇ 1, 0, 1, 2, 3) T as a differential operator for the original image.
  • FIG. 6 is a diagram illustrating an example of an RT-LCI image obtained by performing an LCI process.
  • the RT-LCI image shown in FIG. 11B is processed so as to enhance the luminance gradient in the vertical direction of the image data of the original image.
  • This differential operator is a calculation process suitable for detecting defects that are very light irregularities.
  • FIG. 11A shows an image (480th frame) taken by the area camera 5.
  • m 7, and RT using a 7 ⁇ 1 matrix ( ⁇ 3, ⁇ 2, ⁇ 1, 0, 1, 2, 3) T as a differential operator for the original image.
  • FIG. 6 is a diagram illustrating an example of an RT-LCI image obtained by performing an LCI process.
  • the RT-LCI image shown in FIG. 11B is
  • FIG. 6 is a diagram illustrating an example of an RT-LCI image obtained by performing RT-LCI processing using T.
  • This differential operator is an arithmetic process suitable for highlighting only moderate point defects.
  • FIG. 12 shows an example using another differential operator.
  • FIG. 12A shows an original image taken by the area camera 5.
  • FIG. 12B is a line composite image at a certain shooting angle near the edge of the original image.
  • FIG. 13 shows an example in which the image is taken with the knife edge inclined with respect to the horizontal direction of the area camera.
  • FIG. 13A is an original image taken by the area camera 5.
  • FIG. 13B is a line composite image at a certain shooting angle near the edge of the original image, which is equivalent to an image obtained by a defect inspection system using a conventional line sensor.
  • the left side of the image is bright and the right side is dark.
  • the defect inspection system using the conventional line sensor there is a great influence on the image captured by the arrangement relationship between the line sensor and the knife edge. That is, conventionally, an accurate inspection result cannot be obtained unless the arrangement of the optical system including the line sensor and the knife edge is positioned with high accuracy.
  • FIG. 13A is an original image taken by the area camera 5.
  • FIG. 13B is a line composite image at a certain shooting angle near the edge of the original image, which is equivalent to an image obtained by a defect inspection system using a conventional line sensor.
  • the left side of the image is bright and the right side is
  • RT-LCI processing is performed on the original image using a matrix ( ⁇ 2, ⁇ 1,0,1,2) T of 5 rows and 1 column as a differential operator. It is the RT-LCI image obtained by this. From FIG. 13C, it can be seen that unlike the case of FIG. 13B, the RT-LCI image is not affected by the inclination of the knife edge 7. That is, the defect inspection system 1 of the present invention can detect defects with high accuracy even when the knife edge 7 is inclined with respect to the horizontal direction of the area camera 5.
  • FIG. 14A shows an original image taken by the area camera.
  • FIG. 14B is a line composite image at a certain shooting angle in the vicinity of the edge of the original image.
  • m 7, and a 7 ⁇ 1 matrix (1,1,1,1,1,1) T as a smoothing operator instead of the differential operator for the original image.
  • each block of the image analysis device 6, particularly the data extraction unit 11, the first category determination unit 12, the data storage unit 13, the all category determination unit 14, the change amount calculation unit 15, the same location determination extraction unit 16, and the integration unit 17 and the image generation unit 18 may be configured by hardware logic such as a FPGA (Field Programmable Gate Gate Array) circuit, or may be realized by software using a CPU as follows.
  • FPGA Field Programmable Gate Gate Array
  • the image analysis device 6 adds, for example, an arithmetic unit for line extraction, an area FIFO memory, a comparator for binarization, etc. to an FPGA circuit that realizes a differential operator calculation of m rows and one column. It can be realized by doing.
  • An FPGA circuit that realizes m-row, 1-column differential operator operation includes m line FIFO memories for storing image data for each row, and m flip-flops with enable terminals for storing differential operator coefficients (filter coefficients). (DFFE), m multipliers that multiply the image data of each row and the coefficient of the differential operator, an adder circuit that adds the multiplication results, and the like.
  • DFFE differential operator coefficients
  • the change amount calculation unit 15 may set the number of rows and columns of the differential operator to be used as appropriate in accordance with the number of lines of the line composite image data stored in the second storage unit 22. Further, the emphasized image data generated as a result of the calculation by the change amount calculation unit 15 is not limited to one composed of one line as described above, and may be composed of a plurality of lines as a result of the calculation. Good.
  • the change amount calculation unit 15 calculates the luminance gradient in the vertical direction.
  • the present invention is not limited to this, and the luminance gradient in the horizontal direction may be calculated.
  • the defect inspection image data is generated in accordance with the size (number of pixels) of the image data captured by the area camera 5, but the present invention is not limited to this.
  • the above RT-LCI data may be generated as image data for defect inspection, and defects on the inspection object may be detected based on the generated data.
  • the image analysis apparatus 6 includes a CPU (central processing unit) that executes instructions of a control program for realizing each function, a ROM (read only memory) that stores the program, and a RAM (random access memory) that develops the program. And a storage device (recording medium) such as a memory for storing the program and various data.
  • An object of the present invention is a recording medium on which a program code (execution format program, intermediate code program, source program) of a control program of the image analysis apparatus 6 which is software for realizing the functions described above is recorded in a computer-readable manner. This can also be achieved by supplying the image analysis apparatus 6 and reading and executing the program code recorded on the recording medium by the computer (or CPU or MPU).
  • Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and disks including optical disks such as CD-ROM / MO / MD / DVD / CD-R.
  • Card system such as IC card, IC card (including memory card) / optical card, or semiconductor memory system such as mask ROM / EPROM / EEPROM / flash ROM.
  • the image analysis device 6 may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited.
  • the Internet intranet, extranet, LAN, ISDN, VAN, CATV communication network, virtual private network, telephone line network, mobile communication network, satellite communication. A net or the like is available.
  • the transmission medium constituting the communication network is not particularly limited.
  • wired such as IEEE 1394, USB, power line carrier, cable TV line, telephone line, ADSL line, etc.
  • infrared rays such as IrDA and remote control, Bluetooth (Registered trademark), 802.11 wireless, HDR, mobile phone network, satellite line, terrestrial digital network, and the like can also be used.
  • the present invention can also be realized in the form of a computer data signal embedded in a carrier wave in which the program code is embodied by electronic transmission.
  • the present invention relates to a defect inspection system for inspecting a defect of an inspection object such as a sheet, and a defect inspection imaging device, a defect inspection image processing device, a defect inspection image processing program, and a defect inspection image processing used therein.
  • the present invention can be used for a computer-readable recording medium on which a program is recorded and an image processing method for defect inspection.

Abstract

　生じる光線経路の変化が異なる様々な種類の欠陥を一度に十分な精度で検出できる欠陥検査用画像処理装置等を実現する。　欠陥検査用画像処理装置（画像解析装置）６は、移動中の成形シートをエリアカメラ５で時間的に連続して撮影した画像データを処理するものであり、画像データ上の異なる複数の位置について、同一位置のラインデータを異なる画像データからそれぞれ抽出するデータ抽出部１１と、複数のラインデータを画像データ上の位置ごとに時系列に並べて複数のライン合成画像データを生成するデータ格納部１３と、複数のライン合成画像データに微分オペレータ演算を行って複数の強調画像データを生成する変化量算出部１５と、複数の強調画像データから成形シートの同一箇所を示すものを抽出する同一箇所判定抽出部１６と、抽出された強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成する積算部１７とを備える。

Description

[規則37.2に基づきISAが決定した発明の名称]　欠陥検査用画像処理装置および欠陥検査用画像処理方法
　本発明は、シート状等の被検査物の欠陥を検査する欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、欠陥検査用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、および欠陥検査用画像処理方法に関するものである。
　一般に、シート状の被検査物の欠陥を検査する場合、被検査物に光を照射し、その透過光または反射光を測定・解析することによって、被検査物の欠陥を検出する方法がよく用いられている。この方法は、欠陥検査装置の光学系の配置によって、図１５に示すように、大きく４つに分類される。
　図１５（ａ）に示す光学系の配置は、正透過法と呼ばれるものであり、また、図１５（ｂ）に示す光学系の配置は、透過散乱法と呼ばれるものである。一般的に、正透過法および透過散乱法のように、透過光を測定する方法は、光透過率が高い被検査物５０２を検査するときに用いられる。図１５（ｃ）に示す光学系の配置は、正反射法と呼ばれるものであり、また、図１５（ｄ）に示す光学系の配置は、反射散乱法と呼ばれるものである。一般的に、正反射法および反射散乱法のように、反射光を測定する方法は、光透過率が小さい被検査物５０２を検査するときに用いられる。
　また、正透過法および正反射法のように、光源５０３から照射される光の光軸上にラインセンサ５０１を配置し、被検査物５０２からの非散乱光（正透過光または正反射光）をラインセンサ５０１で測定する方法を明視野法ともいう。一方、透過散乱法および反射散乱法のように、光源５０３から照射される光の光軸上からずらしてラインセンサ５０１を配置し、被検査物５０２からの非散乱光がラインセンサ５０１に直接入射しないように光源５０３と被検査物５０２との間に遮光体（ナイフエッジ）５０４を配置し、遮光体５０４の端部にラインセンサ５０１の焦点を合わせ、被検査物５０２からの散乱光（散乱透過光または散乱反射光）をラインセンサ５０１で測定する方法を暗視野法または光軸ずらし法ともいう。なお、暗視野法または光軸ずらし法では、遮光体５０４を省略し、被検査物５０２からの非散乱光がラインセンサ５０１に直接入射しないようにラインセンサ５０１を配置することもある。
　明視野法では、光源５０３からの光が被検査物５０２の欠陥によって散乱することにより、ラインセンサ５０１が受光する非散乱光の光量が減少する。明視野法では、このラインセンサ５０１が受光する光の減少量（変化量）から被検査物５０２の欠陥の有無を判断する。明視野法は、検出感度が低いため、減少量が大きい、比較的大きな欠陥を検出する場合に適した方法である。また、暗視野法と比較して、光学系の配置が容易に行えるため、動作が安定し実用化が簡単である。
　一方、暗視野法では、被検査物５０２の欠陥によって散乱した光をラインセンサ５０１が受光し、その受光量から被検査物５０２の欠陥の有無を判断する。暗視野法は、明視野法と比べて、欠陥の検出感度が高く、微小な凹凸（欠陥）を検出することができる。しかしながら、光学系（ラインセンサ５０１、光源５０３および遮光体５０４）を高精度に配置する必要があるため、実用化は限定的である。
　一般的に、被検査物の大きな欠陥は目視で確認できるため、微小な欠陥を検出できることが欠陥検査装置に望まれる。そのため、欠陥検査装置に暗視野法を用いることが多い。
しかしながら、暗視野法には、上述のように実用的には光学系の配置が困難であるため、被検査物の欠陥を精度良く検査することが難しいという問題がある。
　この問題を解決するための技術が特許文献１に開示されている。特許文献１に開示された技術は、被検査物の欠陥の有無を高精度に検出するために、光学系の配置に対して適切な遮光体の大きさが規定されている。
特開２００７－３３３５６３号公報（２００７年１２月２７日公開） 特開２００８－２９２１７１号公報（２００８年１２月４日公開）
　しかしながら、被検査物の欠陥によってどのような光線経路の変化が起こるかは、欠陥の種類（サイズ等）によって異なるので、適切な光学系の配置（光源と受光装置との位置関係等）や遮光体の大きさは、実際には、欠陥の種類（サイズ等）によって異なる。特許文献１にも、光学歪みが微小な欠点を検出するためには、ライン状透過照明装置と受光手段の位置を近づける必要があることが記載されている（段落［０００９］）。そのため、上述のような従来技術は、欠陥によって生じる光線経路の変化が異なる様々な種類の欠陥を一度に十分な精度で検査することが難しいという問題がある。暗視野法を用いる欠陥検査装置では、上述のように光学系を高精度に配置する必要があるため、欠陥の種類に応じて光学系の配置および遮光体の大きさを変更することが実用上、困難である。そのため、従来の暗視野法を用いる欠陥検査装置では、比較的多く存在する特定の種類の欠陥を検出できる光学系の配置および遮光体の大きさを選択して使用することになり、一部の種類の欠陥を十分な精度で検出できない場合があるという問題点を有している。
　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、欠陥によって生じる光線経路の変化が異なる様々な種類の欠陥を一度に十分な精度で検出できる欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、および欠陥検査用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、および欠陥検査用画像処理方法を実現することにある。
　本発明に係る欠陥検査用画像処理装置は、上記課題を解決するために、被検査物と撮影部とが相対的に移動させられている状態で、撮影部によって時間的に連続して撮影された上記被検査物の２次元画像の画像データを処理し、それによって上記被検査物の欠陥を検査するための欠陥検査用画像データを生成する欠陥検査用画像処理装置であって、複数の異なる画像データの中から画像データ上における位置が同一である１ラインのラインデータをそれぞれ抽出する同一ライン抽出手段と、上記同一ライン抽出手段によって抽出されたラインデータを時系列に並べて複数ラインのライン合成画像データを生成するライン合成手段とを備え、上記同一ライン抽出手段は、上記画像データ上における異なる複数の位置について上記ラインデータをそれぞれ抽出するものであり、上記ライン合成手段は、上記同一ライン抽出手段によって抽出されたラインデータを、上記画像データ上における位置ごとに、時系列に並べて異なる複数のライン合成画像データを生成するものであり、さらに、上記複数のライン合成画像データに対してそれぞれ、輝度変化を強調するオペレータを用いた演算を行い、１ラインまたは複数ラインの複数の強調画像データを生成するオペレータ演算手段と、上記被検査物の同一箇所を示す上記複数の強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成する積算手段と、を備える。
　また、本発明に係る欠陥検査用画像処理方法は、上記課題を解決するために、被検査物と撮影部とが相対的に移動させられている状態で、撮影部によって時間的に連続して撮影された上記被検査物の２次元画像の画像データを処理し、それによって上記被検査物の欠陥を検査するための欠陥検査用画像データを生成する欠陥検査用画像処理方法であって、複数の異なる画像データの中から画像データ上における位置が同一である１ラインのラインデータをそれぞれ抽出する同一ライン抽出ステップと、上記同一ライン抽出ステップにおいて抽出されたラインデータを時系列に並べて複数ラインの合成画像データを生成するライン合成ステップとを含み、上記同一ライン抽出ステップは、上記画像データ上における異なる複数の位置について上記ラインデータをそれぞれ抽出するステップであり、上記ライン合成ステップは、上記同一ライン抽出ステップにおいて抽出されたラインデータを、上記画像データ上における位置ごとに、時系列に並べて異なる複数のライン合成画像データを生成するステップであり、さらに、上記複数のライン合成画像データに対してそれぞれ、輝度変化を強調するオペレータを用いた演算を行い、１ラインまたは複数ラインの複数の強調画像データを生成するオペレータ演算ステップと、上記被検査物の同一箇所を示す上記複数の強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成する積算ステップと、を含む。
　上記の構成によれば、撮影部によって時間的に連続して撮影された上記被検査物の２次元画像における複数の異なる画像データの中から、画像データ上における位置が同一である１ラインのラインデータをそれぞれ抽出し、この抽出処理を上記画像データ上における異なる複数の位置について同様に行う。そして、抽出されたラインデータを、上記画像データ上における位置ごとに時系列に並べて、複数ラインから構成される、異なる複数のライン合成画像データを生成する。被検査物と撮影部とが相対的に移動させられているため、上記異なる複数のライン合成画像データは、上記被検査物に対して、それぞれ異なる撮影角度で撮影された画像データに相当するものである。よって、上記ライン合成画像データを生成することによって、上記被検査物に対する撮影部の撮影角度を変更することなく、上記被検査物に対して異なる撮影角度で撮影した複数の画像データを得ることができる。したがって、欠陥によって生じる光線経路の変化が異なる様々な種類の欠陥をそれぞれ検査するのに最適な複数の撮影角度で撮影されたライン合成画像データを得ることが可能となる。そのため、当該複数のライン合成画像データを参照することによって、欠陥によって生じる光線経路の変化が異なる被検査物上の様々な種類の欠陥を一度に十分な精度で検出することができるという効果を奏する。また、光学系の配置精度が高くなくても、得られる複数のライン合成画像データの何れかは、光学系を精度良く配置したときに得られる画像データと同等となるので、欠陥を精度良く検出することができる。
　また、上記の構成によれば、オペレータ演算手段が、上記複数のライン合成画像データに対してそれぞれ、輝度変化を強調するオペレータを用いた演算を行うことにより、１ラインまたは複数ラインの強調画像データをそれぞれ生成する。そのため、上記複数のライン合成画像データの各画素における輝度変化が強調されるので、微小な欠陥、薄い欠陥、または淡い欠陥などを検出することが容易になる。
　また、上記の構成によれば、上記被検査物の同一箇所を示す上記複数の強調画像データの強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成する。積算することによって、ノイズを低減できる。
　なお、上記被検査物の同一箇所を示す上記複数の強調画像データを得る方法は、特に限定されるものではなく、例えば、（１）上記同一ライン抽出の前に、複数の異なる画像データの中から同一箇所を示すラインデータをそれぞれ特定して、各ラインデータに対して同一箇所を示す識別子を付加し、上記オペレータ演算の後、上記積算の前に、上記識別子に基づいて上記複数の強調画像データの中から上記被検査物の同一箇所を示す上記複数の強調画像データを抽出する方法；（２）上記同一ライン抽出の前に、複数の異なる画像データの中から同一箇所を示すラインデータをそれぞれ特定して、各ラインデータに対して同一箇所を示す識別子を付加し、上記ライン合成の後、上記オペレータ演算の前に、上記識別子に基づいて上記複数のライン合成画像データの中から上記被検査物の同一箇所を示す上記複数のライン合成画像データを抽出し、抽出された上記被検査物の同一箇所を示す上記複数のライン合成画像データに対して上記オペレータ演算を行うことによって上記被検査物の同一箇所を示す上記複数の強調画像データを生成する方法；（３）上記オペレータ演算の後、上記積算の前に、複数の異なる強調画像データの中から同一箇所を示す強調画像データをそれぞれ特定および抽出する方法；（４）上記ライン合成の後、上記オペレータ演算の前に、複数の異なるライン合成画像データの中から同一箇所を示す強調画像データをそれぞれ特定および抽出し、抽出された上記被検査物の同一箇所を示す上記複数のライン合成画像データに対して上記オペレータ演算を行うことによって上記被検査物の同一箇所を示す上記複数の強調画像データを生成する方法；などが挙げられる。
　また、本発明に係る欠陥検査用画像処理装置は、上記オペレータ演算手段は、上記複数のライン合成画像データに対して微分オペレータを用いた演算を行うことにより、上記複数のライン合成画像データの中心ラインにおける各画素での、中心ラインに直交する方向に沿った輝度値の勾配を算出し、上記複数のライン合成画像データの中心ラインにおける各画素の輝度値を各画素での輝度値の勾配の絶対値に置き換えて新たな１ラインの強調画像データを生成するものであることが好ましい。
　上記の構成によれば、上記オペレータ演算手段が上記複数のライン合成画像データに対して微分オペレータを用いた演算を行って、上記複数のライン合成画像データの中心ラインにおける各画素での、中心ラインに直交する方向に沿った輝度値の勾配を算出し、上記複数のライン合成画像データの中心ラインにおける各画素の輝度値を各画素での輝度値の勾配の絶対値に置き換えて新たな１ラインの強調画像データを生成する。輝度値を絶対値で扱うことにより、輝度値の勾配が正であっても負であっても欠陥を示すデータとして両者を区別なく処理できる。つまり、明側に映る欠陥と暗側に映る欠陥を同様に扱うことができるため、光学系の配置精度が高くなくても欠陥を精度良く検出することができる。また、上記複数の強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成することによって、欠陥を示すデータを相殺することなく、加算することができる。そのため、光学系の配置によって明側に映るか暗側に映るかが変化するような欠陥であっても検出することができる（実際にそのような欠陥が多く存在することが経験的に知られている）。
　また、本発明に係る欠陥検査用画像処理装置は、上記積算手段は、上記被検査物の複数の箇所をそれぞれ示す上記複数の強調画像データを上記被検査物の箇所ごとに、当該強調画像データの輝度値を画素ごとに積算して、上記被検査物の複数の箇所をそれぞれ示す複数の欠陥検査用画像データを生成するものであり、さらに、上記被検査物の複数の箇所をそれぞれ示す複数の欠陥検査用画像データを、上記被検査物の箇所に対応させて並べて新たな欠陥検査用画像データを合成する画像生成手段を含むことが好ましい。
　上記の構成によれば、画像生成手段が上記被検査物の箇所に対応させて並べて新たな欠陥検査用画像データを合成する。画像生成手段が合成した欠陥検査用画像データの位置と上記被検査物の箇所が対応しているため、被検査物全体のどの位置に欠陥があるのかを容易に検出することが可能となる。
　また、本発明に係る欠陥検査用画像処理装置は、上記積算手段は、上記撮影部が撮影する毎に、上記被検査物の先頭箇所から順番に上記被検査物の箇所ごとに、上記被検査物の同一箇所を示す上記複数の強調画像データの輝度値を画素ごとに積算して、上記被検査物の複数の箇所をそれぞれ示す複数の欠陥検査用画像データを生成することが好ましい。
　上記の構成によれば、上記積算手段が、上記撮影部が撮影する毎に、上記被検査物の先頭箇所から順番に上記被検査物の箇所ごとに、上記被検査物の同一箇所を示す上記複数の強調画像データの輝度値を画素ごとに積算して、上記被検査物の複数の箇所をそれぞれ示す複数の欠陥検査用画像データを生成する。そのため、上記撮影部が撮影する毎に、強調画像データから欠陥検査用画像データを生成することができる。よって、フレーム毎に欠陥の有無を識別するための画像を出力することができるので、リアルタイムに欠陥検査を行うことが可能となる。
　また、本発明に係る欠陥検査用撮影装置は、前記欠陥検査用画像処理装置と、被検査物と撮影部とが相対的に移動させられている状態で、上記被検査物の２次元画像を時間的に連続して撮影する撮影部とを含む。
　上記構成によれば、前記欠陥検査用画像処理装置を含むので、欠陥によって生じる光線経路の変化が異なる様々な種類の欠陥を一度に十分な精度で検出できる欠陥検査用撮影装置を提供することができる。
　また、本発明に係る欠陥検査システムは、被検査物の欠陥を検査する欠陥検査システムであって、前記欠陥検査用撮影装置と、上記被検査物と上記撮影部とを相対的に移動させる移動手段とを含む。
　上記構成によれば、前記欠陥検査用撮影装置を含むので、欠陥によって生じる光線経路の変化が異なる様々な種類の欠陥を一度に十分な精度で検出できる欠陥検査システムを提供することができる。
　また、本発明に係る欠陥検査システムは、上記被検査物に光を照射する光源と、上記光源から上記被検査物を透過または反射して上記撮影部に入射する光を一部遮る遮光体とを含み、暗視野法を用いて被検査物の欠陥を検査する。
　上記構成によれば、明視野の状態から暗視野の状態に移行する過程の様々な光学条件が観測領域内に含まれるので、暗視野法または明視野法を単独で用いた場合と比べて、感度良く欠陥を検出でき、また、微小な欠陥を検出することができる。さらに、上記構成によれば、光学系を高精度に配置する必要がある従来の暗視野法を用いた欠陥検査システムと異なり、光学系を高精度に配置する必要がない。
　なお、上記欠陥検査用画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記欠陥検査用画像処理装置の各手段として動作させることにより、上記欠陥検査用画像処理装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。
　以上のように、本発明は、被検査物の同一箇所に対して異なる撮影角度で撮影した複数のデータを得ることができる。そのため、当該複数のデータを参照することによって、被検査物上の様々な種類の欠陥を検出することができるという効果を奏する。
本発明の一実施形態に係る欠陥検査システムを構成する画像処理部としての画像解析装置の、主要部の構成を示す機能ブロック図である。 エリアカメラ、線状光源およびナイフエッジを含む欠陥検査用光学系の位置関係を示す図であり、（ａ）はその斜視図であり、（ｂ）は、そのｙｚ平面を示す図である。 本発明の一実施形態に係る欠陥検査システムの概要を示す模式図である。 ライン合成のプロセスを示す図であり、（ａ）はエリアカメラが撮影した４８０枚の画像が時系列に並べられていることを示す概念図であり、（ｂ）はこの４８０枚の画像データ（＃１～＃４８０）を順番に左から横並びに並べている状態を示す図であり、（ｃ）は４８０枚の各画像データからＮ番目のラインを抜き出して並べた状態を示す図である。 （ａ）は、エリアカメラが撮影した画像を示す図であり、（ｂ）は、エリアカメラが撮影した４８０枚の画像データからナイフエッジ近傍ラインを抜き出しライン合成した画像を示す図である。 画像処理の一例を示す図であり、（ａ）は、ライン合成したオリジナルの画像であり、（ｂ）は、（ａ）に示す画像に対して７×７の垂直微分フィルタ処理を行った画像であり、（ｃ）は、（ｂ）に示す画像に対してラプラシアンヒストグラム法を用いて固定した閾値に従って２値化した画像である。 ＲＴ－ＬＣＩ（Real Time Line Composition and Integration：リアルタイム・ライン合成積算；この内容については後述する）処理における画像解析装置の各部の動作フローを示す図である。 ＲＴ－ＬＣＩ処理の概要を示す図であり、各記憶部に格納される画像データおよび表示部に表示される画像の状態を１フレーム毎に示す状態遷移図である。 ＲＴ－ＬＣＩ処理の概要を示す図であり、エリアカメラの撮影範囲と被検査物との関係を示す模式図である。 ＲＴ－ＬＣＩ処理の概要を示す図であり、最初に生成されるＲＴ－ＬＣＩデータを生成する処理を示す図である。 第２の記憶部に格納されているラインデータ、変化量算出部が用いる微分オペレータ、変化量算出部が算出した輝度データの値の一例を示す図である。 被検査物の厚みや反りによる光軸のずれが発生する様子を模式的に示す図である。 実施例を示すものであり、（ａ）はエリアカメラが撮影した画像の一例を示す図であり、（ｂ）は本発明の一実施例に係る欠陥検査システムによって得られるＲＴ－ＬＣＩ画像の一例を示す図である。 実施例を示すものであり、（ａ）はエリアカメラが撮影した画像の一例を示す図であり、（ｂ）はライン合成画像の一例を示す図であり、（ｃ）は本発明の一実施例に係る欠陥検査システムによって得られるＲＴ－ＬＣＩ画像の一例を示す図である。 実施例を示すものであり、（ａ）はエリアカメラが撮影した画像の一例を示す図であり、（ｂ）はライン合成画像の一例を示す図であり、（ｃ）は本発明の一実施例に係る欠陥検査システムによって得られるＲＴ－ＬＣＩ画像の一例を示す図である。 実施例を示すものであり、（ａ）はエリアカメラが撮影した画像の一例を示す図であり、（ｂ）はライン合成画像の一例を示す図であり、（ｃ）は本発明の一実施例に係る欠陥検査システムによって得られるＲＴ－ＬＣＩ画像の一例を示す図である。 従来技術である欠陥検査装置の光学系の配置を示すものであり、（ａ）は正透過法の光学系の配置であり、（ｂ）は透過散乱法の光学系の配置であり、（ｃ）は正反射法の光学系の配置であり、（ｄ）は反射散乱法の光学系の配置である。
　本発明の実施の一形態について、図面を参照しながら以下に説明する。
　本実施形態に係る欠陥検査システムは、成形シートの欠陥を検出するものである。本実施形態に係る欠陥検査システムは、光透過性の成形シート、特に、熱可塑性樹脂等の樹脂からなる成形シートの検査に適している。樹脂からなる成形シートとしては、例えば、押出機から押し出された熱可塑性樹脂をロールの隙間に通して表面に平滑さや光沢を付与する処理が施され、引取ロールにより搬送ロール上を冷却されながら引き取ることにより成形されたものが挙げられる。本実施の形態に適用可能な熱可塑性樹脂は、例えば、メタクリル樹脂、メタクリル酸メチル－スチレン共重合体、ポリエチレンやポリプロピレン等のポリオレフィン、ポリカーボネート、ポリ塩化ビニル、ポリスチレン、ポリビニルアルコール、トリアセチルセルロール樹脂等である。成形シートは、これら熱可塑性樹脂のうちの１つのみからなっていてもよく、これら熱可塑性樹脂の複数種類を積層したもの（積層シート）であってもよい。また、本実施形態に係る欠陥検査システムは、偏光フィルムや位相差フィルム等の光学フィルム、特にウェブ状に巻いて保管・輸送される長尺の光学フィルムの検査に適している。また、成形シートは、どのような厚みを持つものであってもよく、一般にフィルムと呼ばれるような比較的薄い厚みを持つものであっても、一般に板と呼ばれるような比較的厚い厚みを持つものであってもよい。
　成形シートの欠陥の例としては、気泡（成形時に生じるもの等）、フィッシュアイ、異物、タイヤ跡、打痕、傷等の点欠陥；クニック、スジ（厚さの違いにより生じるもの等）等が挙げられる。
　暗視野法において、ラインセンサを用いて、上記の様々な欠陥を検出する場合、ラインセンサの撮像ラインの変動許容値（一般的に数１０～数１００μｍ程度）内でラインセンサを移動させることが考えられる。しかしながら、上述のように、暗視野法では、光学系を高精度に配置する必要があるため、ラインセンサの撮像ライン（撮影角度）を少しずつ変えながら同じ条件で欠陥を検出することは困難である。また、ラインセンサを複数並列させて複数の撮像ラインを同時に撮影する方法も考えられるが、ラインセンサを複数配置することにより装置系が複雑になり、光学系をより高精度に配置する必要がある。
　そこで、本発明者は、以下の理由により、近軸条件下であればエリアカメラを用いることによって、ラインセンサを数１０本並べたものと同等の光学条件で撮影できると考えた。近軸条件下におけるエリアカメラの特性を図２に基づいて説明する。図２は、エリアカメラ５、線状光源４およびナイフエッジ７を含む欠陥検査用光学系の位置関係を示す図である。図２（ａ）に示すように、線状光源４の中心が撮影範囲の中心と一致するようにエリアカメラ５を線状光源４の上部に配置し、エリアカメラ５から見て線状光源４の半分が隠れるようにナイフエッジ７を配置する。ここで、線状光源４の中心を原点とし、線状光源４の長手方向をＸ軸、線状光源４の短手方向をＹ軸、エリアカメラ５から線状光源４に向かう方向をＺ軸とする。図２（ｂ）は、図２（ａ）のＸ軸方向から見た図である。エリアカメラ５は、ＣＣＤ（Charge Coupled Device）５１およびレンズ５２を含む。ＣＣＤ５１がレンズ５２を介して撮影する角度の半角θが～０．１度程度であれば、ＣＣＤ５１が撮影する範囲において撮影距離の差（１－ｃｏｓθ）が無視できる程度となる。具体的には、レンズ５２の焦点距離ｆ＝３５ｍｍの場合、レンズ５２と被検査物との距離は３００ｍｍ程度であり、解像度が７０μｍ／ｐｉｘｅｌのエリアカメラ５を用いて、Ｘ軸を中心に±７画素の範囲を撮影する場合、撮影角度の半角θは、
　θ＝arc tan(70[μm/pixel]×10^3×7[pixel]／300[mm])≒0.09[degree]
となる。よって、撮影距離の差は10^-6のオーダーのため、無視できる程度である。従って、この場合、各々の撮影範囲が７０μｍである１５本のラインセンサ（Ｘ軸上の１本のラインセンサと、その両側にそれぞれ配置された７本ずつのラインセンサ）が並列して撮影する場合と同等の光学条件で撮影できる。
　次に、エリアカメラ５を用いた、本実施形態に係る欠陥検査システム１の構成について、図３に基づいて以下に説明する。図３は、欠陥検査システム１の概要を示す模式図である。
　図３に示すように、欠陥検査システム１は、コンベア（移動手段）３、線状光源４、エリアカメラ（撮影部）５、画像解析装置（欠陥検査用画像処理装置）６、表示部３０、ナイフエッジ７および照明拡散板８を含む。被検査物である成形シート２は、コンベア３上に配置されている。欠陥検査システム１は、矩形の成形シート２をコンベア３によって一定方向に搬送しながら、線状光源４により光を照射された成形シート２をエリアカメラ５が時間的に連続して撮影し、エリアカメラ５が撮影した成形シート２の２次元画像データに基づいて画像解析装置６が成形シート２の欠陥を検出するものである。
　コンベア３は、成形シート２において線状光源４に照射される位置が変化するように、矩形の成形シート２を、その厚み方向に直交する方向、特にその長手方向に搬送するものである。コンベア３は、例えば、成形シート２を一定の方向に搬送する送出ローラと受取ローラとを備え、ロータリーエンコーダ等により搬送速度を計測する。搬送速度は、例えば２ｍ～１２ｍ／分程度に設定される。コンベア３における搬送速度は、図示しない情報処理装置等によって設定および制御される。
　線状光源４は、その長手方向が成形シート２の搬送方向と交差する方向（例えば成形シート２の搬送方向と直交する方向）となるように配置されており、かつ、線状光源４から照射される光が成形シート２を透過してエリアカメラ５に入射するように、成形シート２を挟んでエリアカメラ５に対向する位置に配置されている。線状光源４は、成形シート２の組成及び性質に影響を与えない光を発光するものであれば、特に限定されるものではなく、例えば、蛍光灯（特に高周波蛍光灯）、メタルハライドランプ、ハロゲン伝送ライトなどである。なお、線状光源４を成形シート２に向かってエリアカメラ５と同じ側に配置し、線状光源４から照射された光が成形シート２で反射してエリアカメラ５に入射するように線状光源４を配置してもよい（図１５（ｄ）に示す反射散乱法の光学系の配置を参照）。上述したような、成形シート２で反射した光がエリアカメラ５に入射する構成は、成形シート２だけではなく、種々の形状および材質の被検査物における欠陥の検査に適用することができる。
　エリアカメラ５は、成形シート２を透過した光を受光して、成形シート２の２次元画像を時間的に連続して撮影するものである。エリアカメラ５は、撮影した成形シート２の２次元画像のデータを画像解析装置６に出力する。エリアカメラ５は、２次元画像を撮像するＣＣＤまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子で構成されるエリアセンサからなる。エリアカメラ５は、多階調の画像データを出力であれば特に限定されるものではないが、本実施形態では８ビットグレースケール（２５６階調）の画像データを出力できるものである。
　欠陥検査システム１によって検出される欠陥のサイズは、エリアカメラ５の分解能に依存するので、検出したい欠陥のサイズに合わせてエリアカメラ５の分解能を選定するとよい。なお、欠陥検査システム１によって検出される欠陥の立体形状（幅対高さの比）は、基本的にはエリアカメラ５の分解能に依存しないので、検出したい欠陥の種類によってカメラ分解能を選定する必要はない。
　エリアカメラ５は、成形シート２の幅方向（成形シート２の搬送方向に直交し、かつ成形シート２の厚み方向に直交する方向）の全領域が撮影できるように配置されていることが好ましい。エリアカメラ５によって成形シート２の幅方向の全領域を撮影することにより、成形シート２の全領域の欠陥を検査することができる。
　エリアカメラ５の撮影間隔（フレームレート）は、固定されていてもよく、ユーザがエリアカメラ５自体を操作することによって変更可能となっていてもよく、エリアカメラ５に接続された情報処理装置（図示しない；省略可能）をユーザが操作することによって変更可能となっていてもよい。また、エリアカメラ５の撮影間隔は、デジタルスチルカメラの連続撮影の時間間隔である数分の１秒などであってもよいが、検査の効率化を向上させるために、工業用ＣＣＤカメラに通常備えられているパーシャルスキャン機能を使用して１フレームのライン数を必要最小限とすることで時間間隔を短くすることができる。例えば、有効画素数が横５１２×縦４８０画素、全画素読み出しのとき３０フレーム毎秒（以後ＦＰＳ）のカメラの場合、パーシャルスキャンにより横５１２×縦６０画素とすることで２４０ＦＰＳ程度での読み出しが可能なものがある。また、別の例として、有効画素数が横１６００×縦１２００画素程度、全画素読み出しのときフレームレート１５ＦＰＳのカメラを使用して横１６００×縦３２画素のパーシャルスキャンにて駆動する場合、１５０ＦＰＳ程度での読み出しが可能なカメラがある。カメラの有効画素数および駆動方法は、被検査物の搬送速度および検出対象欠陥のサイズ等により適宜選定することができる。
　画像解析装置６は、エリアカメラ５から出力された画像データを受信し、その画像データに対して画像処理を行い、それによって上記被検査物の欠陥を検査するための欠陥検査用画像データを生成し、欠陥検査用画像データを表示部３０へ出力するものである。画像解析装置６は、画像データを記憶する記憶部２０と、画像データに対して画像処理を行う画像処理部１０とを備える。エリアカメラ５および画像解析装置６によって欠陥検査用撮影装置が構成されている。画像解析装置６は、２次元画像データの画像処理を行うものであれば、特に限定されるものではなく、例えば、画像処理ソフトウェアがインストールされたＰＣ（パーソナルコンピュータ）、画像処理回路が記述されたＦＰＧＡを搭載する画像キャプチャボード、画像処理プログラムが記述されたプロセッサを備えるカメラ（インテリジェントカメラ等と呼ばれる）などが挙げられる。画像解析装置６が行う画像処理の詳細は後述する。
　表示部３０は、欠陥検査用画像データを表示するものである。表示部３０は、画像または映像を表示するものであればよく、例えば、ＬＣ（Liquid Crystal）表示パネル、プラズマ表示パネル、ＥＬ（Electro Luminescence）表示パネルなどを表示部３０として適用することができる。なお、画像解析装置６または欠陥検査用撮影装置が表示部３０を備える構成であっても良い。また、表示部３０を欠陥検査システム１から分離して外部の表示装置としてもよく、表示部３０を他の出力装置、例えば印刷装置に置き換えてもよい。
　ナイフエッジ７は、線状光源４から照射される光を遮るナイフ形状の遮光体である。
　照明拡散板８は、線状光源４から照射される光の光量を均一化するために、光を拡散するものである。
　次に、本実施形態で利用するアルゴリズムを開発した経緯について説明する。本実施形態で利用するアルゴリズムは、以下に説明する単純なライン合成を利用した欠陥検出方法の課題に鑑み開発されたものである。
　エリアカメラ５で撮影した複数の画像から、並列に複数並べられたラインセンサが撮影した画像と同等の画像を生成するライン合成の方法を図４に基づいて説明する。ここでは、フレームレートが６０ＦＰＳ（Frame Per Second）のエリアカメラ５で、８秒間撮影し、４８０枚の画像を得たものとする。画像データにおいて、成形シート２の幅方向（成形シート２の搬送方向に直交し、かつ成形シート２の厚み方向に直交する方向）に沿った少なくとも１つの分割線によって均等に分割してなる複数の部分画像の各々をラインと称する。画像全体の高さ（成形シート２の長手方向に沿ったサイズ）がＨ画素（Ｈは自然数）、画像全体の幅（成形シート２の幅方向に沿ったサイズ）がＷ画素（Ｗは自然数）であるとすれば、ラインのサイズは、高さＨ／Ｌ画素（Ｌは２以上の整数）、幅Ｗ画素である。
ラインは、典型的には、成形シート２の幅方向に沿って１直線上に並ぶ１画素×Ｗ画素の部分画像である。
　図４（ａ）は、その４８０枚の画像が時系列に並べられていることを示す概念図である。図４（ｂ）は、この４８０枚の画像データ（＃１～＃４８０）を順番に左から横並びに並べている状態を示す図である。図４（ｂ）に示す各画像データにおいて、下部の暗い部分はナイフエッジ７によって光が遮られている部分であり、中心付近の明るい部分は線状光源４からの光が透過している部分であり、上部の暗い部分は線状光源４の光が届いておらず、検査対象から外れている箇所である。また、被検査物は、図４（ｂ）の下から上へ向かって搬送されている。
　まず、４８０枚の各画像データに対して、画像データ上の同じ位置から１ライン（図４（ｂ）に示す赤い線：Ｎ番目のライン）を抜き出す。このとき抜き出す１ラインの幅は、１フレーム（１／６０秒）あたりに被検査物が動く距離である。抜き出した各ラインを上から順番に、＃１の画像データから抜き出したライン、＃２の画像データから抜き出したライン、・・・＃４８０の画像データから抜き出したラインとなるように並べる。図４（ｃ）は、４８０枚の各画像データからＮ番目のラインを抜き出して並べた状態を示す図である。図４（ｃ）に示すように、抜き出したラインを並べて１枚の画像データに合成することによって、Ｎ番目のラインを撮影するラインセンサが撮影した画像と同等の画像を生成することができる。このように、エリアカメラ５が撮影した複数の画像データから同じ位置のラインを抜き出して、当該或るラインを撮影するラインセンサが撮影した画像と同等の画像を生成することをライン合成と称する。
　４８０枚の各画像データからＮ番目のラインだけではなく、Ｎ＋１番目、Ｎ＋２番目、Ｎ－１番目などのラインを抜き出してライン合成を行うことによって、エリアカメラ５が撮影した画像データから、複数の撮影角度（撮影位置）で撮影された画像データを一度に生成することができる。つまり、エリアカメラ５が撮影した画像データに対してライン合成を行うことによって、複数のラインセンサが並列に配置されている光学系で撮影した複数の撮影角度の画像データと同等の、複数枚の画像データを生成することができる。
　次に、エリアカメラ５が撮影した４８０枚の画像データからライン合成した画像の具体例を説明する。図５にエリアカメラ５が撮影した画像と、エリアカメラ５が撮影した４８０枚の画像データからライン合成した画像とを示す。図５（ａ）は、エリアカメラ５が撮影した画像である。図５（ａ）は、図４（ｂ）と同様の画像であり、下部の暗い部分はナイフエッジ７によって光が遮られている部分であり、中心付近の明るい部分は線状光源４からの光が透過している部分であり、上部の暗い部分は線状光源４の光が届いておらず、検査対象から外れている箇所である。図５（ａ）の下端から上部に向かって突き出している暗い部分は、目印のために配置した物体の影である。図５（ａ）の白丸で囲んだ箇所に欠陥が存在するが、エリアカメラ５が撮影した画像そのままでは、欠陥を視認することができない。
　図５（ｂ）は、エリアカメラ５が撮影した４８０枚の画像データからナイフエッジ７近傍ラインを抜き出しライン合成した画像である。具体的には、ナイフエッジ７の上端から照明側へ２１０μｍ離れた位置のラインを抽出してライン合成した画像である。図５（ａ）と同様に、図５（ｂ）の下端から上部に向かって突き出している暗い部分は、目印のために配置した物体の影である。図５（ｂ）を見ると、わずかに洗濯板状のスジ（バンクマーク）のようなものが視認できる。このように、エリアカメラ５が撮影した画像そのままでは視認できなかった欠陥が、エリアカメラ５が撮影した画像データに対してライン合成することによって、視認できるようになる。
　ただ、ライン合成した画像そのままでは、欠陥を明瞭に識別することが難しいため、ライン合成画像に対して画像処理を行う。その画像処理の例として、図６に示すような手法がある。図６（ａ）は、ライン合成したオリジナルの画像であり、図５（ｂ）に示す画像と同様である。図６（ｂ）は、図６（ａ）に示す画像に対して７×７の垂直微分フィルタ処理を行った画像である。図６（ｃ）は、図６（ｂ）に示す画像に対してラプラシアンヒストグラム法を用いて固定した閾値に従って２値化した画像である。このように、ライン合成した画像に対して画像処理を施すことによって、欠陥をより顕著に識別することができる。
　このように、エリアカメラ５によって撮影した画像データに対してライン合成を施すことにより、複数の異なる光学条件下（撮影角度）でラインセンサによって撮影した画像と同等の、複数の異なる光学条件下の画像を一度に生成することができる。よって、生成した複数の画像の中から、欠陥が最も良く見える画像（最適な光学条件下の画像；例えば、図５（ｂ）のようなナイフエッジ７近傍ラインを抜き出しライン合成した画像）を選択し、選択した画像を用いて欠陥検出を行えば、最適な光学条件下でラインセンサによって撮影した画像を用いて欠陥検出を行うのと同様の結果が得られる。そして、最適な光学条件となるようにラインセンサの位置を移動させるよりも、エリアカメラ５で撮影した画像データのライン合成によって得られる複数の画像の中から、欠陥が最も良く見える画像を選択する方が容易であるので、欠陥検査の実施が容易になり、欠陥検査の効率が向上する。
さらに、生成した複数の撮影角度に相当する各ライン合成画像に対して、画像処理を行い、画像処理を施した各ライン合成画像の中から欠陥が顕著に表れている画像を選択して参照することによって、被検査物の様々な欠陥を明瞭に認識することができる。
　しかしながら、各ライン合成画像の中から、あるいは画像処理した各ライン合成画像の中から、手動で画像の選択を行うことは、あまり効率的ではない。また、被検査物に欠陥がある場合、被検査物のどの部位に欠陥があるのかを把握するために、被検査物の撮影されている箇所に欠陥があるか否かをリアルタイムで識別できることが望ましい。
　そこで、本発明者は、鋭意研究の結果、生成した複数の撮影角度に相当する各ライン合成画像を全て使って、被検査物の様々な欠陥を明瞭に、リアルタイムに識別可能な画像を生成するアルゴリズムを開発した。この開発したアルゴリズムをＲＴ－ＬＣＩ（Real Time Line Composition and Integration：リアルタイム・ライン合成積算）と称し、以下にＲＴ－ＬＣＩを説明する。
　まず、ＲＴ－ＬＣＩを行う画像解析装置６の各部の構成について図１に基づいて説明する。ここで、ＲＴ－ＬＣＩの画像処理を行う際に使用する撮影角度の種類数をｋ（ｋは２以上の整数）とする。また、後述する微分オペレータの行数をｍ（ｍは自然数）とする。
なお、撮影角度の種類数ｋおよび微分オペレータの行数ｍは任意に設定でき、予め定めておくものである。また、説明を簡単にするため、エリアカメラ５が或る画像を撮影してから次の画像を撮影するまで（１フレーム期間）に被検査物２が移動する距離を移動幅とし、後述のデータ抽出部が抽出するラインデータ（１ラインの部分画像データ）の幅が示す実距離（被検査物２表面での距離）は、上記移動幅と同一であるとする。また、微分オペレータの列数は、２以上であってもよいが、ここでは、１であるものとする。
　図１は、画像解析装置６の主要部の構成を示す機能ブロック図である。上述のように、画像解析装置６は、画像処理部１０および記憶部２０を備える。画像処理部１０は、データ抽出部（同一ライン抽出手段）１１、第１区分判定部１２、データ格納部（ライン合成手段）１３、全区分判定部１４、変化量算出部（オペレータ演算手段）１５、同一箇所判定抽出部１６、積算部（積算手段）１７および画像生成部（画像生成手段）１８を備える。記憶部２０は、第１の記憶部２１、第２の記憶部２２、第３の記憶部２３および第４の記憶部２４を備える。第２の記憶部２２は、第１の領域２２１、第２の領域２２２、第ｋの領域２２ｋを備える。第１の領域２２１～第ｋの領域２２ｋは、それぞれｍ個の区分に分割されている。
　データ抽出部１１は、第１の抽出部１１１、第２の抽出部１１２、・・・第ｋの抽出部１１ｋを備える。第１の抽出部１１１は、第１の記憶部２１に格納されている画像データから、画像データ上における所定の位置のラインデータ（例えば、１番下のラインデータ）を抽出するものである。ここで、第１の抽出部１１１が抽出する所定の位置のラインデータを１番目のラインデータとする。第２の抽出部１１２は、画像データ上における上記所定の位置のラインデータから被検査物２の移動方向側に隣接しているラインデータ（２番目のラインデータ）を抽出するものである。第ｋの抽出部は、画像データ上における上記所定の位置のラインデータから被検査物２の移動方向に向かってｋ番目のラインデータを抽出するものである。まとめると、データ抽出部１１は、複数の異なる画像データの中から画像データ上における位置が同一である１ラインのラインデータをそれぞれ抽出するものであり、上記画像データ上における異なる複数の位置について上記ラインデータをそれぞれ抽出するものである。
　第１区分判定部１２は、第１の判定部１２１、第２の判定部１２２、・・・第ｋの判定部１２ｋを備える。第１の判定部１２１は、第２の記憶部２２における第１の領域２２１の第１の区分にラインデータがすでに格納されているか否かを判定するものである。第２の判定部１２２は、第２の記憶部２２における第２の領域２２２の第１の区分にラインデータがすでに格納されているか否かを判定するものである。第ｋの判定部１２ｋは、第２の記憶部２２における第ｋの領域２２ｋの第１の区分にラインデータがすでに格納されているか否かを判定するものである。
　データ格納部１３は、第１の格納部１３１、第２の格納部１３２、・・・第ｋの格納部１３ｋを備える。第１の格納部１３１は、第１区分判定部１２の第１の判定部１２１が第１の領域２２１の第１の区分にラインデータがないと判定した場合、第１の抽出部１１１が抽出したラインデータを第１の領域２２１の第１の区分に格納する。一方、第１区分判定部１２の第１の判定部１２１が第１の領域２２１の第１の区分にラインデータがあると判定した場合、第１の格納部１３１は、第１の領域２２１の各区分に格納されているデータの格納場所をそれぞれ１区分ずつ繰り上げて移動させる。つまり、第１の区分に格納されているラインデータを第２の区分に移動させ、第ｍ－１の区分に格納されているラインデータを第ｍの区分に移動させる。このとき、第ｍの区分にラインデータが格納されている場合は、そのラインデータを破棄もしくは不図示のバックアップ用の場所に移動させる。第１の格納部１３１は、各区分に格納されているラインデータの格納場所を移動させた後、第１の抽出部１１１が抽出したラインデータを第１の領域２２１の第１の区分に格納する。また、第１の格納部１３１は、第１の抽出部１１１によって画像データ上における所定の位置のラインデータが複数抽出されると、抽出された複数のラインデータを第１の領域２２１の連続する区分に格納させることによって、抽出された複数のラインデータを１つのライン合成画像データに合成する。
　第２の格納部１３２は、第１の格納部１３１と同様に、第１区分判定部１２の第２の判定部１２２の判定に基づいて、第２の抽出部１１２が抽出したラインデータを第２の領域２２２の第１区分に格納する。また、第２の格納部１３２は、第２の抽出部１１２によって画像データ上における同一の位置のラインデータが複数抽出されると、抽出された複数のラインデータを第２の領域２２２の連続する区分に格納させることによって、抽出された複数のラインデータを１つのライン合成画像データに合成する。
　第ｋの格納部１３ｋは、第１の格納部１３１と同様に、第１区分判定部１２の第ｋの判定部１２ｋの判定に基づいて、第ｋの抽出部１１ｋが抽出したラインデータを第ｋの領域２２ｋの第１区分に格納する。また、第ｋの格納部１３ｋは、第ｋの抽出部１１ｋによって画像データ上における同一の位置のラインデータが複数抽出されると、抽出された複数のラインデータを第ｋの領域２２ｋの連続する区分に格納させることによって、抽出された複数のラインデータを１つのライン合成画像データに合成する。
　まとめると、データ格納部１３は、データ抽出部１１によって抽出されたラインデータを時系列に並べて複数ラインのライン合成画像データを生成するものであり、データ抽出部１１によって抽出されたラインデータを、画像データ上における位置ごとに、時系列に並べて異なる複数のライン合成画像データを生成するものである。
　全区分判定部１４は、第１の判定部１４１、第２の判定部１４２、・・・第ｋの判定部１４ｋを備える。第１の判定部１４１は、第１の領域２２１の全区分（第１～第ｍの区分）にラインデータが格納されているか否かを判定するものである。第２の判定部１４２は、第２の領域２２２の全区分（第１～第ｍの区分）にラインデータが格納されているか否かを判定するものである。第ｋの判定部１４ｋは、第ｋの領域２２ｋの全区分（第１～第ｍの区分）にラインデータが格納されているか否かを判定するものである。
　変化量算出部１５は、第１の算出部１５１、第２の算出部１５２、・・・第ｋの算出部１５ｋを備える。第１の算出部１５１は、全区分判定部１４の第１の判定部１４１が全区分にラインデータが格納されていると判定した場合に、第１の領域２２１に格納されている複数のラインデータからなるライン合成画像データに対して微分オペレータ演算を行い、その結果として得られた強調画像データ（１ラインまたは複数ラインの画像データ）を第３の記憶部２３に格納する。第２の算出部１５２は、全区分判定部１４の第２の判定部１４２が全区分にラインデータが格納されていると判定した場合に、第２の領域２２２に格納されている複数のラインデータからなるライン合成画像データに対して微分オペレータ演算を行い、その結果として得られた強調画像データ（１ラインまたは複数ラインの画像データ）を第３の記憶部２３に格納する。第ｋの算出部１５ｋは、全区分判定部１４の第ｋの判定部１４ｋが全区分にラインデータが格納されていると判定した場合に、第ｋの領域２２ｋに格納されている複数のラインデータからなるライン合成画像データに対して微分オペレータ演算を行い、その結果として得られた強調画像データ（１ラインまたは複数ラインの画像データ）を第３の記憶部２３に格納する。なお、変化量算出部１５が行う演算処理の詳細は後述する。まとめると、変化量算出部１５は、複数のライン合成画像データに対してそれぞれ、輝度変化を強調するオペレータを用いた演算を行うことにより、１ラインまたは複数ラインの強調画像データをそれぞれ生成するものである。
　同一箇所判定抽出部１６は、第３記憶部２３に被検査物２の同一箇所を示す全撮影角度（ｋ種類）の強調画像データが格納されているか否かを判定する。同一箇所判定抽出部１６は、同一箇所を示す全撮影角度の強調画像データが格納されていると判定した場合は、そのｋ種類の強調画像データをそれぞれ抽出する。
　積算部１７は、同一箇所判定抽出部１６が抽出した、被検査物２の同一箇所を示すｋ種類の強調画像データの輝度値を画素ごとに積算して１ラインまたは複数ラインの欠陥検査用画像データ（ＲＴ－ＬＣＩデータ）を生成する。積算部１７は、積算したｋ種類の強調画像データが示す被検査物２の位置を、積算した結果の欠陥検査用画像データに対応付けて第４の記憶部２４に格納する。
　画像生成部１８は、第４の記憶部２４に格納されている各欠陥検査用画像データに対応付けられている被検査物２の位置に基づいて、第４の記憶部２４に格納されている各欠陥検査用画像データを被検査物２の位置関係と同様に並べて新たな欠陥検査用画像データ（ＲＴ－ＬＣＩデータ）を合成し、合成された欠陥検査用画像データを表示部３０にて画像として表示させる。
　次に、ＲＴ－ＬＣＩを行う際の画像解析装置６の各部の動作について図７に基づいて説明する。図７は、ＲＴ－ＬＣＩ処理における画像解析装置６の各部の動作フローを示す図である。
　まず、欠陥検査システム１は、ＲＴ－ＬＣＩの処理を開始すると、フレーム番号ｉ＝１とする（Ｓ１０）。被検査物２をコンベア３で搬送しながらエリアカメラ５で撮影を開始する。エリアカメラ５は、撮影した画像データを画像解析装置６に出力し、画像解析装置６は、その画像データを第１の記憶部２１に格納する（Ｓ２０）。
　第１の抽出部１１１が第１の記憶部２１に格納されている画像データから所定の位置のラインデータ（例えば、下から１番目のラインデータ）を抽出する（Ｓ４１）。第１の抽出部１１１は、抽出したラインデータが示す被検査物２の位置を当該ラインデータに対応付ける。例えば、移動幅とラインデータが示す実距離の幅とが同じ場合、第１の抽出部１１１は、抽出したラインデータに被検査物２の位置を示す記号として「ｐｉ」を付加する（ｉはフレーム番号）。なお、所定の位置のラインデータは、予め任意に設定し、どのラインからデータを抽出するかを決めておく。
　第２の抽出部１１２は、ｉ≧２であれば（Ｓ３２でＹＥＳ）、第１の抽出部１１１が抽出する所定の位置のラインデータから被検査物２の移動方向側に隣接しているラインデータを抽出する（Ｓ４２）。第２の抽出部１１２は、抽出したラインデータが示す被検査物２の位置を当該ラインデータに対応付ける。例えば、移動幅とラインデータが示す実距離の幅とが同じ場合、第２の抽出部１１２は、抽出したラインデータに被検査物２の位置を示す記号として「ｐ（ｉ－１）」を付加する。Ｓ３２でｉ＝１（ＮＯ）であれば、Ｓ１４０に進む。
　第ｋの抽出部１１ｋは、ｉ≧ｋであれば（Ｓ３ｋでＹＥＳ）、第１の抽出部１１１が抽出する所定の位置のラインデータから被検査物２の移動方向に向かってｋ番目のラインデータを抽出する（Ｓ４ｋ）。第ｋの抽出部１１ｋは、抽出したラインデータが示す被検査物２の位置を当該ラインデータに対応付ける。例えば、移動幅とラインデータが示す実距離の幅とが同じ場合、第ｋの抽出部１１ｋは、抽出したラインデータに被検査物２の位置を示す記号として「ｐ（ｉ－ｋ＋１）」を付加する。Ｓ３ｋでｉ＜ｋ（ＮＯ）であれば、Ｓ１４０に進む。
　次に、第１区分判定部１２の第１の判定部１２１は、第２の記憶部２２の第１の領域２２１の第１の区分にラインデータがすでに格納されているか否かを判定する（Ｓ５１）。
第１の判定部１２１が第１の領域２２１の第１の区分にラインデータがあると判定した場合（Ｓ５１でＹＥＳ）、第１の格納部１３１は、第１の領域２２１の各区分に格納されているラインデータの格納場所をそれぞれ１区分ずつ繰り上げて移動させる（Ｓ６１）。第１の格納部１３１は、各区分に格納されているラインデータの格納場所を移動させた後、第１の抽出部１１１が抽出したラインデータを第１の領域２２１の第１の区分に格納する（Ｓ７１）。一方、第１の判定部１２１が第１の領域２２１の第１の区分にラインデータがないと判定した場合（Ｓ５１でＮＯ）、第１の格納部１３１は、第１の抽出部１１１が抽出したラインデータを第１の領域２２１の第１の区分に格納する（Ｓ７１）。
　また、第１区分判定部１２の第２の判定部１２２は、第２の記憶部２２の第２の領域２２２の第１の区分にラインデータがすでに格納されているか否かを判定する（Ｓ５２）。
第２の判定部１２２が第２の領域２２２の第１の区分にラインデータがあると判定した場合（Ｓ５２でＹＥＳ）、第２の格納部１３２は、第２の領域２２２の各区分に格納されているラインデータの格納場所をそれぞれ１区分ずつ繰り上げて移動させる（Ｓ６２）。第２の格納部１３２は、各区分に格納されているラインデータの格納場所を移動させた後、第２の抽出部１１２が抽出したラインデータを第２の領域２２２の第１の区分に格納する（Ｓ７２）。一方、第２の判定部１２２が第２の領域２２２の第１の区分にラインデータがないと判定した場合（Ｓ５２でＮＯ）、第２の格納部１３２は、第２の抽出部１１２が抽出したラインデータを第２の領域２２２の第１の区分に格納する（Ｓ７２）。
　また、第１区分判定部１２の第ｋの判定部１２ｋは、第２の記憶部２２の第ｋの領域２２ｋの第１の区分にデータがすでに格納されているか否かを判定する（Ｓ５ｋ）。第ｋの判定部１２ｋが第ｋの領域２２ｋの第１の区分にラインデータがあると判定した場合（Ｓ５ｋでＹＥＳ）、第ｋの格納部１３ｋは、第ｋの領域２２ｋの各区分に格納されているラインデータの格納場所をそれぞれ１区分ずつ繰り上げて移動させる（Ｓ６ｋ）。第ｋの格納部１３ｋは、各区分に格納されているラインデータの格納場所を移動させた後、第ｋの抽出部１１ｋが抽出したラインデータを第ｋの領域２２ｋの第１の区分に格納する（Ｓ７ｋ）。一方、第ｋの判定部１２ｋが第ｋの領域２２ｋの第１の区分にラインデータがないと判定した場合（Ｓ５ｋでＮＯ）、第ｋの格納部１３ｋは、第ｋの抽出部１１ｋが抽出したラインデータを第ｋの領域２２ｋの第１の区分に格納する（Ｓ７ｋ）。
　次に、全区分判定部１４の第１の判定部１４１が、第１の領域２２１の全区分にラインデータが格納されているか否かを判定する（Ｓ８１）。全区分判定部１４の第１の判定部１４１が全区分にラインデータが格納されていると判定した場合（Ｓ８１でＹＥＳ）、第１の算出部１５１は、第１の領域２２１に格納されている複数のラインデータからなるライン合成画像データに対して微分オペレータ演算を行い、その結果として得られた強調画像データを第３の記憶部２３に格納する（Ｓ９１）。このとき、第１の領域２２１の第ｍの区分に格納されているラインデータに対応付けられている被検査物２の位置を示す記号を微分オペレータ演算の結果である強調画像データに対して付加する。一方、第１の判定部１４１が全区分にラインデータが格納されていないと判定した場合（Ｓ８１でＮＯ）、Ｓ１４０に進む。
　また、全区分判定部１４の第２の判定部１４２が、第２の領域２２１の全区分にラインデータが格納されているか否かを判定する（Ｓ８２）。全区分判定部１４の第２の判定部１４２が全区分にラインデータが格納されていると判定した場合（Ｓ８２でＹＥＳ）、第２の算出部１５２は、第２の領域２２２に格納されている複数のラインデータからなるライン合成画像データに対して微分オペレータ演算を行い、その結果として得られた強調画像データを第３の記憶部２３に格納する（Ｓ９２）。このとき、第２の領域２２２の第ｍの区分に格納されているラインデータに対応付けられている被検査物２の位置を示す記号を微分オペレータ演算の結果である強調画像データに対して付加する。一方、第２の判定部１４２が全区分にラインデータが格納されていないと判定した場合（Ｓ８２でＮＯ）、Ｓ１４０に進む。
　また、全区分判定部１４の第ｋの判定部１４ｋが、第ｋの領域２２ｋの全区分にラインデータが格納されているか否かを判定する（Ｓ８ｋ）。全区分判定部１４の第ｋの判定部１４ｋが全区分にラインデータが格納されていると判定した場合（Ｓ８ｋでＹＥＳ）、第ｋの算出部１５ｋは、第ｋの領域２２ｋに格納されている複数のラインデータからなるライン合成画像データに対して微分オペレータ演算を行い、その結果として得られた強調画像データを第３の記憶部２３に格納する（Ｓ９ｋ）。このとき、第ｋの領域２２ｋの第ｍの区分に格納されているラインデータに対応付けられている被検査物２の位置を示す記号を微分オペレータ演算の結果である強調画像データに対して付加する。一方、第ｋの判定部１４ｋが全区分にラインデータが格納されていないと判定した場合（Ｓ８ｋでＮＯ）、Ｓ１４０に進む。
　次に、同一箇所判定抽出部１６が、第３記憶部２３に格納されている強調画像データに対応付けられている被検査物２の位置を示す記号を参照して、被検査物２の同一箇所を示す全撮影角度（ｋ種類）の強調画像データが格納されているか否かを判定する（Ｓ１００）。同一箇所判定抽出部１６が、被検査物２の同一箇所を示す全撮影角度の強調画像データが格納されていないと判定した場合（Ｓ１００でＮＯ）、Ｓ１４０に進む。一方、同一箇所判定抽出部１６は、被検査物２の同一箇所を示す全撮影角度の強調画像データが格納されていると判定した場合（Ｓ１００でＹＥＳ）、その全撮影角度であるｋ種類の強調画像データを抽出する。
　積算部１７は、同一箇所判定抽出部１６が抽出したｋ種類の強調画像データの輝度値を画素ごとに積算する（Ｓ１１０）。積算部１７は、積算したｋ種類の強調画像データに対応付けられている被検査物２の位置を示す記号を積算した結果の欠陥検査用画像データ（ＲＴ－ＬＣＩデータ）に対応付けて第４の記憶部に格納する。画像生成部１８は、第４の記憶部に格納されている各ＲＴ－ＬＣＩデータに対応付けられている被検査物２の位置を示す記号に基づいて、第４の記憶部に格納されている各ＲＴ－ＬＣＩデータを被検査物２の位置関係と同様に並べて新たな欠陥検査用画像データ（ＲＴ－ＬＣＩデータ）を合成する（Ｓ１２０）。そして、画像生成部１８は、その並べたＲＴ－ＬＣＩデータを表示部３０に表示させる（Ｓ１３０）。画像生成部１８が表示部３０にＲＴ－ＬＣＩデータを表示させた後、フレーム番号ｉ＝ｉ＋１として、Ｓ２０に戻る。
　このように、エリアカメラ５が撮影した画像データに対してリアルタイム・ライン合成積算（ＲＴ－ＬＣＩ）処理を行うことによって、複数の撮影角度である散乱光学系画像の積算画像を連続的に得ることができる。
　次に、ＲＴ－ＬＣＩの画像処理をより具体的に説明するために、第１～第４の記憶部に格納される画像データおよび表示部３０に表示される画像について図８ａ、図８ｂおよび図８ｃに基づいて説明する。図８ａは、各記憶部に格納される画像データおよび表示部３０に表示される画像の状態を１フレーム毎に示す状態遷移図である。図８ａの横軸は時間（フレーム単位の時間）を示す。なお、撮影角度の種類数ｋ＝３、微分オペレータの行数ｍ＝５と設定されているとする。また、エリアカメラ５の画素数を幅ｎ画素（被検査物２の移動方向に直交する方向のサイズ；ｎは２以上の整数）×高さ（被検査物２の移動方向に沿ったサイズ）９画素とし、１ラインの幅を１画素とする。つまり１ラインの画素数をｎ画素×１画素とする。また、ここでも、１フレームあたりに被検査物２がコンベア３によって移動する距離（移動幅）と１ラインの幅が示す実距離は同一であるとする。つまり、１画素が示す実距離（１画素の解像度）が上記移動幅と同一であるとする。
　図８ｂに示す４００は、被検査物２を示すものであり、４００に記載の記号（ｐ１、ｐ２・・・）は、被検査物２の部位を示し、各部位（ｐ１、ｐ２・・・）は、移動幅ごとに分割されている。図８ｂに示すように、被検査物２は、エリアカメラ５の撮影範囲４０１の下側から上側に向かってコンベア３によって搬送されるとする。
　図８ａに示す４１０は、第１の記憶部２１に格納されている画像データを示す。つまり、エリアカメラ５が撮影した画像そのままの画像データである。画像データ３０１～３１０は、それぞれフレーム番号ｉ＝１～１０の時に撮影された画像データである。画像データ３０１～３１０は、上述のように、ｎ画素×９画素の画素数であり、９つのラインデータを含む。ここで、各画像データ３０１～３１０を９つのラインデータに分割し、各画像データ３０１～３１０の下から順番に第１のライン、第２のライン、・・・第９のラインと称する。また、撮影角度の種類数ｋ＝３であるため、ここでは、第１のライン、第２のライン、第３のラインからラインデータを抽出するものとする。つまり、上述の所定の位置のラインデータを第１のラインデータ（１番下のラインデータ）とする。後の画像データの説明のために、第１のラインを撮影角度Ａとし、第２のラインを撮影角度Ｂとし、第３のラインを撮影角度Ｃとする。また、各画像データ３０１～３１０には、説明の便宜のために、ラインデータ毎に対応する被検査物２の部位（ｐ１、ｐ２、・・・）および撮影角度（Ａ～Ｃ）が付記されている。具体的には、例えば、「ｐ１－Ａ」とは、撮影角度Ａ、つまり、第１のラインに対応するラインデータであって、被検査物２の部位ｐ１に対応するラインデータであることを示す。
　図８ａに示す４２０は、第２の記憶部２２に格納されている１ライン以上ｍライン（この例では５ライン）以下のラインデータを示す。また、４２１は第１の領域２２１に、４２２は第２の領域２２２に、４２３は第３の領域２２３に、それぞれ格納されている１ライン以上ｍライン（この例では５ライン）以下のラインデータを示す。つまり、ライン合成画像データ３１１～３２０は、第１の領域２２１に格納されている１ライン以上ｍライン（この例では５ライン）以下のラインデータであり、ライン合成画像データ３２１～３３０は、第２の領域２２２に格納されている１ライン以上ｍライン（この例では５ライン）以下のラインデータであり、ライン合成画像データ３３１～３４０は、第３の領域２２３に格納されている１ライン以上ｍライン（この例では５ライン）以下のラインデータである。第１の領域２２１～第３の領域２２３は、微分オペレータの行数ｍ＝５のため、それぞれ５つの区分に分割されている。各ライン合成画像データ３１１～３４０は、１つ以上５つ以下のラインデータから構成されており、各ライン合成画像データ３１１～３４０の下から順番に、各領域の第１の区分、第２の区分、・・・第５の区分に格納されているラインデータを示す。また、各ライン合成画像データ３１１～３４０には、説明の便宜のために、ラインデータ毎に対応する被検査物２の部位（ｐ１、ｐ２、・・・）および撮影角度（Ａ～Ｃ）が付記されている。
　図８ａに示す４３０は、第３の記憶部２３に格納されている強調画像データを示す。４３０の各強調画像データには、説明の便宜のために、強調画像データ毎に、対応する被検査物２の部位（ｐ３、ｐ４、・・・）および撮影角度（Ａ～Ｃ）が付記されている。
また、図８ａに示す４４０は、第４の記憶部２４に格納されている欠陥検査用画像データ（ＲＴ－ＬＣＩデータ）を示す。そして、図８ａに示す４５０は、表示部３０に表示されている画像を示す。ＲＴ－ＬＣＩデータ３６１～３７０および画像３８１～３８４にも、説明の便宜のために、ライン毎に、対応する被検査物２の部位（ｐ３、ｐ４、・・・）が付記されている。
　また、図８ｃは、最初に生成されるＲＴ－ＬＣＩデータを生成する処理を示す図である。図８ｃの縦軸は時間（フレーム単位の時間）を示す。図８ａと同様に、撮影角度の種類数ｋ＝３、微分オペレータの行数ｍ＝５と設定されているとする。図８ｃにおいて、図８ａに示すデータと同じデータには同じ参照符号をつけている。図８ｃに示すａ１ ，ａ２ ，・・・ａｍ は、微分オペレータの１，２，・・・，ｍ行目の要素を示す。
　これらを踏まえて、以下にＲＴ－ＬＣＩの具体的な処理を説明する。なお、ＲＴ－ＬＣＩの処理の開始時には、各記憶部には何もデータが格納されていないものとする。また、エリアカメラ５の撮影範囲４０１に、被検査物２の上端部ｐ１が入ったときにＲＴ－ＬＣＩの処理を開始するものとする。
　画像データ３０１は、フレーム番号ｉ＝１の時に撮影されたデータであり、被検査物２の上端部ｐ１が第１のラインに差し掛かっている状態を示す。このとき、第１の抽出部１１１が画像データ３０１の第１のライン（所定のライン）からラインデータｐ１－Ａを抽出し、第１の格納部１３１が、第１の抽出部１１１によって抽出されたラインデータｐ１－Ａを第１の領域２２１の第１の区分に格納する。ライン合成画像データ３１１は、その時の第１の領域２２１に格納されているラインデータを示す。フレーム番号ｉ＝１のため、第２の抽出部１１２および第３の抽出部１１３は、処理を行わず、また、第１の領域２２１の全区分にラインデータもないため、次のフレームに移行するのを待つ。
　フレーム番号ｉ＝２のとき、被検査物２の上端部ｐ１は第２のラインに位置し、ｐ２が第１のライン上にある。このときエリアカメラ５が撮影した画像データが画像データ３０２である。第１の抽出部１１１は、画像データ３０２の第１のラインからラインデータｐ２－Ａを抽出する。このとき、第１区分判定部１２の第１の判定部１２１は、第１の領域２２１の第１の区分にラインデータがあると判定するため、第１の格納部１３１は、第１の領域２２１の第１の区分にあるラインデータｐ１－Ａ（部位ｐ１に対応付けられている第１のラインのラインデータ）を第１の領域２２１の第２の区分に移動し、第１の抽出部１１１が抽出したラインデータｐ２－Ａ（部位ｐ２に対応付けられているラインデータ）を第１の領域２２１の第１の区分に格納する。また、フレーム番号ｉ＝２であるため、第２の抽出部１１２が画像データ３０２の第２のラインからラインデータｐ１－Ｂを抽出し、第２の格納部１３２が、第２の抽出部１１２によって抽出されたラインデータｐ１－Ｂを第２の領域２２２の第１の区分に格納する。ここでも、第１の領域２２１および第２の領域２２２の全区分にラインデータがないため、次のフレームに移行するのを待つ。
　フレーム番号ｉ＝３のとき、被検査物２の上端部ｐ１は第３のラインに位置し、部位ｐ３までがエリアカメラ５の撮影範囲４０１に入っている。このときエリアカメラ５が撮影した画像データが画像データ３０３である。先ほどまでと同様に、第１の抽出部１１１および第２の抽出部１１２は、それぞれ画像データ３０３の第１のライン、第２のラインからラインデータｐ３－Ａおよびｐ２－Ｂを抽出し、第１の格納部１３１、第２の格納部１３２がそれぞれ、第１の領域２２１、第２の領域２２２に格納済みのラインデータを１区分ずつ上へ移動し、第１の領域２２１、第２の領域２２２の第１の区分にラインデータｐ３－Ａおよびｐ２－Ｂを格納する。ここで、フレーム番号ｉ＝３であるため、第３の抽出部１１３が画像データ３０３の第３のラインからラインデータｐ１－Ｃを抽出し、第３の格納部が、第３の抽出部１１３によって抽出されたラインデータｐ１－Ｃを第３の領域２２３の第１の区分に格納する。ここでも、第１の領域２２１、第２の領域２２２および第３の領域２２３の全区分にラインデータがないため、次のフレームに移行するのを待つ。
　フレーム番号ｉ＝４、５の時も同様に、第１～第３の抽出部１１１～１１３は、画像データ３０４，３０５の第１～第３のラインからラインデータｐ４－Ａ，ｐ３－Ｂ，ｐ２－Ｃおよびラインデータｐ５－Ａ，ｐ４－Ｂ，ｐ３－Ｃをそれぞれ抽出し、第１～第３の格納部１３１～１３３がそれぞれ、第１～第３の領域２２１～２２３に格納済みのラインデータを１区分ずつ上へ移動し、第１～第３の領域２２１～２２３の第１の区分にラインデータｐ４－Ａ，ｐ３－Ｂ，ｐ２－Ｃおよびラインデータｐ５－Ａ，ｐ４－Ｂ，ｐ３－Ｃを格納する。これらにより、第１の領域２２１に格納されているライン合成画像データ３１５は、第１～第５フレームの画像データ３０１～３０５における第１のライン（撮影角度Ａ）を合成したライン合成画像データとなる。フレーム番号ｉ＝５において、ライン合成画像データ３１５が示すように、第１の領域２２１の全区分にラインデータが格納されているため、全区分判定部１４の第１の判定部１４１は、第１の領域２２１の全区分にラインデータがあると判定し、第１の算出部１５１が、ライン合成画像データ３１５に対して微分オペレータ演算（微分フィルタをかける演算処理）を行って、ライン合成画像データ３１５の中心ラインデータ、すなわち第１の領域の第３の区分に格納されているラインデータｐ３－Ａにおける輝度勾配の絶対値を表す強調画像データ３４１を生成し、第３の記憶部２３に格納する。なお、このとき第１の算出部１５１は、第１の領域の第３の区分に格納されているラインデータｐ３－Ａに対応付けられている被検査物２の部位を示す記号ｐ３およびライン合成画像データ３１５の対応している撮影角度を示す記号Ａを微分オペレータ演算結果の強調画像データに対して付加する。ここで、同一箇所判定抽出部１６が第３の記憶部２３に被検査物２の同一箇所（部位）を示す全撮影角度（３種類）の強調画像データが格納されているか否かを判定するが、第３の記憶部２３には、強調画像データ３４１しかないため、次のフレームに移行するのを待つ。
　フレーム番号ｉ＝６では、第１～第３の抽出部１１１～１１３は、画像データ３０６の第１～第３のラインからラインデータｐ６－Ａ，ｐ５－Ｂ，ｐ４－Ｃをそれぞれ抽出し、第１～第３の格納部１３１～１３３がそれぞれ、第１～第３の領域２２１～２２３に格納済みのラインデータを１区分ずつ上へ移動し、第１～第３の領域２２１～２２３の第１の区分にラインデータｐ６－Ａ，ｐ５－Ｂ，ｐ４－Ｃを格納する。これらにより、第１の領域２２１および第２の領域２２２に格納されているライン合成画像データ３１６およびライン合成画像データ３２６は、第２～第６フレームの画像データ３０２～３０６における第１のライン（撮影角度Ａ）を合成したライン合成画像データ、および第２～第６フレームの画像データ３０２～３０６における第２のライン（撮影角度Ｂ）を合成したライン合成画像データとなる。第１の領域２２１、第２の領域２２２の全区分にラインデータが格納されているため、第１の算出部１５１がライン合成画像データ３１６に微分オペレータ演算を行って、ラインデータｐ４－Ａにおける輝度勾配の絶対値を表すライン画像データ３４４を生成し、第２の算出部１５２が部分画像データ３２６に微分オペレータ演算を行って、ラインデータｐ３－Ｂにおける輝度勾配の絶対値を表す強調画像データ３４３を生成し、生成した強調画像データ３４４を記号ｐ４および記号Ａを付加して第３の記憶部２３に格納し、生成した強調画像データ３４３を記号ｐ３および記号Ｂを付加して第３の記憶部２３に格納する。ここでも、第３の記憶部２３に被検査物２の同一箇所（部位）を示す全撮影角度（３種類）の輝度データが格納されていないので、次にフレームに移行するのを待つ。
　フレーム番号ｉ＝７では、第１～第３の抽出部１１１～１１３は、画像データ３０７の第１～第３のラインからラインデータｐ７－Ａ，ｐ６－Ｂ，ｐ５－Ｃをそれぞれ抽出し、第１～第３の格納部１３１～１３３がそれぞれ、第１～第３の領域２２１～２２３に格納済みのラインデータを１区分ずつ上へ移動し、第１～第３の領域２２１～２２３の第１の区分にラインデータｐ７－Ａ，ｐ６－Ｂ，ｐ５－Ｃを格納する。これらにより、第１～第３の領域２２１～２２３に格納されているライン合成画像データ３１７，３２７，３３７は、第３～第７フレームの画像データ３０３～３０７における第１のライン（撮影角度Ａ）を合成したライン合成画像データ、第３～第７フレームの画像データ３０３～３０７における第２のライン（撮影角度Ｂ）を合成したライン合成画像データ、および第３～第７フレームの画像データ３０３～３０７における第３のライン（撮影角度Ｃ）を合成したライン合成画像データとなる。第１の領域２２１、第２の領域２２２、第３の領域２２３の全区分にラインデータが格納されているため、第１の算出部１５１がライン合成画像データ３１７に微分オペレータ演算を行って、ラインデータｐ５－Ａにおける輝度勾配の絶対値を表す強調画像データ３５０を生成し、第２の算出部１５２がライン合成画像データ３２７に微分オペレータ演算を行って、ラインデータｐ４－Ｂにおける輝度勾配の絶対値を表す強調画像データ３４９を生成し、第３の算出部１５３がライン合成画像データ３３７に微分オペレータ演算を行って、ラインデータｐ３－Ｃにおける輝度勾配の絶対値を表す強調画像データ３４７を生成し、それぞれ生成した強調画像データ３５０，３４９，３４７を第３の記憶部２３に格納する。このとき、第３の記憶部２３に被検査物２の同一部位ｐ３を示す全撮影角度（Ａ、Ｂ、Ｃの３種類）の強調画像データ（強調画像データ３４５～３４７）が格納されているため、積算部１７が強調画像データ３４５、３４６、３４７の輝度値を積算して、部位ｐ３のＲＴ－ＬＣＩデータ３６１を生成し、第４の記憶部２４に格納する。そして、画像生成部１８は、部位ｐ３のＲＴ－ＬＣＩデータ３６１を新たな欠陥検査用画像データとして表示部３０に出力し、表示部３０は欠陥検査用画像３８１を表示する。
　ここで、図８ｃに基づいて、再度、ＲＴ－ＬＣＩデータ３６１の生成処理について説明する。図８ｃに示すように、フレーム番号ｉ＝５（ｍ）において、５（ｍ）フレームの画像データ３０１～３０５の同一ラインを合成したライン合成画像データ３１５に対して５（ｍ）行１列の微分オペレータ演算を行って、ラインデータｐ３－Ａにおける輝度勾配の絶対値を表す強調画像データ３４１（後続のフレームでは強調画像データ３４２、３４５等となる）を生成する。次に、フレーム番号ｉ＝６において、５フレームの画像データ３０２～３０６の同一ラインを合成したライン合成画像データ３２６に対して５行１列の微分オペレータ演算を行って、ラインデータｐ３－Ｂにおける輝度勾配の絶対値を表す強調画像データ３４３（後続のフレームでは強調画像データ３４６等となる）を生成する。そして、フレーム番号ｉ＝７（＝ｍ＋ｋ－１）において、５フレームの画像データ３０３～３０７の同一ラインを合成したライン合成画像データ３３７に対して５行１列の微分オペレータ演算を行って、ラインデータｐ３－Ｃにおける輝度勾配の絶対値を表す強調画像データ３４７を生成する。生成した３（ｋ）フレームの同一観測位置の強調画像データ３４５～３４７の輝度値を積算して部位ｐ３のＲＴ－ＬＣＩデータ３６１が生成される。
　フレーム番号ｉ＝８では、第１～第３の抽出部１１１～１１３は、画像データ３０８の第１～第３のラインからラインデータｐ８－Ａ，ｐ７－Ｂ，ｐ６－Ｃをそれぞれ抽出し、第１～第３の格納部１３１～１３３がそれぞれ、第１～第３の領域２２１～２２３に格納済みのラインデータを１区分ずつ上へ移動し、第１～第３の領域２２１～２２３の第１の区分にラインデータｐ８－Ａ，ｐ７－Ｂ，ｐ６－Ｃを格納する。これらにより、第１～第３の領域２２１～２２３に格納されているライン合成画像データ３１８，３２８，３３８は、第４～第８フレームの画像データ３０４～３０８における第１のライン（撮影角度Ａ）、第２のライン（撮影角度Ｂ）、第３のライン（撮影角度Ｃ）を合成したライン合成画像データとなる。第１の領域２２１、第２の領域２２２、第３の領域２２３の全区分にラインデータが格納されているため、第１の算出部１５１がライン合成画像データ３１８に微分オペレータ演算を行って、ラインデータｐ６－Ａにおける輝度勾配の絶対値を表す強調画像データ３５６を生成し、第２の算出部１５２がライン合成画像データ３２８に微分オペレータ演算を行って、ラインデータｐ５－Ｂにおける輝度勾配の絶対値を表す強調画像データ３５５を生成し、第３の算出部１５３がライン合成画像データ３３８に微分オペレータ演算を行って、ラインデータｐ４－Ｃにおける輝度勾配の絶対値を表す強調画像データ３５３を生成し、それぞれ生成した強調画像データ３５６，３５５，３５３を第３の記憶部２３に格納する。このとき、第３の記憶部２３に被検査物２の同一部位ｐ４を示す全撮影角度（Ａ、Ｂ、Ｃの３種類）の強調画像データ（強調画像データ３５１～３５３）が格納されているため、積算部１７が強調画像データ３５１～３５３の輝度値を積算して、部位ｐ４のＲＴ－ＬＣＩデータ３６３を生成し、第４の記憶部２４に格納する。そして、画像生成部１８がＲＴ－ＬＣＩデータ３６２、３６３を被検査物２の位置関係と対応するように上からｐ３、ｐ４となるようにＲＴ－ＬＣＩデータ３６２、３６３を並べて新たな欠陥検査用画像データを合成し、表示部３０に出力する。このとき、表示部３０は、部位ｐ３、ｐ４の欠陥検査用画像３８２を表示する。
　以下同様にして、フレーム番号ｉ＝９では、部位ｐ３、ｐ４、ｐ５のＲＴ－ＬＣＩデータを並べて合成した欠陥検査用画像データが表示部３０に出力されて、表示部３０に部位ｐ３、ｐ４、ｐ５の欠陥検査用画像が表示され、フレーム番号ｉ＝１０では、部位ｐ３、ｐ４、ｐ５、ｐ６のＲＴ－ＬＣＩデータを並べて合成した欠陥検査用画像データが表示部３０に出力されて、表示部３０に部位ｐ３、ｐ４、ｐ５、ｐ６の欠陥検査用画像が表示される。そして、例えば、被検査物２の部位が部位ｐ１～ｐ４７８であるとすれば、最終的に、フレーム番号ｉ＝４８０において、部位ｐ３～ｐ４７６のＲＴ－ＬＣＩデータを並べて合成した欠陥検査用画像データが表示部３０に出力されて、表示部３０に部位ｐ３～ｐ４７８の欠陥検査用画像が表示される。したがって、被検査物２の大部分（４７４／４７８）についての欠陥検査用画像データを得ることができる。また、被検査物２の部位ｐ３～ｐ４７６のみを被検査物とすれば、その被検査物全体についての欠陥検査用画像データを得ることができる。
　次に、変化量算出部１５が行う演算処理の詳細を図９に基づいて説明する。ここでは、説明の簡略化のため、エリアカメラ５の画素数を横４画素×縦９画素（ｎ＝４）とする。
これ以外は、図８ａ～図８ｃの説明で用いた条件をそのまま適用する。図９は、第２の記憶部２２に格納されている複数のラインデータからなるライン合成画像データ、変化量算出部１５が用いる微分オペレータ、変化量算出部１５が算出した強調画像データの値の一例を示す図である。
　図９に示す行列４６１は、第２の記憶部２２に格納されている５つのラインデータからなるライン合成画像データ（図８ａおよび図８ｃに示すライン合成画像データ３１５、３２６、３３７などに相当する）の全画素の輝度値を要素とする５行４列の行列である。図９に示す行列４６２は、変化量算出部１５が用いる５行１列の微分オペレータ（微分フィルタ）である。図９に示す行列４６３は、変化量算出部１５が算出した縦方向の輝度勾配を要素とする５行４列の行列である。図９に示す行列４６４は、行列４６３の絶対値をとったものであり、図８ａに示す強調画像データ３４１～３５６の全画素の輝度値を示す。
　変化量算出部１５は、行列４６１に対して微分オペレータの行列４６２をかける。具体的には、まず、行列４６１の第１列に対して行列４６２をかけて行列４６３の第１列の値を算出する。つまり、行列４６１の第１列に対して以下の計算を行うことにより、行列４６３の第１列の値を算出する。その計算とは、９８×（－２）＋９９×（－１）＋１００×０＋１０１×１＋１０２×２＝１０である。続いて、行列４６１の第２～４列に対して同様に行列４６２をかけて行列４６３の第２～４列の値を算出し、行列４６３をライン合成画像データの中心ラインの輝度データとして生成する。このように、変化量算出部１５は、５つのラインデータからなるライン合成画像データに対して微分オペレータをかけることによって、ライン合成画像データの中心ラインデータの縦方向輝度勾配を算出し、輝度データを生成する。ライン合成画像データの輝度値の勾配を算出することによって、被検査物２上にある微小な欠陥、薄い欠陥、淡い欠陥を検出することが容易になる。
　また、変化量算出部１５が算出した輝度勾配は、０でなければ被検査物２のその部位に欠陥があることを示すものである（ただし、輝度勾配が０に近い場合には、欠陥でなくノイズである可能性がある）。被検査物２に欠陥がある場合、被検査物２において、線状光源４からの光がナイフエッジ７によって遮光されずに入射する領域では欠陥が暗となり、線状光源４からの光がナイフエッジ７によって遮光されて直接的に入射しない領域では欠陥が明として撮影される。そのため、輝度勾配の値の符号は欠陥の有無に影響せず、輝度勾配の大きさが欠陥の有無を判断する際に重要になる。そこで、変化量算出部１５は、図９に示す行列４６４のように、変化量算出部１５が生成した輝度勾配の行列４６３の絶対値をとって行列４６４を生成する。以上のようにして、変化量算出部１５は、ライン合成画像データの中心ラインにおける各画素の輝度値を各画素での縦方向輝度勾配の絶対値に置き換えて新たな１ラインの強調画像データを生成する。このように、輝度勾配の絶対値を用いることによって、明側に映る欠陥も暗側に映る欠陥も同じようにプラスに寄与し、欠陥の有無の識別がより容易になる。さらに、明側および暗側の欠陥を同様に扱うことができるため、光学系の位置決めをする際に、エリアカメラ５の撮影範囲を、ナイフエッジ７をまたぐように配置するだけで十分となる。さらに、ナイフエッジ７の位置決めをする際に、エリアカメラ５の水平方向と厳密にあわせなくても精度良く検査を行うことができる。すなわち、従来と比較して、暗視野法における光学系の配置を高精度に行う必要がなく、簡単になる。そのため、欠陥検査システムの検査能力、および、欠陥検査システムの装置系、特に光学系のメンテナンス性が向上する。
　さらに、エリアカメラ５が撮影した画像データに対してＲＴ－ＬＣＩ処理を行うことによって、被検査物２の厚みおよび反りの影響を受けずに、精度良く欠陥を検出することができる。従来の透過散乱法では、図１０（ａ）および（ｂ）に示すように、被検査物２が比較的厚い、もしくは、被検査物２が反っている場合、線状光源４から照射された光が被検査物２を透過する際に、屈折してエリアカメラ５の光軸からずれて入射することがある。また、従来の反射散乱法では、図１０（ｃ）に示すように、被検査物２が比較的厚い、もしくは、被検査物２が反っている場合、線状光源４から照射された光が被検査物２を反射する際に、光学系の設計において意図した反射角とは異なる角度で反射することがあり、エリアカメラ５の光軸からずれて入射することがある。このように、被検査物２の厚みおよび反りの影響を受けて、線状光源４からの光が意図せずに光軸がずれてエリアカメラ５に入射することによって、被検査物２上の欠陥による光軸のずれとの区別がつかず、被検査物２上に欠陥があると誤認してしまう虞がある。
　透過散乱法では、図１０（ａ）に示すように、被検査物２が比較的薄い、被検査物２の曲率が比較的小さい、もしくは、入射角（図２に示すＺ軸とエリアカメラ５への入射光の光軸との角度）が比較的小さい場合、光軸のずれが僅かであるため、エリアカメラ５が撮影した画像への影響は比較的小さい。一方、図１０（ｂ）に示すように、被検査物２が比較的厚い、被検査物２の曲率が比較的大きい、もしくは、入射角が比較的大きい場合、光軸のずれが大きくなり、エリアカメラ５が撮影した画像への影響が無視できなくなる。また、反射散乱法では、それに加えて、反射角が僅かに異なる場合であっても、被検査物２とエリアカメラ５との距離に比例して光軸のずれが大きくなる。
　本実施形態においても、従来と同様に、被検査物２の厚みや反りによって光軸がずれることがある。しかしながら、エリアカメラ５が撮影した画像データの輝度値の勾配を算出して、複数の撮影角度における勾配の絶対値を積算することによって、被検査物２の厚みや反りによる光軸のずれの影響を抑えることができる。
　なお、本実施形態では、エリアカメラ５が或る画像を撮影してから次の画像を撮影するまで（１フレーム期間）に被検査物２が移動する距離を移動幅と、データ抽出部１１が抽出するラインデータの幅が示す実距離とが同一であるとしているが、これに限るものではない。例えば、コンベア３の搬送速度が５倍であって、被検査物２が１フレーム期間に５画素分移動する場合、データ抽出部１１が抽出するラインデータの幅を５画素に設定すれば、同様のＲＴ－ＬＣＩ処理を行うことができる。逆に、コンベアの搬送速度が１／５倍であって、被検査物２が１フレーム間に１／５画素分移動する場合、５フレームごとにデータ抽出部１１がラインデータ（ｎ×１画素）を抽出すれば、同様のＲＴ－ＬＣＩ処理を行うことができる。その他、データ抽出部１１が抽出するラインデータの幅が示す実距離と移動幅とが厳密に合わせられない場合（例えば、エリアカメラ５の１画素あたりの解像度と移動幅との比が１：１．０５といった半端な値になる場合）、パターンマッチング技術を使用してラインデータの位置を補正すれば、同様のＲＴ－ＬＣＩ処理を行うことができる。なお、上記パターンマッチング技術は、ハード化が容易であり、様々な手法が公知であるため、ＲＴ－ＬＣＩ処理に適合するものを用いればよい。
　また、本実施形態の画像解析装置６は、データ抽出部１１で抽出された第１～第ｋのラインのラインデータを格納するための手段として、第１～第ｋの領域２２１～２２ｋ、第１～第ｋの判定部１２１～１２ｋ、および第１～第ｋの格納部１３１～１３ｋを備えていたが、これらに代えて、データ抽出部１１で抽出された第１～第ｋのラインのラインデータをそれぞれ格納するｋ個のＦＩＦＯ（First In, First Out）メモリを用いてもよい。
この場合、各ＦＩＦＯメモリは、１ラインのラインデータをそれぞれ格納する第１～第５の区分を備え、新たなラインデータを受け取る毎に、受け取ったラインデータを第１の区分に格納し、第２～第４の区分に格納されたデータを第３～第５の区分に移動させ、第５の区分に格納されたデータを破棄する。
　また、本実施形態では、エリアカメラ５を固定し、コンベア３を用いて被検査物２を移動させたが、これに限るものではなく、エリアカメラ５と被検査物２とが相対的に移動していればよい。
　また、本実施形態では、ＲＴ－ＬＣＩ処理に関係のないもしくは使用済みのデータ（画像データ、ラインデータ等）は、その都度破棄しても良いし、バックアップ用として同じ記憶部もしくは別の記憶部に保存しておいてもよい。例えば、図８ａに示す画像データ３０１～３１０は、ラインデータが抽出された後はＲＴ－ＬＣＩ処理では使用されないが、第１の記憶部２１等に保存しておいてもよい。
　また、変化量算出部１５がライン合成画像データの輝度値の勾配を算出する前後において、平滑化の処理を行ってもよい。また、ライン合成画像データの輝度値の勾配を算出する変化量算出部１５に代えて、第１～第ｋの領域２２１～２２ｋの各々に格納されている複数のラインデータからなるライン合成画像データに対して、ｍ行１列の平滑化オペレータを用いた平滑化の処理を行って強調画像データを生成する平滑化処理部も設けてもよい。平滑化の処理を行うことによって、ノイズに埋もれてしまう小さな（淡い、薄い）欠陥を検出することができる。このとき、上記平滑化オペレータとしては、例えば、７行１列の行列（１，１，１，１，１，１，１）Ｔ などの平滑化オペレータを用いることができる。また、ライン合成画像データの輝度値の勾配を算出する変化量算出部１５に代えて、ライン合成画像データに対して、輝度変化を強調する他のオペレータ（鮮鋭化オペレータなど）を用いた演算を行うオペレータ演算処理部を設けてもよい。
　また、画像生成部１８で合成された欠陥検査用画像データを、輝度値を適当な閾値で２値化してから出力するようにしてもよい。これにより、ノイズが除去され、欠陥をより明瞭かつ正確に示す欠陥検査用画像データを出力および表示できる。また、２値化を行う場合において、２値化後の画像データにおける欠陥領域に相当する領域（本実施形態では明領域）のうちで、所定サイズ以下の領域をノイズとして除去してもよい。これにより、欠陥をより正確に示す欠陥検査用画像データを出力および表示できる。さらに、２値化を行う場合において、２値化後の画像データにおいて各画素の輝度値が欠陥を表す輝度（本実施形態では明輝度）であるか否かに基づいて欠陥検査を行ってもよい。
　本実施形態において、ナイフエッジ７を用いて被検査物の２次元画像を撮影し、欠陥検査用の画像データにおける暗視野（線状光源４からの光がナイフエッジ７によって遮られて直線的に入射しない部分）中の明部（被検査物２の欠陥で散乱された光に起因する）として欠陥を検出する暗視野法を用いて、被検査物の欠陥を検査している。しかしながら、これに限るものではなく、ナイフエッジ７を省いて被検査物の２次元画像を撮影し、欠陥検査用の画像データにおける明視野（線状光源４で照明されている部分）中の暗部（被検査物２の欠陥による光の散乱に起因する）として欠陥を検出する明視野法を用いて、被検査物の欠陥を検査してもよい。
　また、本実施形態では、１フレーム期間ごとにＲＴ－ＬＣＩ処理を行っているが、これに限るものではなく、例えば、所定のフレーム期間ごとにＲＴ－ＬＣＩ処理を行ってもよいし、撮影した後に、撮影した画像データをまとめて、ＲＴ－ＬＣＩ処理と同様の、ライン合成積算の画像処理を行ってもよい。具体的には、エリアカメラ５として、ハイスピードカメラを用いた場合、リアルタイムに（１フレーム期間ごとに）ＲＴ－ＬＣＩ処理を行うことが困難であるため、ハイスピードカメラで撮影した画像を一度ハードディスク等の記憶装置に画像データとして保存し、保存した画像データを時系列に読み出しながら、ＲＴ－ＬＣＩ処理と同様の、ライン合成積算の画像処理を行ってもよい。このように、リアルタイムに行わないライン合成積算の処理をソフトウェアＬＣＩ処理と称する。
　また、本実施形態では、画像解析装置６を画像処理ソフトウェアがインストールされたＰＣとしているが、これに限るものではなく、例えば、エリアカメラ５が画像解析装置６を内蔵していても良いし、ＰＣではなく、エリアカメラ５から画像データを取り込むキャプチャボード（ＰＣの拡張カード）が画像解析装置６を内蔵していても良い。
　また、本実施形態では、変化量算出部１５は、第２の記憶部２２の各領域に格納されている部分画像データに対して全て同じ微分オペレータを用いて微分オペレータ演算を行っているが、これに限るものではない。例えば、変化量算出部１５の第１の算出部は、第１の領域に格納されているライン合成画像データ（３１５等）に対しては、或る微分オペレータＡを用いて微分オペレータ演算を行い、第２の算出部は、第２の領域に格納されているライン合成画像データ（３２６等）に対しては、微分オペレータＡとは異なる微分オペレータＢを用いて微分オペレータ演算を行い、第３の算出部は、第３の領域に格納されているライン合成画像データ（３３７等）に対しては、微分オペレータＡおよびＢとは異なる微分オペレータＣを用いて微分オペレータ演算を行ってもよい。加えて、微分オペレータ演算を行う代わりに、平滑化オペレータなどの、輝度変化を強調する他のオペレータを用いた演算を行ってもよい。
　例えば、明視野法を用いて被検査物を撮影した場合、撮影した各画像データから抽出されたライン合成画像データが実質的に同じになる場合がある。このとき、実質的に同一の複数のライン合成画像データに対して、それぞれ異なる微分オペレータ演算を用いて強調画像データを生成してもよい。この異なる微分オペレータ演算を用いて生成された複数の強調画像データを積算することにより、種々の欠陥を検出することができる。
　また、本実施形態では、変化量算出部１５がオペレータ演算を行って強調画像データを生成した後、同一箇所判定抽出部１６が、被検査物２の同一箇所を示す強調画像データを抽出しているが、この順序に限るものではない。例えば、同一箇所判定抽出部１６が、被検査物２の同一箇所を示すライン合成画像データを抽出した後に、変化量算出部１５が同一箇所判定抽出部１６が抽出したライン合成画像データに対して、オペレータ演算を行って強調画像データを生成してもよい。
　換言すると、変化量算出部１５は、データ格納部１３によって合成された複数のライン合成画像データに対してそれぞれ、輝度変化を強調するオペレータを用いた演算を行うことにより、１ラインまたは複数ラインの複数の強調画像データをそれぞれ生成し、同一箇所判定抽出部１６は、変化量算出部１５が生成した複数の強調画像データの中から被検査物２の同一箇所を示す複数の強調画像データを抽出し、積算部１７は、同一箇所判定抽出部１６が抽出した複数の強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成してもよい。また、同一箇所判定抽出部１６は、データ格納部１３によって合成された複数のライン合成画像データの中から被検査物２の同一箇所を示す複数のライン合成画像データを抽出し、変化量算出部１５は、同一箇所判定抽出部１６が抽出した複数のライン合成画像データに対してそれぞれ、輝度変化を強調するオペレータを用いた演算を行うことにより、１ラインまたは複数ラインの複数の強調画像データをそれぞれ生成し、積算部１７は、変化量算出部１５が生成した複数の強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成してもよい。
　また、本実施形態では、データ抽出部１１が撮影した画像データからラインデータを抽出した際に、抽出したラインデータに対して、被検査物２上での位置を特定する（識別する）記号（識別子）を付加しているが、これに限るものではない。同一箇所判定抽出部１６が被検査物２の同一箇所を示すライン合成画像データ（または強調画像データ）を抽出する処理を行う前までに、画像データ（撮影された画像データ、ラインデータ、ライン合成画像データ、強調画像データなど）に被検査物２上での位置を特定する記号が付加してあればよい。また、画像データに被検査物２上での位置を特定する記号を付加せず、同一箇所判定抽出部１６が、被検査物２の同一箇所を示すライン合成画像データ（または強調画像データ）を特定および抽出してもよい。
　〔実施例〕
　以下に、図３に示す欠陥検査システム１において、エリアカメラ５で撮影した画像データに対してＲＴ－ＬＣＩ処理を施した実施例について説明する。エリアカメラ５の本体として、倍速プログレッシブスキャン白黒カメラモジュール（ソニー株式会社製のＸＣ－ＨＲ５０）を使用した。また、エリアカメラ５のレンズには、株式会社タムロン製レンズ（焦点距離ｆ＝３５ｍｍ）に５ｍｍ接写リングを取り付けたものを使用した。エリアカメラ５の画素数は、５１２×４８０画素であり、１画素あたりの解像度は７０μｍ／ｐｉｘｅｌである。エリアカメラ５の焦点は被検査物の表面上に合わせた。エリアカメラ５のフレームレートは６０ＦＰＳであり、通常のＴＶフォーマットで撮影した。エリアカメラで８秒間撮影し、４８０枚の画像に対してＲＴ－ＬＣＩ処理を行った。コンベア３の搬送速度は４．２ｍｍ／秒に設定した。つまり、１フレームあたりに被検査物２が７０μｍ移動するように設定した。線状光源４として２２ｋＨｚの高周波蛍光灯を使用した。照明拡散板８として、厚さ３ｍｍで乳白色のＰＭＭＡ（ポリメチルメタクリレート）シートを使用した。ナイフエッジ７としてＮＴカッターを使用した。被検査物２には、バンクマークやアバタなどの欠陥を有する透明のＰＭＭＡシートを用いた。
　ＲＴ－ＬＣＩ処理における画像処理の設定として、ｋ＝１５、ｍ＝５または７とした。
データ抽出部１１が抽出するラインデータの画素数を５１２×１画素とし、移動幅とラインデータの幅が示す実距離とが一致するように設定した。
　まず、ＲＴ－ＬＣＩ処理を行った一例を図１１に基づいて説明する。図１１（ａ）に示す画像は、原画像であり、エリアカメラ５が撮影した動画の最後のフレーム（４８０コマ目）の画像である。この原画像は、図５（ａ）に示す画像と同種のものである。図５（ａ）と同様に、図１１（ａ）に示す原画像において、下部の暗い部分はナイフエッジ７によって光が遮られている部分であり、中心付近の明るい部分は線状光源４からの光が透過している部分であり、上部の暗い部分は線状光源４の光が届いておらず、検査対象から外れている箇所である。図１１（ａ）に示す原画像の下端から上部に向かって突き出している暗い部分は、目印のために配置した物体の影である。また、図１１（ｂ）に示す画像は、原画像のナイフエッジ７付近の画像データに対してＲＴ－ＬＣＩ処理を行い、ＲＴ－ＬＣＩデータを原画像に合わせて並べたＲＴ－ＬＣＩ画像である。ＲＴ－ＬＣＩ画像における明るい部分の箇所に欠陥があることを示す。ＲＴ－ＬＣＩ画像を見ると、スジ状のバンクマークや点状のアバタなどの欠陥が被検査物２上にあることがわかる。さらに、被検査物２の位置と画像の位置とが対応しているので、ＲＴ－ＬＣＩ画像を見ることによって、被検査物２上のどの位置にどのような欠陥があるのかを容易に識別することができる。
　次に、変化量算出部１５において、異なる微分オペレータを用いた場合のＲＴ－ＬＣＩ画像の例を図１１に基づいて説明する。図１１（ａ）は、エリアカメラ５が撮影した画像（４８０コマ目）である。図１１（ｂ）は、ｍ＝７とし、原画像に対して、微分オペレータとして７行１列の行列（－３，－２，－１，０，１，２，３）Ｔ を用いてＲＴ－ＬＣＩ処理を行うことによって得られたＲＴ－ＬＣＩ画像の例を示す図である。図１１（ｂ）に示すＲＴ－ＬＣＩ画像は、原画像の画像データの縦方向の輝度勾配を強調するように処理したものである。この微分オペレータは、非常に淡い凹凸である欠陥を検出する際に適した演算処理である。また、図１１（ｃ）は、ｍ＝７とし、原画像に対して、微分オペレータとして７行１列の行列（－１，－１，－１，６，－１，－１，－１）Ｔ を用いてＲＴ－ＬＣＩ処理を行うことによって得られたＲＴ－ＬＣＩ画像の例を示す図である。この微分オペレータは、中程度の点欠陥のみ強調することに適した演算処理である。
　また、別の微分オペレータを用いた例を図１２に示す。図１２（ａ）は、エリアカメラ５が撮影した原画像である。図１２（ｂ）は、原画像のエッジ近傍における或る撮影角度のライン合成画像である。また、図１２（ｃ）は、ｍ＝７とし、原画像に対して、微分オペレータとして５行１列の行列（－２，－１，０，１，２）Ｔ を用いたＲＴ－ＬＣＩ処理を行うことによって得られたＲＴ－ＬＣＩ画像である。
　次に、エリアカメラの水平方向に対してナイフエッジが傾斜している状態で撮影された実施例を図１３に示す。図１３（ａ）は、エリアカメラ５が撮影した原画像である。図１３（ｂ）は、従来のラインセンサを用いた欠陥検査システムによって得られる画像と同等である、原画像のエッジ近傍における或る撮影角度のライン合成画像である。図１３（ｂ）を見ると、画像の左側が明るく、右側が暗くなっているのがわかる。このように、従来のラインセンサを用いた欠陥検査システムでは、ラインセンサとナイフエッジとの配置関係によって撮影される画像に大きな影響があった。つまり、従来は、ラインセンサおよびナイフエッジを含む光学系の配置を高精度に位置決めしなければ精度の良い検査結果が得られなかった。図１３（ｃ）は、ｍ＝５とし、原画像に対して、微分オペレータとして５行１列の行列（－２，－１，０，１，２）Ｔ を用いたＲＴ－ＬＣＩ処理を行うことによって得られたＲＴ－ＬＣＩ画像である。図１３（ｃ）を見ると、図１３（ｂ）と異なり、ＲＴ－ＬＣＩ画像では、ナイフエッジ７が傾斜していることによる影響を受けないことがわかる。すなわち、本願発明の欠陥検査システム１は、ナイフエッジ７がエリアカメラ５の水平方向に対して傾斜している場合であっても、精度良く欠陥を検出することができる。
　次に、ＲＴ－ＬＣＩ処理に平滑化オペレータを用いた例を図１４に基づいて説明する。
図１４（ａ）は、エリアカメラが撮影した原画像である。図１４（ｂ）は、原画像のエッジ近傍における或る撮影角度のライン合成画像である。図１４（ｃ）は、ｍ＝７とし、原画像に対して、微分オペレータに代えて平滑化オペレータとしての７行１列の行列（１，１，１，１，１，１，１）Ｔ を用いたＲＴ－ＬＣＩ処理を行うことによって得られたＲＴ－ＬＣＩ画像である。
　本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　最後に、画像解析装置６の各ブロック、特にデータ抽出部１１、第１区分判定部１２、データ格納部１３、全区分判定部１４、変化量算出部１５、同一箇所判定抽出部１６、積算部１７および画像生成部１８は、ＦＰＧＡ（Field Programmable Gate Array）回路等のハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
　すなわち、画像解析装置６は、例えば、ｍ行１列の微分オペレータ演算を実現するＦＰＧＡ回路に対して、ライン抜き出しのための演算器、エリアＦＩＦＯメモリ、二値化のための比較器などを追加することによって実現できる。ｍ行１列の微分オペレータ演算を実現するＦＰＧＡ回路は、各行の画像データを格納するｍ個のラインＦＩＦＯメモリ、微分オペレータの係数（フィルタ係数）をそれぞれ格納するｍ個のイネーブル端子付きＤフリップフロップ（ＤＦＦＥ）、各行の画像データと微分オペレータの係数とを乗算するｍ個の乗算器、乗算結果を加算する加算回路等によって実現できる。
〔変形例〕
　変化量算出部１５は、第２の記憶部２２に格納されているライン合成画像データのライン数に合わせて、使用する微分オペレータの行数および列数を適宜設定すればよい。また、変化量算出部１５が算出した結果生成される強調画像データは、上述のように、１ラインで構成されるものだけに限らず、算出した結果、複数のラインからなるものであってもよい。
　また、上述の実施形態および実施例では、変化量算出部１５が縦方向の輝度勾配を算出していたが、これに限るものではなく、横方向の輝度勾配を算出しても良い。
　また、上述の実施形態および実施例では、エリアカメラ５が撮影した画像データの大きさ（画素数）に合わせて欠陥検査用画像データを生成していたが、これに限るものではなく、１つ以上のＲＴ－ＬＣＩデータを欠陥検査用の画像データとして生成して、それを元に被検査物上の欠陥を検出しても良い。
　また、画像解析装置６は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像解析装置６の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像解析装置６に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ－Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
　また、画像解析装置６を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
　本発明は、シート状等の被検査物の欠陥を検査する欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、欠陥検査用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、および欠陥検査用画像処理方法に利用することができる。
　１　　　欠陥検査システム
　２　　　被検査物
　３　　　コンベア（移動手段）
　４　　　線状光源
　５　　　エリアカメラ（撮影部、欠陥検査用撮影装置の一部）
　６　　　画像解析装置（欠陥検査用画像処理装置）
　７　　　ナイフエッジ
　８　　　照明拡散板
　１０　　画像処理部（欠陥検査用画像処理装置の一部、欠陥検査用撮影装置の一部）
　１１　　データ抽出部（同一ライン抽出手段）
　１２　　第１区分判定部
　１３　　データ格納部（ライン合成手段）
　１４　　全区分判定部
　１５　　変化量算出部（オペレータ演算手段）
　１６　　同一箇所判定抽出部
　１７　　積算部（積算手段）
　１８　　画像生成部（画像生成手段）
　２０　　記憶部（欠陥検査用画像処理装置の一部、欠陥検査用撮影装置の一部）
　２１　　第１の記憶部
　２２　　第２の記憶部
　２３　　第３の記憶部
　２４　　第４の記憶部
　３０　　表示部

Claims (10)

  1. 　被検査物と撮影部とが相対的に移動させられている状態で、撮影部によって時間的に連続して撮影された上記被検査物の２次元画像の画像データを処理し、それによって上記被検査物の欠陥を検査するための欠陥検査用画像データを生成する欠陥検査用画像処理装置であって、
    　複数の異なる画像データの中から画像データ上における位置が同一である１ラインのラインデータをそれぞれ抽出する同一ライン抽出手段と、
    　上記同一ライン抽出手段によって抽出されたラインデータを時系列に並べて複数ラインのライン合成画像データを生成するライン合成手段とを備え、
    　上記同一ライン抽出手段は、上記画像データ上における異なる複数の位置について上記ラインデータをそれぞれ抽出するものであり、
    　上記ライン合成手段は、上記同一ライン抽出手段によって抽出されたラインデータを、上記画像データ上における位置ごとに時系列に並べて、異なる複数のライン合成画像データを生成するものであり、
    　さらに、上記複数のライン合成画像データに対してそれぞれ、輝度変化を強調するオペレータを用いた演算を行い、１ラインまたは複数ラインの複数の強調画像データを生成するオペレータ演算手段と、
    　上記被検査物の同一箇所を示す上記複数の強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成する積算手段と、を備える装置。
  2. 　上記オペレータ演算手段は、上記複数のライン合成画像データに対して微分オペレータを用いた演算を行うことにより、上記複数のライン合成画像データの中心ラインにおける各画素での、中心ラインに直交する方向に沿った輝度値の勾配を算出し、上記複数のライン合成画像データの中心ラインにおける各画素の輝度値を各画素での輝度値の勾配の絶対値に置き換えて新たな１ラインの強調画像データを生成するものである請求項１に記載の装置。
  3. 　上記積算手段は、上記被検査物の複数の箇所をそれぞれ示す上記複数の強調画像データを上記被検査物の箇所ごとに、当該強調画像データの輝度値を画素ごとに積算して、上記被検査物の複数の箇所をそれぞれ示す複数の欠陥検査用画像データを生成するものであり、
    　さらに、上記被検査物の複数の箇所をそれぞれ示す複数の欠陥検査用画像データを、上記被検査物の箇所に対応させて並べて新たな欠陥検査用画像データを合成する画像生成手段を含む請求項１または２に記載の装置。
  4. 　上記積算手段は、上記撮影部が撮影する毎に、上記被検査物の先頭箇所から順番に上記被検査物の箇所ごとに、上記被検査物の同一箇所を示す上記複数の強調画像データの輝度値を画素ごとに積算して、上記被検査物の複数の箇所をそれぞれ示す複数の欠陥検査用画像データを生成する請求項１ないし３の何れか１項に記載の装置。
  5. 　請求項１ないし４の何れか１項に記載の装置と、
    　被検査物と撮影部とが相対的に移動させられている状態で、上記被検査物の２次元画像を時間的に連続して撮影する撮影部とを含む欠陥検査用撮影装置。
  6. 　被検査物の欠陥を検査する欠陥検査システムであって、
    　請求項５に記載の装置と、
    　上記被検査物と上記撮影部とを相対的に移動させる移動手段とを含むシステム。
  7. 　上記被検査物に光を照射する光源と、
    　上記光源から上記被検査物を透過または反射して上記撮影部に入射する光を一部遮る遮光体とを含み、
    　暗視野法を用いて被検査物の欠陥を検査する請求項６に記載のシステム。
  8. 　請求項１から４の何れか１項に記載の装置を動作させるための欠陥検査用画像処理プログラムであって、コンピュータを上記手段の全てとして機能させるためのプログラム。
  9. 　請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
  10. 　被検査物と撮影部とが相対的に移動させられている状態で、撮影部によって時間的に連続して撮影された上記被検査物の２次元画像の画像データを処理し、それによって上記被検査物の欠陥を検査するための欠陥検査用画像データを生成する欠陥検査用画像処理方法であって、
    　複数の異なる画像データの中から画像データ上における位置が同一である１ラインのラインデータをそれぞれ抽出する同一ライン抽出ステップと、
    　上記同一ライン抽出ステップにおいて抽出されたラインデータを時系列に並べて複数ラインの合成画像データを生成するライン合成ステップとを含み、
    　上記同一ライン抽出ステップは、上記画像データ上における異なる複数の位置について上記ラインデータをそれぞれ抽出するステップであり、
    　上記ライン合成ステップは、上記同一ライン抽出ステップにおいて抽出されたラインデータを、上記画像データ上における位置ごとに時系列に並べて、異なる複数のライン合成画像データを生成するステップであり、
    　さらに、上記複数のライン合成画像データに対してそれぞれ、輝度変化を強調するオペレータを用いた演算を行い、１ラインまたは複数ラインの複数の強調画像データを生成するオペレータ演算ステップと、
    　上記被検査物の同一箇所を示す上記複数の強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成する積算ステップと、を含む方法。
PCT/JP2010/066934 2009-10-30 2010-09-29 欠陥検査用画像処理装置および欠陥検査用画像処理方法 WO2011052332A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020127013652A KR101682744B1 (ko) 2009-10-30 2010-09-29 결함 검사용 화상 처리 장치 및 결함 검사용 화상 처리 방법
CA2778128A CA2778128A1 (en) 2009-10-30 2010-09-29 Image processing device for defect inspection and image processing method for defect inspection
CN201080048759.7A CN102630299B (zh) 2009-10-30 2010-09-29 缺陷检查用图像处理装置和缺陷检查用图像处理方法
US13/504,791 US20130128026A1 (en) 2009-10-30 2010-09-29 Image processing device for defect inspection and image processing method for defect inspection
EP10826466A EP2495552A1 (en) 2009-10-30 2010-09-29 Image processing device for defect inspection and image processing method for defect inspection

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009251107A JP4726983B2 (ja) 2009-10-30 2009-10-30 欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、記録媒体、および欠陥検査用画像処理方法
JP2009-251107 2009-10-30

Publications (1)

Publication Number Publication Date
WO2011052332A1 true WO2011052332A1 (ja) 2011-05-05

Family

ID=43921760

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/066934 WO2011052332A1 (ja) 2009-10-30 2010-09-29 欠陥検査用画像処理装置および欠陥検査用画像処理方法

Country Status (8)

Country Link
US (1) US20130128026A1 (ja)
EP (1) EP2495552A1 (ja)
JP (1) JP4726983B2 (ja)
KR (1) KR101682744B1 (ja)
CN (1) CN102630299B (ja)
CA (1) CA2778128A1 (ja)
TW (1) TWI484161B (ja)
WO (1) WO2011052332A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104583761A (zh) * 2012-08-28 2015-04-29 住友化学株式会社 缺陷检查装置以及缺陷检查方法
JPWO2016121878A1 (ja) * 2015-01-29 2018-01-11 株式会社 デクシス 光学式外観検査装置、及びこれを用いた光学式外観検査システム

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103210296B (zh) 2010-06-01 2016-08-10 阿克莱机械公司 检查系统
JP5808015B2 (ja) * 2012-03-23 2015-11-10 富士フイルム株式会社 欠陥検査方法
JP2014035326A (ja) * 2012-08-10 2014-02-24 Toshiba Corp 欠陥検査装置
JP5946751B2 (ja) * 2012-11-08 2016-07-06 株式会社日立ハイテクノロジーズ 欠陥検出方法及びその装置並びに欠陥観察方法及びその装置
JP5957378B2 (ja) * 2012-12-28 2016-07-27 株式会社日立ハイテクノロジーズ 欠陥観察方法および欠陥観察装置
CN104919305B (zh) * 2013-01-16 2017-05-10 住友化学株式会社 图像生成装置、缺陷检查装置以及缺陷检查方法
WO2014119772A1 (ja) * 2013-01-30 2014-08-07 住友化学株式会社 画像生成装置、欠陥検査装置および欠陥検査方法
US9575008B2 (en) * 2014-02-12 2017-02-21 ASA Corporation Apparatus and method for photographing glass in multiple layers
JP6213662B2 (ja) 2014-03-07 2017-10-18 新日鐵住金株式会社 表面性状指標化装置、表面性状指標化方法及びプログラム
JP2015225041A (ja) * 2014-05-29 2015-12-14 住友化学株式会社 積層偏光フィルムの欠陥検査方法
US9816939B2 (en) 2014-07-22 2017-11-14 Kla-Tencor Corp. Virtual inspection systems with multiple modes
US9443300B2 (en) * 2014-09-15 2016-09-13 The Boeing Company Systems and methods for analyzing a bondline
WO2016055866A1 (en) * 2014-10-07 2016-04-14 Shamir Optical Industry Ltd. Methods and apparatus for cleaning blocked ophthalmic lenses
JP2017049974A (ja) * 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム
JP2017215277A (ja) * 2016-06-02 2017-12-07 住友化学株式会社 欠陥検査システム、フィルム製造装置及び欠陥検査方法
JP2017219343A (ja) * 2016-06-03 2017-12-14 住友化学株式会社 欠陥検査装置、欠陥検査方法、フィルム製造装置及びフィルム製造方法
JP6859627B2 (ja) * 2016-08-09 2021-04-14 株式会社ジェイテクト 外観検査装置
CN108885180B (zh) * 2017-04-12 2021-03-23 意力(广州)电子科技有限公司 一种显示屏的检测方法及装置
JP2018205099A (ja) * 2017-06-02 2018-12-27 コニカミノルタ株式会社 筒状物の検査装置
JP6568664B2 (ja) 2017-06-29 2019-08-28 住友化学株式会社 特異部検知システム及び特異部検知方法
JP6970550B2 (ja) * 2017-07-24 2021-11-24 住友化学株式会社 欠陥検査システム及び欠陥検査方法
JP6970549B2 (ja) * 2017-07-24 2021-11-24 住友化学株式会社 欠陥検査システム及び欠陥検査方法
JP2019023587A (ja) * 2017-07-24 2019-02-14 住友化学株式会社 欠陥検査システム及び欠陥検査方法
KR102045818B1 (ko) * 2017-11-06 2019-12-02 동우 화인켐 주식회사 투과 광학계 검사 장치 및 이를 이용한 결함 검사 방법
JP2019135460A (ja) * 2018-02-05 2019-08-15 株式会社Ｓｃｒｅｅｎホールディングス 画像取得装置、画像取得方法および検査装置
CN109030512B (zh) * 2018-08-23 2021-09-07 红塔烟草(集团)有限责任公司 烟条单相机重复视觉检测装置及方法
US10481097B1 (en) * 2018-10-01 2019-11-19 Guardian Glass, LLC Method and system for detecting inclusions in float glass based on spectral reflectance analysis
KR102372714B1 (ko) * 2020-01-31 2022-03-10 한국생산기술연구원 딥러닝 기반 자동 결함 검사 장치 및 방법
WO2021166058A1 (ja) * 2020-02-18 2021-08-26 日本電気株式会社 画像認識装置、画像認識方法、及び、記録媒体
JP2021196242A (ja) * 2020-06-12 2021-12-27 パナソニックＩｐマネジメント株式会社 検出方法および検出装置
CN112069974B (zh) * 2020-09-02 2023-04-18 安徽铜峰电子股份有限公司 一种识别元器件缺损的图像识别方法及其系统
CN116507907A (zh) * 2020-11-30 2023-07-28 柯尼卡美能达株式会社 分析装置、检查系统及学习装置
JP2022131075A (ja) * 2021-02-26 2022-09-07 株式会社日立パワーソリューションズ 超音波検査装置
US11394851B1 (en) * 2021-03-05 2022-07-19 Toshiba Tec Kabushiki Kaisha Information processing apparatus and display method
CN115032148B (zh) * 2022-06-06 2023-04-25 苏州天准科技股份有限公司 一种片材棱面检测方法及规整检测暂存站
CN115115625B (zh) * 2022-08-26 2022-11-04 聊城市正晟电缆有限公司 基于图像处理的电缆生产异常检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003250078A (ja) * 2002-02-22 2003-09-05 Nippon Telegr & Teleph Corp <Ntt> 平行投影画像生成装置
JP2005181014A (ja) * 2003-12-17 2005-07-07 Hitachi Software Eng Co Ltd 画像読取装置及び画像読取方法
JP2008256402A (ja) * 2007-04-02 2008-10-23 Purex:Kk シート状物品の検査方法および装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1156828A (ja) * 1997-08-27 1999-03-02 Fuji Photo Film Co Ltd 異常陰影候補検出方法および装置
US7796801B2 (en) * 1999-08-26 2010-09-14 Nanogeometry Research Inc. Pattern inspection apparatus and method
TW500920B (en) * 2000-03-24 2002-09-01 Olympus Optical Co Defect detecting apparatus
JP4201478B2 (ja) * 2000-11-08 2008-12-24 住友化学株式会社 シート状製品の欠陥マーキング装置
JP4230880B2 (ja) * 2003-10-17 2009-02-25 株式会社東芝 欠陥検査方法
JP2005201783A (ja) * 2004-01-16 2005-07-28 Sumitomo Chemical Co Ltd 枚葉フィルムの欠陥検査装置
CN100489508C (zh) * 2004-07-21 2009-05-20 欧姆龙株式会社 基板检查方法及装置
JP4755888B2 (ja) * 2005-11-21 2011-08-24 住友化学株式会社 枚葉フィルム検査装置及び枚葉フィルム検査方法
JP5006551B2 (ja) * 2006-02-14 2012-08-22 住友化学株式会社 欠陥検査装置及び欠陥検査方法
JP5260320B2 (ja) * 2006-02-15 2013-08-14 ドウジン セミケム カンパニー リミテッド 平板表示装置の検査システム及び検査方法
JP4796860B2 (ja) * 2006-02-16 2011-10-19 住友化学株式会社 オブジェクト検出装置及びオブジェクト検出方法
US7567344B2 (en) * 2006-05-12 2009-07-28 Corning Incorporated Apparatus and method for characterizing defects in a transparent substrate
JP2007333563A (ja) 2006-06-15 2007-12-27 Toray Ind Inc 光透過性シートの検査装置および検査方法
JP2008216590A (ja) * 2007-03-02 2008-09-18 Hoya Corp グレートーンマスクの欠陥検査方法及び欠陥検査装置、フォトマスクの欠陥検査方法、グレートーンマスクの製造方法、並びにパターン転写方法
JP2008292171A (ja) 2007-05-22 2008-12-04 Toray Ind Inc 表面検査装置、表面検査方法および高分子フィルム表面検査方法
JP5367292B2 (ja) * 2008-03-31 2013-12-11 古河電気工業株式会社 表面検査装置および表面検査方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003250078A (ja) * 2002-02-22 2003-09-05 Nippon Telegr & Teleph Corp <Ntt> 平行投影画像生成装置
JP2005181014A (ja) * 2003-12-17 2005-07-07 Hitachi Software Eng Co Ltd 画像読取装置及び画像読取方法
JP2008256402A (ja) * 2007-04-02 2008-10-23 Purex:Kk シート状物品の検査方法および装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104583761A (zh) * 2012-08-28 2015-04-29 住友化学株式会社 缺陷检查装置以及缺陷检查方法
CN104583761B (zh) * 2012-08-28 2016-12-21 住友化学株式会社 缺陷检查装置以及缺陷检查方法
JPWO2016121878A1 (ja) * 2015-01-29 2018-01-11 株式会社 デクシス 光学式外観検査装置、及びこれを用いた光学式外観検査システム
JP7026309B2 (ja) 2015-01-29 2022-02-28 株式会社 デクシス 光学式外観検査装置、及びこれを用いた光学式外観検査システム

Also Published As

Publication number Publication date
KR20120091249A (ko) 2012-08-17
CN102630299B (zh) 2014-07-30
TWI484161B (zh) 2015-05-11
EP2495552A1 (en) 2012-09-05
KR101682744B1 (ko) 2016-12-05
US20130128026A1 (en) 2013-05-23
CA2778128A1 (en) 2011-05-05
JP2011095171A (ja) 2011-05-12
CN102630299A (zh) 2012-08-08
JP4726983B2 (ja) 2011-07-20
TW201140040A (en) 2011-11-16

Similar Documents

Publication Publication Date Title
JP4726983B2 (ja) 欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、記録媒体、および欠陥検査用画像処理方法
CA2615117C (en) Apparatus and methods for inspecting a composite structure for inconsistencies
JP2017215277A (ja) 欠陥検査システム、フィルム製造装置及び欠陥検査方法
KR20190011198A (ko) 결함 검사 시스템 및 결함 검사 방법
KR20120109548A (ko) 외관 검사 장치
JP2016156647A (ja) 電磁波を使用した検査装置
KR101828536B1 (ko) 패널 검사 방법 및 장치
JP2015075483A (ja) 光透過性フィルムの欠陥検出方法
TWI607212B (zh) Image generation device, defect inspection device, and defect inspection method
CN111103309A (zh) 用于检测透明材质物体瑕疵的方法
JP2011145305A (ja) 欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、記録媒体、および欠陥検査用画像処理方法
JP2008249413A (ja) 欠陥検出方法および装置
KR20120109547A (ko) 외관 검사 장치
JP2019023589A (ja) 欠陥検査システム及び欠陥検査方法
JP2021092439A (ja) 照明最適化方法、制御装置、及びプログラム
KR20190011199A (ko) 결함 검사 시스템 및 결함 검사 방법
JP7293907B2 (ja) 外観検査管理システム、外観検査管理装置、外観検査管理方法及びプログラム
JP2005083906A (ja) 欠陥検出装置
JP5231779B2 (ja) 外観検査装置
JP7298333B2 (ja) 外観検査管理システム、外観検査管理装置、外観検査管理方法及びプログラム
JP2014106141A (ja) 欠陥検査装置、及び欠陥検査方法
JP2010175283A (ja) 面画像生成装置
JP2007101239A (ja) 外観検査装置及び外観検査方法
Perng et al. A novel vision system for CRT panel auto-inspection
JP6996363B2 (ja) シート状物の欠陥検査装置及び製造方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080048759.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10826466

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2778128

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2010826466

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20127013652

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13504791

Country of ref document: US