WO2022163421A1 - 検査対象に含まれる異物を検出する方法および装置 - Google Patents

検査対象に含まれる異物を検出する方法および装置 Download PDF

Info

Publication number
WO2022163421A1
WO2022163421A1 PCT/JP2022/001492 JP2022001492W WO2022163421A1 WO 2022163421 A1 WO2022163421 A1 WO 2022163421A1 JP 2022001492 W JP2022001492 W JP 2022001492W WO 2022163421 A1 WO2022163421 A1 WO 2022163421A1
Authority
WO
WIPO (PCT)
Prior art keywords
foreign matter
region
image data
pixel
image
Prior art date
Application number
PCT/JP2022/001492
Other languages
English (en)
French (fr)
Inventor
和晃 西尾
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN202280009183.6A priority Critical patent/CN116710958A/zh
Priority to JP2022578255A priority patent/JPWO2022163421A1/ja
Publication of WO2022163421A1 publication Critical patent/WO2022163421A1/ja
Priority to US18/346,824 priority patent/US20230419478A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Definitions

  • the present disclosure relates to a method and apparatus for detecting foreign matter contained in an inspection target.
  • wavelength bands each of which is a narrow band, for example, spectral information of ten bands or more
  • a camera that acquires such multi-wavelength information is called a “hyperspectral camera”.
  • Hyperspectral cameras are used in various fields such as food inspection, biopsy, pharmaceutical development, and mineral composition analysis.
  • a wavelength band may be referred to as a band.
  • Patent Document 2 discloses a method of recognizing an object using machine learning from a hyperspectral image generated using compressed sensing.
  • a method is a method for detecting a specific foreign substance contained in an inspection target.
  • the method includes obtaining first image data for the inspection object, each pixel having a pixel value for a first group of bands including one or more wavelength bands; Determining one or more pixel regions satisfying one condition as the first foreign matter region, and each pixel having a pixel value for a second band group including more wavelength bands than the first band group. Acquiring second image data for a region including a first foreign matter region; and obtaining, from the second image data, one or more pixel regions satisfying a second condition different from the first condition, the specific foreign matter region. and outputting information about the second foreign matter region.
  • Computer-readable recording media include non-volatile recording media such as CD-ROMs (Compact Disc-Read Only Memory).
  • a device may consist of one or more devices. When the device is composed of two or more devices, the two or more devices may be arranged in one device, or may be divided and arranged in two or more separate devices. As used herein and in the claims, a "device" can mean not only one device, but also a system of multiple devices.
  • FIG. 10 is a diagram schematically showing another configuration example of a hyperspectral imaging system
  • FIG. 10 is a diagram schematically showing still another configuration example of a hyperspectral imaging system
  • FIG. 10 is a diagram schematically showing still another configuration example of a hyperspectral imaging system
  • FIG. 4 is a diagram schematically showing an example of a filter array
  • FIG. 3 is a diagram showing an example of a spatial distribution of light transmittance in each of a plurality of wavelength bands included in a target wavelength band
  • FIG. 4 is a diagram showing an example of spectral transmittance of one region included in a filter array
  • FIG. 3 is a diagram showing an example of a spatial distribution of light transmittance in each of a plurality of wavelength bands included in a target wavelength band
  • FIG. 4 is a diagram showing an example of spectral transmittance of one region included in a filter array
  • FIG. 3 is a diagram showing an example of a spatial distribution of light transmittance in each of a plurality of wavelength bands
  • FIG. 5 is a diagram showing an example of spectral transmittance of other regions included in the filter array; 1 is a diagram for explaining the relationship between a target wavelength band W and a plurality of wavelength bands W 1 , W 2 , . . . , WN included therein; FIG. FIG. 4 is another diagram for explaining the relationship between the target wavelength range W and the plurality of wavelength bands W 1 , W 2 , . . . , WN included therein. FIG. 4 is a diagram for explaining spectral transmittance characteristics in a region of a filter array; It is a figure which shows the result of having averaged the spectral transmittance
  • FIG. 1 is a diagram schematically showing a configuration example of an inspection system according to Embodiment 1;
  • FIG. 1 is a block diagram showing a configuration example of an inspection system;
  • FIG. 5 is a flow chart showing an example of a two-step foreign object detection operation by a processing circuit;
  • FIG. 11 is a flow chart showing details of a foreign object detection process based on a second condition in step S150;
  • FIG. FIG. 2 is a diagram showing an example of information stored in a storage device;
  • FIG. FIG. 2 shows an example of the reflectance spectra of two metals and the background and the first band group;
  • FIG. 10 is a diagram showing an example of an image generated for each band by restoration calculation using the restoration table corresponding to the first band group;
  • FIG. 12 is a diagram showing an example of a first foreign matter region cut out in the example shown in FIG. 11;
  • FIG. 2 shows an example of reflectance spectra of two metals and a background and a second group of bands;
  • FIG. 11 is a block diagram showing a configuration example of an inspection system according to Embodiment 2;
  • 10 is a flow chart showing an example of the operation of two-step foreign matter detection in the second embodiment; It is a figure which shows a coordinate axis and a coordinate.
  • all or part of a circuit, unit, device, member or section, or all or part of a functional block in a block diagram is, for example, a semiconductor device, a semiconductor integrated circuit (IC), or an LSI (large scale integration). ) may be performed by one or more electronic circuits.
  • An LSI or IC may be integrated on one chip, or may be configured by combining a plurality of chips.
  • functional blocks other than memory elements may be integrated into one chip.
  • they are called LSIs or ICs, but they may be called system LSIs, VLSIs (very large scale integration), or ULSIs (ultra large scale integration) depending on the degree of integration.
  • a Field Programmable Gate Array (FPGA), which is programmed after the LSI is manufactured, or a reconfigurable logic device that can reconfigure the connection relationships inside the LSI or set up the circuit partitions inside the LSI can also be used for the same purpose.
  • FPGA Field Programmable Gate Array
  • circuits, units, devices, members or parts can be executed by software processing.
  • the software is recorded on one or more non-transitory storage media, such as ROMs, optical discs, hard disk drives, etc., and when the software is executed by a processor, the functions specified in the software are is performed by the processor and peripherals.
  • a system or apparatus may comprise one or more non-transitory storage media on which software is recorded, a processing unit, and required hardware devices such as interfaces.
  • the above method is executed by a computer.
  • one or more first foreign matter regions satisfying the first condition are first determined from the first image data containing information of a relatively small number of bands.
  • the first foreign matter region may be a region in which it is estimated that a specific foreign matter is highly likely to exist.
  • second image data including information of more bands is acquired for the region including the first foreign matter region.
  • one or more pixel regions satisfying the second condition are determined as the second foreign matter regions in which the specific foreign matter is present.
  • the first condition is that the pixel region is composed of a plurality of consecutive pixels whose pixel values in the first band group satisfy a specific condition, and the size of the pixel region exceeds a predetermined size.
  • a predetermined size For example, when the first band group includes one band, if a group of a plurality of continuous pixels whose pixel values are within a predetermined range exceeds a predetermined size, a pixel composed of the plurality of pixels The area may be detected as the first foreign object area.
  • the first band group includes two bands, if the ratio or difference between the pixel values of those bands exceeds a predetermined size of a group of consecutive pixels within a predetermined range, A pixel region composed of a plurality of pixels may be detected as the first foreign matter region.
  • a plurality of pixels being “contiguous” means that those pixels are adjacent or close together in the image.
  • the "predetermined size” can be, for example, a threshold regarding the number of pixels in the pixel region, the diameter of the circumscribed circle, or the diameter of the inscribed circle.
  • the second condition may be that the pixel region is classified into one of a predetermined classification list based on pixel values for the second band group. For example, if a combination (for example, ratio) of pixel values of a plurality of bands included in the second band group satisfies a predetermined condition, it is determined to be classified into one of the predetermined classification lists. obtain. Classification may be performed according to a trained model that has been trained in advance using learning data.
  • Obtaining the first image data includes obtaining compressed image data in which image information for each of a plurality of wavelength bands including the second band group is compressed as one two-dimensional image, and obtaining compressed image data from the compressed image data. Generating the first image data may be included.
  • Obtaining the second image data includes extracting the region including the first foreign matter region from the compressed image data and generating the second image data based on data of the extracted region. You can The region including the first foreign matter region may be the same region as the first foreign matter region.
  • Generating the first image data may include restoring the first image data from the compressed image data using a first restoration table corresponding to the first band group.
  • Generating the second image data may include restoring the second image data from data of the extracted region using a second restoration table corresponding to the second band group.
  • the compressed image may be generated by an imaging device comprising a filter array and an image sensor.
  • the filter array may include multiple types of filters having different transmission spectra.
  • the first reconstruction table and the second reconstruction table may be generated based on the transmission spectrum distribution in the multiple filter array.
  • the first image data may be acquired by a first imaging operation by an imaging device
  • the second image data may be acquired by a second imaging operation by the imaging device.
  • the imaging device is not limited to the imaging device with the filter array described above, and may be any hyperspectral imaging device.
  • the method may further include outputting a warning to an output device when the second foreign object area is detected.
  • Said output device may be, for example, one or more devices selected from the group consisting of a display, a speaker, a buzzer, and a lamp.
  • Alerts may include one or more information selected from the group consisting of, for example, light, sound, image, text, and vibration.
  • the method may further include storing the location of the first foreign matter region and the location of the second foreign matter region in a storage device.
  • the position is a position in the image and can be specified by two-dimensional coordinate values.
  • a device detects foreign matter contained in an inspection target.
  • the apparatus includes a processor and a storage medium storing a computer program.
  • the processor executes the computer program to (a) acquire first image data for the inspection object, each pixel having a pixel value for a first group of bands including one or more wavelength bands.
  • a computer program is a computer program for detecting foreign matter contained in an inspection target.
  • the computer program causes the computer to: (a) acquire first image data for the inspection object, each pixel having a pixel value for a first group of bands including one or more wavelength bands; b) determining one or more pixel regions that satisfy a first condition from the first image data as a first foreign matter region; and (c) each pixel includes more wavelength bands than the first band group. (d) obtaining second image data for a region including the first foreign matter region, which has pixel values for a second band group including; Determining one or more pixel regions satisfying two conditions as a second foreign matter region in which the specific foreign matter exists; and (e) outputting information about the second foreign matter region.
  • FIG. 1A is a diagram schematically showing a configuration example of a hyperspectral imaging system.
  • This system includes an imaging device 100 and a processing device 200 .
  • the imaging device 100 has a configuration similar to that of the imaging device disclosed in Patent Document 2.
  • FIG. The imaging device 100 includes an optical system 140 , a filter array 110 and an image sensor 160 .
  • Optical system 140 and filter array 110 are arranged on the optical path of light incident from object 70, which is a subject.
  • Filter array 110 is placed between optical system 140 and image sensor 160 .
  • the filter array 110 is an array of a plurality of translucent filters arranged in rows and columns.
  • the multiple filters include multiple types of filters having different spectral transmittances, ie, wavelength dependencies of light transmittances.
  • the filter array 110 modulates the intensity of incident light for each wavelength and outputs the modulated light. This process by filter array 110 is referred to herein as "encoding.”
  • the filter array 110 is arranged near or directly above the image sensor 160 .
  • “near” means that the image of the light from the optical system 140 is close enough to be formed on the surface of the filter array 110 in a somewhat clear state.
  • “Directly above” means that they are so close to each other that there is almost no gap. Filter array 110 and image sensor 160 may be integrated.
  • the optical system 140 includes at least one lens. Although optical system 140 is shown as a single lens in FIG. 1A, optical system 140 may be a combination of multiple lenses. Optical system 140 forms an image on the imaging surface of image sensor 160 via filter array 10 .
  • Filter array 110 may be located remotely from image sensor 160 .
  • FIGS. 1B to 1D are diagrams showing configuration examples of the imaging device 100 in which the filter array 110 is arranged away from the image sensor 160.
  • FIG. 1B filter array 110 is positioned between optical system 140 and image sensor 160 and at a distance from image sensor 160 .
  • filter array 110 is positioned between object 70 and optics 140 .
  • imaging device 100 comprises two optical systems 140A and 140B, with filter array 110 positioned therebetween.
  • an optical system including one or more lenses may be arranged between filter array 110 and image sensor 160 .
  • the image corresponding to wavelength band W 1 ie, the image of wavelength band W 1 is 250W 1 , .
  • the image sensor 160 is a monochrome photodetector having a plurality of two-dimensionally arranged photodetection elements (also referred to as "pixels" in this specification).
  • the image sensor 160 can be, for example, a CCD (Charge-Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor) sensor, or an infrared array sensor.
  • the photodetector includes, for example, a photodiode.
  • Image sensor 160 does not necessarily have to be a monochrome type sensor. For example, color type sensors with R/G/B, R/G/B/IR, or R/G/B/W filters may be used.
  • the wavelength range to be acquired may be arbitrarily determined, and is not limited to the visible wavelength range, and may be the ultraviolet, near-infrared, mid-infrared, or far-infrared wavelength ranges.
  • the processing device 200 is a computer that includes a processor and a storage medium such as memory. Based on the compressed image 120 acquired by the image sensor 160, the processing unit 200 generates data for a plurality of images 250W1 , 250W2 , .
  • FIG. 2A is a diagram schematically showing an example of the filter array 110.
  • FIG. Filter array 110 has a plurality of regions arranged two-dimensionally. In this specification, the area may be referred to as a "cell".
  • An optical filter having an individually set spectral transmittance is arranged in each region.
  • the spectral transmittance is represented by a function T( ⁇ ), where ⁇ is the wavelength of incident light.
  • the spectral transmittance T( ⁇ ) can take a value of 0 or more and 1 or less.
  • the filter array 110 has 48 rectangular regions arranged in 6 rows and 8 columns. This is only an example and in actual applications more areas may be provided. The number may be about the same as the number of pixels of the image sensor 160, for example. The number of filters included in the filter array 110 is determined depending on the application, for example, within the range of tens to tens of millions.
  • FIG. 2B is a diagram showing an example of spatial distribution of light transmittance in each of a plurality of wavelength bands W 1 , W 2 , . . . , W N included in the target wavelength range.
  • the difference in shading in each region represents the difference in transmittance.
  • a lighter area has a higher transmittance, and a darker area has a lower transmittance.
  • the spatial distribution of light transmittance differs depending on the wavelength band.
  • FIGS. 2C and 2D are diagrams respectively showing examples of spectral transmittance of area A1 and area A2 included in filter array 110 shown in FIG. 2A.
  • the spectral transmittance of the area A1 and the spectral transmittance of the area A2 are different from each other.
  • the spectral transmittance of filter array 110 differs depending on the region. However, it is not necessary that all regions have different spectral transmittances.
  • Filter array 110 includes two or more filters having different spectral transmittances.
  • the number of spectral transmittance patterns in the plurality of regions included in the filter array 110 can be equal to or greater than the number N of wavelength bands included in the wavelength range of interest.
  • the filter array 110 may be designed such that more than half of the regions have different spectral transmittances.
  • the target wavelength band W can be set in various ranges depending on the application.
  • the target wavelength range W can be, for example, a visible light wavelength range from about 400 nm to about 700 nm, a near-infrared wavelength range from about 700 nm to about 2500 nm, or a near-ultraviolet wavelength range from about 10 nm to about 400 nm.
  • the target wavelength range W may be a radio wave range such as mid-infrared or far-infrared.
  • the wavelength range used is not limited to the visible light range.
  • the term “light” refers to radiation in general, including not only visible light but also infrared rays and ultraviolet rays.
  • N is an arbitrary integer of 4 or more, and each wavelength band obtained by equally dividing the target wavelength band W into N is defined as a wavelength band W 1 , a wavelength band W 2 , .
  • a plurality of wavelength bands included in the target wavelength band W may be set arbitrarily. For example, different wavelength bands may have different bandwidths. There may be gaps or overlaps between adjacent wavelength bands. In the example shown in FIG. 3B, the wavelength bands have different bandwidths and there is a gap between two adjacent wavelength bands. In this way, the plurality of wavelength bands may be different from each other, and the method of determination is arbitrary.
  • FIG. 4A is a diagram for explaining spectral transmittance characteristics in a certain region of the filter array 110.
  • the spectral transmittance has multiple maxima P1 to P5 and multiple minima for wavelengths within the wavelength range W of interest.
  • normalization is performed so that the maximum value of the light transmittance within the target wavelength range W is 1 and the minimum value is 0.
  • the spectral transmittance has maximum values in wavelength bands such as the wavelength band W 2 and the wavelength band W N ⁇ 1 .
  • the spectral transmittance of each region has maximum values in at least two of the plurality of wavelength bands W1 to WN.
  • local maxima P1, P3, P4 and P5 are greater than or equal to 0.5.
  • the filter array 110 transmits a large amount of components in a certain wavelength band and transmits less components in other wavelength bands among the incident light. For example, for light in k wavelength bands out of N wavelength bands, the transmittance is greater than 0.5, and for light in the remaining Nk wavelength bands, the transmittance is 0.5. can be less than k is an integer that satisfies 2 ⁇ k ⁇ N. If the incident light is white light that evenly includes all wavelength components of visible light, the filter array 110 converts the incident light into light having a plurality of discrete intensity peaks with respect to wavelength. , and superimposes and outputs these multi-wavelength lights.
  • FIG. 4B is a diagram showing, as an example, the result of averaging the spectral transmittance shown in FIG. 4A for each wavelength band W 1 , wavelength band W 2 , . . . , wavelength band WN.
  • the averaged transmittance is obtained by integrating the spectral transmittance T( ⁇ ) for each wavelength band and dividing by the bandwidth of that wavelength band.
  • the transmittance value averaged for each wavelength band is defined as the transmittance in that wavelength band.
  • the transmittance is remarkably high in the three wavelength regions having the maximum values P1, P3 and P5. In particular, the transmittance exceeds 0.8 in the two wavelength regions having the maximum values P3 and P5.
  • a grayscale transmittance distribution is assumed in which the transmittance of each region can take any value between 0 and 1 inclusive.
  • a binary-scale transmittance distribution may be employed in which the transmittance of each region can take either a value of approximately 0 or approximately 1.
  • each region transmits a majority of light in at least two wavelength bands of the plurality of wavelength bands included in the wavelength band of interest and transmits a majority of light in the remaining wavelength bands. don't let Here, "most" refers to approximately 80% or more.
  • Part of the total cells may be replaced with transparent areas.
  • Such a transparent region transmits light in all wavelength bands W1 to WN contained in the wavelength range W of interest with a similarly high transmittance, eg, a transmittance of 80% or more.
  • the plurality of transparent regions may be arranged in a checkerboard, for example. That is, in the two directions in which the plurality of regions in the filter array 110 are arranged, the regions having different light transmittances depending on the wavelength and the transparent regions can be alternately arranged.
  • Such data indicating the spatial distribution of the spectral transmittance of the filter array 110 is obtained in advance based on design data or actual measurement calibration, and stored in a storage medium included in the processing device 200. This data is used for arithmetic processing to be described later.
  • the filter array 110 can be constructed using, for example, a multilayer film, an organic material, a diffraction grating structure, or a microstructure containing metal.
  • a multilayer film for example, a dielectric multilayer film or a multilayer film containing a metal layer can be used.
  • each cell is formed so that at least one of the thickness, material, and stacking order of each multilayer film is different. Thereby, different spectral characteristics can be realized depending on the cell.
  • a multilayer film a sharp rise and fall in spectral transmittance can be realized.
  • a structure using an organic material can be realized by differentiating the pigment or dye contained in each cell or by laminating different materials.
  • a configuration using a diffraction grating structure can be realized by providing diffraction structures with different diffraction pitches or depths for each cell.
  • a microstructure containing metal it can be produced using spectroscopy due to the plasmon effect.
  • the processor 200 generates a multi-wavelength hyperspectral image 250 based on the compressed image 120 output from the image sensor 160 and the spatial distribution characteristics of transmittance for each wavelength of the filter array 110 .
  • multiple wavelengths means a wavelength range greater than the three color wavelength ranges of RGB acquired by a normal color camera, for example.
  • the number of wavelength bands may be on the order of 4 to 100, for example.
  • the number of wavelength regions is called the number of bands. Depending on the application, the number of bands may exceed 100.
  • f be the data of the hyperspectral image 250 . If the number of bands is N, f is data obtained by integrating image data f 1 of wavelength band W 1 , image data f 2 of wavelength band W 2 , . . . , and image data f N of wavelength band WN .
  • the horizontal direction of the image is the x direction
  • the vertical direction of the image is the y direction.
  • each of image data f 1 , image data f 2 , . is two-dimensional data. Therefore, the data f is three-dimensional data having n ⁇ m ⁇ N elements. This three-dimensional data is called "hyperspectral image data" or "hyperspectral datacube".
  • the number of elements of the data g of the compressed image 120 encoded and multiplexed by the filter array 110 is n ⁇ m.
  • Data g can be represented by the following equation (1).
  • each of f 1 , f 2 , . . . , f N is data having n ⁇ m elements. Therefore, the vector on the right side is a one-dimensional vector of n ⁇ m ⁇ N rows and 1 column.
  • the vector g is converted into a one-dimensional vector of n ⁇ m rows and 1 column, and calculated.
  • the matrix H encodes and intensity - modulates each component f 1 , f 2 , . represents a transformation that adds Therefore, H is a matrix with n ⁇ m rows and n ⁇ m ⁇ N columns.
  • the processing device 200 utilizes the redundancy of the images included in the data f and obtains the solution using the method of compressed sensing. Specifically, the desired data f is estimated by solving the following equation (2).
  • f' represents the estimated data of f.
  • the first term in parentheses in the above formula represents the amount of deviation between the estimation result Hf and the acquired data g, ie, the so-called residual term.
  • the sum of squares is used as the residual term here, the absolute value or the square root of the sum of squares may be used as the residual term.
  • the second term in parentheses is the regularization or stabilization term. Equation (2) means finding f that minimizes the sum of the first and second terms.
  • the processing unit 200 can converge the solution by recursive iterative computation and calculate the final solution f'.
  • the first term in parentheses in formula (2) means an operation for obtaining the sum of squares of the difference between the acquired data g and Hf obtained by transforming f in the estimation process using the matrix H.
  • the second term, ⁇ (f), is a constraint on the regularization of f, and is a function that reflects the sparse information of the estimated data. This function has the effect of smoothing or stabilizing the estimated data.
  • the regularization term may be represented by, for example, the Discrete Cosine Transform (DCT), Wavelet Transform, Fourier Transform, or Total Variation (TV) of f. For example, when the total variation is used, it is possible to acquire stable estimated data that suppresses the influence of noise in the observed data g.
  • the sparsity of the object 70 in the space of each regularization term depends on the texture of the object 70 .
  • a regularization term may be chosen that makes the texture of the object 70 more spars in the space of regularization terms.
  • multiple regularization terms may be included in the operation.
  • ⁇ is a weighting factor. The larger the weighting factor ⁇ , the larger the reduction amount of redundant data and the higher the compression rate. The smaller the weighting factor ⁇ , the weaker the convergence to the solution.
  • the weighting factor ⁇ is set to an appropriate value with which f converges to some extent and does not become over-compressed.
  • the hyperspectral image 250 can be generated by storing the blur information in advance and reflecting the blur information on the matrix H described above.
  • blur information is represented by a point spread function (PSF).
  • PSF is a function that defines the degree of spread of a point image to peripheral pixels. For example, when a point image corresponding to one pixel in an image spreads over a region of k ⁇ k pixels around that pixel due to blurring, the PSF is a coefficient group that indicates the effect on the brightness of each pixel in that region. can be defined as a matrix.
  • the hyperspectral image 250 can be generated by reflecting the blurring effect of the PSF-encoded pattern on the matrix H.
  • FIG. The position where the filter array 110 is placed is arbitrary, but a position can be selected where the coding pattern of the filter array 110 is not too diffuse and disappears.
  • the hyperspectral image 250 can be generated from the compressed image 120 acquired by the image sensor 160.
  • the processing device 200 applies an algorithm using the principle of compressed sensing to generate the hyperspectral image 250 for all wavelength bands included in the wavelength band of interest. In this case, if the resolution of the compressed image 120 is high, the calculation load for generating the hyperspectral image 250 will be high, and the time required for inspection will be long.
  • the following two stages of restoration and inspection are performed to reduce the computational load and time required for the entire inspection.
  • the above restoration operation is performed only for a first band group containing a relatively small number of bands instead of all bands, and an image for each band is generated from the compressed image. Based on the images of those relatively few bands, a first foreign object region is identified in the image that is likely to contain a particular foreign object.
  • the restoration operation is performed only for a relatively narrow region including the specified first foreign matter region, and for a second band group including more bands than the number of bands included in the first band group. .
  • the second foreign matter region in which the specific foreign matter to be detected exists is specified from the first foreign matter regions. Information about the identified second foreign matter region is output to an output device such as a display.
  • Such a method makes it possible to detect specific foreign matter contained in the inspection target with a smaller amount of computation. As a result, the time required for the inspection process can be greatly reduced.
  • FIG. 5 is a diagram schematically showing a configuration example of an inspection system according to this embodiment.
  • This inspection system comprises an imaging device 100 , a processing device 200 , an output device 300 and an actuation device 400 .
  • Output devices 300 may include devices such as displays, speakers, and lamps.
  • Actuator 400 may include devices such as conveyor belts and picking devices.
  • An object 70 to be inspected is placed on a conveyor belt and conveyed.
  • Object 70 is any article, such as an industrial product or a food product.
  • the inspection system detects foreign matter mixed in the object 70 based on the compressed image of the object 70 .
  • Foreign objects to be detected can be anything, such as certain metals, plastics, insects, debris, or hair.
  • the foreign matter is not limited to these objects, and may be a portion of the object 70 whose quality has deteriorated. For example, if the object 70 is food, a rotten part of the food may be detected as a foreign object.
  • the inspection system can output information indicating that the foreign object has been detected to the output device 300, or remove the object 70 including the foreign object by the picking device.
  • the imaging device 100 is a camera capable of the aforementioned hyperspectral imaging.
  • the imaging device 100 generates the above-mentioned compressed image by photographing the object 70 continuously flowing on the conveyor.
  • Processing device 200 is any computer such as, for example, a personal computer, a server computer, or a laptop computer.
  • the processing device 200 generates an image for each of a plurality of bands by performing the above-described restoration calculation based on the compressed image generated by the imaging device 100 .
  • the processing device 200 detects foreign matter contained in the target object 70 based on the images of those bands, and outputs the detection result to the output device 300 .
  • FIG. 6 is a block diagram showing a configuration example of an inspection system.
  • the processing device 200 comprises processing circuitry 210 and a storage device 220 .
  • Output device 300 includes display 310 , speaker 320 , and lamp 330 .
  • Actuator 400 comprises a conveyor 410 and a picking device 420 .
  • the imaging device 100 includes an image sensor, a filter array, and an optical system such as a lens, as described with reference to FIGS. 1A to 1D.
  • the imaging device 100 captures an image of the object 70 to generate compressed image data, and sends the compressed image data to the processing device 200 .
  • the processing device 200 generates an image for each band based on the compressed image generated by the imaging device 100.
  • the processing circuitry 210 of the processing unit 200 includes a processor, such as a CPU or GPU.
  • the processing circuit 210 determines whether or not the target object 70 contains a specific foreign substance based on the compressed image generated by the imaging device 100, and outputs information indicating the determination result.
  • the processing circuit 210 performs two stages of restoration processing on the compressed image acquired from the imaging device 100 .
  • the first-stage restoration only a relatively small number of bands among multiple bands included in the target wavelength band are restored for the entire compressed image. This relatively small number of bands is referred to as the first band group.
  • the number of bands included in the first band group is any number greater than or equal to 1, and in a certain example, greater than or equal to 2 and less than or equal to 5.
  • processing circuit 210 uses a first reconstruction table that contains only information on matrix elements corresponding to the first band group in matrix H in equations (1) and (2) above.
  • a synthesized restored image corresponding to a band different from the band included in the first band group is obtained using a synthesized restored table obtained by synthesizing information of matrix elements corresponding to the band different from the band included in the first band group. may be generated.
  • the processing circuit 210 restores the image of each band in the first band group according to the above equation (2) based on the compressed image and the first restoration table.
  • the processing circuit 210 first identifies a first foreign matter region in which foreign matter is highly likely to exist according to the discrimination model based on the first condition from the pixel values of the plurality of pixels included in the restored image corresponding to each band.
  • the first condition is, for example, that the pixel region is composed of a plurality of consecutive pixels whose pixel values for the first band group satisfy a specific condition, and that the size of the pixel region exceeds a predetermined size.
  • the processing circuit 210 causes the storage device 220 to store the first foreign matter region, and restores each band of the second band group, which is larger than the number of bands of the first band group, for a relatively narrow region including the first foreign matter region. conduct.
  • processing circuitry 210 uses a second reconstruction table that contains only information on matrix elements corresponding to the second band group in matrix H in equations (1) and (2) above.
  • the second band group may include all bands in the wavelength range of interest.
  • the processing circuit 210 Based on the compressed image and the second restoration table, the processing circuit 210 extracts the pixels of the plurality of pixels in the region corresponding to the first foreign matter region included in the image of each band in the second band group according to the above equation (2). Calculate the value.
  • the processing circuit 210 identifies a second foreign matter region containing a specific foreign matter according to a discrimination model based on a second condition from pixel values of a plurality of pixels in a region corresponding to the first foreign matter region included in each band image, Information indicating the specified second foreign matter region is stored in the storage device 220 as a detection result.
  • a second condition may be, for example, that the region is classified into one of a predetermined classification list based on pixel values for the second band group.
  • the processing circuit 210 transmits a control signal to the external output device 300 and the actuation device 400 when a foreign object satisfying the second condition is detected.
  • the output device 300 causes at least one of the display 310, the speaker 320, and the lamp 330 to output a warning such as light, image, text, beep, or sound in response to the received control signal.
  • the actuation device 400 may switch the path of the conveyor 410 or remove from the conveyor 410 objects 70 for which foreign objects have been detected by the picking device 420 in response to the received control signal.
  • the storage device 220 includes any storage medium such as semiconductor memory, magnetic storage device, optical storage device, and the like.
  • Storage device 220 stores computer programs executed by processing circuitry 210, data used by processing circuitry 210 in the course of processing, and data generated by processing circuitry 210 in the course of processing.
  • the storage device 220 stores, for example, compressed image data generated by the imaging device 100, a restoration table corresponding to each combination of bands such as a first band group and a second band group, a discrimination model corresponding to each combination of bands, detection Information indicating the positions on the image of the first foreign matter region and the second foreign matter region and information indicating the foreign matter determination result are stored.
  • FIG. 7 is a flowchart showing an example of a two-step foreign object detection operation by the processing circuit 210.
  • processing circuitry 210 performs the operations of steps S100 through S180.
  • the processing circuit 210 acquires a compressed image of the object 70 generated by the compression sensing imaging by the imaging device 100 (step S100).
  • the processing circuit 210 uses the first restoration table corresponding to the first band group to perform the restoration calculation based on the above equation (2), and obtains one image of the object 70 for the first band group from the compressed image. Alternatively, multiple images are generated (step S110).
  • the processing circuitry 210 applies the first discriminant model according to the first condition to the generated one or more images, and detects a first foreign matter region that satisfies the first condition (step S120).
  • a first foreign matter region that satisfies the first condition
  • the processing circuitry 210 may detect two or more different types of foreign matter according to the first discriminant model.
  • the processing circuitry 210 determines whether or not there is a first foreign matter region that satisfies the first condition (step S130). If the first foreign matter region exists, the process proceeds to step S140. If the first foreign matter region does not exist, the process ends.
  • Processing circuit 210 causes storage device 220 to store information indicating the detected first foreign matter region (step S140).
  • the processing circuit 210 performs foreign matter detection processing on the detected first foreign matter region based on two conditions based on the information of the second band group including more bands than the first band group (step S150).
  • the number of types of detected foreign matter that satisfies the second condition is one or more, and may be a plurality of types.
  • the number of types of foreign matter that satisfies the second condition is less than the number of types of foreign matter that satisfies the first condition.
  • the number of types of foreign matter that satisfies the first condition but does not satisfy the second condition may be one or plural.
  • the processing circuit 210 determines whether or not there is a second foreign matter region that satisfies the second condition (step S160).
  • processing circuit 210 causes storage device 220 to store information about the second foreign matter region (step S170). Processing circuit 210 then outputs control signals to output device 300 and actuator 400 (step S180).
  • the output device 300 receives a control signal from the processing circuit 210 and causes the display 310 or the like to output a warning display.
  • Actuator 400 receives control signals from processing circuitry 210 to control conveyor 410, picking device 420, and the like.
  • FIG. 8 is a flow chart showing the details of the foreign matter detection process based on the second condition in step S150.
  • Step S150 includes steps S151 to S155 shown in FIG.
  • One or more first foreign matter regions may be detected from the compressed image according to the discriminant model according to the first condition.
  • the processing circuit 210 cuts out the first foreign matter region from the compressed image (step S151).
  • the processing circuit 210 uses the second restoration table corresponding to the second band group to perform the restoration calculation based on the above-described formula (2) for the cut-out first foreign matter region, and obtains the second image for the second band group. is generated (step S152).
  • processing circuitry 210 selects one of the unprocessed regions from among the first foreign matter regions (step S153).
  • the processing circuit 210 applies the second discrimination model based on the second condition to the selected first foreign matter region, and determines whether or not the second condition is satisfied (step S154).
  • the processing circuit 210 causes the storage device 220 to store the determination result.
  • the processing circuit 210 determines whether or not the processing has been completed for all of the first foreign matter regions (step S155). If an unprocessed area remains, the process returns to step S153.
  • the processing of steps S153 to S155 is repeated until the processing is completed for all of the first foreign matter regions. When the processing for all the first foreign matter regions is completed, the process proceeds to step S160.
  • FIG. 9 is a diagram showing an example of information stored in the storage device 220.
  • the processing circuitry 210 detects particles of two metals (Metal 1 and Metal 2) as foreign objects and causes the output device 300 to issue an alert if a Metal 1 particle is detected.
  • Compressed image data obtained by compressed sensing imaging is assigned a number (inspection sample No.) for each inspection sample, and recorded together with information on the date and time when the compressed image was acquired.
  • metal 1 and metal 2 are detected as foreign matter based on the discrimination model based on the first condition.
  • Metal 1 and metal 2 are detected separately based on the discrimination model based on the second condition. In this example, an alert is issued if Metal 1 is detected.
  • FIG. 10 is a diagram showing an example of the first band group used in foreign object detection under the first condition.
  • two wavelength bands representing the first band group are illustrated in gray.
  • the reflectance spectra of two types of foreign matter ie Metal 1 and Metal 2
  • processing circuitry 210 distinguishes between the two types of foreign matter and the background by comparing the reflectance in the two bands shown pixel by pixel.
  • the first band group includes two bands of 350 nm ⁇ 10 nm and 600 nm ⁇ 10 nm in this example, this is only an example. Which band to include in the first band group is appropriately selected according to the object to be inspected.
  • the number of bands included in the first band group is any number of 1 or more, and may be 3 or more.
  • FIG. 10 shows a wavelength range from 350 nm to 850 nm, other wavelength ranges may be used.
  • FIG. 11 shows an example of an image of a band (600 nm ⁇ 10 nm) near the center of the graph shown in FIG. 10 among the images generated for each band by the restoration calculation using the restoration table corresponding to the first band group. It is a diagram. This image reflects the reflectance distribution of the object, and the brightness varies according to the reflectance. Areas with higher reflectance are displayed in white, and areas with lower reflectance are displayed in black. In this example, the black grainy areas in the image are the foreign matter, and the bright areas are the background.
  • the discrimination model based on the first condition is a model for detecting a foreign object based on the size of a continuous pixel region in which the pixel values of the first band group satisfy a specific condition.
  • the specific condition may be, for example, that the pixel value ratio of the two bands is within a predetermined range.
  • the reflectance of the two types of foreign matter is similar in all bands, but the reflectance of the background is significantly different between the two bands. Therefore, whether the pixel value ratio of the two bands is within a range of, for example, 0.8 or more and 1.2 or less can be used to determine whether the object is a foreign object or a background.
  • the specific condition may be whether pixel values in one band are above or below a certain threshold.
  • the specific condition is that when a reference band is determined from among three or more bands, each of the multiple bands other than the reference band , and each of the calculated multiple ratio values may be included in a defined range.
  • a region of continuous pixels in which a value (for example, a ratio) calculated based on pixel values of corresponding pixels of each band included in the first band group is within a predetermined range is defined as a region in which a foreign substance exists. It can be detected as a possible region.
  • the first condition may be, for example, that the diameter of the circumscribed circle of the continuous pixel regions thus detected is greater than or equal to a threshold. In the example shown in FIG.
  • a pixel region whose circumscribed circle has a diameter of 1 mm or more is detected as a region in which a foreign substance (ie, metal 1 or metal 2) exists.
  • the condition for determination is not limited to the condition based on the reflectance ratio between wavelength bands, but may be the condition based on the difference or the condition derived by machine learning.
  • the processing circuit 210 assigns an ID to each foreign matter area detected according to the first condition, and records the position on the image in the storage device 220 .
  • the position of the foreign matter area recorded may be a representative position such as the center or the center of gravity of the foreign matter area.
  • the foreign matter area detected in this way is called a "first foreign matter area”.
  • the first foreign matter region can be detected at a plurality of locations according to the number of foreign matter.
  • the processing circuit 210 cuts out one or more detected first foreign matter regions from the compressed image. Then, according to the discrimination model under the second condition, foreign matter determination processing for metal 1 and metal 2 is performed for each foreign matter region that is cut out, and the determination result (for example, the type of foreign matter) is stored in the storage device 220 .
  • FIG. 13 is a diagram showing an example of the second band group in foreign object detection under the second condition.
  • the wavelength range displayed in gray is the second band group.
  • the second group of bands in this example includes nine bands.
  • Metal 1 and metal 2 can be distinguished by comparing the reflectance in the nine bands.
  • the condition for determination may be, for example, whether the pixel value ratio or difference between bands is within a predetermined range, or a condition derived by machine learning.
  • the discrimination conditions can be that the ratio of metal 1 and metal 2 is equal in band 2 and that the ratio of metal 2 is lower than that of metal 1 in bands 4 to 7 .
  • the band 1 is the band on the shortest wavelength side
  • the band 9 is the band on the longest wavelength side.
  • ⁇ (band 2 pixel value for metal 1)/(band 9 pixel value for metal 1) ⁇ ⁇ (band 2 pixel value for metal 2)/(band 9 pixel value for metal 2) ⁇ , ⁇ ( band 4 pixel value for metal 1)/(band 9 pixel value for metal 1) ⁇ > ⁇ (band 4 pixel value for metal 2)/(band 9 pixel value for metal 2) ⁇ , ⁇ (metal 1 (pixel value of band 5 for metal 1)/(pixel value of band 9 for metal 1) ⁇ > ⁇ (pixel value of band 5 for metal 2)/(pixel value of band 9 for metal 2) ⁇ , ⁇ (band 6 pixel value)/(band 9 pixel value for metal 1) ⁇ > ⁇ (band 6 pixel value for metal 2)/(band 9 pixel value for metal 2) ⁇ , ⁇ (band 7 pixel value for metal 1 pixel value)/(band 9 pixel value for metal 1) ⁇ > ⁇ (band 7 pixel value for metal 2)/(band 9 pixel value for metal 2) ⁇ It is good also as conditions of discrimination that it is.
  • a model for estimating the type of foreign matter is created from the pixel value information for each band based on the pixel value information for each band and the information indicating the type of foreign matter. is derived based on
  • the processing circuit 210 causes the output device 300 to output a warning if metal 1 is detected as a result of the determination. As shown in FIG. 9, the processing circuitry 210 may cause the storage device 220 to store that the warning has been output.
  • the foreign matter for which a warning is output is not limited to one type, and may be two or more types.
  • one of a plurality of predetermined classification lists based on a combination of pixel values for the second band group among the first foreign matter regions detected based on the pixel values of each band of the first band group may be set as a second foreign matter region in which a specific foreign matter is present.
  • one or more regions in which one or more foreign substances may exist are first selected as the first foreign substance regions by the first-stage detection operation with a narrowed number of bands. detected. After that, a second foreign object area containing a specific foreign object is detected from among the first foreign object areas by the second-stage detection operation based on more bands.
  • Such an operation makes it possible to greatly reduce the computational load and the inspection time compared to the case of detecting a foreign object based on the information of all bands in the entire image.
  • the method for determining the first foreign matter region may take into consideration the following.
  • the first band group (that is, one or a plurality of wavelength bands) is assumed to be the wavelength band W1 and the wavelength band WN.
  • processing circuitry 210 computes image data f1 for wavelength band W1 from compressed image 120 , produces image 250W1 containing image data f1, and from compressed image 120 , wavelength band WN to generate image 250WN containing image data fN .
  • the first image includes image 250W1 and image 250WN.
  • the processing circuitry 210 does not compute from the compressed image 120 the image data f 2 , . That is, at S110, processing circuitry 210 does not generate images 250W 2 . . .
  • the image data f 1 and the image data f N are obtained by solving the inverse problem of the following equation (3) instead of the above equation (1).
  • a plurality of pixel values of a plurality of pixels included in the compressed image 120 are
  • P(g ij ) is the pixel value of pixel g ij contained in compressed image 120 .
  • Pixel gij is located in compressed image 120 at coordinates (i,j). Coordinate axes and coordinates may be as shown in FIG.
  • a plurality of pixel values of a plurality of pixels included in the image 250W k are
  • the pixel value P(f pij ) included in the image data f p and the pixel value P(f qij ) included in the image data f q are pixel values at the same location on the subject. This can be done by determining H shown below so that the pixel f pij and the pixel value f qij correspond to the same position on the object.
  • the pixel located at the coordinates (r, s) may be determined not to be included in a region of contiguous pixels.
  • the first foreign matter area determined by the above method is an area having coordinates (r, s), coordinates (r+1, s), coordinates (r, s+1), and coordinates (r+1, s+1), and will be described below.
  • the coordinates (r, s), coordinates (r+1, s), coordinates (r, s+1), and coordinates (r+1, s+1), which are the coordinates of the first foreign matter area, are recorded in the storage device 220.
  • a method for determining the second foreign matter region may be one that considers the following.
  • the second band group (that is, the plurality of second wavelength bands) will be described as wavelength band W t , wavelength band W u , wavelength band W v , and wavelength band W w .
  • the number of second plurality of wavelength bands (four in this example) is greater than the number of one or more wavelength bands (two in the example above). From compressed image 120 and matrix H, pixel values for some pixels of image 250Wt are computed, and pixel values for other pixels of image 250Wt are not computed.
  • Image data f t of image 250 W t (P(f t11 )...P(f t1n )...P(f tm1 )...P(f tmn )) P(f trs ) , P(f t(r+1)s ), P(f tr(s+1) ), P(f t(r+1)(s+1) ) are calculated and P(f t11 ), ⁇ , P(f tmn ) other than P(f trs ), P(f t(r+1)s ), P(f tr(s+1) ), P(f t(r+1)(s+1) ) is not calculated.
  • Image data f w of image 250W w (P(f w11 )...P(f w1n )...P(f wm1 )... P (f wmn ) ) w(r+1)s ), P(f wr(s+1) ), P(f w(r+1)(s+1) ) are calculated, P(f w11 ), ⁇ , P(f wmn ) other than P(f wrs ), P(f w(r+1)s ), P(f wr(s+1) ), P(f w(r+1)(s+1) ) is not calculated.
  • Foreign matter detection is performed under the second condition using the pixel value P(f t(r+1)(s+1) ) of the pixel. In foreign matter detection under the second condition, the four pixel values included in the image 250W t are used, and the other (m ⁇ n ⁇ 4) pixel values included in the image 250W t are not used.
  • Foreign matter detection is performed under the second condition using the pixel value P(f u(r+1)(s+1) ) of the pixel. In foreign matter detection under the second condition, the four pixel values included in the image 250W u are used, and the other (m ⁇ n ⁇ 4) pixel values included in the image 250W u are not used.
  • Foreign matter detection is performed under the second condition using the pixel value P( fv(r+1)(s+1) ) of the pixel. In foreign matter detection under the second condition, the four pixel values included in the image 250Wt are used, and the other (m ⁇ n ⁇ 4) pixel values included in the image 250Wv are not used.
  • Foreign matter detection is performed under the second condition using the pixel value P(f w(r+1)(s+1) ) of the pixel. In foreign matter detection under the second condition, the four pixel values included in the image 250W w are used, and the other (m ⁇ n ⁇ 4) pixel values included in the image 250W w are not used.
  • FIG. 14 is a block diagram showing a configuration example of an inspection system according to this embodiment.
  • the imaging device 100 and the processing circuit 210 restore images for each band from compressed images using compressed sensing.
  • the image capturing apparatus 100 captures images for each band, and collects a plurality of images obtained by the capturing, thereby generating image data including information of a desired band group.
  • the imaging apparatus 100 in this embodiment has a mechanism for imaging each band and generating an image of each band, instead of including the filter array 110 as shown in FIGS. 1A to 1D.
  • the imaging device 100 directly generates an image of each band. Therefore, the storage device 220 does not store the reconstruction table used to generate the image of each band.
  • the imaging device 100 captures images of each of the bands included in the first band group, and generates a plurality of images corresponding to those bands.
  • the processing circuit 210 detects the first foreign matter region from the image of the first band group generated by the imaging device 100 according to the discrimination model based on the first condition.
  • the imaging device 100 captures images of each of the second band group including more bands than the number of bands of the first band group, and captures a plurality of images corresponding to these bands.
  • the processing circuit 210 performs a foreign object detection process from those images according to the discrimination model under the second condition, and stores the result in the storage device 220 .
  • processing circuitry 210 sends control signals to output device 300 and actuator device 400 .
  • the output device 300 causes the display 310 or the like to output a warning.
  • Actuator 400 controls conveyor 410 and the like upon receiving a control signal.
  • FIG. 15 is a flow chart showing an example of the operation of two-step foreign object detection by photographing multiple images in this embodiment.
  • the processing circuit 210 in this example instructs the imaging device 100 to perform imaging for each band belonging to the first band group (step S200). Thereby, the imaging device 100 generates image data of each band in the first band group. For example, when the first band group consists of a band around 350 nm and a band around 600 nm, imaging is performed with illumination light having a wavelength of 350 nm, and then imaging is performed with illumination light having a wavelength of 600 nm.
  • the wavelength of the illumination light may be adjusted by the user for each imaging, or the imaging device 100 may be provided with an illumination device and the wavelength may be adjusted automatically.
  • Processing circuitry 210 acquires image data for the generated first band group (step S210).
  • the processing circuit 210 performs processing for detecting the first foreign matter region from the acquired image data according to the discrimination model based on the first condition (step S230).
  • the processing circuitry 210 determines whether or not there is a first foreign matter region that satisfies the first condition (step S240). If the first foreign matter area is not detected, the process ends.
  • the processing circuit 210 causes the imaging device 100 to image a relatively narrow region including the first foreign matter region for each band belonging to the second band group.
  • Image data is generated (step S250).
  • the processing circuitry 210 acquires image data for the second band group generated for the relatively narrow region including the first foreign matter region (step S260).
  • the processing circuit 210 performs processing for detecting a second foreign matter region from the acquired image data according to the discrimination model based on the second condition (step S270).
  • the processing circuitry 210 determines whether or not there is a second foreign matter region that satisfies the second condition (step S280). If the second foreign matter area is not detected, the process ends. If the second foreign object area is detected, processing circuit 210 causes storage device 220 to store information about the second foreign object area (step S290). Processing circuit 210 then outputs a control signal to output device 300 and actuator 400 (step S300).
  • the output device 300 receives a control signal from the processing circuit 210 and causes the display 310 or the like to output a warning display.
  • Actuator 400 receives control signals from processing circuitry 210 to control conveyor 410, picking device 420, and the like.
  • imaging is performed for each band by switching the wavelength of the illumination light and performing imaging a plurality of times, but imaging for each band may be performed by another method.
  • the imaging device 100 may perform imaging a plurality of times while switching a plurality of filters having different transmission wavelength ranges.
  • the imaging device 100 may be a line scan hyperspectral camera with a prism or diffraction grating.
  • imaging is performed multiple times for each band. If the number of bands to be imaged is large, the examination will take a long time.
  • imaging is performed for a relatively small number of the first band groups, and imaging is performed for a larger number of the second band groups only when a foreign object is detected. Therefore, in most cases where no foreign matter is detected, the inspection is completed without taking much time for imaging. Only when a foreign object is detected, detailed inspection is performed on the second band group, so the time required for the entire inspection process can be greatly reduced.
  • the technology of the present disclosure is useful, for example, for cameras and measurement equipment that acquire multi-wavelength images.
  • the technology of the present disclosure can be used, for example, for detecting foreign matter mixed in articles such as industrial products or foods.
  • imaging device 110 filter array 120 image 140 optical system 160 image sensor 200 processing device 210 processing circuit 220 storage device 300 output device 310 display 320 speaker 330 lamp 400 actuator 410 conveyor 420 picking device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geophysics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

検査対象に含まれる特定の異物を検出する方法は、各画素が、１つ以上の波長バンドを含む第１バンド群についての画素値を有する、前記検査対象についての第１画像データを取得すること（Ｓ１１０、Ｓ２１０）と、前記第１画像データから、第１条件を満たす１つ以上の画素領域を第１異物領域として決定すること（Ｓ１２０、Ｓ２３０）と、各画素が、前記第１バンド群よりも多くの波長バンドを含む第２バンド群についての画素値を有する、前記第１異物領域を含む領域についての第２画像データを取得すること（Ｓ１５２、Ｓ２６０）と、前記第２画像データから、前記第１条件とは異なる第２条件を満たす１つ以上の画素領域を、前記特定の異物が存在する第２異物領域として決定すること（Ｓ１５４、Ｓ２７０）と、前記第２異物領域に関する情報を出力すること（Ｓ１８０、Ｓ３００）と、を含む。

Description

検査対象に含まれる異物を検出する方法および装置
　本開示は、検査対象に含まれる異物を検出する方法および装置に関する。
　各々が狭帯域である多数の波長バンド、例えば十バンド以上のスペクトル情報を活用することにより、従来の３バンドの情報のみを有するＲＧＢ画像では不可能であった対象物の詳細な物性の把握が可能になる。このような多波長の情報を取得するカメラは、「ハイパースペクトルカメラ」と呼ばれる。ハイパースペクトルカメラは、食品検査、生体検査、医薬品開発、および鉱物の成分分析などの様々な分野で利用されている。本明細書、図面において、波長バンドをバンドと記載することがある。
　特許文献１は、食品のハイパースペクトル画像に基づいて、食品の品質を判断したり、食品に混入した異物を検出したりするシステムおよび方法を開示している。
　特許文献２は、圧縮センシングを利用して生成したハイパースペクトル画像から、機械学習を利用して物体を認識する方法を開示している。
　特許文献３は、試料などの被測定物に光を照射し、透過光、反射光、散乱光、または蛍光の分光スペクトルを測定する顕微分光装置を用いて、被測定物中の異物を認識し、分析する方法を開示している。
特表２０２０－５２４３２６号公報 国際公開第２０２０／０８００４５号 特許６７７８４５１号
　本開示は、検査対象に含まれる異物を検出する処理の負荷を低減する技術を提供する。
　本開示の一態様に係る方法は、検査対象に含まれる特定の異物を検出する方法である。前記方法は、各画素が、１つ以上の波長バンドを含む第１バンド群についての画素値を有する、前記検査対象についての第１画像データを取得することと、前記第１画像データから、第１条件を満たす１つ以上の画素領域を第１異物領域として決定することと、各画素が、前記第１バンド群よりも多くの波長バンドを含む第２バンド群についての画素値を有する、前記第１異物領域を含む領域についての第２画像データを取得することと、前記第２画像データから、前記第１条件とは異なる第２条件を満たす１つ以上の画素領域を、前記特定の異物が存在する第２異物領域として決定することと、前記第２異物領域に関する情報を出力することと、を含む。
　本開示の包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意の組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ‐Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含む。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書および特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。
　本開示の一態様によれば、検査対象に含まれる異物を検出するシステムにおけるデータ処理の負荷を低減することができる。
ハイパースペクトル撮像システムの構成例を模式的に示す図である。 ハイパースペクトル撮像システムの他の構成例を模式的に示す図である。 ハイパースペクトル撮像システムのさらに他の構成例を模式的に示す図である。 ハイパースペクトル撮像システムのさらに他の構成例を模式的に示す図である。 フィルタアレイの例を模式的に示す図である。 対象波長域に含まれる複数の波長バンドのそれぞれの光の透過率の空間分布の一例を示す図である。 フィルタアレイに含まれる１つの領域の分光透過率の例を示す図である。 フィルタアレイに含まれる他の領域の分光透過率の例を示す図である。 対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係を説明するための図である。 対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係を説明するための他の図である。 フィルタアレイのある領域における分光透過率の特性を説明するための図である。 図４Ａに示す分光透過率を、波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮごとに平均化した結果を示す図である。 実施形態１における検査システムの構成例を模式的に示す図である。 検査システムの構成例を示すブロック図である。 処理回路による２段階異物検出動作の例を示すフローチャートである。 ステップＳ１５０における第２条件による異物検出処理の詳細を示すフローチャートである。 記憶装置が記憶する情報の例を示す図である。 ２種類の金属および背景の反射スペクトルおよび第１バンド群の例を示す図である。 第１バンド群に対応する復元テーブルを用いた復元演算によってバンドごとに生成された画像の例を示す図である。 図１１に示す例において切り出される第１異物領域の例を示す図である。 ２種類の金属および背景の反射スペクトルおよび第２バンド群の例を示す図である。 実施形態２における検査システムの構成例を示すブロック図である。 実施形態２における２段階異物検出の動作の例を示すフローチャートである。 座標軸、座標を示す図である。
　以下で説明される実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置、位置および接続形態、ステップ、およびステップの順序は、一例であり、本開示の技術を限定する趣旨ではない。以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一または類似の構成要素には同一の符号が付されている。重複する説明は省略または簡略化されることがある。
　本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ　ｌａｒｇｅ　ｓｃａｌｅ　ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ　ｌｏｇｉｃ　ｄｅｖｉｃｅも同じ目的で使うことができる。
　さらに、回路、ユニット、装置、部材または部の全部または一部の機能または動作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは、１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。
　まず、本開示の実施形態の概要を説明する。
　本開示の一実施形態による方法は、検査対象に含まれる特定の異物を検出する方法である。前記方法は、（ａ）各画素が、１つ以上の波長バンドを含む第１バンド群についての画素値を有する、前記検査対象についての第１画像データを取得することと、（ｂ）前記第１画像データから、第１条件を満たす１つ以上の画素領域を第１異物領域として決定することと、（ｃ）各画素が、前記第１バンド群よりも多くの波長バンドを含む第２バンド群についての画素値を有する、前記第１異物領域を含む領域についての第２画像データを取得することと、（ｄ）前記第２画像データから、前記第１条件とは異なる第２条件を満たす１つ以上の画素領域を、前記特定の異物が存在する第２異物領域として決定することと、（ｅ）前記第２異物領域に関する情報を出力することと、を含む。
　上記方法は、コンピュータによって実行される。上記の方法によれば、比較的少数のバンドの情報を含む第１画像データから、第１条件を満たす１つ以上の第１異物領域がまず決定される。第１異物領域は、特定の異物が存在する可能性が高いと推定される領域であり得る。第１異物領域が決定された場合、第１異物領域を含む領域について、より多くのバンドの情報を含む第２画像データが取得される。第２画像データから、第２条件を満たす１つ以上の画素領域が、特定の異物が存在する第２異物領域として決定される。このような動作により、特定の異物が存在しない多くのケースにおいては、比較的少数のバンドの画像のみに基づく判定によって検査が終了し、特定の異物が存在する可能性がある場合にのみ、領域を絞ってより多くのバンドの画像に基づく検査が行われる。このような２段階の異物検査により、演算処理の負荷を低減し、検査工程全体に要する時間を大きく低減することができる。
　前記第１条件は、前記画素領域が、前記第１バンド群についての画素値が特定の条件を満たす連続する複数の画素から構成され、前記画素領域の大きさが所定の大きさを超えることであり得る。例えば、第１バンド群が１つのバンドを含む場合、そのバンドの画素値が所定の範囲内にある連続する複数の画素のまとまりが所定の大きさを超える場合に、その複数の画素からなる画素領域を第１異物領域として検出してもよい。あるいは、第１バンド群が２つのバンドを含む場合、それらのバンドの画素値の比または差が、所定の範囲内にある連続する複数の画素のまとまりが所定の大きさを超える場合に、その複数の画素からなる画素領域を第１異物領域として検出してもよい。複数の画素が「連続する」とは、それらの画素が、画像中で隣接または近接することを意味する。「所定の大きさ」は、例えば、その画素領域の画素数、外接円の直径、または内接円の直径などに関する閾値であり得る。
　前記第２条件は、前記画素領域が、前記第２バンド群についての画素値に基づき、予め定められた分類リストのいずれかに分類されることであり得る。例えば、第２バンド群に含まれる複数のバンドの画素値の組み合わせ（例えば比など）が、予め定められた条件を満たす場合に、予め定められた分類リストのいずれかに分類されると判断され得る。分類は、予め学習用データによって学習された学習済みモデルに従って行われてもよい。
　前記第１画像データを取得することは、前記第２バンド群を含む複数の波長バンドのそれぞれについての画像情報が１つの２次元画像として圧縮された圧縮画像データを取得し、前記圧縮画像データから前記第１画像データを生成することを含んでいてもよい。前記第２画像データを取得することは、前記圧縮画像データから前記第１異物領域を含む前記領域を抽出し、抽出した前記領域のデータに基づいて前記第２画像データを生成することを含んでいてもよい。前記第１異物領域を含む前記領域は、前記第１異物領域と同一の領域であってもよい。
　前記第１画像データを生成することは、前記第１バンド群に対応する第１復元テーブルを用いて、前記圧縮画像データから前記第１画像データを復元することを含んでいてもよい。前記第２画像データを生成することは、前記第２バンド群に対応する第２復元テーブルを用いて、抽出した前記領域のデータから前記第２画像データを復元することを含んでいてもよい。この構成によれば、第１画像データおよび第２画像データを、より高い精度で復元することができる。
　前記圧縮画像は、フィルタアレイおよびイメージセンサを備える撮像装置によって生成され得る。前記フィルタアレイは、互いに異なる透過スペクトルを有する複数種類のフィルタを含み得る。前記第１復元テーブルおよび前記第２復元テーブルは、前記複数フィルタアレイにおける前記透過スペクトルの分布に基づいて生成され得る。
　前記第１画像データは、撮像装置による第１撮像動作によって取得され、前記第２画像データは、前記撮像装置による第２撮像動作によって取得されてもよい。その場合、撮像装置は、上記のフィルタアレイを備える撮像装置に限らず、任意のハイパースペクトル撮像装置であってよい。
　前記方法は、前記第２異物領域が検出された場合に、出力装置に警告を出力することをさらに含んでいてもよい。前記出力装置は、例えば、ディスプレイ、スピーカ、ブザー、およびランプからなる群から選択される１つ以上の装置であってもよい。警告は、例えば光、音、画像、文字、および振動からなる群から選択される１つ以上の情報を含み得る。
　前記方法は、前記第１異物領域の位置、および前記第２異物領域の位置を記憶装置に記憶させることをさらに含んでいてもよい。ここで、位置は、画像中における位置であり、二次元の座標値によって特定され得る。
　本開示の他の実施形態による装置は、検査対象に含まれる異物を検出する。前記装置は、プロセッサと、コンピュータプログラムを格納した記憶媒体と、を備える。前記プロセッサは、前記コンピュータプログラムを実行することにより、（ａ）各画素が、１つ以上の波長バンドを含む第１バンド群についての画素値を有する、前記検査対象についての第１画像データを取得することと、（ｂ）前記第１画像データから、第１条件を満たす１つ以上の画素領域を第１異物領域として決定することと、（ｃ）各画素が、前記第１バンド群よりも多くの波長バンドを含む第２バンド群についての画素値を有する、前記第１異物領域を含む領域についての第２画像データを取得することと、（ｄ）前記第２画像データから、前記第１条件とは異なる第２条件を満たす１つ以上の画素領域を、前記特定の異物が存在する第２異物領域として決定することと、（ｅ）前記第２異物領域に関する情報を出力することと、を実行する。
　本開示のさらに他の実施形態によるコンピュータプログラムは、検査対象に含まれる異物を検出するためのコンピュータプログラムである。前記コンピュータプログラムは、コンピュータに、（ａ）各画素が、１つ以上の波長バンドを含む第１バンド群についての画素値を有する、前記検査対象についての第１画像データを取得することと、（ｂ）前記第１画像データから、第１条件を満たす１つ以上の画素領域を第１異物領域として決定することと、（ｃ）各画素が、前記第１バンド群よりも多くの波長バンドを含む第２バンド群についての画素値を有する、前記第１異物領域を含む領域についての第２画像データを取得することと、（ｄ）前記第２画像データから、前記第１条件とは異なる第２条件を満たす１つ以上の画素領域を、前記特定の異物が存在する第２異物領域として決定することと、（ｅ）前記第２異物領域に関する情報を出力することと、を実行させる。
　以下、本開示の例示的な実施形態をより具体的に説明する。
　（実施形態１）
　まず、本開示の第１の実施形態において用いられるハイパースペクトル撮像システムの構成例を説明する。その後、ハイパースペクトル撮像システムを利用した検査システムを説明する。
　＜ハイパースペクトル撮像システム＞
　図１Ａは、ハイパースペクトル撮像システムの構成例を模式的に示す図である。このシステムは、撮像装置１００と、処理装置２００とを備える。撮像装置１００は、特許文献２に開示された撮像装置と同様の構成を備える。撮像装置１００は、光学系１４０と、フィルタアレイ１１０と、イメージセンサ１６０とを備える。光学系１４０およびフィルタアレイ１１０は、被写体である対象物７０から入射する光の光路上に配置されている。フィルタアレイ１１０は、光学系１４０とイメージセンサ１６０との間に配置される。
　図１Ａには、対象物７０の一例として、リンゴが例示されている。対象物７０は、リンゴに限らず、検査対象になり得る任意の物体であり得る。イメージセンサ１６０は、複数の波長バンドの情報が２次元のモノクロ画像として圧縮された圧縮画像１２０のデータを生成する。処理装置２００は、イメージセンサ１６０が生成した圧縮画像１２０のデータに基づいて、対象波長域に含まれる複数の波長バンドのそれぞれについての画像データを生成する。この生成される複数の波長バンドの画像データを、本明細書において「ハイパースペクトル画像データ」と称する。ここで、対象波長域に含まれる波長バンドの数をＮ（Ｎは４以上の整数）とする。以下の説明において、生成される複数の波長バンドの画像データを、ハイパースペクトル画像２５０Ｗ１、２５０Ｗ２、・・・、２５０ＷＮと称し、これらをハイパースペクトル画像２５０と総称する。本明細書において、画像を示す信号、すなわち、各画素の画素値を表す信号の集合を、単に「画像」と称することがある。
　フィルタアレイ１１０は、行および列状に配列された透光性を有する複数のフィルタのアレイである。複数のフィルタは、分光透過率、すなわち光透過率の波長依存性が互いに異なる複数種類のフィルタを含む。フィルタアレイ１１０は、入射光の強度を波長ごとに変調して出力する。フィルタアレイ１１０によるこの過程を、本明細書において「符号化」と称する。
　図１Ａに示す例において、フィルタアレイ１１０は、イメージセンサ１６０の近傍または直上に配置されている。ここで「近傍」とは、光学系１４０からの光の像がある程度鮮明な状態でフィルタアレイ１１０の面上に形成される程度に近接していることを意味する。「直上」とは、ほとんど隙間が生じない程両者が近接していることを意味する。フィルタアレイ１１０およびイメージセンサ１６０は一体化されていてもよい。
　光学系１４０は、少なくとも１つのレンズを含む。図１Ａでは、光学系１４０が１つのレンズとして示されているが、光学系１４０は複数のレンズの組み合わせであってもよい。光学系１４０は、フィルタアレイ１０を介して、イメージセンサ１６０の撮像面上に像を形成する。
　フィルタアレイ１１０は、イメージセンサ１６０から離れて配置されていてもよい。図１Ｂから図１Ｄは、フィルタアレイ１１０がイメージセンサ１６０から離れて配置されている撮像装置１００の構成例を示す図である。図１Ｂの例では、フィルタアレイ１１０が、光学系１４０とイメージセンサ１６０との間で且つイメージセンサ１６０から離れた位置に配置されている。図１Ｃの例では、フィルタアレイ１１０が対象物７０と光学系１４０との間に配置されている。図１Ｄの例では、撮像装置１００が２つの光学系１４０Ａおよび１４０Ｂを備え、それらの間にフィルタアレイ１１０が配置されている。これらの例のように、フィルタアレイ１１０とイメージセンサ１６０との間に１つ以上のレンズを含む光学系が配置されていてもよい。図１Ａ～図１Ｄにおいて、波長バンドＷ１に対応する画像すなわち波長バンドＷ１の画像は２５０Ｗ１、～、波長バンドＷＮに対応する画像すなわち波長バンドＷＮの画像は２５０ＷＮである。
　イメージセンサ１６０は、２次元的に配列された複数の光検出素子（本明細書において、「画素」とも呼ぶ。）を有するモノクロタイプの光検出器である。イメージセンサ１６０は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。光検出素子は、例えばフォトダイオードを含む。イメージセンサ１６０は、必ずしもモノクロタイプのセンサである必要はない。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプのセンサを用いてもよい。カラータイプのセンサを使用することで、波長に関する情報量を増やすことができ、ハイパースペクトル画像２５０の生成精度を向上させることができる。取得対象の波長範囲は任意に決定してよく、可視の波長範囲に限らず、紫外、近赤外、中赤外、または遠赤外の波長範囲であってもよい。
　処理装置２００は、プロセッサと、メモリ等の記憶媒体とを備えるコンピュータである。処理装置２００は、イメージセンサ１６０によって取得された圧縮画像１２０に基づいて、複数の波長バンドの情報をそれぞれ含む複数の画像２５０Ｗ１、２５０Ｗ２、・・・２５０ＷＮのデータを生成する。
　図２Ａは、フィルタアレイ１１０の例を模式的に示す図である。フィルタアレイ１１０は、２次元的に配列された複数の領域を有する。本明細書では、当該領域を、「セル」と称することがある。各領域には、個別に設定された分光透過率を有する光学フィルタが配置されている。分光透過率は、入射光の波長をλとして、関数Ｔ（λ）で表される。分光透過率Ｔ（λ）は、０以上１以下の値を取り得る。
　図２Ａに示す例では、フィルタアレイ１１０は、６行８列に配列された４８個の矩形領域を有する。これはあくまで例示であり、実際の用途では、これよりも多くの領域が設けられ得る。その数は、例えばイメージセンサ１６０の画素数と同程度であってもよい。フィルタアレイ１１０に含まれるフィルタ数は、例えば数十から数千万の範囲で用途に応じて決定される。
　図２Ｂは、対象波長域に含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮのそれぞれの光の透過率の空間分布の一例を示す図である。図２Ｂに示す例では、各領域の濃淡の違いは、透過率の違いを表している。淡い領域ほど透過率が高く、濃い領域ほど透過率が低い。図２Ｂに示すように、波長バンドによって光透過率の空間分布が異なっている。
　図２Ｃおよび図２Ｄは、それぞれ、図２Ａに示すフィルタアレイ１１０に含まれる領域Ａ１および領域Ａ２の分光透過率の例を示す図である。領域Ａ１の分光透過率と領域Ａ２の分光透過率とは、互いに異なる。このように、フィルタアレイ１１０の分光透過率は、領域によって異なる。ただし、必ずしもすべての領域の分光透過率が異なっている必要はない。フィルタアレイ１１０では、複数の領域の少なくとも一部の領域の分光透過率が互いに異なっている。フィルタアレイ１１０は、分光透過率が互いに異なる２つ以上のフィルタを含む。ある例では、フィルタアレイ１１０に含まれる複数の領域の分光透過率のパターンの数は、対象波長域に含まれる波長バンドの数Ｎと同じか、それ以上であり得る。フィルタアレイ１１０は、半数以上の領域の分光透過率が異なるように設計されていてもよい。
　図３Ａおよび図３Ｂは、対象波長域Ｗと、それに含まれる複数の波長バンドＷ１、Ｗ２、・・・、ＷＮとの関係を説明するための図である。対象波長域Ｗは、用途によって様々な範囲に設定され得る。対象波長域Ｗは、例えば、約４００ｎｍから約７００ｎｍの可視光の波長域、約７００ｎｍから約２５００ｎｍの近赤外線の波長域、または約１０ｎｍから約４００ｎｍの近紫外線の波長域であり得る。あるいは、対象波長域Ｗは、中赤外または遠赤外などの電波域であってもよい。このように、使用される波長域は可視光域とは限らない。本明細書では、可視光に限らず、赤外線および紫外線を含む放射全般を「光」と称する。
　図３Ａに示す例では、Ｎを４以上の任意の整数として、対象波長域ＷをＮ等分したそれぞれの波長域を波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮとしている。ただしこのような例に限定されない。対象波長域Ｗに含まれる複数の波長バンドは任意に設定してもよい。例えば、波長バンドによって帯域幅を不均一にしてもよい。隣接する波長バンドの間にギャップまたは重なりがあってもよい。図３Ｂに示す例では、波長バンドによって帯域幅が異なり、且つ隣接する２つの波長バンドの間にギャップがある。このように、複数の波長バンドは、互いに異なっていればよく、その決め方は任意である。
　図４Ａは、フィルタアレイ１１０のある領域における分光透過率の特性を説明するための図である。図４Ａに示す例では、分光透過率は、対象波長域Ｗ内の波長に関して、複数の極大値Ｐ１からＰ５、および複数の極小値を有する。図４Ａに示す例では、対象波長域Ｗ内での光透過率の最大値が１、最小値が０となるように正規化されている。図４Ａに示す例では、波長バンドＷ２、および波長バンドＷＮ－１などの波長域において、分光透過率が極大値を有している。このように、各領域の分光透過率は、複数の波長バンドＷ１からＷＮのうち、少なくとも２つの複数の波長域において極大値を有する。図４Ａの例では、極大値Ｐ１、Ｐ３、Ｐ４およびＰ５は０．５以上である。
　以上のように、各領域の光透過率は、波長によって異なる。したがって、フィルタアレイ１１０は、入射する光のうち、ある波長域の成分を多く透過させ、他の波長域の成分をそれほど透過させない。例えば、Ｎ個の波長バンドのうちのｋ個の波長バンドの光については、透過率が０．５よりも大きく、残りのＮ－ｋ個の波長域の光については、透過率が０．５未満であり得る。ｋは、２≦ｋ＜Ｎを満たす整数である。仮に入射光が、すべての可視光の波長成分を均等に含む白色光であった場合には、フィルタアレイ１１０は、入射光を領域ごとに、波長に関して離散的な複数の強度のピークを有する光に変調し、これらの多波長の光を重畳して出力する。
　図４Ｂは、一例として、図４Ａに示す分光透過率を、波長バンドＷ１、波長バンドＷ２、・・・、波長バンドＷＮごとに平均化した結果を示す図である。平均化された透過率は、分光透過率Ｔ（λ）を波長バンドごとに積分してその波長バンドの帯域幅で除算することによって得られる。本明細書では、このように波長バンドごとに平均化した透過率の値を、その波長バンドにおける透過率とする。この例では、極大値Ｐ１、Ｐ３およびＰ５をとる３つの波長域において、透過率が突出して高くなっている。特に、極大値Ｐ３およびＰ５をとる２つの波長域において、透過率が０．８を超えている。
　図２Ａから図２Ｄに示す例では、各領域の透過率が０以上１以下の任意の値をとり得るグレースケールの透過率分布が想定されている。しかし、必ずしもグレースケールの透過率分布にする必要はない。例えば、各領域の透過率がほぼ０またはほぼ１のいずれかの値を取り得るバイナリスケールの透過率分布を採用してもよい。バイナリスケールの透過率分布では、各領域は、対象波長域に含まれる複数の波長域のうちの少なくとも２つの波長域の光の大部分を透過させ、残りの波長域の光の大部分を透過させない。ここで「大部分」とは、概ね８０％以上を指す。
　全セルのうちの一部、例えば半分のセルを、透明領域に置き換えてもよい。そのような透明領域は、対象波長域Ｗに含まれるすべての波長バンドＷ１からＷＮの光を同程度の高い透過率、例えば８０％以上の透過率で透過させる。そのような構成では、複数の透明領域は、例えば市松（checkerboard）状に配置され得る。すなわち、フィルタアレイ１１０における複数の領域の２つの配列方向において、光透過率が波長によって異なる領域と、透明領域とが交互に配列され得る。
　このようなフィルタアレイ１１０の分光透過率の空間分布を示すデータは、設計データまたは実測キャリブレーションに基づいて事前に取得され、処理装置２００が備える記憶媒体に格納される。このデータは、後述する演算処理に利用される。
　フィルタアレイ１１０は、例えば、多層膜、有機材料、回折格子構造、または金属を含む微細構造を用いて構成され得る。多層膜を用いる場合、例えば、誘電体多層膜または金属層を含む多層膜が用いられ得る。この場合、セルごとに各多層膜の厚さ、材料、および積層順序の少なくとも１つが異なるように形成される。これにより、セルによって異なる分光特性を実現できる。多層膜を用いることにより、分光透過率におけるシャープな立ち上がりおよび立下りを実現できる。有機材料を用いた構成は、セルによって含有する顔料または染料が異なるようにしたり、異種の材料を積層させたりすることによって実現され得る。回折格子構造を用いた構成は、セルごとに異なる回折ピッチまたは深さの回折構造を設けることによって実現され得る。金属を含む微細構造を用いる場合は、プラズモン効果による分光を利用して作製され得る。
　次に、処理装置２００による信号処理の例を説明する。処理装置２００は、イメージセンサ１６０から出力された圧縮画像１２０、およびフィルタアレイ１１０の波長ごとの透過率の空間分布特性に基づいて、多波長のハイパースペクトル画像２５０を生成する。ここで多波長とは、例えば通常のカラーカメラで取得されるＲＧＢの３色の波長域よりも多くの波長域を意味する。この波長域の数は、例えば４から１００程度の数であり得る。この波長域の数を、バンド数と称する。用途によっては、バンド数は１００を超えていてもよい。
　本開示の「２段階の異物検査動作」を説明する前に、イメージセンサ１６０によって取得された圧縮画像１２０から、ハイパースペクトル画像２５０のデータを生成する方法を述べる。ハイパースペクトル画像２５０のデータをｆとする。バンド数をＮとすると、ｆは、波長バンドＷ１の画像データｆ１、波長バンドＷ２の画像データｆ２、・・・、波長バンドＷＮの画像データｆＮを統合したデータである。ここで、図１Ａに示すように、画像の横方向をｘ方向、画像の縦方向をｙ方向とする。求めるべき画像データのｘ方向の画素数をｎとし、ｙ方向の画素数をｍとすると、画像データｆ１、画像データｆ２、・・・、画像データｆＮの各々は、ｎ×ｍ画素の２次元データである。したがって、データｆは要素数ｎ×ｍ×Ｎの３次元データである。この３次元データを、「ハイパースペクトル画像データ」または「ハイパースペクトルデータキューブ」と称する。一方、フィルタアレイ１１０によって符号化および多重化されて取得される圧縮画像１２０のデータｇの要素数はｎ×ｍである。データｇは、以下の式（１）によって表すことができる。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｆ１、ｆ２、・・・、ｆＮの各々は、ｎ×ｍ個の要素を有するデータである。したがって、右辺のベクトルは、ｎ×ｍ×Ｎ行１列の１次元ベクトルである。ベクトルｇは、ｎ×ｍ行１列の１次元ベクトルに変換されて表され、計算される。行列Ｈは、ベクトルｆの各成分ｆ１、ｆ２、・・・、ｆＮを波長バンドごとに異なる符号化情報（以下、「マスク情報」とも称する。）で符号化および強度変調し、それらを加算する変換を表す。したがって、Ｈは、ｎ×ｍ行ｎ×ｍ×Ｎ列の行列である。
　ベクトルｇと行列Ｈが与えられれば、式（１）の逆問題を解くことにより、ｆを算出することができそうである。しかし、求めるデータｆの要素数ｎ×ｍ×Ｎが取得データｇの要素数ｎ×ｍよりも多いため、この問題は不良設定問題であり、このままでは解くことができない。そこで、処理装置２００は、データｆに含まれる画像の冗長性を利用し、圧縮センシングの手法を用いて解を求める。具体的には、以下の式（２）を解くことにより、求めるデータｆが推定される。
Figure JPOXMLDOC01-appb-M000002
　ここで、ｆ’は、推定されたｆのデータを表す。上式の括弧内の第１項は、推定結果Ｈｆと取得データｇとのずれ量、いわゆる残差項を表す。ここでは２乗和を残差項としているが、絶対値または二乗和平方根等を残差項としてもよい。括弧内の第２項は、正則化項または安定化項である。式（２）は、第１項と第２項との和を最小化するｆを求めることを意味する。処理装置２００は、再帰的な反復演算によって解を収束させ、最終的な解ｆ’を算出することができる。
　式（２）の括弧内の第１項は、取得データｇと、推定過程のｆを行列Ｈによって変換したＨｆとの差の二乗和を求める演算を意味する。第２項のΦ（ｆ）は、ｆの正則化における制約条件であり、推定データのスパース情報を反映した関数である。この関数は、推定データを滑らかまたは安定にする効果をもたらす。正則化項は、例えば、ｆの離散的コサイン変換（ＤＣＴ）、ウェーブレット変換、フーリエ変換、またはトータルバリエーション（ＴＶ）などによって表され得る。例えば、トータルバリエーションを使用した場合、観測データｇのノイズの影響を抑えた安定した推測データを取得できる。それぞれの正則化項の空間における対象物７０のスパース性は、対象物７０のテキスチャによって異なる。対象物７０のテキスチャが正則化項の空間においてよりスパースになる正則化項を選んでもよい。あるいは、複数の正則化項を演算に含んでもよい。τは、重み係数である。重み係数τが大きいほど冗長的なデータの削減量が多くなり、圧縮する割合が高まる。重み係数τが小さいほど解への収束性が弱くなる。重み係数τは、ｆがある程度収束し、かつ、過圧縮にならない適度な値に設定される。
　なお、図１Ｂおよび図１Ｃの構成においては、フィルタアレイ１１０によって符号化された像は、イメージセンサ１６０の撮像面上でボケた状態で取得される。したがって、予めこのボケ情報を保有しておき、そのボケ情報を前述の行列Ｈに反映させることにより、ハイパースペクトル画像２５０を生成することができる。ここで、ボケ情報は、点拡がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ：ＰＳＦ）によって表される。ＰＳＦは、点像の周辺画素への拡がりの程度を規定する関数である。例えば、画像上で１画素に相当する点像が、ボケによってその画素の周囲のｋ×ｋ画素の領域に広がる場合、ＰＳＦは、その領域内の各画素の輝度への影響を示す係数群、すなわち行列として規定され得る。ＰＳＦによる符号化パターンのボケの影響を、行列Ｈに反映させることにより、ハイパースペクトル画像２５０を生成することができる。フィルタアレイ１１０が配置される位置は任意であるが、フィルタアレイ１１０の符号化パターンが拡散しすぎて消失しない位置が選択され得る。
　以上の処理により、イメージセンサ１６０によって取得された圧縮画像１２０から、ハイパースペクトル画像２５０を生成することができる。上記の例では、処理装置２００は、対象波長域に含まれる全ての波長バンドについて、圧縮センシングの原理を利用したアルゴリズムを適用してハイパースペクトル画像２５０を生成する。この場合、圧縮画像１２０の解像度が高いと、ハイパースペクトル画像２５０を生成するための演算負荷が高くなり、検査に要する時間が長くなる。
　そこで、本実施形態では、以下の２段階の復元および検査を行うことにより、検査全体に要する演算負荷および時間を低減する。第１段階目では、全てのバンドではなく比較的少数のバンドを含む第１バンド群についてのみ上記の復元演算を行い、圧縮画像から各バンドの画像を生成する。それらの比較的少数のバンドの画像に基づいて、画像中で特定の異物が存在する可能性の高い第１異物領域を特定する。第２段階目では、特定された第１異物領域を含む比較的狭い領域についてのみ、第１バンド群に含まれるバンドの数よりも多くのバンドを含む第２バンド群について上記の復元演算を行う。これにより、第１異物領域の中から、検出対象である特定の異物が存在する第２異物領域を特定する。特定された第２異物領域に関する情報が、ディスプレイなどの出力装置に出力される。
　このような方法により、検査対象に含まれる特定の異物を、より少ない演算量で検出することが可能になる。その結果、検査工程に要する時間を大きく低減することができる。
　以下、上記の方法に基づく検査システムの構成および動作の例をより詳細に説明する。
　＜検査システム＞
　図５は、本実施形態における検査システムの構成例を模式的に示す図である。この検査システムは、撮像装置１００と、処理装置２００と、出力装置３００と、作動装置４００とを備える。出力装置３００は、ディスプレイ、スピーカ、およびランプなどの装置を含み得る。作動装置４００は、ベルトコンベアおよびピッキング装置などの装置を含み得る。
　検査対象である対象物７０は、コンベアのベルトの上に載せられ、搬送される。対象物７０は、例えば工業製品または食品などの任意の物品である。検査システムは、対象物７０の圧縮画像に基づいて、対象物７０に混入した異物を検出する。検出される異物は、例えば特定の金属、プラスチック、虫、ゴミ、または毛髪などの任意の物であり得る。異物は、これらの物に限らず、対象物７０において品質が劣化した部位であってもよい。例えば対象物７０が食品である場合、食品の腐敗した部位が異物として検出されてもよい。検査システムは、異物を検出した場合、出力装置３００に異物を検出したことを示す情報を出力したり、異物を含む対象物７０をピッキング装置で除去したりすることができる。
　撮像装置１００は、前述のハイパースペクトル撮像が可能なカメラである。撮像装置１００は、コンベア上を連続して流れてくる対象物７０を撮影することにより、前述の圧縮画像を生成する。処理装置２００は、例えばパーソナルコンピュータ、サーバコンピュータ、またはラップトップコンピュータなどの任意のコンピュータである。処理装置２００は、撮像装置１００によって生成された圧縮画像に基づいて前述の復元演算を行うことにより、複数のバンドのそれぞれについての画像を生成する。処理装置２００は、それらのバンドの画像に基づいて、対象物７０に含まれる異物を検出し、検出結果を出力装置３００に出力する。
　図６は、検査システムの構成例を示すブロック図である。処理装置２００は、処理回路２１０と、記憶装置２２０とを備える。出力装置３００は、ディスプレイ３１０と、スピーカ３２０と、ランプ３３０とを備える。作動装置４００は、コンベア４１０と、ピッキング装置４２０とを備える。
　撮像装置１００は、図１Ａから図１Ｄを参照して説明したように、イメージセンサと、フィルタアレイと、レンズなどの光学系とを備える。撮像装置１００は、対象物７０を撮影して圧縮画像のデータを生成し、処理装置２００に送る。
　処理装置２００は、撮像装置１００が生成した圧縮画像に基づいてバンド毎の画像を生成する。処理装置２００の処理回路２１０は、例えばＣＰＵまたはＧＰＵなどのプロセッサを含む。処理回路２１０は、撮像装置１００が生成した圧縮画像に基づいて、対象物７０に特定の異物が含まれるか否かを判定し、判定結果を示す情報を出力する。
　処理回路２１０は、撮像装置１００から取得した圧縮画像に、２段階の復元処理を行う。第１段階目の復元では、圧縮画像の全体について、対象波長域に含まれる複数のバンドのうち、比較的少数のバンドについてのみ、復元を行う。この比較的少数のバンドを第１バンド群と称する。第１バンド群に含まれるバンドの数は、１以上の任意の数であり、ある例においては２以上５以下である。この復元処理において、処理回路２１０は、前述の式（１）および（２）における行列Ｈのうち、第１バンド群に対応する行列要素の情報のみを含む第１復元テーブルを用いる。この場合、第1バンド群に含まれるバンドとは異なるバンドに対応する行列要素の情報を合成した合成復元テーブルを用いて、第1バンド群に含まれるバンドとは異なるバンドに対応する合成復元画像を生成してもよい。処理回路２１０は、圧縮画像および第１復元テーブルに基づいて、前述の式（２）に従って、第１バンド群における各バンドの画像を復元する。処理回路２１０は、復元した各バンドに対応する画像に含まれる複数の画素の画素値から、第１条件による判別モデルに従って異物が存在する可能性の高い第１異物領域をまず特定する。第１条件は、例えば、当該画素領域が、第１バンド群についての画素値が特定の条件を満たす連続する複数の画素から構成され、かつ当該画素領域の大きさが所定の大きさを超えることであり得る。処理回路２１０は、第１異物領域を記憶装置２２０に記憶させ、第１異物領域を含む比較的狭い領域について、第１バンド群のバンド数よりも多い第２バンド群の各バンドについて、復元を行う。この復元処理において、処理回路２１０は、前述の式（１）および（２）における行列Ｈのうち、第２バンド群に対応する行列要素の情報のみを含む第２復元テーブルを用いる。第２バンド群が対象波長域における全てのバンドを含んでいてもよい。処理回路２１０は、圧縮画像および第２復元テーブルに基づいて、前述の式（２）に従って、第２バンド群における各バンドの画像に含まれる第１異物領域に対応する領域の複数の画素の画素値を算出する。処理回路２１０は、各バンドの画像に含まれる第１異物領域に対応する領域の複数の画素の画素値から、第２条件による判別モデルに従って特定の異物が含まれる第２異物領域を特定し、特定した第２異物領域を示す情報を検出結果として記憶装置２２０に記憶させる。第２条件は、例えば、当該領域が、第２バンド群についての画素値に基づき、予め定められた分類リストのいずれかに分類されることであり得る。処理回路２１０は、第２条件を満たす異物が検出された場合、外部の出力装置３００および作動装置４００に制御信号を送信する。出力装置３００は、受信した制御信号に応答して、ディスプレイ３１０、スピーカ３２０、ランプ３３０の少なくとも１つに、光、画像、文字、ビープ音、または音声などによる警告を出力させる。作動装置４００は、受信した制御信号に応答して、コンベア４１０の経路のスイッチングを行ったり、ピッキング装置４２０によって異物が検出された対象物７０をコンベア４１０上から除去したりしてもよい。
　記憶装置２２０は、例えば半導体メモリ、磁気記憶装置、光記憶装置などの、任意の記憶媒体を含む。記憶装置２２０は、処理回路２１０が実行するコンピュータプログラム、処理回路２１０が処理の過程で用いるデータ、および処理回路２１０が処理の過程で生成するデータを記憶する。記憶装置２２０は、例えば、撮像装置１００が生成する圧縮画像のデータ、第１バンド群および第２バンド群などのバンドの各組み合わせに対応する復元テーブル、バンドの各組み合わせに対応する判別モデル、検出された第１異物領域および第２異物領域の画像上の位置を示す情報、および異物の判定結果を示す情報を記憶する。
　図７は、処理回路２１０による２段階異物検出動作の例を示すフローチャートである。この例においては、処理回路２１０は、ステップＳ１００からＳ１８０の動作を実行する。まず、処理回路２１０は、撮像装置１００が圧縮センシング撮像によって生成した対象物７０の圧縮画像を取得する（ステップＳ１００）。次に、処理回路２１０は、第１バンド群に対応する第１復元テーブルを用いて、前述の式（２）に基づく復元演算を行い、圧縮画像から第１バンド群についての対象物７０の１または複数の画像を生成する（ステップＳ１１０）。処理回路２１０は、生成した１または複数の画像に、第１条件による第１判別モデルを適用し、第１条件を満たす第１異物領域を検出する（ステップＳ１２０）。ここで、第１判別モデルに従って検出される異物の種類は１種類以上である。処理回路２１０は、異なる２種類以上の異物を第１判別モデルに従って検出してもよい。処理回路２１０は、第１条件を満たす第１異物領域が存在するか否かを判定する（ステップＳ１３０）。第１異物領域が存在する場合はステップＳ１４０に進む。第１異物領域が存在しない場合は、処理を終了する。処理回路２１０は、検出した第１異物領域を示す情報を記憶装置２２０に記憶させる（ステップＳ１４０）。次に、処理回路２１０は、検出した第１異物領域について、第１バンド群よりも多くのバンドを含む第２バンド群の情報に基づく２条件による異物検出処理を行う（ステップＳ１５０）。ここで検出される第２条件を満たす異物の種類は１種類以上であり、複数種類であってもよい。第２条件を満たす異物の種類は、第１条件を満たす異物の種類よりも少ない。第１条件を満たし、第２条件を満たさない異物の種類は、１種類でもよいし、複数種類であってもよい。処理回路２１０は、第２条件を満たす第２異物領域が存在するか否かを判定する（ステップＳ１６０）。第２異物領域が存在する場合はステップＳ１０９に進む。第２異物領域が存在しない場合は処理を終了する。第２異物領域が存在する場合、処理回路２１０は、第２異物領域に関する情報を記憶装置２２０に記憶させる（ステップＳ１７０）。そして、処理回路２１０は、出力装置３００および作動装置４００に制御信号を出力する（ステップＳ１８０）。出力装置３００は、処理回路２１０からの制御信号を受けて、ディスプレイ３１０などに警告表示を出力させる。作動装置４００は、処理回路２１０からの制御信号を受けて、コンベア４１０およびピッキング装置４２０などの制御を行う。
　図８は、ステップＳ１５０における第２条件による異物検出処理の詳細を示すフローチャートである。ステップＳ１５０は、図８に示すステップＳ１５１からＳ１５５を含む。第１条件による判別モデルに従って１つ以上の第１異物領域が圧縮画像から検出され得る。ステップＳ１４０において第１異物領域の画像上での位置が記憶装置２２０に記録された後、処理回路２１０は、圧縮画像から第１異物領域を切り出す（ステップＳ１５１）。処理回路２１０は、切り出した第１異物領域について、第２バンド群に対応する第２復元テーブルを用いて、前述の式（２）に基づく復元演算を行い、第２バンド群についての第２画像を生成する（ステップＳ１５２）。次に、処理回路２１０は、第１異物領域の中から未処理の領域の１つを選択する（ステップＳ１５３）。処理回路２１０は、選択した第１異物領域について、第２条件による第２判別モデルを適用し、第２条件を満たすか否かを判定する（ステップＳ１５４）。処理回路２１０は、判定結果を記憶装置２２０に記憶させる。次に、処理回路２１０は、第１異物領域の全てについて処理が終了したか否かを判定する（ステップＳ１５５）。未処理の領域が残っている場合は、ステップＳ１５３に戻る。第１異物領域の全てについて処理が終了するまで、ステップＳ１５３からＳ１５５の処理が繰り返される。第１異物領域の全てについて処理が終了すると、ステップＳ１６０に進む。
　図９は、記憶装置２２０が記憶する情報の例を示す図である。この例では、処理回路２１０は、２種類の金属（金属１および金属２）の粒子を異物として検出し、金属１の粒子が検出された場合には出力装置３００に警告を発出させる。圧縮センシング撮像により得られた圧縮画像のデータは、検査サンプルごとに番号（検査サンプルＮｏ．）が付与され、圧縮画像を取得した日時の情報とともに記録される。この例では、第１条件による判別モデルに基づいて金属１および金属２が異物として検出される。金属１と金属２は、第２条件による判別モデルに基づき、区別して検出される。この例では、金属１が検出された場合に警告が発出される。
　図１０は、第１条件による異物検出において使用される第１バンド群の例を示す図である。図１０において、第１バンド群を示す２つの波長域が灰色で例示されている。図１０には、２種類の異物（すなわち金属１および金属２）の反射スペクトルと、背景の反射スペクトルの例も示されている。この例では、処理回路２１０は、図示される２つのバンドにおける反射率を画素ごとに比較することにより、２種類の異物と背景とを判別する。なお、この例では第１バンド群が３５０ｎｍ±１０ｎｍと６００ｎｍ±１０ｎｍの２つのバンドを含むが、これは一例に過ぎない。第１バンド群にどのバンドを含めるかは、検査対象に応じて適切に選択される。第１バンド群に含まれるバンドの数は１以上の任意の数であり、３以上であってもよい。図１０には３５０ｎｍから８５０ｎｍの波長域が示されているが、他の波長域が用いられてもよい。
　図１１は、第１バンド群に対応する復元テーブルを用いた復元演算によってバンドごとに生成された画像のうち、図１０に示すグラフの中央付近のバンド（６００ｎｍ±１０ｎｍ）の画像の例を示す図である。この画像は、被写体の反射率分布を反映しており、反射率に応じて明るさが異なる。反射率が高い領域ほど白く、反射率が低い領域ほど黒く表示されている。この例では、画像中の黒い粒状の領域が異物であり、明るい領域が背景である。第１条件による判別モデルは、第１バンド群の画素値が特定の条件を満たす連続する画素領域の大きさに基づいて異物を検出するモデルである。第１バンド群が図１０に示すように２つのバンドを含む場合、特定の条件は、例えば２つのバンドの画素値の比が、所定の範囲に含まれることであり得る。図１０に示す例では、２種類の異物の反射率は、どのバンドにおいても似通っているが、背景の反射率は、２つのバンド間で大きく異なる。したがって、２つのバンドの画素値の比が、例えば０．８以上１．２以下のような範囲内であるか否かによって、異物であるか背景であるかを判別できる。第1バンド群が１つのバンドを含む場合、特定の条件は、１つのバンドの画素値が、ある閾値を上回っているか、または下回っているか、であり得る。第1バンド群が３つ以上のバンドを含む場合、特定の条件は、3つ以上のバンドの中から基準となる基準バンドを決めた場合に、基準バンド以外の複数のバンドそれぞれについて、基準バンドとの比を算出し、算出された複数の比の値それぞれが、定められた範囲に含まれることであり得る。このように、第１バンド群に含まれる各バンドの対応する画素の画素値に基づいて計算される値（例えば比）が所定の範囲内に含まれる連続する画素の領域を、異物が存在する可能性のある領域として検出することができる。第１条件は、例えば、そのようにして検出された連続する画素領域の外接円の直径が閾値以上である、といった条件であり得る。図９に示す例では、外接円の直径が１ｍｍ以上である画素領域が異物（すなわち金属１または金属２）が存在する領域であるとして検出される。判別のための条件は、波長バンド間の反射率の比に基づく条件に限らず、差に基づく条件であってもよいし、機械学習によって導出された条件であってもよい。
　処理回路２１０は、第１条件に従って検出した異物領域ごとにＩＤを付与し、画像上での位置を記憶装置２２０に記録する。記録される異物領域の位置は、その異物領域の中心または重心などの代表位置であり得る。このようにして検出された異物領域を「第１異物領域」と称する。第１異物領域は、異物の個数に応じて複数箇所に検出され得る。
　処理回路２１０は、検出された１つ以上の第１異物領域を圧縮画像から切り出す。そして、切り出した異物領域ごとに、第２条件での判別モデルに従い、金属１と金属２の異物判定処理を行い、判定結果（例えば異物の種別）を記憶装置２２０に記憶させる。
　図１２は、図１１に示す例において切り出される第１異物領域の例を示す図である。図１２において、切り出される第１異物領域のうち、金属１に対応する２つの領域のみが円で表現されている。金属２に対応する異物領域も同様に切り出される。この例では円形の領域が切り出されるが、矩形の領域が切り出されてもよい。処理回路２１０は、切り出した第１異物領域の各々について、第２バンド群に対応する復元テーブルを用いてバンド毎の画像を生成する。
　図１３は、第２条件による異物検出における第２バンド群の例を示す図である。図１３において、灰色で表示された波長域が第２バンド群である。この例における第２バンド群は、９つのバンドを含む。９つのバンドにおける反射率を比較することで金属１と金属２とを判別することができる。判別のための条件は、例えばバンド間の画素値の比または差が所定の範囲にあるか否か、または機械学習によって導出された条件であってもよい。
　具体的には、第２バンド群が、９つのバンドを含む場合、1番短波長側をバンド１とし、1番長波長側のバンドをバンド９とした場合に、バンド９の画素値を基準としてバンド１からバンド８の各バンドの基準に対する比を求め、当該比に基づいて判別され得る。この例において、バンド2において金属１と金属２の比が同等かつ、バンド4からバンド7においては金属1に比べて金属２の比が低いことが判別の条件となり得る。
　さらに具体的には、第２バンド群が、９つのバンドを含む場合、1番短波長側をバンド１とし、1番長波長側のバンドをバンド９とした場合、バンド１の画素値とバンド９の画素値の比（＝｛（バンド１の画素値）／（バンド９の画素値）｝）、～、バンド８の画素値とバンド９の画素値の比（＝｛（バンド８の画素値）／（バンド９の画素値）｝）に基づいて、金属１と金属２が判別されてもよい。
　この例において、
｛（金属１に対するバンド２の画素値）／（金属１に対するバンド９の画素値）｝＝｛（金属２に対するバンド２の画素値）／（金属２に対するバンド９の画素値）｝、｛（金属１に対するバンド４の画素値）／（金属１に対するバンド９の画素値）｝＞｛（金属２に対するバンド４の画素値）／（金属２に対するバンド９の画素値）｝、｛（金属１に対するバンド５の画素値）／（金属１に対するバンド９の画素値）｝＞｛（金属２に対するバンド５の画素値）／（金属２に対するバンド９の画素値）｝、｛（金属１に対するバンド６の画素値）／（金属１に対するバンド９の画素値）｝＞｛（金属２に対するバンド６の画素値）／（金属２に対するバンド９の画素値）｝、｛（金属１に対するバンド７の画素値）／（金属１に対するバンド９の画素値）｝＞｛（金属２に対するバンド７の画素値）／（金属２に対するバンド９の画素値）｝
であることを判別の条件としてもよい。
　機会学習によって導出される場合は、バンド毎の画素値の情報と異物の種類を示す情報に基づき、バンド毎の画素値の情報から、異物の種類を推定するためのモデルを作成し、当該モデルに基づいて導出される。
　処理回路２１０は、判定の結果、金属１が検出されれば出力装置３００に警告を出力させる。図９に示すように、処理回路２１０は、警告が出力されたことを記憶装置２２０に記憶させてもよい。
　なお、上記の例では、検出対象の異物として２種類の金属が想定されているが、それ以外の物を検出対象としてもよい。例えば、食品を検査するシステムにおいて、虫と焦げとを区別して判別する目的で本実施形態と同様の技術を適用してもよい。警告を出力する対象の異物は１種類に限らず、２種類以上であってもよい。例えば、第１バンド群の各バンドの画素値に基づいて検出された第１異物領域のうち、第２バンド群についての画素値の組み合わせに基づいて、予め定められた複数の分類リストのいずれかに分類された領域を、特定の異物が存在する第２異物領域としてもよい。
　以上のように、本実施形態によれば、バンド数を絞った第１段階目の検出動作により、１つ以上の異物が存在する可能性のある１つ以上の領域が第１異物領域としてまず検出される。その後、より多くのバンドに基づく第２段階目の検出動作により、第１異物領域の中から、特定の異物が含まれる第２異物領域が検出される。このような動作により、画像全体の中から全バンドの情報に基づいて異物を検出する場合と比較して、演算負荷および検査時間を大きく低減することが可能になる。
　第１異物領域を決定する方法は、以下に示す内容を考慮したものであってもよい。第１段階目の異物検査動作において、第1バンド群（すなわち、１または複数の波長バンド）が、波長バンドＷ１、波長バンドＷＮであるとして説明する。
　Ｓ１１０では、処理回路２１０は、圧縮画像１２０から、波長バンドＷ１の画像データｆ１を計算し、画像データｆ１を含む画像２５０Ｗ１を生成し、及び、圧縮画像１２０から、波長バンドＷＮの画像データｆＮを計算し、画像データｆＮを含む画像２５０ＷＮを生成する。第１画像は画像２５０Ｗ１と画像２５０ＷＮを含む。
　Ｓ１１０では、処理回路２１０は、圧縮画像１２０から、波長バンドＷ２の画像データｆ２、～、画像データｆＮ-１を計算しない。つまり、Ｓ１１０では、処理回路２１０は、圧縮画像１２０から、画像２５０Ｗ２、～、画像２５０ＷＮ-１を生成しない。
　Ｓ１１０では、上記した式（１）ではなく、下記の式（３）の逆問題を解いて画像データｆ１、画像データｆＮを求める。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　圧縮画像１２０に含まれる複数の画素の複数の画素値は
Figure JPOXMLDOC01-appb-M000006
と表現してもよい。Ｐ(gij)は圧縮画像１２０に含まれる画素gijの画素値である。i＝１～ｍ、ｊ＝１～ｎである。画素gijは圧縮画像１２０において、座標（ｉ，ｊ）に位置する。座標軸、座標は図１６に示すようなものであってもよい。
　圧縮画像１２０のデータｇは
　ｇ＝（Ｐ(g11)…Ｐ(g1n)…Ｐ(gm1)…Ｐ(gmn)）T
　と表現してもよい。
　波長バンドＷｋに対応する画像２５０Ｗｋ（ｋ＝１～Ｎ）は、画像データｆkを有すると考えてもよい。画像２５０Ｗｋに含まれる複数の画素の複数の画素値は
Figure JPOXMLDOC01-appb-M000007
と表現してもよい。Ｐ(fkij)は画像２５０Ｗｋに含まれる画素fkijの画素値である（i＝１～ｍ、ｊ＝１～ｎ）。画素fkijは画像２５０Ｗｋにおいて、座標（ｉ，ｊ）に位置する。
　画像２５０Ｗｋの画像データｆｋは
　　fｋ＝（Ｐ(fk11)…Ｐ(fk1n)…Ｐ(fkm1)…Ｐ(fkmn)）T
　と表現してもよい。
　画像データｆｐに含まれる画素値Ｐ(fpij)と画像データｆｑに含まれる画素値Ｐ(fqij)は、被写体の同一箇所の画素値である。これは、画素fpijと画素値fqijは被写体の同一位置に対応するように下記で示すＨを決定すればよい。
　Ｓ１２０での第１異物領域の検出は、ｒ11=Ｐ(f111)/Ｐ(fN11)、・・・、rmn=Ｐ(f1mn)/(fNmn)を計算し、これらから、０．８≦rij≦１．２を満たす座標（ｉ，ｊ）を全て求める。
　そして、０．８≦rrs≦１．２かつ０．８≦r(r+1)s≦１．２、または、０．８≦rrs≦１．２かつ０．８≦r(r-1)s≦１．２、または、０．８≦rrs≦１．２かつ０．８≦rr(s+1)≦１．２、または、０．８≦rrs≦１．２かつ０．８≦rr(s-1)≦１．２である場合、座標（ｒ，ｓ）に位置する画素が連続する画素の領域に含まれると判断される（１≦ｒ－１、ｒ＋１≦ｍ、1≦ｓ－１、ｓ＋１≦ｎ）。
　０．８≦rrs≦１．２であっても、０．８≦r(r+1)s≦１．２でない、かつ、０．８≦r(r-1)s≦１．２でない、かつ、０．８≦rr(s+1)≦１．２でない、かつ、０．８≦rr(s-1)≦１．２でない場合、座標（ｒ，ｓ）に位置する画素は連続する画素の領域に含まれないと判断されてもよい。
　上記のやり方で決定した第１異物領域は、座標（ｒ、ｓ）、座標（ｒ＋１、ｓ）、座標（ｒ、ｓ＋１）、座標（ｒ＋１、s＋１）を有する領域とし、以下の説明を行う。
　Ｓ１４０では、第１異物領域の座標である、座標（ｒ、ｓ）、座標（ｒ＋１、ｓ）、座標（ｒ、ｓ＋１）、座標（ｒ＋１、s＋１）が記憶装置２２０に記録される。
　第２異物領域を決定する方法、以下に示す内容を考慮したものであってもよい。第２段階目の異物検査動作において、第２バンド群（すなわち、複数の第２波長バンド）は波長バンドＷｔ、波長バンドＷｕ、波長バンドＷｖ、波長バンドＷｗであるとして説明する。複数の第２波長バンドの数（この例では４つ）は、１または複数の波長バンドの数（上記した例では２つ）より大きい。圧縮画像１２０と行列Ｈから、画像２５０Ｗtの一部の複数の画素の複数の画素値が計算され、画像２５０Ｗtの他の複数の画素の複数の画素値は計算されない。
　圧縮画像１２０と行列Ｈから、画像２５０Ｗuの一部の複数の画素の複数の画素値が計算され、画像２５０Ｗuの他の複数の画素の複数の画素値は計算されない。
　圧縮画像１２０と行列Ｈから、画像２５０Ｗvの一部の複数の画素の複数の画素値が計算され、画像２５０Ｗvの他の複数の画素の複数の画素値は計算されない。
　圧縮画像１２０と行列Ｈから、画像２５０Ｗwの一部の複数の画素の複数の画素値が計算され、画像２５０Ｗwの他の複数の画素の複数の画素値は計算されない。
　すなわち、
　（１）画像２５０Ｗtの画像データｆt＝（Ｐ(ft11)…Ｐ(ft1n)…Ｐ(ftm1)…Ｐ(ftmn)）Tに含まれるＰ(ftrs)、Ｐ(ft(r+1)s)、Ｐ(ftr(s+1))、Ｐ(ft(r+1)(s+1))が計算され、Ｐ(ft11)、～、Ｐ(ftmn)のうち、Ｐ(ftrs)、Ｐ(ft(r+1)s)、Ｐ(ftr(s+1))、Ｐ(ft(r+1)(s+1))以外は計算されない。
　（２）画像２５０Ｗuの画像データｆu＝（Ｐ(fu11)…Ｐ(fu1n)…Ｐ(fum1)…Ｐ(fumn)）Tに含まれるＰ(furs)、Ｐ(fu(r+1)s)、Ｐ(fur(s+1))、Ｐ(fu(r+1)(s+1))が計算され、Ｐ(fu11)、～、Ｐ(fumn)のうち、Ｐ(furs)、Ｐ(fu(r+1)s)、Ｐ(fur(s+1))、Ｐ(fu(r+1)(s+1))以外は計算されない。
　（３）画像２５０Ｗｖの画像データｆv＝（Ｐ(fv11)…Ｐ(fv1n)…Ｐ(fvm1)…Ｐ(fvmn)）Tに含まれるＰ(fvrs)、Ｐ(fv(r+1)s)、Ｐ(fvr(s+1))、Ｐ(fv(r+1)(s+1))が計算され、Ｐ(fv11)、～、Ｐ(fvmn)のうち、Ｐ(fvrs)、Ｐ(fv(r+1)s)、Ｐ(fvr(s+1))、Ｐ(fv(r+1)(s+1))以外は計算されない。
　（４）画像２５０Ｗwの画像データｆw＝（Ｐ(fw11)…Ｐ(fw1n)…Ｐ(fwm1)…Ｐ(fwmn)）Tに含まれるＰ(fwrs)、Ｐ(fw(r+1)s)、Ｐ(fwr(s+1))、Ｐ(fw(r+1)(s+1))が計算され、Ｐ(fw11)、～、Ｐ(fwmn)のうち、Ｐ(fwrs)、Ｐ(fw(r+1)s)、Ｐ(fwr(s+1))、Ｐ(fw(r+1)(s+1))以外は計算されない。
　（１）～（４）より、ｍｎ×４個の画素値のうち、４×４＝１６個の画像値が計算され、（ｍｎ―４）×４個の画素値は計算されない。
　Ｓ１５０では、画像２５０Ｗt含まれる座標（ｒ,ｓ）に位置する画素の画素値Ｐ(ftrs)、画像２５０Ｗt含まれる座標（ｒ＋１,ｓ）に位置する画素の画素値Ｐ(ft(r+1)s)、画像２５０Ｗt含まれる座標（ｒ,ｓ＋１）に位置する画素の画素値Ｐ(ftr(s+1))、画像２５０Ｗt含まれる座標（ｒ＋１,ｓ＋１）に位置する画素の画素値Ｐ(ft(r+1)(s+1))を用いて第２条件による異物検出が行われる。第２条件による異物検出では、画像２５０Ｗt含まれる上記した４つの画素値が使用され、画像２５０Ｗt含まれる他の（ｍ×ｎ―４）個の画素値は使用されない。
　Ｓ１５０では、画像２５０Ｗu含まれる座標（ｒ,ｓ）に位置する画素の画素値Ｐ(furs)、画像２５０Ｗu含まれる座標（ｒ＋１,ｓ）に位置する画素の画素値Ｐ(fu(r+1)s)、画像２５０Ｗu含まれる座標（ｒ,ｓ＋１）に位置する画素の画素値Ｐ(fur(s+1))、画像２５０Ｗu含まれる座標（ｒ＋１,ｓ＋１）に位置する画素の画素値Ｐ(fu(r+1)(s+1))を用いて第２条件による異物検出が行われる。第２条件による異物検出では、画像２５０Ｗu含まれる上記した４つの画素値が使用され、画像２５０Ｗu含まれる他の（ｍ×ｎ―４）個の画素値は使用されない。
　Ｓ１５０では、画像２５０Ｗv含まれる座標（ｒ,ｓ）に位置する画素の画素値Ｐ(fvrs)、画像２５０Ｗv含まれる座標（ｒ＋１,ｓ）に位置する画素の画素値Ｐ(fv(r+1)s)、画像２５０Ｗv含まれる座標（ｒ,ｓ＋１）に位置する画素の画素値Ｐ(fvr(s+1))、画像２５０Ｗv含まれる座標（ｒ＋１,ｓ＋１）に位置する画素の画素値Ｐ(fv(r+1)(s+1))を用いて第２条件による異物検出が行われる。第２条件による異物検出では、画像２５０Ｗｔ含まれる上記した４つの画素値が使用され、画像２５０Ｗv含まれる他の（ｍ×ｎ―４）個の画素値は使用されない。
　Ｓ１５０では、画像２５０Ｗw含まれる座標（ｒ,ｓ）に位置する画素の画素値Ｐ(fwrs)、画像２５０Ｗw含まれる座標（ｒ＋１,ｓ）に位置する画素の画素値Ｐ(fw(r+1)s)、画像２５０Ｗw含まれる座標（ｒ,ｓ＋１）に位置する画素の画素値Ｐ(fwr(s+1))、画像２５０Ｗw含まれる座標（ｒ＋１,ｓ＋１）に位置する画素の画素値Ｐ(fw(r+1)(s+1))を用いて第２条件による異物検出が行われる。第２条件による異物検出では、画像２５０Ｗw含まれる上記した４つの画素値が使用され、画像２５０Ｗw含まれる他の（ｍ×ｎ―４）個の画素値は使用されない。
　（実施形態２）
　次に、実施形態２による検査システムを説明する。図１４は、本実施形態における検査システムの構成例を示すブロック図である。
　実施形態１においては、撮像装置１００および処理回路２１０は、圧縮センシングを利用して圧縮画像からバンドごとの画像を復元する。これに対し、本実施形態では、撮像装置１００が、バンドごとに撮像を行い、それらの撮像によって取得した複数の画像をまとめることで、所望のバンド群の情報を含む画像データを生成する。本実施形態における撮像装置１００は、図１Ａから図１Ｄに示すようなフィルタアレイ１１０を備える代わりに、バンドごとに撮像を行い、各バンドの画像を生成するための機構を備える。本実施形態では、撮像装置１００が各バンドの画像を直接生成する。このため、記憶装置２２０は、各バンドの画像を生成するために用いられる復元テーブルを記憶していない。
　本実施形態では、まず、撮像装置１００が、第１バンド群に含まれるバンドのそれぞれについて撮像を行い、それらのバンドに対応する複数の画像を生成する。処理回路２１０は、撮像装置１００が生成した第１バンド群についての画像から、第１条件による判別モデルに従い、第１異物領域を検出する。第１異物領域が検出された場合、撮像装置１００は、第１バンド群のバンド数よりも多くのバンドを含む第２バンド群のそれぞれについて撮像を行い、それらのバンドに対応する複数の画像を生成する。処理回路２１０は、それらの画像から、第２条件での判別モデルに従って異物検出処理を行い、その結果を記憶装置２２０に記憶させる。第２条件を満たす異物領域が検出された場合、処理回路２１０は、出力装置３００および作動装置４００に制御信号を送る。出力装置３００は、制御信号を受けると、ディスプレイ３１０などに警告を出力させる。作動装置４００は、制御信号を受けると、コンベア４１０などの制御を行う。
　図１５は、本実施形態における複数画像撮影による２段階異物検出の動作の例を示すフローチャートである。この例における処理回路２１０は、撮像装置１００に、第１バンド群に属するバンドごとに撮像を行うように指示する（ステップＳ２００）。これにより、撮像装置１００は、第１バンド群における各バンドの画像データを生成する。例えば第１バンド群が３５０ｎｍ前後のバンドと６００ｎｍ前後のバンドとで構成される場合、照明光の波長を３５０ｎｍとして撮像が行われ、次に照明光の波長を６００ｎｍとして撮像が行われる。照明光の波長は、撮像ごとにユーザによって調整されてもよいし、撮像装置１００が照明装置を備え、自動で波長が調整されてもよい。処理回路２１０は、生成された第１バンド群についての画像データを取得する（ステップＳ２１０）。処理回路２１０は、取得した画像データから、第１条件による判別モデルに従って第１異物領域を検出する処理を行う（ステップＳ２３０）。処理回路２１０は、第１条件を満たす第１異物領域が存在するか否かを判定する（ステップＳ２４０）。第１異物領域が検出されなかった場合、処理を終了する。第１異物領域が検出された場合、処理回路２１０は、撮像装置１００に、第２バンド群に属するバンドごとに、第１異物領域を含む比較的狭い領域についての撮像を実行させ、各バンドの画像データを生成させる（ステップＳ２５０）。処理回路２１０は、第１異物領域を含む比較的狭い領域について生成された第２バンド群についての画像データを取得する（ステップＳ２６０）。処理回路２１０は、取得した画像データから、第２条件による判別モデルに従って第２異物領域を検出する処理を行う（ステップＳ２７０）。処理回路２１０は、第２条件を満たす第２異物領域が存在するか否かを判定する（ステップＳ２８０）。第２異物領域が検出されなかった場合、処理を終了する。第２異物領域が検出された場合、処理回路２１０は、第２異物領域に関する情報を記憶装置２２０に記憶させる（ステップＳ２９０）。そして、処理回路２１０は、出力装置３００および作動装置４００に制御信号を出力する（ステップＳ３００）。出力装置３００は、処理回路２１０からの制御信号を受けて、ディスプレイ３１０などに警告表示を出力させる。作動装置４００は、処理回路２１０からの制御信号を受けて、コンベア４１０およびピッキング装置４２０などの制御を行う。
　なお、本実施形態では、照明光の波長を切り替えて複数回の撮像を行うことによってバンドごとの撮像を行うが、他の方法でバンドごとの撮像を行ってもよい。例えば、撮像装置１００は、透過波長域の異なる複数のフィルタを入れ替えながら複数回の撮像を行ってもよい。撮像装置１００は、プリズムまたは回折格子を備えたラインスキャン方式のハイパースペクトルカメラであってもよい。
　以上のように、本実施形態では、バンドごとに複数回の撮像が行われる。撮像対象のバンドの数が多いと、検査に多くの時間を要することになる。本実施形態では、比較的少数の第１バンド群についての撮像を行い、異物が検出された場合についてのみ、より多くの第２バンド群についての撮像が行われる。このため、異物が検出されない大部分のケースでは、撮像に多くの時間を要することなく検査が終了する。異物が検出された場合のみ、第２バンド群についての詳細な検査が行われるため、検査工程全体に要する時間を大きく低減することができる。
　本開示の技術は、例えば、多波長の画像を取得するカメラおよび測定機器に有用である。本開示の技術は、例えば、工業製品または食品などの物品に混入する異物を検出する用途に利用可能である。
　７０　　対象物
　１００　撮像装置
　１１０　フィルタアレイ
　１２０　画像
　１４０　光学系
　１６０　イメージセンサ
　２００　処理装置
　２１０　処理回路
　２２０　記憶装置
　３００　出力装置
　３１０　ディスプレイ
　３２０　スピーカ
　３３０　ランプ
　４００　作動装置
　４１０　コンベア
　４２０　ピッキング装置

Claims (13)

  1. 　検査対象に含まれる特定の異物を検出する方法であって、
    　各画素が、１つ以上の波長バンドを含む第１バンド群についての画素値を有する、前記検査対象についての第１画像データを取得することと、
    　前記第１画像データから、第１条件を満たす１つ以上の画素領域を第１異物領域として決定することと、
    　各画素が、前記第１バンド群よりも多くの波長バンドを含む第２バンド群についての画素値を有する、前記第１異物領域を含む領域についての第２画像データを取得することと、
    　前記第２画像データから、前記第１条件とは異なる第２条件を満たす１つ以上の画素領域を、前記特定の異物が存在する第２異物領域として決定することと、
    　前記第２異物領域に関する情報を出力することと、
    を含む方法。
  2. 　前記第１条件は、前記画素領域が、前記第１バンド群についての画素値が特定の条件を満たす連続する複数の画素から構成され、前記画素領域の大きさが所定の大きさを超えることである、請求項１に記載の方法。
  3. 　前記第２条件は、前記画素領域が、前記第２バンド群についての画素値に基づき、予め定められた分類リストのいずれかに分類されることである、請求項１または２に記載の方法。
  4. 　前記第１画像データを取得することは、前記第２バンド群を含む複数の波長バンドのそれぞれについての画像情報が１つの２次元画像として圧縮された圧縮画像データを取得し、前記圧縮画像データから前記第１画像データを生成することを含み、
    　前記第２画像データを取得することは、前記圧縮画像データから前記第１異物領域を含む前記領域を抽出し、抽出した前記領域のデータに基づいて前記第２画像データを生成することを含む、
    請求項１から３のいずれかに記載の方法。
  5. 　前記第１画像データを生成することは、前記第１バンド群に対応する第１復元テーブルを用いて、前記圧縮画像データから前記第１画像データを復元することを含み、
    　前記第２画像データを生成することは、前記第２バンド群に対応する第２復元テーブルを用いて、抽出した前記領域のデータから前記第２画像データを復元することを含む、
    請求項４に記載の方法。
  6. 　前記圧縮画像は、フィルタアレイおよびイメージセンサを備える撮像装置によって生成され、
    　前記フィルタアレイは、互いに異なる透過スペクトルを有する複数種類のフィルタを含み、
    　前記第１復元テーブルおよび前記第２復元テーブルは、前記複数フィルタアレイにおける前記透過スペクトルの分布に基づいて生成される、
    　請求項５に記載の方法。
  7. 　前記第１画像データは、撮像装置による第１撮像動作によって取得され、
    　前記第２画像データは、前記撮像装置による第２撮像動作によって取得される、
    請求項１から３のいずれかに記載の方法。
  8. 　前記第２異物領域が検出された場合に、出力装置に警告を出力することをさらに含む、
    請求項１から７のいずれかに記載の方法。
  9. 　前記第１異物領域の位置、および前記第２異物領域の位置を記憶装置に記憶させることをさらに含む、請求項１から８のいずれかに記載の方法。
  10. 　検査対象に含まれる異物を検出する装置であって、
    　プロセッサと、
    　コンピュータプログラムを格納した記憶媒体と、
    を備え、
    　前記プロセッサは、前記コンピュータプログラムを実行することにより、
    　各画素が、１つ以上の波長バンドを含む第１バンド群についての画素値を有する、前記検査対象についての第１画像データを取得することと、
    　前記第１画像データから、第１条件を満たす１つ以上の画素領域を第１異物領域として決定することと、
    　各画素が、前記第１バンド群よりも多くの波長バンドを含む第２バンド群についての画素値を有する、前記第１異物領域を含む領域についての第２画像データを取得することと、
    　前記第２画像データから、前記第１条件とは異なる第２条件を満たす１つ以上の画素領域を、前記特定の異物が存在する第２異物領域として決定することと、
    　前記第２異物領域に関する情報を出力することと、
    を実行する装置。
  11. 　検査対象に含まれる異物を検出するためのコンピュータプログラムであって、コンピュータに、
    　各画素が、１つ以上の波長バンドを含む第１バンド群についての画素値を有する、前記検査対象についての第１画像データを取得することと、
    　前記第１画像データから、第１条件を満たす１つ以上の画素領域を第１異物領域として決定することと、
    　各画素が、前記第１バンド群よりも多くの波長バンドを含む第２バンド群についての画素値を有する、前記第１異物領域を含む領域についての第２画像データを取得することと、
    　前記第２画像データから、前記第１条件とは異なる第２条件を満たす１つ以上の画素領域を、前記特定の異物が存在する第２異物領域として決定することと、
    　前記第２異物領域に関する情報を出力することと、
    を実行させる、コンピュータプログラム。
  12. 　検査対象に含まれる異物を検出する方法であって、
    　１または複数の第１画像を取得し、前記１または複数の第１画像は、１または複数の第１波長バンドに対応し、
    　前記１または複数の第１画像に基づいて、第１条件を満たす領域を第１異物領域として決定し、
    　複数の第２画像を取得し、前記複数の第２画像の各々は前記第１異物領域に対応する領域を含み、前記複数の第２画像は複数の第２波長バンドに対応し、前記複数の第２波長バンドの数は前記１または複数の第１波長バンドの数より大きく、
    　前記複数の第２画像に基づいて、前記第１条件とは異なる第２条件を満たす１つ以上の領域を、前記異物が存在する第２異物領域として決定し、
    　前記第２異物領域に関する情報を出力する、
    方法。
  13. 　前記１または複数の第１画像のそれぞれに含まれる複数の第１画素の複数の第１画素値は、カメラで前記検査対象を撮像した第３画像に基づいて算出され、前記複数の第１画素は、前記第１異物領域及び前記第１異物領域以外の領域に対応する領域に含まれ、
    　前記複数の第２画像のそれぞれに含まれ、前記第１異物領域に対応する領域に含まれる複数の画素の複数の画素値は、前記前記第３画像に基づいて算出され、
    　前記複数の第２画像のそれぞれに含まれ、かつ、前記第１異物領域に対応する領域以外に含まれる、複数の画素の複数の画素値は、算出されない
    前記請求項１２記載の方法。
PCT/JP2022/001492 2021-01-26 2022-01-18 検査対象に含まれる異物を検出する方法および装置 WO2022163421A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280009183.6A CN116710958A (zh) 2021-01-26 2022-01-18 对检查对象中包含的异物进行检测的方法及装置
JP2022578255A JPWO2022163421A1 (ja) 2021-01-26 2022-01-18
US18/346,824 US20230419478A1 (en) 2021-01-26 2023-07-04 Method and apparatus for detecting foreign object included in inspection target

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-010386 2021-01-26
JP2021010386 2021-01-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/346,824 Continuation US20230419478A1 (en) 2021-01-26 2023-07-04 Method and apparatus for detecting foreign object included in inspection target

Publications (1)

Publication Number Publication Date
WO2022163421A1 true WO2022163421A1 (ja) 2022-08-04

Family

ID=82653324

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001492 WO2022163421A1 (ja) 2021-01-26 2022-01-18 検査対象に含まれる異物を検出する方法および装置

Country Status (4)

Country Link
US (1) US20230419478A1 (ja)
JP (1) JPWO2022163421A1 (ja)
CN (1) CN116710958A (ja)
WO (1) WO2022163421A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230030308A1 (en) * 2021-07-28 2023-02-02 Panasonic Intellectual Property Management Co., Ltd. Inspection method and inspection apparatus
JP7375963B1 (ja) 2023-01-06 2023-11-08 株式会社サタケ トレーサビリティシステム
WO2024053302A1 (ja) * 2022-09-08 2024-03-14 パナソニックＩｐマネジメント株式会社 情報処理方法および撮像システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013164338A (ja) * 2012-02-10 2013-08-22 Sumitomo Electric Ind Ltd 植物または植物加工品の異物検出方法
JP2016105084A (ja) * 2014-11-21 2016-06-09 和歌山県 食品検査装置
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
WO2020023213A1 (en) * 2018-07-27 2020-01-30 Ventana Medical Systems, Inc. Systems for automated in situ hybridization analysis
JP2020524328A (ja) * 2017-06-19 2020-08-13 インパクトビジョン インコーポレイテッド 異物を識別するためのハイパースペクトル画像処理用のシステム及び方法
WO2021192891A1 (ja) * 2020-03-26 2021-09-30 パナソニックＩｐマネジメント株式会社 信号処理方法、信号処理装置、および撮像システム
WO2021246192A1 (ja) * 2020-06-05 2021-12-09 パナソニックＩｐマネジメント株式会社 信号処理方法、信号処理装置、および撮像システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013164338A (ja) * 2012-02-10 2013-08-22 Sumitomo Electric Ind Ltd 植物または植物加工品の異物検出方法
JP2016156801A (ja) * 2014-11-19 2016-09-01 パナソニックＩｐマネジメント株式会社 撮像装置および分光システム
JP2016105084A (ja) * 2014-11-21 2016-06-09 和歌山県 食品検査装置
JP2020524328A (ja) * 2017-06-19 2020-08-13 インパクトビジョン インコーポレイテッド 異物を識別するためのハイパースペクトル画像処理用のシステム及び方法
WO2020023213A1 (en) * 2018-07-27 2020-01-30 Ventana Medical Systems, Inc. Systems for automated in situ hybridization analysis
WO2021192891A1 (ja) * 2020-03-26 2021-09-30 パナソニックＩｐマネジメント株式会社 信号処理方法、信号処理装置、および撮像システム
WO2021246192A1 (ja) * 2020-06-05 2021-12-09 パナソニックＩｐマネジメント株式会社 信号処理方法、信号処理装置、および撮像システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230030308A1 (en) * 2021-07-28 2023-02-02 Panasonic Intellectual Property Management Co., Ltd. Inspection method and inspection apparatus
US11991457B2 (en) * 2021-07-28 2024-05-21 Panasonic Intellectual Property Management Co., Ltd. Inspection method and inspection apparatus
WO2024053302A1 (ja) * 2022-09-08 2024-03-14 パナソニックＩｐマネジメント株式会社 情報処理方法および撮像システム
JP7375963B1 (ja) 2023-01-06 2023-11-08 株式会社サタケ トレーサビリティシステム

Also Published As

Publication number Publication date
JPWO2022163421A1 (ja) 2022-08-04
CN116710958A (zh) 2023-09-05
US20230419478A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
WO2022163421A1 (ja) 検査対象に含まれる異物を検出する方法および装置
JP6952277B2 (ja) 撮像装置および分光システム
Wu et al. Advanced applications of hyperspectral imaging technology for food quality and safety analysis and assessment: A review—Part I: Fundamentals
Mollazade et al. Analysis of texture-based features for predicting mechanical properties of horticultural products by laser light backscattering imaging
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
WO2021192891A1 (ja) 信号処理方法、信号処理装置、および撮像システム
US20230079297A1 (en) Signal processing method, signal processing device, and imaging system
JP2016130727A (ja) 撮像装置
WO2022230640A1 (ja) 画像処理装置、撮像システム、および復元画像の誤差を推定する方法
JP7457952B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
WO2021085014A1 (ja) フィルタアレイおよび光検出システム
US11843876B2 (en) Optical filter array, photodetection device, and photodetection system
Yoon et al. Hyperspectral image processing methods
WO2021241171A1 (ja) フィルタアレイおよび光検出システム
CN116806304A (zh) 数据处理装置、方法及程序以及光学元件、摄影光学系统及摄影装置
WO2023282069A1 (ja) 信号処理装置および信号処理方法
WO2023106142A1 (ja) 信号処理方法、プログラム、およびシステム
WO2023106143A1 (ja) 分光画像を生成するシステムに用いられる装置およびフィルタアレイ、分光画像を生成するシステム、ならびにフィルタアレイの製造方法
WO2024053302A1 (ja) 情報処理方法および撮像システム
JP7122636B2 (ja) フィルタアレイおよび光検出システム
WO2024043009A1 (ja) 信号処理方法および信号処理装置
JP2024020922A (ja) 復元画像の評価方法および撮像システム、
WO2022270355A1 (ja) 撮像システム、撮像システムに用いられる方法、および撮像システムに用いられるコンピュータプログラム
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム
WO2023100660A1 (ja) 撮像システムおよび撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22745644

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022578255

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 202280009183.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22745644

Country of ref document: EP

Kind code of ref document: A1