WO2024034261A1 - 固体撮像装置及び固体撮像システム - Google Patents

固体撮像装置及び固体撮像システム Download PDF

Info

Publication number
WO2024034261A1
WO2024034261A1 PCT/JP2023/022696 JP2023022696W WO2024034261A1 WO 2024034261 A1 WO2024034261 A1 WO 2024034261A1 JP 2023022696 W JP2023022696 W JP 2023022696W WO 2024034261 A1 WO2024034261 A1 WO 2024034261A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
solid
state imaging
processing circuit
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/022696
Other languages
English (en)
French (fr)
Inventor
友輔 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to US18/995,041 priority Critical patent/US20260016403A1/en
Publication of WO2024034261A1 publication Critical patent/WO2024034261A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02—Food
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3554—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for determining moisture content
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N31/00—Investigating or analysing non-biological materials by the use of the chemical methods specified in the subgroup; Apparatus specially adapted for such methods
    • G01N31/22—Investigating or analysing non-biological materials by the use of the chemical methods specified in the subgroup; Apparatus specially adapted for such methods using chemical indicators
    • G01N31/222—Investigating or analysing non-biological materials by the use of the chemical methods specified in the subgroup; Apparatus specially adapted for such methods using chemical indicators for investigating moisture content
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks

Definitions

  • the present disclosure relates to a solid-state imaging device and a solid-state imaging system.
  • an image sensor capable of capturing images in the near-infrared band, it is possible to detect moisture, which is difficult to distinguish using visible light, by using the wavelength band that shows absorption of water. Taking advantage of this characteristic, in the process of manufacturing dry products such as dried foods, moisture remaining in the product is detected using a line sensor that can receive light in the near-infrared band.
  • the present disclosure provides a solid-state imaging device that acquires information regarding moisture content along with appearance data.
  • a solid-state imaging device includes an image sensor and a processing circuit.
  • the image sensor includes a visible light receiving element that receives visible light and an infrared light receiving element that receives at least infrared light in a short wavelength infrared band in a single pixel array.
  • the processing circuit generates a first image showing an image of the dried food in a visible region and a second image showing an image of the dried food in an infrared region from the data acquired by the image sensor. , the dried food is inspected from the generated first image and second image.
  • the processing circuit may detect the moisture content of the dried food from at least the second image.
  • the processing circuit compares the moisture content with a predetermined threshold value and notifies that the dried food product whose moisture content is higher than the predetermined threshold value is to be subjected to a re-drying process. Good too.
  • the processing circuit may calculate the drying time of the re-drying step based on the moisture content.
  • the processing circuit may infer the moisture content of the dried food using a learned model.
  • the processing circuit may detect the protein content of the dried food from at least the second image.
  • the processing circuit may infer the protein content of the dried food using a trained model.
  • the processing circuit may detect defects in the appearance of the dried food from at least the first image.
  • the processing circuit may detect foreign matter attached to the dried food from the first image.
  • the processing circuit may detect deterioration in color of the dried food from the first image.
  • the processing circuit may perform the visual inspection of the dried food using the learned model.
  • the processing circuit may inspect the dried food based on the first image and the second image using the learned model.
  • a solid-state imaging system includes an infrared light source and a solid-state imaging device.
  • the infrared light source emits infrared light including at least a short wavelength infrared band.
  • the solid-state imaging device is any of the solid-state imaging devices described above.
  • the image sensor receives light emitted from the infrared light source and reflected or transmitted by the dried food with the infrared light receiving element.
  • FIG. 1 is a diagram schematically showing an example of a solid-state imaging device according to an embodiment.
  • FIG. 1 is a diagram schematically showing an example of a pixel array of a solid-state imaging device according to an embodiment.
  • 1 is a flowchart illustrating an example of processing of a solid-state imaging device according to an embodiment.
  • FIG. 3 is a diagram showing an example of an area to be photographed according to an embodiment. The figure which shows an example of the 1st image and the 2nd image concerning one embodiment.
  • FIG. 3 is a diagram illustrating an example of an image according to an embodiment.
  • FIG. 1 is a diagram schematically showing an example of a solid-state imaging system according to an embodiment.
  • FIG. 1 is a diagram schematically showing an example of a solid-state imaging device according to an embodiment.
  • the solid-state imaging device 10 includes a pixel array 100, a control circuit 102, a horizontal drive circuit 104, a vertical drive circuit 106, a signal processing circuit 108, and a processing circuit 110.
  • the solid-state imaging device 10 is, for example, a device that acquires a first image that is a visible light image and a second image that is an infrared light image of an object in the same range, and processes these images appropriately. .
  • the pixel array 100 is an area in which light-receiving pixels having light-receiving elements are arranged in a two-dimensional array. Each light receiving pixel is connected to a pixel circuit.
  • the light receiving element outputs a signal according to the intensity of incident light by photoelectric conversion, and the pixel circuit appropriately converts the signal output from the light receiving element into a signal for each pixel and outputs the signal.
  • the solid-state imaging device 10 can operate as an area sensor.
  • the control circuit 102 is a circuit that controls signal acquisition of the solid-state imaging device 10.
  • the control circuit 102 controls the output of signals obtained by photoelectric conversion within the pixel array 100 by the horizontal drive circuit 104 and the vertical drive circuit 106 to the signal processing circuit 108 .
  • the control circuit 102 may also be connected to the signal processing circuit 108.
  • the horizontal drive circuit 104 selects a line of the pixel array 100 according to the control from the control circuit 102 and drives the light-receiving pixels belonging to the line to output a signal.
  • the vertical drive circuit 106 drives the light-receiving pixels belonging to the column at an appropriate timing from the light-receiving pixels belonging to the line selected by the horizontal drive circuit 104 according to the control from the control circuit 102, and outputs a signal. do.
  • the signal processing circuit 108 appropriately processes the analog signals output by each light-receiving pixel and outputs them.
  • the signal processing circuit 108 may include a column ADC (Analog to Digital Converter) that performs AD (Analog to Digital) conversion for each column, and may convert the analog signal output from the light receiving pixel into a digital signal and output the digital signal.
  • the signal processing circuit 108 converts the digital signal into, for example, an image signal using other appropriate circuits and outputs the converted signal.
  • the processing circuit 110 performs appropriate processing on the image data output from the signal processing circuit 108.
  • the processing circuit 110 may, for example, perform image processing on the image data, or perform information processing such as classification using a rule-based method or classification using a learned model.
  • the solid-state imaging device 10 may include a memory circuit.
  • the storage circuit can appropriately store image data in the signal processing circuit 108 or the processing circuit 110, for example.
  • the processing of the signal processing circuit 108 or the processing circuit 110 is specifically realized by software using information processing using hardware resources, programs necessary for information processing by this software, Executable files and the like may also be stored.
  • at least part of the processing of the signal processing circuit 108 or the processing circuit 110 may be realized by each circuit referring to a program stored in a storage circuit.
  • the processing circuit 110 is provided inside the solid-state imaging device 10, but the present invention is not limited thereto.
  • this processing circuit 110 may be provided outside the solid-state imaging device 10 .
  • a pixel array 100, a control circuit 102, a horizontal drive circuit 104, a vertical drive circuit 106, a signal processing circuit 108, and a processing circuit 110 may be formed on the same semiconductor chip, or at least a portion thereof may be formed on the same semiconductor chip.
  • the structure may be formed on another semiconductor chip.
  • these structures When formed on the same semiconductor chip, these structures may be formed in stacked semiconductor layers, and the layers may be electrically connected by any method such as micro bumps or via holes.
  • semiconductor chips When formed by stacking, semiconductor chips are formed by forming individual layers and then stacking them using any method such as CoC (Chip on Chip), CoW (Chip on Wafer), or WoW (Wafer on Wafer). Alternatively, the necessary configurations may be sequentially formed on one substrate.
  • FIG. 2 is a diagram showing a non-limiting example of the arrangement of pixels in the pixel array 100 according to one embodiment.
  • R means red
  • G means green
  • B means blue
  • IR means equipped with an element that receives infrared light.
  • This FIG. 2 may be an array of pixels, or may be an array of divided photoelectric conversion regions (divided pixels) within a pixel.
  • some of the light-receiving elements in the Bayer array may be light-receiving elements that can receive infrared light.
  • the original array does not have to be a Bayer array, and may include a light-receiving element that receives light other than the three primary colors of RGB.
  • the light-receiving element region indicated by IR may be in a form that can receive at least a short wavelength infrared (SWIR) band.
  • SWIR short wavelength infrared
  • NIR near infrared
  • the light-receiving element that receives light in each color band may be, for example, provided with a color filter on the incident surface side of the light-receiving element, or may be formed of an organic photoelectric conversion element. That is, the designation of the band in which light is received by each light receiving element may be implemented using any method.
  • the pixel array 100 includes, as non-limiting examples, pixels that can acquire any polarization state, pixels that can acquire image plane phase difference, pixels that can acquire ToF (Time of Flight) information, pixels that can detect event information, At least some of the pixels may include pixels using a plasmon filter.
  • the solid-state imaging device 10 can generate images in the visible light band and infrared light band for information on the same object. That is, the solid-state imaging device 10 can acquire a first image, which is an image in the visible light band, and a second image, which is an image in the infrared light band, of the same object.
  • the solid-state imaging device 10 operates as an area sensor that images the same area in the visible light band and infrared light band.
  • the coordinates of the first and second images basically do not shift, so the solid-state imaging device 10 acquires visible information and infrared information of the same object at the same coordinates. be able to.
  • the solid-state imaging device 10 is not applicable only to dry food. It is possible to perform similar processing on any target. Also, as an example, an image in the SWIR band is acquired as the second image, but it is also possible to change this band according to the purpose.
  • the data of the first image and second image acquired by the signal processing circuit 108 are sent to the processing circuit 110, and the processing circuit 110 can perform arbitrary processing on these images.
  • FIG. 3 is a flowchart showing the processing of the solid-state imaging device 10 according to one embodiment.
  • the solid-state imaging device 10 converts visible light band light and infrared light band light in a region that can be received by the pixel array 100 into signals, and outputs the signals (S100).
  • the solid-state imaging device 10 for example, photographs an area of dried food where the food is present after drying, receives the light reflected or transmitted by the dried food at a light receiving element in the pixel array 100 , and captures the light for each pixel. Output.
  • the signal processing circuit 108 converts the analog signal output from the pixel circuit into a digital signal, and generates the first image by appropriately processing the received light signal in the visible light band (S102). For example, the signal processing circuit 108 appropriately mixes these outputs based on the signals acquired from the light-receiving elements corresponding to the R, G, and B wavelength ranges in FIG. Get the image.
  • the processing circuit 110 executes processing on the first image generated by the signal processing circuit 108 (S104). This process is, for example, a process of inspecting the appearance of dried food. The processing circuit 110 inspects, for example, whether there is any defect in the appearance of the dried food shown in the first image, based on the acquired color information.
  • the processing circuit 110 can detect foreign matter attached to the dried food and/or detect deterioration or deterioration of the color of the dried food by referring to the first image. For example, the processing circuit 110 can notify the user or the like to re-inspect a dried food for which foreign matter, deterioration or deterioration of color has been detected. Furthermore, based on the output of the processing circuit 110 , a defective product elimination module or the like external to the solid-state imaging device 10 automatically eliminates or removes dried foods that are detected to have foreign objects, deterioration, or deterioration in the lane of the factory, for example. It is also possible to perform a re-inspection by the user.
  • the solid-state imaging device 10 may perform processing for acquiring a second image, which is an image in the SWIR band, and processing for the second image. Instead of executing these in parallel, for example, you can process the second image after finishing the processing of the first image, or process the first image after finishing the processing of the second image. It's okay.
  • the signal processing circuit 108 converts the analog signal output from the pixel circuit into a digital signal, and generates a second image by appropriately processing the received light signal in the SWIR band (S106). For example, the signal processing circuit 108 acquires a second image, which is an image in the SWIR band, from these outputs based on the signals acquired from the light receiving elements corresponding to the IR wavelength range in FIG. 2.
  • the processing circuit 110 executes processing on the second image generated by the signal processing circuit 108 (S108).
  • This process is, for example, a process of inspecting the moisture content of dried food.
  • Light in the SWIR band has the characteristic of being absorbed by moisture (water). Therefore, the processing circuit 110 can detect the moisture content of the dried food, for example, by referring to the second image.
  • the processing circuit 110 compares the moisture content of the dried food with a predetermined threshold by referring to the second image, and if the moisture content is higher than the predetermined threshold, the processing circuit 110 compares the moisture content of the dried food with a predetermined threshold.
  • the user may be notified to re-dry the dried food, or an external re-drying process execution module or the like may automatically initiate the re-drying process for dried foods that need to be re-dried, e.g. from a factory lane. may be processed so that it is executed.
  • the number of predetermined thresholds does not need to be one, and multiple thresholds may be provided.
  • the water content may be acquired as a continuous value.
  • the processing circuit 110 may determine the presence or absence of a re-drying process from the moisture content of the dried food, and may also calculate and output the drying time in the re-drying process of the dried food. When determining the moisture content using a threshold value as shown in the example above, the processing circuit 110 may set a drying time within the determined range or obtain it as a continuous value. If necessary, the drying time may be calculated for this continuous value.
  • the processing circuit 110 may detect a component that absorbs light in the SWIR band from the acquired second image.
  • the processing circuit 110 can, for example, obtain the protein content of the dried food from the second image.
  • the processing circuit 110 can also infer the moisture content of the dried food from this protein content.
  • the first image in the visible light band and the second image in the SWIR band are displayed at the same timing (or when they are stationary) for objects that exist in the same area. (The timing may be different depending on the object in question.) Therefore, it is possible to perform appropriate processing using the respective information in the visible light band and the SWIR band using the same coordinates without having to perform processing related to the solid-state imaging device 10 such as optical axis alignment.
  • the solid-state imaging device 10 can detect defects suitable for visible light in visible light images, as well as detect moisture content of dry objects in SWIR images. information can be obtained.
  • solid-state imaging devices 10 can also nondestructively inspect the interior of objects made of resin that transmits light in the SWIR band at the same time as the exterior. be.
  • the band of infrared light to be received is not limited to SWIR, and a light receiving element that receives light in the NIR band may also be provided. Further, in the SWIR band, a light receiving element that receives light in a plurality of wavelength regions may be provided. In such a case, it is also possible to detect defects and the like related to different characteristics from images having different characteristics in the infrared light band. For example, in the NIR band, it is possible to detect foreign substances that cannot be detected by visual inspection in areas containing moisture, and in the SWIR band, it is also possible to detect moisture content.
  • the processing circuit 110 can also obtain the moisture content of each type of dry food from the second image. For example, the processing circuit 110 receives in advance data regarding the type of food to be photographed by the solid-state imaging device 10, and calculates the moisture content and color density from a data sheet based on the type of food. Data indicating the relationship may be extracted, and based on this data, the moisture content may be detected from the second image.
  • the processing circuit 110 can perform the determination process on the first image using the trained model.
  • This trained model is trained by machine learning using, for example, images (visible light images) of the target food labeled as good and defective products visually judged by humans (visible light images). It's a model. This label may have multiple labels such as not only good/defective but also no defect, foreign matter attached, and color defect.
  • This model may be trained by any machine learning method. This model may determine whether each image is defective (classification), or may determine whether a part of the image (target food) is defective.
  • the solid-state imaging device 10 of the present disclosure it is also possible to photograph a plurality of objects and perform various inspections on the plurality of photographed images at the same timing. In this case, by referring to the coordinates or address of the object determined to have a defect, it is possible to obtain information about which object has the defect in the first and second images. .
  • FIG. 4 is a diagram showing an example of an area to be photographed.
  • the circle in the figure indicates the target object.
  • the solid-state imaging device 10 acquires a first image and a second image for an image including such multiple objects.
  • FIG. 5 is a diagram showing an example of the first image and the second image in contrast to FIG. 4 above.
  • the figure on the left shows an example of the first image, and the figure on the right shows an example of the second image.
  • the processing circuit 110 detects that an object indicated by diagonal lines in the first image has an appearance defect, and detects moisture in an object indicated by horizontal lines in the second image.
  • the solid-state imaging device 10 it is possible to detect a defective object for each object in each of the first image and the second image.
  • FIG. 6 is a diagram showing an image in which the object determined to be defective in the second image is reflected in the first image.
  • the processing circuit 110 can also aggregate (synthesize) defective objects determined in each image into one image as shown in FIG. For example, the processing circuit 110 marks objects determined to be defective in the second image in the first image, thereby indicating objects with defective appearance and objects containing moisture on the same image. You can also do that.
  • the processing circuit 110 marks an image determined to be defective in both the first image and the second image differently from the object determined to be defective in each image. Since the same optical system is used to acquire information using the pixels included in the same pixel array 100, the solid-state imaging device 10 can easily achieve such image synthesis. For example, when displaying on a display device, markings can be indicated by changing the color of the object, blinking the object, encircling the object, etc., or marking the object as ⁇ defect in appearance'' as text information. It is also possible to display "moisture content: high" or the like.
  • the model may be in any form as long as it can make appropriate decisions; as a non-limiting example, it may be in the form of an MLP (Multi-Layer Perceptron) or a form that includes a convolution layer at least in part.
  • MLP Multi-Layer Perceptron
  • the processing circuit 110 may make a determination based on a rule base, or the second image may be determined by separately learned training in the same manner as above. You may also use a completed model. That is, the processing circuit 110 determines or infers the moisture content (including whether it is contained) and/or the protein content (including whether it is contained) for the second image using the trained model. Good too.
  • the trained model inputs either the first image or the second image, but is not limited to this.
  • the trained model inputs the data of the first image and the second image from the input layer, and uses the information of both input images to perform inspections of objects such as dried foods (both visual inspection and moisture content inspection). (inspection)).
  • the signal processing circuit 108 outputs digital data for each color (including IR band) output from each pixel circuit, and the processing circuit 110 learns the data for each color output from the signal processing circuit 108. It can also be in a form that can be input into a completed model.
  • the solid-state imaging device 10 can properly acquire the first image by photographing the object in a state in which a human can sense the object, for example, in a state in which the object is illuminated with light such as sunlight or fluorescent light. can. On the other hand, it is unclear whether the target is irradiated with light in a desired infrared light band. Therefore, the solid-state imaging device 10 may form a solid-state imaging system together with a light source that emits light in at least an infrared light band.
  • FIG. 7 is a diagram schematically showing a solid-state imaging system according to an embodiment.
  • the solid-state imaging system 1 includes at least a solid-state imaging device 10 and an infrared light source 20.
  • the solid-state imaging system 1 may further include a visible light source 22.
  • the infrared light source 20 is, for example, a light source that irradiates a target with infrared light.
  • This infrared light source 20 is, for example, a light source that emits light including a wavelength in the SWIR band that can generate an image in the solid-state imaging device 10 .
  • a light source that includes wavelengths in the NIR band may be used, or information on wavelengths in the NIR band may be acquired separately.
  • a corresponding light source may be provided.
  • the light source may include light of wavelengths in all of these bands.
  • the solid-state imaging system 1 uses an infrared light source 20 to irradiate infrared light onto the food to be inspected, so that the solid-state imaging device 10 can receive light in a desired wavelength band and generate an image. It becomes possible.
  • the solid-state imaging system 1 may further include a visible light source 22.
  • the visible light source 22 is a light source that includes wavelengths in a band that allows the solid-state imaging device 10 to obtain an appropriate first image.
  • the solid-state imaging system 1 shown in FIG. 7 it is possible to generate images based on light in a desired wavelength band in the solid-state imaging device 10. As a result, according to the solid-state imaging system 1 , it is possible to accurately implement the inspection in the solid-state imaging device 10 described above.
  • an image sensor having a visible light receiving element that receives visible light and an infrared light receiving element that receives at least infrared light in a short wavelength infrared band in a single pixel array;
  • a first image showing an image of the dried food in a visible region and a second image showing an image of the dried food in an infrared region are generated from the data acquired by the image sensor, and the generated second image is a processing circuit that inspects the dried food from the first image and the second image;
  • a solid-state imaging device comprising:
  • the processing circuit detects the moisture content of the dried food from at least the second image.
  • the solid-state imaging device according to (1).
  • the processing circuit compares the moisture content with a predetermined threshold and notifies that the dried food product whose moisture content is higher than the predetermined threshold is to be subjected to a re-drying process.
  • the solid-state imaging device according to (2) The solid-state imaging device according to (2).
  • the processing circuit calculates the drying time of the re-drying step based on the moisture content.
  • the processing circuit infers the moisture content of the dried food using a trained model.
  • the solid-state imaging device according to any one of (2) to (4).
  • the processing circuit detects the protein content of the dried food from at least the second image;
  • the solid-state imaging device according to any one of (1) to (5).
  • the processing circuit infers the protein content of the dried food using a trained model.
  • the processing circuit detects defects in the appearance of the dried food from at least the first image.
  • the solid-state imaging device according to any one of (1) to (7).
  • the processing circuit detects foreign matter attached to the dried food from the first image.
  • the solid-state imaging device according to (8).
  • the processing circuit detects deterioration in color of the dried food from the first image;
  • the processing circuit performs a visual inspection of the dried food using the learned model.
  • the solid-state imaging device according to any one of (8) to (10).
  • the processing circuit inspects the dried food based on the first image and the second image using the trained model;
  • the solid-state imaging device according to any one of (1) to (11).
  • an infrared light source that emits infrared light including at least a short wavelength infrared band
  • the solid-state imaging device according to any one of (1) to (12), Equipped with The image sensor receives, with the infrared light receiving element, light emitted from the infrared light source and reflected or transmitted by the dried food. Solid-state imaging system.
  • Solid-state imaging system 10: Solid-state imaging device, 100: pixel array, 102: Control circuit, 104: Horizontal drive circuit, 106: Vertical drive circuit, 108: Signal processing circuit, 110: Processing circuit, 20: Infrared light source, 22: Visible light source

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Food Science & Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Medicinal Chemistry (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

［課題］外観データとともに水分含有量に関する情報を取得する。 ［解決手段］固体撮像装置は、撮像素子と、処理回路と、を備える。前記撮像素子は、可視光を受光する可視光受光素子と、少なくとも短波長赤外帯域の赤外光を受光する赤外光受光素子と、を単一の画素アレイにおいて有する。前記処理回路は、前記撮像素子が取得したデータから、可視領域における乾燥済み食品の像を示す第 1 画像と、赤外領域における前記前記乾燥済み食品の像を示す第 2 画像と、を生成し、生成した前記第 1 画像及び前記第 2 画像から、前記乾燥済み食品を検査する。

Description

固体撮像装置及び固体撮像システム
　本開示は、固体撮像装置及び固体撮像システムに関する。
　近赤外帯域の撮像が可能なイメージセンサにおいては、水の吸収を示す波長帯を利用して、可視光では見分けることが困難な水分の検出を実現することができる。この特性を利用して、乾燥食品等の乾燥した物品を製造する工程においては、近赤外帯域の光を受光できるラインセンサを用いて物品に残存する水分の検知が行われている。
　しかしながら、例えば、乾燥食品の品質検査工程においては、綿密な水分管理が行われているとともに、乾燥その他による外観異常発生の検知もする必要があり、熟練者によりこの検知とともに、水分が残存しているか否かの判断がされている。この結果、検査効率や判断の属人性といった課題がある。
特開2016-017932号公報
　そこで、本開示では、外観データとともに水分含有量に関する情報を取得する固体撮像装置を提供する。
　一実施形態によれば、固体撮像装置は、撮像素子と、処理回路と、を備える。前記撮像素子は、可視光を受光する可視光受光素子と、少なくとも短波長赤外帯域の赤外光を受光する赤外光受光素子と、を単一の画素アレイにおいて有する。前記処理回路は、前記撮像素子が取得したデータから、可視領域における乾燥済み食品の像を示す第 1 画像と、赤外領域における前記前記乾燥済み食品の像を示す第 2 画像と、を生成し、生成した前記第 1 画像及び前記第 2 画像から、前記乾燥済み食品を検査する。
　前記処理回路は、少なくとも前記第 2 画像から、前記乾燥済み食品の水分の含有量を検出してもよい。
　前記処理回路は、前記水分の含有量を所定しきい値と比較し、前記水分の含有量が前記所定しきい値よりも高い前記乾燥済み食品を再乾燥工程する対象であることを通知してもよい。
　前記処理回路は、前記水分の含有量に基づいて、前記再乾燥工程の乾燥時間を算出してもよい。
　前記処理回路は、前記乾燥済み食品の水分の含有量を、学習済みモデルを用いて推論してもよい。
　前記処理回路は、少なくとも前記第 2 画像から、前記乾燥済み食品のタンパク質の含有量を検出してもよい。
　前記処理回路は、前記乾燥済み食品のタンパク質の含有量を、学習済みモデルを用いて推論してもよい。
　前記処理回路は、少なくとも前記第 1 画像から、前記乾燥済み食品の外観における不良を検出してもよい。
　前記処理回路は、前記第 1 画像から、前記乾燥済み食品に付着した異物を検出してもよい。
　前記処理回路は、前記第 1 画像から、前記乾燥済み食品の色味の悪化を検出してもよい。
　前記処理回路は、前記乾燥済み食品の外観検査を、学習済みモデルを用いて実行してもよい。
　前記処理回路は、学習済みモデルを用いて、前記第 1 画像及び前記第 2 画像に基づいて、前記乾燥済み食品を検査してもよい。
　一実施形態によれば、固体撮像システムは、赤外光源と、固体撮像装置と、を備える。前記赤外光源は、少なくとも短波長赤外帯域を含む赤外光を射出する。前記固体撮像装置は、上記のいずれかに記載の固体撮像装置である。前記撮像素子は、前記赤外光源から射出され、前記乾燥済み食品において反射又は透過した光を前記赤外光受光素子で受光する。
一実施形態に係る固体撮像装置の一例を模式的に示す図。 一実施形態に係る固体撮像装置の画素アレイの一例を模式的に示す図。 一実施形態に係る固体撮像装置の処理の一例を示すフローチャート。 一実施形態に係る撮影するエリアの一例を示す図。 一実施形態に係る第 1 画像及び第 2 画像の一例を示す図。 一実施形態に係る画像の一例を示す図。 一実施形態に係る固体撮像システムの一例を模式的に示す図。
　以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。
　図1は、一実施形態に係る固体撮像装置の一例を模式的に示す図である。固体撮像装置 10 は、画素アレイ 100 と、制御回路 102 と、水平駆動回路 104 と、垂直駆動回路 106 と、信号処理回路 108 と、処理回路 110 と、を備える。固体撮像装置 10 は、例えば、同じ範囲にある物体の可視光像である第 1 画像と、赤外光像である第 2 画像と、を取得し、これらの画像を適切に処理する装置である。
　画素アレイ 100 は、受光素子を有する受光画素が 2 次元のアレイ状に配列される領域である。受光画素は、それぞれが画素回路と接続される。受光素子は、入射された光の強度に応じた信号を光電変換により出力し、画素回路は、受光素子から出力された信号を適切に画素ごとの信号に変換して出力する。画素アレイ 100 を介して物体の反射光等を取得することで、固体撮像装置 10 は、エリアセンサとして動作することができる。
　制御回路 102 は、固体撮像装置 10 の信号取得の制御をする回路である。制御回路 102 は、水平駆動回路 104 及び垂直駆動回路 106 により画素アレイ 100 内において光電変換により得られた信号を信号処理回路 108 へと出力する制御をする。なお、制御回路 102 は、信号処理回路 108 にも接続されていてもよい。
　水平駆動回路 104 は、制御回路 102 からの制御にしたがい、画素アレイ 100 のラインを選択し、当該ラインに属する受光画素から信号が出力される駆動をする。
　垂直駆動回路 106 は、制御回路 102 からの制御にしたがい、水平駆動回路 104 により選択されているラインに属する受光画素のから適切なタイミングでカラムに属する受光画素を駆動させて、信号を出力する制御をする。
　信号処理回路 108 は、それぞれの受光画素が出力するアナログ信号を適切に信号処理して出力する。信号処理回路 108 は、例えば、カラムごとに AD (Analog to Digital) 変換するカラム ADC (Analog to Digital Converter) を備え、受光画素から出力されるアナログ信号をデジタル信号に変換して出力してもよい。信号処理回路 108 は、その他適切な回路により、デジタル信号を、例えば、画像信号に変換して出力する。
　処理回路 110 は、信号処理回路 108 から出力される画像データに対して適切な処理を実行する。処理回路 110 は、例えば、画像データに対して画像処理をしてもよいし、ルールベースの手法による分類、又は、学習済みモデルを用いた分類等の情報処理を実行する。
　なお、図示していないが、固体撮像装置 10 は、記憶回路を備えていてもよい。記憶回路は、例えば、信号処理回路 108 又は処理回路 110 における画像データを適宜格納することができる。また、信号処理回路 108 又は処理回路 110 の少なくとも一部の処理が、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現される場合には、このソフトウェアによる情報処理に必要となるプログラム、実行ファイル等を格納してもよい。この場合、信号処理回路 108 又は処理回路 110 の少なくとも一部の処理は、それぞれの回路が記憶回路に格納されているプログラム等を参照することで実現されてもよい。
　図1においては、処理回路 110 は、固体撮像装置 10 の内部に備えられているが、これに限定されるものではない。例えば、固体撮像装置 10 の外部において、この処理回路 110 が備えられていてもよい。例えば、固体撮像装置 10 は、画素アレイ 100 、制御回路 102 、水平駆動回路 104 、垂直駆動回路 106 、信号処理回路 108 及び処理回路 110 が同一の半導体チップに形成されてもよいし、少なくとも一部の構成が別の半導体チップに形成されていてもよい。
　同一の半導体チップに形成される場合、これらの構成は、積層された半導体層に形成され、マイクロバンプ、ビアホール等の任意の手法で層間が電気的に接続されてもよい。積層して形成される場合、半導体チップは、個々の層がそれぞれに形成された後に CoC (Chip on Chip) 、 CoW (Chip on Wafer) 又は WoW (Wafer on Wafer) といった任意の手法で積層されてもよいし、 1 つの基板上に順次必要な構成が形成されてもよい。
　図2は、一実施形態に係る画素アレイ 100 における画素の配列の限定されない一例を示す図である。 R は、赤、 G は、緑、 B は、青、 IR は、赤外の受光をする素子が備えられていることをそれぞれ意味する。この図2は、画素の配列としてもよいし、画素内における分割された光電変換領域 (分割画素) の配列としてもよい。
　画素アレイ 100 は、一例として、図2に示すようにベイヤ配列の一部の受光素子を、赤外光を受光できる受光素子としてもよい。元となる配列は、ベイヤ配列でなくてもよいし、 RGB の三原色以外の光を受光する受光素子が備えられていてもよい。
　ここで、 IR で示される受光素子領域においては、少なくとも短波赤外 (SWIR: Short Wavelength Infra Red) の帯域を受光できる形態であってもよい。また、別の例として、 SWIR を受光する素子の他に、近赤外 (NIR: Near Infra Red) の帯域の光を受光可能な受光素子が備えられていてもよい。
　それぞれの色の帯域を受光する受光素子は、例えば、受光素子の入射面側にカラーフィルタを備える形態であってもよいし、有機光電変換素子で形成される形態であってもよい。すなわち、それぞれの受光素子において受光する帯域の指定は、任意の手法で実装されていてもよい。
　また、画素としては、上記のように可視光帯域及び赤外光帯域の光を受光するとしたが、他の種類の情報を取得する画素の配置を排除するものではない。画素アレイ 100 は、限定されないいくつかの例として、任意の偏光状態を取得できる画素、像面位相差を取得できる画素、 ToF (Time of Flight) 情報を取得できる画素、イベント情報を検出できる画素、プラズモンフィルタを用いる画素等を少なくとも一部に備えていてもよい。
　画素アレイ 100 において、例えば図2に示す受光素子の配置にすることで、固体撮像装置 10 は、同じ対象の情報について可視光帯域及び赤外光帯域の画像を生成することができる。すなわち、固体撮像装置 10 は、同じ対象について可視光帯域における像である第 1 画像と、赤外光帯域における像である第 2 画像と、を取得することができる。
　すなわち、固体撮像装置 10 は、同じ領域を可視光帯域と赤外光帯域において撮像するエリアセンサとして動作する。上記のように、第 1 画像及び第 2 画像の座標は、基本的にはズレが発生しないため、固体撮像装置 10 は、同じ対象の可視の情報と赤外の情報とを同じ座標において取得することができる。
　以下においては、限定されない一例として乾燥食品 (乾燥済み食品) の画像を取得し、情報処理をすることについて説明するが、本開示に係る固体撮像装置 10 は、乾燥食品のみに適用されるものではなく、任意の対象に対して、同様の処理を実行することが可能である。また、一例として第 2 画像として SWIR 帯域の画像を取得するが、目的に合わせてこの帯域を変更することも可能である。
　信号処理回路 108 により取得された第 1 画像及び第 2 画像のデータは、処理回路 110 へと送信され、処理回路 110 は、これらの画像に対して任意の処理を実現することができる。
　図3は、一実施形態に係る固体撮像装置 10 の処理を示すフローチャートである。
　固体撮像装置 10 は、画素アレイ 100 が受光できる領域における可視光帯域の光と、赤外光帯域の光とを信号に変換し、出力する (S100) 。固体撮像装置 10 は、例えば、乾燥食品における乾燥処理後の食品が存在する領域を撮影し、乾燥済み食品において反射又は透過した光を画素アレイ 100 内の受光素子において受光し、画素ごとの光を出力する。
　信号処理回路 108 は、画素回路から出力されたアナログ信号をデジタル信号に変換し、可視光帯域の受光信号に対して適切な処理をすることで、第 1 画像を生成する (S102) 。信号処理回路 108 は、例えば、図2における R 、 G 及び B の波長域に対応する受光素子から取得した信号に基づいて、これらの出力を適切に混合し、可視光帯域における画像である第 1 画像を取得する。
　処理回路 110 は、信号処理回路 108 が生成した第 1 画像に対する処理を実行する (S104) 。この処理は、例えば、乾燥済み食品の外観を検査する処理である。処理回路 110 は、例えば、第 1 画像に示される乾燥済み食品の外観において不良が発生していないかを、取得した色情報に基づいて検査する。
　処理回路 110 は、例えば、第 1 画像を参照することで、乾燥済み食品に付着した異物を検出し、及び／又は、乾燥済み食品の色味の劣化若しくは悪化を検出することができる。処理回路 110 は、例えば、異物、色味の劣化又は悪化が検出された乾燥済み食品については、再度の検査をするようにユーザ等に通知することができる。また、処理回路 110 の出力に基づいて、固体撮像装置 10 の外部の不良品の排除モジュール等は、例えば、工場のレーンにおいて異物、劣化又は悪化が検出された乾燥済み食品を自動的に排除又はユーザによる再検査を実行する形態としてもよい。
　上記の処理と並行して、固体撮像装置 10 は、 SWIR 帯域の画像である第 2 画像の取得処理及び第 2 画像に対する処理を実行してもよい。これらは、並行に実行するのではなく、例えば、第 1 画像の処理が終了した後に第 2 画像の処理をしてもよいし、第 2 画像の処理を終了した後に第 1 画像の処理をしてもよい。
　信号処理回路 108 は、画素回路から出力されたアナログ信号をデジタル信号に変換し、 SWIR 帯域の受光信号に対して適切な処理をすることで、第 2 画像を生成する (S106) 。信号処理回路 108 は、例えば、図2における IR の波長域に対応する受光素子から取得した信号に基づいて、これらの出力から、 SWIR 帯域における画像である第 2 画像を取得する。
　処理回路 110 は、信号処理回路 108 が生成した第 2 画像に対する処理を実行する (S108) 。この処理は、例えば、乾燥済み食品の水分含有量を検査する処理である。 SWIR 帯域の光は、水分 (水) に吸収される特性がある。このため、処理回路 110 は、例えば、第 2 画像を参照することで、乾燥済み食品の水分の含有量を検出することができる。
　処理回路 110 は、例えば、第 2 画像を参照することで、乾燥済み食品の水分の含有量を所定しきい値と比較し、水分の含有量が所定しきい値よりも高い場合には、当該乾燥済み食品を再乾燥するようにユーザに通知してもよいし、外部の再乾燥工程実行モジュール等において、例えば、工場のレーン等から再乾燥が必要な乾燥済み食品について自動的に再乾燥工程が実行されるように処理してもよい。
　所定しきい値は、 1 つである必要はなく、複数のしきい値が備えられていてもよい。また、水分の含有量を連続的な値として取得してもよい。
　処理回路 110 は、乾燥済み食品の水分含有量から再乾燥工程の有無を判定するとともに、さらに、当該乾燥済み食品の再乾燥工程における乾燥時間を算出して出力してもよい。上記の一例として示したように水分の含有量をしきい値で判定する場合には、処理回路 110 は、判定された範囲における乾燥時間を設定してもよいし、連続的な値として取得する場合には、この連続的な値に対する乾燥時間を算出してもよい。
　別の例として、処理回路 110 は、取得した第 2 画像から、 SWIR 帯域の光に吸収する成分を検出してもよい。処理回路 110 は、例えば、乾燥済み食品のタンパク質の含有量を第 2 画像から取得することができる。処理回路 110 は、このタンパク質の含有量から、乾燥済み食品の水分の含有量を推論することも可能である。
　以上のように、本実施形態に係る固体撮像装置 10 によれば、同一の領域に存在する対象について、可視光帯域の第 1 画像と、 SWIR 帯域の第 2 画像とを同じタイミング (又は静止している物体に対しては異なるタイミングでもよい。) で取得することができる。このため、光軸あわせ等の固体撮像装置 10 に関する処理を実行する必要なく、同じ座標を用いて、可視光帯域と SWIR 帯域においてそれぞれの情報を用いた適切な処理をすることができる。
　上述した限定されない例のように、固体撮像装置 10 によれば、可視光の画像において可視光に適した欠陥等の検知をするとともに、 SWIR の画像において乾燥している物体の水分の含有量等の情報を取得することができる。 SWIR の特性を用いて、この他の例としては、固体撮像装置 10 は、 SWIR 帯域の光を透過する樹脂を用いた物体の内部を非破壊的に外観と同じタイミングで検査することも可能である。
　また、受光する赤外光の帯域は、 SWIR に限定されず、さらに NIR の帯域の光を受光する受光素子が備えられてもよい。また、 SWIR 帯域において、複数の波長領域の光をそれぞれ受光する受光素子が備えられてもよい。このような場合、赤外光の帯域において、異なる特性を有する画像から、異なる特性に関する欠陥等を検出することも可能となる。例えば、 NIR の帯域において、水分を含有している領域における外観検査でも発見できない異物を検出するとともに、 SWIR の帯域において、水分の含有量の検出をすることもできる。
　上記の実施形態においては、全体的な処理の流れについて説明したが、以下、処理回路 110 による検査の工程についてより具体的に説明する。
　処理回路 110 は、第 2 画像から、乾燥食品の種類ごとの水分の含有量を取得することもできる。処理回路 110 は、例えば、固体撮像装置 10 が撮影の対象とする食品の種類に関するデータを事前に受信し、食品の種類に基づいて、データシート等から水分の含有量と、色の濃さとの関係を示すデータを抽出し、このデータに基づいて、第 2 画像から水分の含有量を検出してもよい。
　処理回路 110 は、第 1 画像に対する判定処理について、学習済みのモデルを用いて実行することができる。この学習済みモデルは、例えば、人間が目視にて判定した良品及び不良品のラベルが付された対象となる食品の画像 (可視光画像) を教師データとすることで、機械学習により訓練されたモデルである。このラベルは、良／不良だけではなく、不良なし、異物付着あり、色味不良あり、といった複数のラベル付けがされていてもよい。
　このモデルは、任意の機械学習方法により訓練されてもよい。このモデルは、画像ごとに不良があるか否かを判定 (分類) してもよいし、画像内の一部の領域 (対象食品) について不良があるか否かを判定してもよい。
　すなわち、本開示における固体撮像装置 10 によれば、複数の対象を撮影し、撮影された複数の画像に対して種々の検査を同じタイミングで実現することも可能である。この場合、不良が発生していると判定された対象については、座標又はアドレスを参照することで、第 1 画像及び第 2 画像においてそれぞれどの対象に不良が発生したの情報を取得することができる。
　図4は、撮影するエリアの一例を示す図である。図中の丸が対象の物体を示す。固体撮像装置 10 は、このような複数の対象を含む画像について、第 1 画像と第 2 画像と、を取得する。
　図5は、上記の図4に対して、第 1 画像及び第 2 画像の例を示す図である。左の図が第 1 画像の例を示し、右の図が第 2 画像の例を示す。
　処理回路 110 は、例えば、第 1 画像において斜線で示される対象に外観不良があると検出され、第 2 画像において横線で示される対象に水分を検出したとする。このように、本開示における固体撮像装置 10 では、第 1 画像及び第 2 画像のそれぞれにおいて、不良がある対象を、対象ごとに検出することが可能である。
　図6は、第 2 画像における不良と判定された対象を、第 1 画像に反映した画像を示す図である。処理回路 110 は、図5のようにそれぞれの画像において判定された不良のある対象を、 1 つの画像に集約 (合成) することもできる。処理回路 110 は、例えば、第 1 画像に、第 2 画像において不良と判定された対象についてマーキングをすることで、外観不良がある対象と、水分を含有している対象とを同じ画像上に示すこともできる。
　図6においては、処理回路 110 は、一例として、第 1 画像及び第 2 画像の双方で不良と判定された画像については、それぞれの画像における不良判定された対象とは異なるマーキングをしている。同一の光学系を用いて同一の画素アレイ 100 に備えられる画素を用いて情報を取得しているため、固体撮像装置 10 によれば、このような画像の合成も容易に達成することができる。なお、例えば表示装置において表示出力する場合、マーキングは、対象の色変更、対象の点滅、対象の周りを丸で囲む、等により示すこともできるし、対象に対して文字情報として「外観不良」「水分含有量：多」等と表示することもできる。
　また、モデルは、適切に判定ができるのであれば、任意の形態であってよく、限定されない例として、 MLP (Multi-Layer Perceptron) 又は少なくとも一部に畳み込み層を備える形態であってもよい。
　また、第 2 画像については、色の濃さで判別できることが多いため、処理回路 110 は、ルールベースに基づいた判定をしてもよいし、第 2 画像についても上記と同様に別途学習した学習済みモデルを用いてもよい。すなわち、処理回路 110 は、第 2 画像に対する水分含有量 (含有の有無を含む) 、及び／又は、タンパク質の含有量 (含有の有無を含む) を、学習済みモデルを用いて判定又は推論してもよい。
　上記においては、学習済みモデルは、第 1 画像又は第 2 画像のいずれかを入力するものであったが、これに限定されるものではない。学習済みモデルは、例えば、第 1 画像及び第 2 画像のデータを入力層から入力し、入力した双方の画像の情報から乾燥済み食品等の対象の検査 (外観検査、水分含有量等検査の双方の検査) をする形態であってもよい。
　この場合、信号処理回路 108 は、それぞれの画素回路から出力された色 (IR 帯域含む) ごとのデジタルデータを出力し、処理回路 110 は、信号処理回路 108 から出力された色ごとのデータを学習済みモデルに入力できる形態とすることもできる。
　固体撮像装置 10 は、人間が対象を感知することができる状態、例えば、太陽光、蛍光灯等の光が対象に照射されている状態で撮影することで第 1 画像を適切に取得することができる。一方で、所望の赤外光の帯域の光が対象に照射されているか否かは不明である。そこで、固体撮像装置 10 は、少なくとも赤外光の帯域の光を射出する光源とともに固体撮像システムを形成してもよい。
　図7は、一実施形態に係る固体撮像システムを模式的に示す図である。固体撮像システム 1 は、少なくとも、固体撮像装置 10 と、赤外光源 20 と、を備える。固体撮像システム 1 は、さらに、可視光源 22 を備えてもよい。
　赤外光源 20 は、例えば、赤外光を対象に照射する光源である。この赤外光源 20 は、例えば、固体撮像装置 10 において画像を生成することができる SWIR 帯域の波長を含む光を照射する光源である。固体撮像装置 10 において、 NIR 帯域の波長の情報が SWIR 帯域の波長と併せて取得することが可能である場合、当該 NIR 帯域の波長を含む光源であってもよいし、別途 NIR 帯域の波長に対応する光源が備えられてもよい。また、固体撮像装置 10 において、複数の SWIR 帯域を別々に取得可能である場合には、これらの全ての帯域の波長の光を含む光源であってもよい。
　固体撮像システム 1 は、検査の対象となる食品等に赤外光源 20 を用いて赤外光を照射することで、固体撮像装置 10 において望ましい波長帯域における光を受光して画像を生成することが可能となる。
　なお、上記のように固体撮像システム 1 は、さらに、可視光源 22 を備えていてもよい。可視光源 22 は、固体撮像装置 10 において適切な第 1 画像が取得できる帯域の波長を含む光源である。
　図7の固体撮像システム 1 によれば、固体撮像装置 10 において望ましい波長帯域の光に基づいた画像を生成することが可能となる。この結果、固体撮像システム 1 によれば、上記の固体撮像装置 10 における検査を精度よく実現することが可能となる。
　前述した実施形態は、以下のような形態としてもよい。
　(1)
　可視光を受光する可視光受光素子と、少なくとも短波長赤外帯域の赤外光を受光する赤外光受光素子と、を単一の画素アレイにおいて有する、撮像素子と、
　前記撮像素子が取得したデータから、可視領域における乾燥済み食品の像を示す第 1 画像と、赤外領域における前記前記乾燥済み食品の像を示す第 2 画像と、を生成し、生成した前記第 1 画像及び前記第 2 画像から、前記乾燥済み食品を検査する、処理回路と、
　を備える固体撮像装置。
　(2)
　前記処理回路は、少なくとも前記第 2 画像から、前記乾燥済み食品の水分の含有量を検出する、
　(1)に記載の固体撮像装置。
　(3)
　前記処理回路は、前記水分の含有量を所定しきい値と比較し、前記水分の含有量が前記所定しきい値よりも高い前記乾燥済み食品を再乾燥工程する対象であることを通知する、
　(2)に記載の固体撮像装置。
　(4)
　前記処理回路は、前記水分の含有量に基づいて、前記再乾燥工程の乾燥時間を算出する、
　(3)に記載の固体撮像装置。
　(5)
　前記処理回路は、前記乾燥済み食品の水分の含有量を、学習済みモデルを用いて推論する、
　(2)から(4)のいずれかに記載の固体撮像装置。
　(6)
　前記処理回路は、少なくとも前記第 2 画像から、前記乾燥済み食品のタンパク質の含有量を検出する、
　(1)から(5)のいずれかに記載の固体撮像装置。
　(7)
　前記処理回路は、前記乾燥済み食品のタンパク質の含有量を、学習済みモデルを用いて推論する、
　(6)に記載の固体撮像装置。
　(8)
　前記処理回路は、少なくとも前記第 1 画像から、前記乾燥済み食品の外観における不良を検出する、
　(1)から(7)のいずれかに記載の固体撮像装置。
　(9)
　前記処理回路は、前記第 1 画像から、前記乾燥済み食品に付着した異物を検出する、
　(8)に記載の固体撮像装置。
　(10)
　前記処理回路は、前記第 1 画像から、前記乾燥済み食品の色味の悪化を検出する、
　(8)又は(9)に記載の固体撮像装置。
　(11)
　前記処理回路は、前記乾燥済み食品の外観検査を、学習済みモデルを用いて実行する、
　(8)から(10)のいずれかに記載の固体撮像装置。
　(12)
　前記処理回路は、学習済みモデルを用いて、前記第 1 画像及び前記第 2 画像に基づいて、前記乾燥済み食品を検査する、
　(1)から(11)のいずれかに記載の固体撮像装置。
　(13)
　少なくとも短波長赤外帯域を含む赤外光を射出する、赤外光源と、
　(1)から(12)のいずれかに記載の固体撮像装置と、
　を備え、
　前記撮像素子は、前記赤外光源から射出され、前記乾燥済み食品において反射又は透過した光を前記赤外光受光素子で受光する、
　固体撮像システム。
　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
　1: 固体撮像システム、
　 10: 固体撮像装置、
　  100: 画素アレイ、
　  102: 制御回路、
　  104: 水平駆動回路、
　  106: 垂直駆動回路、
　  108: 信号処理回路、
　  110: 処理回路、
　20: 赤外光源、
　22: 可視光源

Claims (13)

  1. 　可視光を受光する可視光受光素子と、少なくとも短波長赤外帯域の赤外光を受光する赤外光受光素子と、を単一の画素アレイにおいて有する、撮像素子と、
    　前記撮像素子が取得したデータから、可視領域における乾燥済み食品の像を示す第 1 画像と、赤外領域における前記乾燥済み食品の像を示す第 2 画像と、を生成し、生成した前記第 1 画像及び前記第 2 画像から、前記乾燥済み食品を検査する、処理回路と、
    　を備える固体撮像装置。
  2. 　前記処理回路は、少なくとも前記第 2 画像から、前記乾燥済み食品の水分の含有量を検出する、
    　請求項1に記載の固体撮像装置。
  3. 　前記処理回路は、前記水分の含有量を所定しきい値と比較し、前記水分の含有量が前記所定しきい値よりも高い前記乾燥済み食品を再乾燥工程する対象であることを通知する、
    　請求項2に記載の固体撮像装置。
  4. 　前記処理回路は、前記水分の含有量に基づいて、前記再乾燥工程の乾燥時間を算出する、
    　請求項3に記載の固体撮像装置。
  5. 　前記処理回路は、前記乾燥済み食品の水分の含有量を、学習済みモデルを用いて推論する、
    　請求項2に記載の固体撮像装置。
  6. 　前記処理回路は、少なくとも前記第 2 画像から、前記乾燥済み食品のタンパク質の含有量を検出する、
    　請求項1に記載の固体撮像装置。
  7. 　前記処理回路は、前記乾燥済み食品のタンパク質の含有量を、学習済みモデルを用いて推論する、
    　請求項6に記載の固体撮像装置。
  8. 　前記処理回路は、少なくとも前記第 1 画像から、前記乾燥済み食品の外観における不良を検出する、
    　請求項1に記載の固体撮像装置。
  9. 　前記処理回路は、前記第 1 画像から、前記乾燥済み食品に付着した異物を検出する、
    　請求項8に記載の固体撮像装置。
  10. 　前記処理回路は、前記第 1 画像から、前記乾燥済み食品の色味の悪化を検出する、
    　請求項8に記載の固体撮像装置。
  11. 　前記処理回路は、前記乾燥済み食品の外観検査を、学習済みモデルを用いて実行する、
    　請求項8に記載の固体撮像装置。
  12. 　前記処理回路は、学習済みモデルを用いて、前記第 1 画像及び前記第 2 画像に基づいて、前記乾燥済み食品を検査する、
    　請求項1に記載の固体撮像装置。
  13. 　少なくとも短波長赤外帯域の光を含む赤外光を射出する、赤外光源と、
    　請求項1に記載の固体撮像装置と、
    　を備え、
    　前記撮像素子は、前記赤外光源から射出され、前記乾燥済み食品において反射又は透過した光を前記赤外光受光素子で受光する、
    　固体撮像システム。
PCT/JP2023/022696 2022-08-09 2023-06-20 固体撮像装置及び固体撮像システム Ceased WO2024034261A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/995,041 US20260016403A1 (en) 2022-08-09 2023-06-20 Solid-state imaging device and solid-state imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-127350 2022-08-09
JP2022127350A JP2024024495A (ja) 2022-08-09 2022-08-09 固体撮像装置及び固体撮像システム

Publications (1)

Publication Number Publication Date
WO2024034261A1 true WO2024034261A1 (ja) 2024-02-15

Family

ID=89851534

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/022696 Ceased WO2024034261A1 (ja) 2022-08-09 2023-06-20 固体撮像装置及び固体撮像システム

Country Status (3)

Country Link
US (1) US20260016403A1 (ja)
JP (1) JP2024024495A (ja)
WO (1) WO2024034261A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2026018378A1 (ja) * 2024-07-18 2026-01-22 ソニーセミコンダクタソリューションズ株式会社 光検出装置および測距装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018034166A1 (ja) * 2016-08-17 2018-02-22 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラム
JP2018146550A (ja) * 2017-03-09 2018-09-20 パナソニックＩｐマネジメント株式会社 情報提示システム、及び、情報提示システムの制御方法
JP2020051982A (ja) * 2018-09-28 2020-04-02 Ｊｆｅテクノリサーチ株式会社 画像検査装置及び検査モデル構築システム
US20200175670A1 (en) * 2018-11-30 2020-06-04 Boise Cascade Company Method and system for moisture grading wood products using superimposed near infrared and visual images
JP2021022758A (ja) * 2019-07-24 2021-02-18 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2021183935A (ja) * 2020-05-22 2021-12-02 株式会社Ihi 節類分類装置、節類分類方法、及び、節類分類プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018034166A1 (ja) * 2016-08-17 2018-02-22 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラム
JP2018146550A (ja) * 2017-03-09 2018-09-20 パナソニックＩｐマネジメント株式会社 情報提示システム、及び、情報提示システムの制御方法
JP2020051982A (ja) * 2018-09-28 2020-04-02 Ｊｆｅテクノリサーチ株式会社 画像検査装置及び検査モデル構築システム
US20200175670A1 (en) * 2018-11-30 2020-06-04 Boise Cascade Company Method and system for moisture grading wood products using superimposed near infrared and visual images
JP2021022758A (ja) * 2019-07-24 2021-02-18 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2021183935A (ja) * 2020-05-22 2021-12-02 株式会社Ihi 節類分類装置、節類分類方法、及び、節類分類プログラム

Also Published As

Publication number Publication date
US20260016403A1 (en) 2026-01-15
JP2024024495A (ja) 2024-02-22

Similar Documents

Publication Publication Date Title
JP6945245B2 (ja) 外観検査装置
KR20100015628A (ko) 목재의 검사 방법, 장치 및 프로그램
WO2019151393A1 (ja) 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法
JP6348289B2 (ja) 検査装置および検査方法
JP2020051982A (ja) 画像検査装置及び検査モデル構築システム
US6556291B2 (en) Defect inspection method and defect inspection apparatus
JP5124705B1 (ja) はんだ高さ検出方法およびはんだ高さ検出装置
KR102240757B1 (ko) Lctf-기반 다분광 영상 기술을 이용한 가공 채소류 내 포함된 이물질 실시간 검출 시스템
CN102685544B (zh) 用于检测图像传感器的装置及检测方法
JP4173184B2 (ja) Ｐｔｐ包装品の外観検査装置
TWI843820B (zh) 使用多種波長之光單色成像的顏色檢查方法
KR101012633B1 (ko) 듀얼 카메라 비전검사 장치
JP7544358B2 (ja) 撮像装置、検査装置及び撮像方法
JP5085860B2 (ja) 木材の検査方法及び装置及びプログラム
WO2024034261A1 (ja) 固体撮像装置及び固体撮像システム
JP2020051981A (ja) 検査装置
JP2011226814A (ja) 表面欠陥検査装置及び表面欠陥検査方法
CN107230648A (zh) 一种基底缺陷检测装置及检测方法
US20170005018A1 (en) Method and device for inspection of a semiconductor device
JP3614980B2 (ja) 農産物の外観検査方法及び装置
JP4190243B2 (ja) 電子回路用部品の外観検査方法及び外観検査装置並びに電子回路用部品の製造方法。
JP7821228B2 (ja) マルチスペクトル２ｄ画像データを取得し、光三角測量からの３ｄ画像データに関連付けるための方法および装置
KR102394422B1 (ko) Nir 스펙트럼 영상 기술을 이용한 식품 표면 이물 검사 광학장치
JP2020193867A (ja) 画像処理装置、制御方法、制御プログラムおよびコンピュータで読み取り可能な記録媒体
JP4822468B2 (ja) 欠陥検査装置、欠陥検査方法、及びパターン基板の製造方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23852245

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18995041

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23852245

Country of ref document: EP

Kind code of ref document: A1

WWP Wipo information: published in national office

Ref document number: 18995041

Country of ref document: US