WO2024004388A1 - 固体撮像装置 - Google Patents

固体撮像装置 Download PDF

Info

Publication number
WO2024004388A1
WO2024004388A1 PCT/JP2023/017598 JP2023017598W WO2024004388A1 WO 2024004388 A1 WO2024004388 A1 WO 2024004388A1 JP 2023017598 W JP2023017598 W JP 2023017598W WO 2024004388 A1 WO2024004388 A1 WO 2024004388A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
solid
state imaging
imaging device
regions
Prior art date
Application number
PCT/JP2023/017598
Other languages
English (en)
French (fr)
Inventor
圭一 板垣
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2024004388A1 publication Critical patent/WO2024004388A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present disclosure relates to a solid-state imaging device or a solid-state imaging system.
  • Image sensors that capture information at multiple wavelengths are used in a wide range of fields.
  • the agricultural field it can be widely applied in situations that are difficult to observe with the human eye, such as applying water, fertilizer, and pesticides in the required amount at the right time and place, and defect inspection in factories and plants. It is considered.
  • indicators such as NDWI (Normalized Difference Water Index) and NDVI (Normalized Difference Vegetation Index) are calculated from multi-wavelength information based on images of high reflectance and low reflectance of water, vegetation, etc. can be obtained.
  • the present disclosure provides a solid-state imaging device or a solid-state imaging system that is small, inexpensive, and acquires images containing highly accurate multi-wavelength information.
  • a solid-state imaging device includes a sensor and a signal processing circuit.
  • the sensor has light receiving elements arranged in a two-dimensional array along a first direction and a second direction intersecting the first direction, each of which receives light of a different wavelength.
  • a plurality of regions are arranged, each of which receives light of a different wavelength.
  • the signal processing circuit obtains an image in which information about an object moving along the second direction is corrected based on a signal obtained by the light receiving element to which each of the plurality of regions belongs.
  • the signal processing circuit may obtain an image in which the positional shift of the object along the second direction is corrected based on captured images regarding each wavelength obtained from the plurality of regions.
  • the plurality of regions may be formed in the sensor by arranging a plurality of filters having transmission characteristics in different wavelength regions along the first direction on the light-receiving surface side of the sensor.
  • the plurality of filters may be attachable to and detachable from the sensor.
  • the plurality of regions may be a region into which light passing through one of the plurality of filters is incident.
  • the signal processing circuit may acquire an image in which information about the object is corrected based on a time difference in acquiring the same area of the object in the plurality of areas.
  • the signal processing circuit may output an image corresponding to the corrected wavelength for each of the plurality of regions.
  • the signal processing circuit may calculate and output a predetermined index from the corrected image for the wavelength of each of the plurality of regions.
  • the predetermined index may be NDWI (Normalized Difference Water Index) or NDVI (Normalized Difference Vegetable Index).
  • the plurality of regions may include at least a region that receives wavelengths in the visible light region, a region that receives wavelengths in the near-infrared region, and a region that receives wavelengths in the short-wave infrared region.
  • the sensor and the signal processing circuit may be provided within the same chip.
  • a solid-state imaging system includes any of the solid-state imaging devices described above; a stage capable of moving the object in the second direction, the object moving along with the stage is imaged using the solid-state imaging device, and images of the object are acquired for each wavelength.
  • the light source may further include a light source that emits light of a plurality of wavelengths to a predetermined region along the first direction, and the light emitted from the light source in each of the plurality of regions disposed on the sensor. The reflected light or the transmitted light may be received.
  • FIG. 1 is a diagram schematically showing an example of a solid-state imaging system according to an embodiment.
  • FIG. 1 is a diagram schematically showing an example of an image sensor according to an embodiment.
  • FIG. 1 is a diagram illustrating an example of mounting an image sensor according to an embodiment.
  • FIG. 1 is a diagram illustrating an example of mounting an image sensor according to an embodiment.
  • FIG. 1 is a diagram showing an example of mounting an image sensor according to an embodiment.
  • FIG. 1 is a diagram showing an example of a mask according to an embodiment.
  • FIG. 1 is a diagram showing an example of a filter configuration according to an embodiment.
  • FIG. 1 is a diagram showing an example of a filter configuration according to an embodiment.
  • FIG. 1 is a diagram showing an example of a filter configuration according to an embodiment.
  • FIG. 1 is a diagram showing an example of a filter configuration according to an embodiment.
  • FIG. 3 is a diagram showing an example of a configuration of a mask and a pixel array according to an embodiment.
  • FIG. 3 is a diagram showing an example of ROI settings of a light receiving area according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of imaging an object in each light-receiving area according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of imaging an object in each light-receiving area according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of imaging an object in each light-receiving area according to an embodiment.
  • FIG. 3 is a diagram illustrating an example of a configuration of a light receiving area according to an embodiment.
  • 5 is a flowchart showing processing of a solid-state imaging device according to an embodiment.
  • FIG. 1 is a diagram schematically showing a solid-state imaging system according to an embodiment.
  • FIG. 1 is a diagram schematically showing a solid-state imaging system according to an embodiment.
  • FIG. 1 is a block diagram schematically showing an example of a solid-state imaging system according to an embodiment.
  • the solid-state imaging system 1 includes a solid-state imaging device 10, a storage device 20, and a processing device 22.
  • the solid-state imaging system 1 is a system that causes the processing device 22 to execute some processing based on information acquired from the solid-state imaging device 10 .
  • the solid-state imaging system 1 may be a system that stores information acquired from the solid-state imaging device 10 in the storage device 20 .
  • the solid-state imaging device 10 may acquire and store information necessary for processing, or the solid-state imaging device 10 may perform appropriate processing and output the processing results.
  • the storage device 20 and the processing device 22 are not essential components, and the solid-state imaging system 1 is formed by the solid-state imaging device 10 , and the processing of the solid-state imaging system 1 is completed in the solid-state imaging device 10 . It may be.
  • the solid-state imaging system 1 may be configured such that the storage unit 104 in the solid-state imaging device 10 operates as the first storage unit and includes the storage device 20 as the second storage unit.
  • the solid-state imaging system 1 uses the processing circuit provided in the solid-state imaging device 10 or the external processing device 22 to process the signal. It can be used as a section, an image processing section, a learning section, or an inference section.
  • the first storage unit may be provided inside or outside the same chip as the image sensor 102 in the solid-state imaging device 10, for example.
  • the first storage unit may be provided inside the same chip as the image sensor 102 , outside the same chip as the image sensor 102 , or outside the image sensor 102 .
  • a processing section that performs signal processing and image processing, a learning section that performs learning, or an inference section that performs inference may be provided inside the same chip as the image sensor 102 , outside the same chip as the image sensor 102 , or outside the image sensor 102 .
  • the solid-state imaging device 10 itself may be formed as a single chip. That is, the image sensor 102 and the processing section 106 including the signal processing circuit may be formed as the same chip.
  • the solid-state imaging system 1 includes an electronic device equipped with an imaging device such as a digital still camera or a smart phone terminal, and a solid-state imaging device 10 , a storage device 20 and/or a processing device in the electronic device. It may be provided with a storage area and a processing area separate from the device 22 . These areas may be configured by electronic circuits.
  • the solid-state imaging device 10 can be understood in a broad sense, such as either a semiconductor chip (camera module) or an electronic device equipped with this semiconductor chip (device with a photographing function, gadget). It is a concept that can be done.
  • the memory device or memory circuit may be provided inside or outside the semiconductor chip in the solid-state imaging device 10 .
  • the storage device or storage circuit in the present disclosure can be installed on a chip that forms a camera module, inside the solid-state imaging device 10 outside the chip, or outside the solid-state imaging device 10 (such as a file server connected via a network). (including) may be provided.
  • the solid-state imaging device 10 includes an optical system 100, an image sensor 102, a storage unit 104, a processing unit 106, and an input/output interface (hereinafter referred to as I/F 108).
  • the solid-state imaging device 10 includes a light-receiving element that can receive visible light, NIR (Near-Infrared) light, and SWIR (Short Wavelength Infrared) light. It is also possible to generate image data by receiving light in a band, and to perform processing on this image data.
  • each element of the solid-state imaging device 10 is connected via a bus, but this is not a limitation, and the elements may be connected directly electrically to each other as appropriate. There may be.
  • the optical system 100 is arranged so that the light receiving element of the image sensor 102 receives light incident from the outside, for example, light reflected from the object, light transmitted through the object, or light emitted by the object.
  • Optical system 100 may include, for example, one or more lenses, modifications, diffraction gratings, filters, etc.
  • the optical system 100 may be in a form capable of acquiring at least several types of light, including, but not limited to, visible, NIR, SWIR, UV (Ultra Violet), or other bands as desired. good.
  • Each of the plurality of types of bands may be received by an image sensor 102 that can appropriately receive light of each band.
  • the image sensor 102 receives light in visible, NIR, and SWIR bands to generate image data, for example. That is, the image sensor 102 includes, for example, a pixel that includes a photoelectric conversion element (light receiving element) that receives light in these bands and outputs an analog signal, and an analog signal that corresponds to the intensity of the light output from this photoelectric conversion element. A pixel circuit that converts a signal into image data.
  • the image sensor 102 may, for example, receive light in other bands instead of the above three bands (visible, NIR, and SWIR), or may receive light in more wavelength ranges.
  • the sensor may also include pixels capable of acquiring multispectral or hyperspectral information that is received by the user.
  • FIG. 2 is a block diagram schematically showing an example of the outline of the image sensor 102.
  • the image sensor 102 includes a vertical drive circuit 120, a horizontal drive circuit 122, and a pixel array 124 (sensor).
  • the vertical drive circuit 120 is, for example, a circuit that controls driving of pixels along the line direction.
  • the horizontal drive circuit 122 is, for example, a circuit that controls driving of pixels along the column direction.
  • the pixel array 124 includes a plurality of pixels 126 in a two-dimensional array (for example, a first direction, which is a line direction, and a second direction, which is a column direction, that intersects the first direction). Pixels 126 belonging to the same line are selected by the vertical drive circuit 120, and signals are transmitted from the pixels 126 to the processing unit 106 for each column under control from the horizontal drive circuit 122 for each selected line. . This transmission may be controlled using line buffers.
  • the output from the pixel 126 is an analog signal, and before transmitting the signal to the processing unit 106 , the image sensor 102 uses an ADC (not shown) to convert the analog signal to a digital signal and an amplifier (not shown) to amplify the signal. (not provided) may be provided separately, or these processes may be executed in the processing unit 106.
  • the image sensor 102 may also include a separate control circuit for controlling the vertical drive circuit 120 and the horizontal drive circuit 122.
  • the operation of the image sensor 102 and the configuration and operation of other circuits may be the same as those of a general solid-state image sensor, so a detailed explanation will be omitted.
  • the image sensor 102 transmits a signal based on the intensity of light received by the pixel 126 to the processing unit 106 under the control of the vertical drive circuit 120 and horizontal drive circuit 122.
  • the processing unit 106 executes processing based on the received digital image signal or the digital image signal obtained by converting the received analog signal.
  • the pixel 126 can receive light in the visible, NIR, and SWIR wavelength bands via the optical system 100, and the image sensor 102 acquires information regarding these bands as image information. can do.
  • the storage unit 104 stores data required by the solid-state imaging device 10.
  • the storage unit 104 may store programs, executable files, etc. necessary for the information processing by the software. good.
  • the storage unit 104 may have a circuit configuration at least partially made of a semiconductor, and may be a volatile or nonvolatile memory or storage.
  • the processing unit 106 performs appropriate signal processing and image processing on the signal acquired from the image sensor 102 , and performs subsequent processing on the image data stored in the storage unit 104 . Specifically, the processing unit 106 may perform a process of appropriately converting the signal output from the image sensor 102 into image data, as described above. In the present disclosure, the processing unit 106 has a configuration that can at least perform some kind of processing using a model.
  • part of the processing unit 106 may be an analog circuit.
  • the processing unit 106 may include a digital circuit capable of processing digital image data.
  • the processing unit 106 may include, as a non-limiting example, a signal processing circuit. This signal processing circuit may in particular include an image processing circuit. These processes may be realized by the processing unit 106 acquiring a program or the like stored in the storage unit 104 .
  • the model used for inference may be a trained model optimized by machine learning including deep learning.
  • the processing unit 106 may form a model based on the model parameters stored in the storage unit 104 and obtain the results by inputting image data to the formed model.
  • the model may be, for example, a trained model that makes some kind of determination regarding the object included in the image data. More specifically, the model is, for example, a model that operates as a determiner to determine normality/abnormality, a model that operates as a classifier that classifies objects such as input images or objects in images, or It may also be a model that performs some processing on the captured image.
  • the processing unit 106 may output the processed information to the outside via the I/F 108.
  • I/F 108 is an interface for inputting and outputting information between the inside and outside of the solid-state imaging device 10.
  • the solid-state imaging device 10 is a single semiconductor chip, a selector for selecting data to be output may be separately provided.
  • the data processed by the processing unit 106 may be output to, for example, an external storage device 20 or processing device 22 via the I/F 108 .
  • the I/F 108 may output the image data processed by the processing unit 106 by displaying it on a display, etc., or may accept information from input devices such as buttons, touch panels, and mice, and perform solid-state imaging.
  • the control signal to the device 10 may be output to the control section or the processing section 106.
  • the I/F 108 may be a concept that includes a user interface. That is, the I/F 108 itself may be provided with an output interface such as a display, or an input interface such as a touch panel.
  • I/F 108 may include a network interface for connecting to an external network.
  • the solid-state imaging device 10 can be connected to an external network via the I/F 108 via wired or wireless means.
  • the solid-state imaging device 10 may be connected to an external storage device 20 or processing device 22 via this wired or wireless network.
  • the storage device 20 is a device for storing memory, storage, etc. that exists outside the solid-state imaging device 10 .
  • Information processed in the solid-state imaging device 10 may be temporarily or non-temporarily stored in this storage device 20 via the I/F 108 .
  • the processing device 22 is a device that exists outside the solid-state imaging device 10 and executes some processing.
  • the processing device 22 is, for example, a system that determines moisture and vegetation in a farm, etc. or controls processing based on moisture and vegetation, a factory automation system in a factory, etc., or a system that determines moisture and vegetation in a farm, etc., or a system that determines moisture and vegetation in a farm, etc., a factory automation system in a factory, etc., or a system that determines moisture and vegetation in a farm, etc. It may be a device included in a processing system or the like, or it may be a device that executes at least part of processing in various situations.
  • the processing device 22 is a device that executes processing outside the solid-state imaging device 10 based on image data acquired by the solid-state imaging device 10 or data obtained by performing arbitrary processing on the image data. It's okay.
  • the storage device 20 and the processing device 22 are memories that are provided together with the solid-state imaging device 10 inside a device such as a digital camera that includes the solid-state imaging device 10. It may be a circuit or a processing circuit. That is, a device such as a digital camera may include a solid-state imaging device 10 , a storage device 20 , and a processing device 22 , and the solid-state imaging system 1 may include this device such as a digital camera. In this case, it is not excluded that the solid-state imaging device 10, the storage device 20, and the processing device 22 are further connected to an external device or network.
  • the solid-state imaging device 10 may be a device such as a digital camera.
  • the solid-state imaging device 10 operates as a single digital camera, etc. that transmits and receives data to and from the storage device 20 and processing device 22 external to the solid-state imaging device 10 in the solid-state imaging system 1 via the I/F 108. do.
  • digital cameras and the like are a broad concept that includes, for example, digital still cameras that capture still images, digital video cameras that capture moving images, and devices that have the functions of both.
  • FIG. 3 is a diagram showing a non-limiting example of a semiconductor chip on which at least a portion of the solid-state imaging device 10 is mounted.
  • the substrate 30 includes a pixel area 300, a control circuit 302, and a logic circuit 304. As shown in FIG. 3, a pixel region 300, a control circuit 302, and a logic circuit 304 may be provided on the same substrate 30.
  • the pixel area 300 is, for example, an area where the aforementioned pixel array 124 and the like are provided. Pixel circuits and the like may be appropriately provided in this pixel area 300, or may be provided in another area (not shown) on the substrate 30.
  • the control circuit 302 includes a control section.
  • the control circuit 302 may include, for example, the above-described vertical drive circuit 120, horizontal drive circuit 122, or control circuit as a part thereof.
  • the logic circuit 304 processes, for example, a digital signal output from a pixel circuit and converted by an ADC.
  • the substrate 30 may be provided with a storage circuit (not shown), and the logic circuit 304 may process data stored in this storage circuit.
  • At least part of the operation of the processing unit 106 may be implemented by this logic circuit 304. Furthermore, at least a part of the processing section 106 may be mounted not on this chip but on another signal processing chip provided at a location different from the substrate 30, or in a different processor. Good too.
  • FIG. 4 is a diagram showing a non-limiting example of a semiconductor chip on which at least a portion of the solid-state imaging device 10 is mounted.
  • a first substrate 32 and a second substrate 34 are provided as substrates.
  • the first substrate 32 and the second substrate 34 have a laminated structure, and can transmit and receive signals between them by appropriately connecting via holes, microbumps, or copper wires on each substrate.
  • the first substrate 32 may include a pixel region 300 and its peripheral circuitry
  • the second substrate 34 may include a circuit that implements other signal processing.
  • FIG. 5 is a diagram illustrating a non-limiting example of a semiconductor chip on which at least a portion of the solid-state imaging device 10 is mounted.
  • a first substrate 32 and a second substrate 34 are provided as substrates.
  • the first substrate 32 and the second substrate 34 have a structure in which they are laminated and appropriately electrically connected in the same manner as described above.
  • the chips shown in FIGS. 3 to 5 may include the above-described image sensor 102, storage section 104, processing section 106, and I/F 108. With such a semiconductor chip, it is possible to complete imaging, temporary or non-temporary storage of data, processing using a model, and output of processing results within one chip.
  • the third substrate for the storage area may be provided between the first substrate and the second substrate, or on the opposite side of the second substrate from the first substrate.
  • the solid-state imaging device 10 may be formed as a structure in which these three substrates are appropriately connected and stacked.
  • the plurality of laminated substrates can be formed by laminating them using any method such as CoC (Chip on Chip), CoW (Chip on Wafer), or WoW (Wafer on Wafer).
  • the pixel region 300 may include, for example, pixels that receive light in at least the visible, NIR, and SWIR bands, and these semiconductor chips may be formed.
  • FIG. 6 is a diagram illustrating an example of a mask applied to the pixel array 124 according to one embodiment.
  • the mask 130 includes a filter section 132 and a light shielding section 140. This mask 130 is arranged, for example, to cover the light-receiving surface side of the pixel array 124. As an example, the mask 130 may be adhered to the light-receiving surface side of the pixel array 124 by any means that appropriately transmits light controlled for each wavelength in the filter section 132 .
  • the mask 130 may be attached to the image sensor in an attachment format and may be detachable. By making the mask 130 attachable, the processing in the present disclosure can be easily performed without processing at the image sensor process stage.
  • the mask 130 may have a filter portion 132 and a light shielding portion 140 formed on the light-receiving surface of the photoelectric conversion element in a pre-process of the image sensor.
  • a filter portion 132 and a light shielding portion 140 formed on the light-receiving surface of the photoelectric conversion element in a pre-process of the image sensor.
  • the mask 130 equipped with a filter that transmits light in a desired band can be placed, for example, in place of the seal glass provided on the light-receiving surface side of the pixel array 124 by removing it, or it can be placed in place of the seal glass. It can be attached to the top surface or arranged in some other fixed form, or it can be integrated into the pixel array 124 and arranged as a filter and a light-shielding filter on the light-receiving surface side of the photoelectric conversion element. In this way, the arrangement of the mask 130 can be achieved by any means.
  • FIG. 7 is a top view showing an example of a filter section according to an embodiment.
  • the filter section 132 includes, for example, a first filter 134 that transmits light in the visible band, a second filter 136 that transmits light in the NIR band, and a third filter 138 that transmits light in the SWIR band. Note that the combinations of filters are not limited to these. Furthermore, four or more types of filters having different transmission characteristics may be similarly provided.
  • the filter unit 132 may include a filter that transmits light in a plurality of different bands in the visible band so that information in a plurality of bands in the visible band can be acquired.
  • This aspect also applies to the NIR band and SWIR band. That is, the filter section 132 may include a filter that transmits light in a plurality of different NIR bands and/or a filter that transmits light in a plurality of different SWIR bands.
  • FIG. 8 is a diagram showing the configuration of another example of the filter section according to one embodiment.
  • the filter section 132 further includes a light shielding section 140 between the first filter 134 and the second filter 136 and between the second filter 136 and the third filter 138. Good too.
  • the mask 130 when the mask 130 is arranged so that it can be attached to the light-receiving surface side of the pixel array 124, there may be a gap between the filter section 132 and the light-receiving surface of the pixel array 124.
  • the pixel array 124 for example, there may be a photoelectric conversion element that receives both the light that has passed through the first filter 134 and the light that has passed through the second filter 136.
  • FIG. 9 is a diagram showing a state in which a mask is arranged with respect to a pixel array.
  • the pixel array 124 and the mask 130 are in close contact, close to contact, or the pixel array 124 and the mask They may be separated by a sufficiently small distance relative to the area of 130.
  • the filter section 132 of the mask 130 is divided into, for example, three regions. In each region, the filter section 132 is provided with filters having different wavelength transmission characteristics.
  • ROI (Region of Interest) is defined so as not to be influenced by these boundary areas.
  • FIG. 10 is a diagram showing an example of ROI settings in the light receiving area of the pixel array.
  • the area other than the light receiving area 128 may be a light-shielded area.
  • the boundaries of the light-receiving area 128 can be set, for example, based on the position and size of the filter unit 132, or they can be set in the processing unit 106 or the processing device 22 based on the light-receiving range after actually receiving test light. You can also do that.
  • the light-receiving area 128 includes a boundary area 1286 to which the pixel 126 to which light passing through a plurality of filters is incident belongs.
  • the area to which the pixel 126 that receives incident light via each filter belongs is set so as not to include this boundary area 1286 .
  • the light-receiving area 128 includes the first light-receiving area 1280 to which the pixel 126 that receives light via the first filter 134 as shown in FIG. It includes a light receiving area 1282 and a third light receiving area 1284 to which the pixel 126 that receives light via the third filter 138 belongs.
  • each light-receiving region 128 is arranged such that one or more pixels 126 along the line direction belong to each light-receiving region 128 .
  • the pixels 126 belonging to each area receive light of different wavelengths for each area, or are incident with light of different wavelengths.
  • the pixels 126 belonging to each area generate analog signals based on the intensity of the received light using photoelectric conversion elements, and output the generated analog signals.
  • the light receiving area corresponding to one filter may be, for example, an area for 8 lines. This is a non-limiting example, and the light receiving area corresponding to each filter may be set as an area including fewer lines or an area including more lines.
  • the solid-state imaging device 10 acquires image information for each band in these regions of an object (such as an object including a living thing) moving in the column direction.
  • the acquired information is subjected to appropriate signal processing or image processing in the processing unit 106 and is output.
  • FIG. 11, FIG. 12, and FIG. 13 are diagrams showing an example of imaging of an object in each light receiving area in one embodiment.
  • the object Obj is shown as an image of the light-receiving surface of the sensor, as an example.
  • the solid-state imaging device 10 acquires information about the object Obj for each light receiving area.
  • the object Obj moves in the column direction as shown by the white arrow in Figure 11.
  • information is acquired at each information acquisition timing (for example, frame rate of light reception) in the pixel 126 .
  • intensity information such as reflected light is first acquired in the first light receiving area 1280 .
  • the object Obj moving in the column direction begins to acquire intensity information such as reflected light in the second light receiving area 1282 .
  • the object Obj moving in the column direction starts to acquire intensity information such as reflected light in the third light receiving area 1284.
  • each light receiving area may be stored in a storage area such as a buffer.
  • each light-receiving area operates as a light-receiving section of a line scanner that stores acquired information as time-series data and outputs an image by appropriately combining the time-series data.
  • the time series data may be combined using a combination method similar to that of a general line scanner.
  • the solid-state imaging device 10 captures three images showing the intensity of light in different wavelength bands acquired from three light-receiving regions: a first light-receiving region 1280 , a second light-receiving region 1282 , and a third light-receiving region It can be obtained by combining the time series data obtained in each of the 1284 cases. These combinations may be performed by the imaging device 102 storing time series data in the storage unit 104 and the processing unit 106 combining the time series data stored in the storage unit 104 .
  • the solid-state imaging device 10 may be configured to output image data for each of these combined wavelength bands. Further, the solid-state imaging device 10 may output the result of signal processing or image processing using the combined image data individually or using a plurality of image data.
  • the solid-state imaging device 10 is capable of acquiring and outputting an image in which information about an object moving along the column direction is corrected based on the signals acquired at the pixels 126 belonging to each of the plurality of light-receiving areas. can.
  • the processing unit 106 can also correct the position of the image data acquired in each light receiving area.
  • the processing unit 106 can, for example, acquire the moving speed of the object from the data acquired in the first light receiving area 1280 .
  • the processing unit 106 Based on this speed and the span of information acquisition at the pixel 126 (e.g. frame rate), the processing unit 106 converts the timestamps of the time-series data acquired in the second light receiving area 1282 and the third light receiving area 1284 into the first Correction can be made to match the time stamp of time series data acquired in the light receiving area 1280 .
  • the processing unit 106 calculates the position along the column direction of the image data of the object reconstructed from the time-series data acquired in the second light-receiving area 1282 and the third light-receiving area 1284 based on the acquired speed. Corrections can also be made based on the information.
  • the velocity along the column direction may be known.
  • the processing unit 106 can use this known speed information to correct the positional deviation of the images acquired in each region.
  • FIG. 14 is a diagram illustrating an example of a configuration of a light receiving area according to an embodiment.
  • the pitch d between each light-receiving area and the velocity v in the column direction are known.
  • the processing unit 106 shifts the time-series data acquired from each light-receiving area by a predetermined time t, or shifts the image data acquired from each light-receiving area by the number of frames corresponding to the predetermined time t. , it is possible to obtain multiple images with positional deviations in the column direction corrected.
  • the number of frames corresponding to this predetermined time t is F, and the moving speed v, pitch d, and frame rate of the target may be set so that F is an integer value.
  • the processing unit 106 can acquire object information, for example, an image with the position corrected, for objects acquired in multiple light-receiving areas, based on the time difference in acquiring the same area of the object.
  • the solid-state imaging device 10 can acquire object information, for example, position-corrected information, for each wavelength band.
  • the distance (number of pixels) between the first light-receiving area 1280 , the second light-receiving area 1282 , and the third light-receiving area 1284 may be known. This known distance may be calculated from the configuration of mask 130 . In this case, more appropriate correction of positional deviation in the column direction can be realized from the speed information and the distance information.
  • the solid-state imaging device 10 acquires and outputs image data from information in different wavelength bands acquired for each light-receiving region, but the operation in the present disclosure is not limited to this.
  • the processing unit 106 can further calculate and output a predetermined index based on image data acquired from a plurality of wavelength bands. These indicators may be statistical indicators based on one or more image data.
  • the processing unit 106 can obtain image data such as NDWI, NDVI, etc., and output this as a predetermined index.
  • the first filter may be a filter that transmits visible light
  • the second filter may be a filter that transmits light in the NIR band
  • the third filter may be a filter that transmits light in the SWIR band.
  • the solid-state imaging device 10 appropriately acquires image data corresponding to red (RED) from the light received in the first light-receiving area 1280 and images corresponding to the NIR band from the light received in the second light-receiving area 1282. It is possible to acquire image data corresponding to the SWIR band from the light received in the third light receiving area 1284.
  • the processing unit 106 can synthesize images based on the following formula.
  • NDWI 1 is the normalized water index on the land surface
  • NDWI 2 is the normalized water index on the vegetation
  • NDVI is the normalized vegetation index.
  • the solid-state imaging device 10 can also calculate and output a predetermined index from image data in a plurality of wavelength bands.
  • FIG. 15 is a flowchart illustrating an example of processing according to an embodiment.
  • this flowchart as a non-limiting example, it is assumed that the distance between the light-receiving areas and the speed of the object in the column direction are known, but the process can also be applied to a case where they are not known as described above.
  • the processing unit 106 clears the FIFO used as a buffer (S100).
  • the storage unit 104 has a first light receiving area 1280, a second light receiving area 1282, and a third light receiving area 1284, which are light receiving areas for three bands, for example, the storage unit 104 has FIFO1 that stores the data of the first light receiving area 1280. , and FIFO2 that receives data from the second light receiving area 1282. If the number of bands you want to acquire increases, you can do so by increasing the number of FIFOs.
  • the processing unit 106 initializes the contents of the FIFO for each area.
  • the processing unit 106 clears the frame buffer (S102).
  • the frame buffer is a buffer that stores data output from the pixel 126 belonging to the pixel array 124.
  • the size of the frame buffer may be set depending on the size of the image desired to be obtained. Further, a frame buffer is provided corresponding to each light receiving area.
  • the storage unit 104 includes frame buffers corresponding to each of the first light receiving area 1280 , the second light receiving area 1282 , and the third light receiving area 1284 .
  • the solid-state imaging device 10 captures a frame image (S104). This photographing is performed using a normal photographing method using the solid-state imaging device 10 .
  • the processing unit 106 executes synchronization processing (S106 to S110).
  • the processing unit 106 inputs the image data acquired in S104 to the FIFO (S106). For example, the processing unit 106 enqueues data captured in the first light receiving area 1280 to FIFO1, and enqueues data captured in the second light receiving area 1282 to FIFO2.
  • the processing unit 106 dequeues the data of the first light receiving area 1280 and the second light receiving area 1282 corresponding to the data currently captured in the third light receiving area 1284 from the FIFO (S108).
  • this process is omitted until appropriate past frame data is stored.
  • the processing unit 106 does not dequeue from FIFO2 until the shooting data of F frames before is stored in FIFO2, and does not dequeue from FIFO1 until the shooting data of 2 ⁇ F frames before is stored in FIFO1. good.
  • the processing unit 106 dequeues FIFO1 and FIFO2 at an appropriate timing.
  • the processing unit 106 appends data to the image (S110). For example, the processing unit 106 appends data for the width of the previous light receiving area obtained from FIFO1 to the frame buffer that stores the image data of the first light receiving area 1280 . Similarly, the processing unit 106 appends the currently acquired image data of the third light receiving area 1284 to the frame buffer storing the FIFO2 data, for example, to the frame buffer storing the image data of the second light receiving area 1282.
  • the processing unit 106 may perform an operation to appropriately overlap these overlapping areas. .
  • the processing unit 106 determines whether the frame buffer for each light receiving area is filled (S112). If the frame buffer is filled (S112: YES), the processing unit 106 outputs the frame worth of image data to the storage unit 104 or the storage device 20 (S114).
  • the outputs from the respective frame buffers may be performed at staggered timings.
  • the timing from S102 that follows may be appropriately shifted for each light receiving area. For example, output the image data from the third light-receiving area 1284 and clear the frame buffer for the third light-receiving area 1284, and after that F frames, output the image data from the second light-receiving area 1282 and clear the frame buffer. Furthermore, after that F frame, output of image data from the first light receiving area 1280 and clearing of the frame buffer may be executed. That is, the branching in S112 may be determined for each light receiving area.
  • the solid-state imaging device 10 may repeat the processes from S102 to S114 as many times as necessary. Further, the processes of S116 and S118 are not essential processes when acquiring image data for each band, for example, and may be executed arbitrarily. When the solid-state imaging device 10 executes the process up to the output of the index, the processes of S116 and S118 are executed as shown below.
  • the processing unit 106 executes calculations regarding the index.
  • the processing unit 106 for example, executes calculations corresponding to the above equations (1), (2), and (3) for each image frame (S116).
  • the solid-state imaging device 10 outputs the index acquired in S116 (S118).
  • image data acquired for each light-receiving area may be output, or some index that can be acquired from these images may be calculated inside and outside the chip and output.
  • the image data for each light-receiving area and the index data may be output together.
  • the solid-state imaging device 10 or the solid-state imaging system 1 by arranging appropriate filters and performing appropriate calculations on image sensors that have already been manufactured, large-scale It becomes possible to realize a line scan camera that can cover multispectral or hyperspectral bands without controlling a housing or an expensive module.
  • solid-state imaging devices 10 can use the frame buffer, etc. that would normally be used for these other areas, as storage areas as needed, so it is possible to adjust the size of the light-receiving area appropriately. By setting this, it is possible to ensure sufficient storage capacity even in the conventional configuration.
  • a movable stage may be provided in order to maintain the speed in the column direction at a predetermined speed.
  • FIG. 16 is a diagram schematically showing an example of a solid-state imaging system 1 according to an embodiment.
  • the solid-state imaging system 1 may further include a stage 24.
  • the storage device 20 and the processing device 22 are not shown in FIG. 16, these elements may be provided as necessary.
  • the speed of the stage, etc. may be controlled by the processing device 22 .
  • the stage 24 is a movable stage that moves an object placed on its upper surface in a predetermined direction at a predetermined speed.
  • This stage 24 may be a stage that moves in the direction of one axis.
  • the solid-state imaging device 10 may be installed so that the direction of one axis of the stage 24 is in the column direction.
  • the processing unit 106 or the processing device 22 processes images based on the distance between the imaging surface of the solid-state imaging device 10 (the light-receiving surface of the pixels 126) and the top surface of the stage 24, the pitch of the pixels 126, and the moving speed of the top surface of the stage 24.
  • the number of frames F above can be defined appropriately. Also, as mentioned above, it is possible to change any of these parameters so that F is an integer, if necessary.
  • FIG. 17 is a diagram schematically showing an example of a solid-state imaging system according to an embodiment.
  • the solid-state imaging system 1 may include a solid-state imaging device 10, a stage 24, and a light source 26. Similar to FIG. 16, the solid-state imaging system 1 may include at least one of a storage device 20 and a processing device 22 as necessary.
  • the light source 26 generates regions for each wavelength band from which information is desired to be acquired on the upper surface of the stage 24 (the surface photographed by the solid-state imaging device 10 ).
  • the light source 26 forms, for example, a first irradiation area 260 , a second irradiation area 262 , and a third irradiation area 264 on the upper surface of the stage 24 .
  • the light source 26 has a first irradiation area 260 that irradiates visible light, a second irradiation area 262 that irradiates light in the NIR wavelength band, and a second irradiation area 262 that irradiates light in the SWIR wavelength band.
  • the irradiated third irradiation area 264 is formed by irradiating the stage with light corresponding to each band.
  • the illumination area may be appropriately defined by a plurality of light sources 26 .
  • the solid-state imaging device 10 is arranged in predetermined areas of the pixel array 124 so that information on these areas can be appropriately acquired.
  • the solid-state imaging device 10 is arranged such that, for example, the imaging range in a predetermined area within the pixel array 124 is an imaging range 240 indicated by a dotted line. Further, such an imaging range 240 may be set by adjusting the arrangement of the solid-state imaging device 10 and the optical system 100 of the solid-state imaging device 10 .
  • the solid-state imaging device 10 sets the light-receiving range of each irradiation area in the pixel array 124 as each light-receiving area in the first embodiment. With this setting, the solid-state imaging device 10 can appropriately acquire image data for each wavelength band by performing the same processing as in FIG. 15.
  • a solid-state imaging device comprising:
  • the signal processing circuit obtains an image in which a shift in the position of the object along the second direction is corrected based on captured images regarding each wavelength obtained from the plurality of regions.
  • the plurality of filters can be attached to and removed from the sensor, The solid-state imaging device according to (3).
  • an area into which light passing through one of the plurality of filters is incident is defined as the plurality of areas;
  • the signal processing circuit acquires an image with corrected object information based on a time difference in acquiring the same area of the object in the plurality of areas.
  • the solid-state imaging device according to any one of (1) to (5).
  • the signal processing circuit outputs an image corresponding to the corrected wavelength for each of the plurality of regions.
  • the solid-state imaging device according to any one of (1) to (6).
  • the signal processing circuit calculates and outputs a predetermined index from the corrected image for the wavelength of each of the plurality of regions.
  • the solid-state imaging device according to any one of (1) to (7).
  • the predetermined index is NDWI (Normalized Difference Water Index) or NDVI (Normalized Difference Vegetable Index),
  • NDWI Normalized Difference Water Index
  • NDVI Normalized Difference Vegetable Index
  • the plurality of regions include at least a region that receives wavelengths in the visible light region, a region that receives wavelengths in the near-infrared region, and a region that receives wavelengths in the shortwave infrared region.
  • the solid-state imaging device according to any one of (1) to (9).
  • the sensor and the signal processing circuit are provided in the same chip, The solid-state imaging device according to any one of (1) to (10).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

［課題］小型かつ安価な装置で精度の高い多波長情報を含む画像を取得する。 ［解決手段］固体撮像装置は、センサと、信号処理回路と、を備える。第 1 方向及び前記第 1 方向と交わる第 2 方向に沿って 2 次元のアレイ状に受光素子を有し、前記第 1 方向に沿って配置され、それぞれに異なる波長の光を受光し、又は、それぞれに異なる波長の光が入射される、複数の領域が配置される。信号処理回路は、前記複数の領域のそれぞれの領域の属する前記受光素子において取得される信号に基づいて、前記第 2 方向に沿って移動する物体の情報を補正した画像を取得する。

Description

固体撮像装置
　本開示は、固体撮像装置又は固体撮像システムに関する。
　マルチスペクトルカメラやハイパースペクトルカメラといった多波長の情報を撮像するイメージセンサは、広い分野において活用されている。例えば、農業分野において水や肥料、農薬を適切なタイミングで必要な場所に必要な分だけ与えることや、工場やプラントにおける不良検査等、人間の目では観察するのが困難な状況において広く応用が考えられている。例えば、農業分野における NDWI (Normalized Difference Water Index) 、 NDVI (Normalized Difference Vegetation Index) 等の指標を、水や植生等における反射率の高い画像と反射率の低い画像とに基づいて多波長の情報から取得することができる。
　しかしながら、現状では、従来のハイパースペクトルカメラ等の機材は、大型かつ高価であり、研究はされている一方で実際の導入は、あまり進んでいない。より効率的な導入を進める上で、小型かつ安価にこれらの撮影をする手段が望まれている。また、可視光領域と非可視光領域との情報を 1 台のカメラで同時に取得することができると、これらの情報から同じ画角で画像が取得できることとなり、カメラ又はコンピュータは、画素単位の位置合わせ等が必要なくなり、演算が容易となるが、上記のように複数のカメラを必要とする現状においてはこの実現も困難である。
特開2013-238579号公報
　そこで、本開示では、小型かつ安価に精度の高い多波長情報を含む画像を取得する固体撮像装置又は固体撮像システムを提供する。
　一実施形態によれば、固体撮像装置は、センサと、信号処理回路と、を備える。センサは、第 1 方向及び前記第 1 方向と交わる第 2 方向に沿って 2 次元のアレイ状に受光素子を有し、前記第 1 方向に沿って配置され、それぞれに異なる波長の光を受光し、又は、それぞれに異なる波長の光が入射される、複数の領域が配置される。信号処理回路は、前記複数の領域のそれぞれの領域の属する前記受光素子において取得される信号に基づいて、前記第 2 方向に沿って移動する物体の情報を補正した画像を取得する。
　前記信号処理回路は、前記複数の領域から取得したそれぞれの波長に関する撮影像に基づいて、前記第 2 方向に沿った物体の位置のズレを補正した画像を取得してもよい。
　前記センサの受光面側において異なる波長領域に透過特性を有する複数のフィルタを前記第 1 方向に沿って配置して、前記センサにおいて前記複数の領域を形成してもよい。
　前記複数のフィルタは、前記センサに取り付け及び取り外しが可能であってもよい。
　前記センサの受光面において、前記複数のフィルタのうち 1 つのフィルタを介した光が入射される領域を、前記複数の領域としてもよい。
　前記信号処理回路は、前記複数の領域において物体における同じ領域を取得する時間差に基づいて、物体の情報を補正した画像を取得してもよい。
　前記信号処理回路は、補正した前記複数の領域ごとの波長に対する画像を出力してもよい。
　前記信号処理回路は、補正した前記複数の領域ごとの波長に対する画像から、所定指標を算出して出力してもよい。
　前記所定指標は、 NDWI (Normalized Difference Water Index) 又は NDVI (Normalized Difference Vegetable Index) であってもよい。
　前記複数の領域として、可視光領域の波長を受光する領域、近赤外領域の波長を受光する領域、及び、短波赤外領域の波長を受光する領域を少なくとも備えてもよい。
　前記センサと、前記信号処理回路は、同一のチップ内に備えられてもよい。
　一実施形態によれば、固体撮像システムは、上記のいずれかに記載の固体撮像装置と、
　前記第 2 方向に物体を移動可能なステージと、を備え、前記ステージに伴い移動する物体を、前記固体撮像装置を用いて撮像し、波長ごとの物体の撮影像を取得する。
　複数の波長の光を所定の前記第 1 方向に沿った領域に射出する、光源、をさらに備えてもよく、前記センサに配置される前記複数の領域のそれぞれの領域において、前記光源から射出された光の反射光、又は、透過光を受光してもよい。
一実施形態に係る固体撮像システムの一例を模式的に示す図。 一実施形態に係る撮像素子の一例を模式的に示す図。 一実施形態に係る撮像素子の実装例を示す図。 一実施形態に係る撮像素子の実装例を示す図。 一実施形態に係る撮像素子の実装例を示す図。 一実施形態に係るマスクの一例を示す図。 一実施形態に係るフィルタ構成の一例を示す図。 一実施形態に係るフィルタ構成の一例を示す図。 一実施形態に係るマスクと画素アレイとの構成の一例を示す図。 一実施形態に係る受光領域の ROI 設定の一例を示す図。 一実施形態に係る各受光領域における物体の撮像の一例を示す図。 一実施形態に係る各受光領域における物体の撮像の一例を示す図。 一実施形態に係る各受光領域における物体の撮像の一例を示す図。 一実施形態に係る受光領域の構成の一例を示す図。 一実施形態に係る固体撮像装置の処理を示すフローチャート。 一実施形態に係る固体撮像システムを模式的に示す図。 一実施形態に係る固体撮像システムを模式的に示す図。
　以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。
　図1は、一実施形態に係る固体撮像システムの一例を模式的に示すブロック図である。固体撮像システム 1 は、固体撮像装置 10 と、記憶装置 20 と、処理装置 22 と、を備える。固体撮像システム 1 は、固体撮像装置 10 から取得した情報に基づいて、処理装置 22 に何らかの処理を実行させるシステムである。別の例として、固体撮像システム 1 は、固体撮像装置 10 から取得した情報を記憶装置 20 に格納するシステムであってもよい。
　また、固体撮像装置 10 が処理に必要となる情報を取得して格納してもよいし、固体撮像装置 10 が適切な処理をして処理結果を出力する形態であってもよい。すなわち、記憶装置 20 及び処理装置 22 の一方又は双方は、必須の構成ではなく、固体撮像装置 10 により、固体撮像システム 1 が形成され、固体撮像装置 10 において固体撮像システム 1 の処理が完結するものであっていてもよい。
　また、固体撮像システム 1 として、第 1 記憶部として固体撮像装置 10 における記憶部 104 が動作し、第 2 記憶部として記憶装置 20 を備える形態であってもよい。例えば、信号処理、画像処理、又は、何らかの機械学習を実行するといった処理をする場合には、固体撮像システム 1 は、固体撮像装置 10 に備えられる処理回路、又は、外部の処理装置 22 を信号処理部、画像処理部、学習部、又は、推論部として用いることができる。この第 1 記憶部は、例えば、固体撮像装置 10 において、撮像素子 102 と同一のチップの内部、又は、外部に備えられていてもよい。
　すなわち、第 1 記憶部は、撮像素子 102 と同一のチップの内部、撮像素子 102 と同一のチップの外部、又は、撮像素子 102 の外部に備えられていてもよい。また、固体撮像装置 10 において信号処理、画像処理、学習又は推論を実行する場合には、この信号処理、画像処理を行う処理部、学習を行う学習部又は推論を行う推論部 (処理回路を含む) は、撮像素子 102 と同一のチップの内部、撮像素子 102 と同一のチップの外部、又は、撮像素子 102 の外部に備えられていてもよい。
　また、固体撮像装置 10 自体が 1 つのチップとして形成されていてもよい。すなわち、撮像素子 102 と、信号処理回路を含む処理部 106 が同一のチップとして形成されていてもよい。この場合、固体撮像システム 1 は、固体撮像装置 10 を備えるデジタルスチルカメラ、スマートホン端末等の撮像装置を備える電子機器と、当該電子機器内に、固体撮像装置 10 、記憶装置 20 及び／又は処理装置 22 とは別の記憶領域及び処理領域を備えていてもよい。これらの領域は、電子回路により構成されてもよい。
　このように、本開示において、固体撮像装置 10 は、半導体チップ (カメラモジュール) 、又は、この半導体チップを搭載する電子機器 (撮影機能を有するデバイス、ガジェット) のいずれかといった広い意味で捉えることができる概念である。
　また、記憶装置又は記憶回路は、固体撮像装置 10 において、この半導体チップの内部又は外部に備えられてもよい。まとめると、本開示における記憶装置又は記憶回路は、カメラモジュールを形成するチップ上、チップ外の固体撮像装置 10 内、又は、固体撮像装置 10 の外部 (ネットワークを介して接続されるファイルサーバ等を含む) に備えられてもよい。
　固体撮像装置 10 は、光学系 100 と、撮像素子 102 と、記憶部 104 と、処理部 106 と、入出力インタフェース (以下、 I/F 108 と記載する。)と、を備える。固体撮像装置 10 は、限定されない一例として、可視光、 NIR (Near-Infrared: 近赤外領域) 光、及び、 SWIR (Short Wavelength Infrared: 短波赤外) 光を受光できる受光素子を備え、これらの帯域の光を受光して画像データを生成し、この画像データに対しての処理を実行してもよい。
　図1においては、固体撮像装置 10 のそれぞれの要素は、バスを介して接続されているが、これに限定されるものではなく、適宜適切に構成要素同士が電気的に直接接続される形態であってもよい。
　光学系 100 は、外部から入射する光、例えば、対象から反射した光、対象を透過した光、又は、対象が発光している光を撮像素子 102 の受光素子において受光するために配置される。光学系 100 は、例えば、 1 又は複数のレンズ、変更し、回折格子、フィルタ等を備えていてもよい。この光学系 100 は、限定されないいくつかの例として、可視、 NIR 、 SWIR 、 UV (Ultra Violet: 紫外) 、又は、必要に応じて他の帯域の光を少なくとも複数種類取得できる形態であってもよい。複数種類の帯域のそれぞれは、適切にそれぞれの帯域の光を受光することが可能な撮像素子 102 において受光されてもよい。
　撮像素子 102 は、例えば、可視、 NIR 、及び、 SWIR の帯域の光を受光して画像データを生成する。すなわち、撮像素子 102 は、例えば、これらの帯域の光を受光してアナログ信号を出力する光電変換素子 (受光素子) を備える画素と、この光電変換素子から出力される光の強度に対応するアナログ信号を画像データに変換する画素回路と、を備える。
　なお、撮像素子 102 は、例えば、上記の 3 つの帯域 (可視、 NIR、 及び SWIR) ではなく、他の帯域における光を受光するものであってもよいし、より多くの波長領域に対してそれぞれに受光するマルチスペクトル又はハイパースペクトルの情報を取得できる画素を備えていてもよい。
　図2は、撮像素子 102 の概略の一例を模式的に示すブロック図である。撮像素子 102 は、垂直駆動回路 120 と、水平駆動回路 122 と、画素アレイ 124 (センサ) と、を備える。
　垂直駆動回路 120 は、例えば、ライン方向に沿った画素の駆動を制御する回路である。
　水平駆動回路 122 は、例えば、カラム方向に沿った画素の駆動を制御する回路である。
　画素アレイ 124 は、複数の画素 126 を 2 次元 (例えば、第 1 方向であるライン方向及びこれに交わる第 2 方向であるカラム方向) のアレイ状に備える。同一のラインに属する画素 126 は、垂直駆動回路 120 により選択され、この選択されたラインに対して、カラムごとに水平駆動回路 122 からの制御により画素 126 から処理部 106 へと信号が伝送される。この伝送は、ラインバッファを用いて制御されてもよい。
　画素 126 からの出力は、アナログ信号であり、撮像素子 102 は、処理部 106 に信号を伝送する前に、アナログ信号をデジタル信号に変換する ADC (図示しない) や、信号を増幅する増幅器 (図示しない) を別途備えてもよいし、処理部 106 においてこれらの処理が実行されてもよい。
　また、撮像素子 102 は、垂直駆動回路 120 及び水平駆動回路 122 を制御するための制御回路を別途備えていてもよい。撮像素子 102 の動作、及び、その他の回路の構成、動作については、一般的な固体撮像装置と同様であってもよいので、詳しい説明は省略する。
　撮像素子 102 は、画素 126 において受光した光の強度に基づいた信号を、垂直駆動回路 120 及び水平駆動回路 122 の制御により、処理部 106 へと送信する。処理部 106 では、受信したデジタルの画像信号又は受信したアナログ信号を変換したデジタルの画像信号に基づいて、処理を実行する。上述したように、画素 126 は、例えば、可視、 NIR 、 及び 、 SWIR の波長帯域の光を光学系 100 を介して受光可能であり、撮像素子 102 は、これらの帯域に関する情報を画像情報として取得することができる。
　図1に戻り、記憶部 104 は、固体撮像装置 10 において必要となるデータを格納する。固体撮像装置 10 において、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現される場合には、記憶部 104 は、ソフトウェアの情報処理に必要となるプログラム、実行ファイル等を格納してもよい。記憶部 104 は、少なくとも一部が半導体による回路の構成を有していてもよく、揮発性又は不揮発性のメモリまたはストレージであってもよい。
　処理部 106 は、撮像素子 102 から取得した信号に適切な信号処理、画像処理を実行したり、記憶部 104 に格納されている画像データに対するその後の処理を実行したりする。具体的には、処理部 106 は、上述したように、撮像素子 102 から出力される信号を画像データに適切に変換する処理をしてもよい。処理部 106 は、本開示においては、少なくとも、モデルを用いた何らかの処理を実現できる構成である。
　例えば、処理部 106 は、その一部がアナログ回路であってもよい。処理部 106 は、デジタルの画像データを処理可能なデジタル回路を備えてもよい。処理部 106 は、限定されない一例として、信号処理回路を備えてもよい。この信号処理回路は、特に、画像処理回路を備えてもよい。これらの処理は、処理部 106 が記憶部 104 に格納されているプログラム等を取得することで実現されてもよい。
　処理部 106 において推論処理を実行する場合、推論に用いるモデルは、ディープラーニングを含む機械学習により最適化された学習済みモデルであってもよい。この場合、処理部 106 は、記憶部 104 に格納されているモデルのパラメータに基づいて、モデルを形成し、形成したモデルに画像データを入力することで結果を取得してもよい。モデルは、例えば、画像データに含まれる対象に対する何らかの判定をする学習済みモデルであってもよい。より具体的には、モデルは、例えば、正常／異常を判定する判定器として動作するモデル、入力された画像又は画像中の物体等の対象を分類する分類器として動作するモデル、又は、入力された画像に何らかの処理を実行するモデルであってもよい。
　処理部 106 は、処理された情報を I/F 108 を介して外部に出力してもよい。 I/F 108 は、固体撮像装置 10 の内部と外部との情報を入出力するためのインタフェースである。
　限定されない一例として、固体撮像装置 10 が 1 つの半導体チップである場合には、出力するデータを選択するセレクタが別途備えられていてもよい。処理部 106 が処理したデータは、 I/F 108 を介して、例えば、外部の記憶装置 20 や処理装置 22 に出力されてもよい。さらに、 I/F 108 は、処理部 106 により処理された画像データをディスプレイに表示する等の出力をしてもよいし、ボタン、タッチパネル、マウス等の入力デバイスからの情報を受け付けて、固体撮像装置 10 への制御信号を制御部や処理部 106 に出力してもよい。
　限定されない別の一例として、固体撮像装置 10 がデジタルカメラ等のデバイスである場合には、 I/F 108 は、ユーザインタフェースを含む概念であってもよい。すなわち、 I/F 108 自体がディスプレイ等の出力インタフェース、又は、タッチパネル等の入力インタフェースを備える形態であってもよい。
　いずれの場合においても、 I/F 108 は、外部のネットワークと接続するネットワークインタフェースを備えていてもよい。この場合、固体撮像装置 10 は、 I/F 108 を介して外部のネットワークと有線又は無線の手段を介して接続することができる。固体撮像装置 10 は、この有線又は無線の手段によるネットワークを介して、外部の記憶装置 20 や処理装置 22 と接続される形態であってもよい。
　記憶装置 20 は、固体撮像装置 10 の外部に存在するメモリ、ストレージ等の記憶をするためのデバイスである。固体撮像装置 10 において処理された情報は、 I/F 108 を介して、この記憶装置 20 に一時的又は非一時的に格納されてもよい。
　処理装置 22 は、固体撮像装置 10 の外部に存在する何らかの処理を実行するための装置である。処理装置 22 は、例えば、農場等における水分、植生を判定し、若しくは、水分、植生に基づいて処理を制御するシステム、工場等におけるファクトリーオートメーションシステム、又は、任意の場所における検査若しくは検査に基づいた処理をするシステム等に含まれるデバイスであってもよく、種々の状況における少なくとも一部の処理を実行するデバイスであってもよい。
　限定されない別の例として、処理装置 22 は、固体撮像装置 10 の外部において、固体撮像装置 10 が取得した画像データ又は画像データに任意の処理を実行したデータに基づいた処理を実行するデバイスであってもよい。
　限定されない一例として、固体撮像装置 10 が 1 つの半導体チップである場合、記憶装置 20 及び処理装置 22 は、固体撮像装置 10 が含まれるデジタルカメラ等のデバイスの内部において固体撮像装置 10 とともに備えられる記憶回路、処理回路であってもよい。すなわち、デジタルカメラ等のデバイスが固体撮像装置 10 、記憶装置 20 、及び、処理装置 22 を有し、固体撮像システム 1 がこのデジタルカメラ等のデバイスを備える態様であってもよい。この場合、固体撮像装置 10 、記憶装置 20 、及び、処理装置 22 がさらに外部のデバイス、ネットワークと接続されることを排除するものではない。
　限定されない一例として、固体撮像装置 10 がデジタルカメラ等のデバイスであってもよい。この場合、固体撮像装置 10 は、 I/F 108 を介して、固体撮像システム 1 内の固体撮像装置 10 の外部にある記憶装置 20 や処理装置 22 とデータを送受信する 1 つのデジタルカメラ等として動作する。
　上記において、デジタルカメラ等とは、例えば、静止画を取得するデジタルスチルカメラ、また、動画を取得するデジタルビデオカメラ、及び、双方の機能を有するデバイスのいずれをも含む広義の概念である。
　(半導体チップの構成例)
　図3は、固体撮像装置 10 の少なくとも一部が実装される半導体チップの限定されない一例を示す図である。基板 30 は、画素領域 300 と、制御回路 302 と、ロジック回路 304 と、を備える。この図3に示すように、画素領域 300 と、制御回路 302 と、ロジック回路 304 とが同じ基板 30 上に備えられる構成であってもよい。
　画素領域 300 は、例えば、前述の画素アレイ 124 等が備えられる領域である。画素回路等は、適切にこの画素領域 300 に備えられてもよいし、基板 30 における図示しない別の領域において備えられていてもよい。
　制御回路 302 は、制御部を備える。制御回路 302 は、例えば、上述した垂直駆動回路 120 、水平駆動回路 122 又は制御回路をその一部として備えてもよい。
　ロジック回路 304 は、例えば、画素回路から出力され、 ADC により変換されたデジタル信号について処理をする。上述したように、基板 30 には、図示しない記憶回路が備えられていてもよく、ロジック回路 304 は、この記憶回路に格納されたデータを処理してもよい。
　処理部 106 の少なくとも一部の動作は、このロジック回路 304 により実装されていてもよい。また、処理部 106 の少なくとも一部は、このチップ上ではなく、基板 30 とは別の箇所に備えられる別の信号処理チップに実装されていてもよいし、別のプロセッサ内において実装されていてもよい。
　図4は、固体撮像装置 10 の少なくとも一部が実装される半導体チップの限定されない一例を示す図である。基板として、第 1 基板 32 と、第 2 基板 34 と、が備えられる。この第 1 基板 32 と第 2 基板 34 は、積層された構造であり、適切に、ビアホール、マイクロバンプ、又は、それぞれの基板における銅線同士を接続することにより相互に信号を送受信できる。
　例えば、第 1 基板 32 が、画素領域 300 と、その周辺回路と、を備え、第 2 基板 34 がその他の信号処理を実現する回路を備えて構成されてもよい。
　図５は、固体撮像装置 10 の少なくとも一部が実装される半導体チップの限定されない一例を示す図である。基板として、第 1 基板 32 と第 2 基板 34 と、が備えられる。この第 1 基板 32と、第 2 基板 34 は、上記と同様に積層され、適切に電気的に接続された構造である。
　図3から図5に示すチップ内には、前述の撮像素子 102 と、記憶部 104 と、処理部 106 と、 I/F 108 とが備えられてもよい。このような半導体チップにより、撮像から、データの一時的又は非一時的な格納、モデルを用いた処理、及び、処理結果の出力を 1 チップ内で完結することもできる。
　なお、これらの例に限定されるものではなく、例えば、記憶領域用の第 3 基板が、第 1 基板と第 2 基板の間、又は、第 2 基板の第 1 基板とは逆側に備えられ、これらの 3 枚の基板が適切に接続されて積層された構造として、固体撮像装置 10 が形成されてもよい。
　積層された複数の基板同士は、例えば、 CoC (Chip on Chip) 、 CoW (Chip on Wafer) 、又は、 WoW (Wafer on Wafer) 等の任意の手法で積層して形成することが可能である。本開示においては、上述したように、画素領域 300 においては、例えば、少なくとも可視、 NIR 及び SWIR の帯域の光を受光する画素を備えて、これらの半導体チップが形成されてもよい。
　以下においては、 NDWI 、 NDVI を最終的に取得する例について説明するが、本開示の適用範囲はこれらには限定されず、多波長帯域の情報から任意の情報を取得する手段の少なくとも一部として適用することが可能である。
　(第 1 実施形態)
　図6は、一実施形態に係る画素アレイ 124 に適用するマスクの一例を示す図である。
　マスク 130 は、フィルタ部 132 と、遮光部 140 と、を備える。このマスク 130 は、例えば、画素アレイ 124 の受光面側をカバーするように配置される。一例として、マスク 130 は、フィルタ部 132 において波長ごとに制御された光を適切に透過する任意の手段により画素アレイ 124 の受光面側に接着されてもよい。
　また、別の一例として、このマスク 130 は、アタッチメント形式で、イメージセンサに取り付け、取り外し可能な態様であってもよい。マスク 130 が取り付け可能な形態とすることで、イメージセンサのプロセス段階での処理をすることなく、簡易に本開示における処理を実行することができる。
　さらに別の例として、このマスク 130 は、イメージセンサの前工程において、光電変換素子の受光面においてフィルタ部 132 と、遮光部 140 とが形成される態様としてもよい。この場合、イメージセンサの他の用途への転用に多少の制限が掛かるものの、複数の帯域から画像を取得するための光電変換を実現する、専用のより精度の高い処理を実現することができる。
　すなわち、望ましい帯域の光を透過するフィルタを備えるマスク 130 は、例えば、画素アレイ 124 の受光面側に備えられるシールガラスを外して、このシールガラスの代わりに配置することもできるし、シールガラスの上面に貼付して配置し若しくはその他の固定した形態で配置することもできるし、又は、画素アレイ 124 に組み込まれる形で光電変換素子の受光面側のフィルタ及び遮光フィルタとして配置することもできる。このように、マスク 130 の配置は、任意の手段で実現することができる。
　図7は、一実施形態に係るフィルタ部の一例を示す上面図である。
　フィルタ部 132 は、例えば、可視帯域の光を透過する第 1 フィルタ 134 、 NIR 帯域の光を透過する第 2 フィルタ 136 、 SWIR 帯域の光を透過する第 3 フィルタ 138 を備える。なお、フィルタの組み合わせは、これらに限定されるものではない。また、 4 種類以上の異なる透過特性を有するフィルタが同様に備えられていてもよい。
　例えば、可視帯域において複数の帯域の情報が取得できるように、フィルタ部 132 は、可視帯域における複数の異なる帯域の光を透過するフィルタを備えてもよい。この態様は、 NIR 帯域及び SWIR 帯域についても同様である。すなわち、フィルタ部 132 は、複数の異なる NIR 帯域の光を透過するフィルタ、又は／及び、複数の異なる SWIR 帯域の光を透過するフィルタ、を備えていてもよい。
　図8は、一実施形態に係るフィルタ部の別の例の構成を示す図である。この図8に示すように、フィルタ部 132 は、第 1 フィルタ 134 と第 2 フィルタ 136 との間、及び、第 2 フィルタ 136 と第 3 フィルタ 138 との間に、遮光部 140 をさらに備えていてもよい。
　例えば、マスク 130 を画素アレイ 124 の受光面側に取り付け可能に配置する場合、フィルタ部 132 と、画素アレイ 124 の受光面との間に隙間がある可能性がある。このような場合、画素アレイ 124 においては、例えば、第 1 フィルタ 134 を透過した光と、第 2 フィルタ 136 を透過した光との双方の光を受光する光電変換素子が存在する可能性がある。
　図8のように、フィルタ部 132 は、フィルタ間に遮光部 140 を配置することで、このような複数のフィルタを介して光が入射する画素 126 を削減することが可能となる。
　図9は、画素アレイに対してマスクを配置した状態を示す図である。この図においては、説明のため、画素アレイ 124 とマスク 130 との間に広い隙間があるが、実際には画素アレイ 124 とマスク 130 は、密着、密着に近い状態、又は、画素アレイ 124 及びマスク 130 の面積に対して十分に小さい距離だけ離れている状態であってもよい。
　マスク 130 のフィルタ部 132 は、例えば、 3 つの領域に分割される。それぞれの領域において、フィルタ部 132 は、異なる波長透過特性を有するフィルタが備えられる。
　このフィルタを介して画素アレイ 124 に到達する光は、遮光部 140 以外の領域において透過した光を受光領域 128 において受光され、左上がりの斜線で示す領域のようにその境界部分において混合して画素 126 に入射する。このため、この領域においては、望ましい波長帯域における光を受光することが困難となる。このため、本開示においては、これらの境界領域の影響を受けない様に、 ROI (Region of Interest) を定義する。
　図10は、画素アレイの受光領域における ROI 設定の一例を示す図である。画素アレイ 124 において、受光領域 128 以外の領域は、遮光されている領域としてもよい。受光領域 128 の境界は、例えば、フィルタ部 132 の位置及び大きさに基づいて設定することもできるし、実際にテスト受光をした後に、受光範囲に基づいて処理部 106 又は処理装置 22 において設定することもできる。
　受光領域 128 は、上述したように複数のフィルタを介した光が入射する画素 126 が属する境界領域 1286 が存在する。この境界領域 1286 を含まないように、それぞれのフィルタを介して入射する光を受光する画素 126 が属する領域を設定する。
　受光領域 128 は、例えば、図7に示す第 1 フィルタ 134 を介した光を受光する画素 126 が属する第 1 受光領域 1280 と、第 2 フィルタ 136 を介した光を受光する画素 126 が属する第 2 受光領域 1282 と、第 3 フィルタ 138 を介した光を受光する画素 126 が属する第 3 受光領域 1284 と、を備える。
　一例として、受光領域 128 は、 1 又は複数のライン方向に沿った画素 126 が属するように、それぞれの受光領域が配置される。これらの領域においては、それぞれに属する画素 126 は、領域ごとに異なる波長の光を受光し、又は、異なる波長の光が入射される。それぞれの領域に属する画素 126 は、受光した強度に基づいたアナログ信号を光電変換素子により生成し、出力する。
　 1 つのフィルタに対応する受光領域は、例えば、 8 ライン分の領域であってもよい。これは限定されない一例であり、さらに少ないラインを含む領域、又は、さらに多いラインを含む領域として、それぞれのフィルタに対応する受光領域が設定されてもよい。
　固体撮像装置 10 は、例えば、カラム方向に進行する対象 (生物を含む物体等) をこれらの領域においてそれぞれの帯域ごとの画像情報を取得する。取得した情報は、処理部 106 において適切に信号処理又は画像処理が施されて出力される。
　図11、図12及び図13は、一実施形態における各受光領域における物体の撮像の一例を示す図である。これらの図において、物体 Obj は、一例として、センサの受光面の像として示される。
　図10 に示す境界領域 1286 の描画は省略している。固体撮像装置 10 は、例えば、物体 Obj の情報を、それぞれの受光領域ごとに取得する。物体 Obj は、図11に白抜きの矢印で示されるようにカラム方向に移動する。それぞれの受光領域においては、画素 126 における情報の取得タイミング (例えば、受光のフレームレート) ごとに情報が取得される。
　図11に示すように、カラム方向に進行する物体 Obj は、まず、第 1 受光領域 1280 において反射光等の強度情報が取得される。所定時間の経過後、図12に示すように、カラム方向に進行する物体 Obj は、第 2 受光領域 1282 において反射光等の強度情報が取得され始める。図12からさらに所定時間が経過すると、図13に示すように、カラム方向に進行する物体 Obj は、第 3 受光領域 1284 において反射光等の強度情報が取得され始める。
　それぞれの受光領域において取得された情報は、バッファ等の記憶領域に格納されてもよい。例えば、それぞれの受光領域は、取得した情報を時系列データとして格納し、この時系列データを適切に結合することで画像を出力するラインスキャナの受光部として動作する。時系列データの結合は、一般的なラインスキャナと同様の結合手法であってもよい。
　本実施形態においては、固体撮像装置 10 は、 3 つの受光領域から取得された異なる波長帯域の光の強度を示す 3 つの画像を、第 1 受光領域 1280 、第 2 受光領域 1282 及び第 3 受光領域 1284 のそれぞれにおいて取得した時系列データを結合することで取得することができる。これらの結合は、撮像素子 102 が記憶部 104 に時系列データを格納し、処理部 106 が記憶部 104 に格納されている時系列データを結合することで実行されてもよい。
　固体撮像装置 10 は、これらの結合された波長帯域ごとの画像データを、それぞれ出力する形態であってもよい。また、固体撮像装置 10 は、これらの結合された画像データを単体ごと、又は、複数の画像データを用いて信号処理又は画像処理した結果を出力してもよい。
　すなわち、固体撮像装置 10 は、複数の受光領域のそれぞれの領域に属する画素 126 において取得した信号に基づいて、カラム方向に沿って移動する物体の情報を補正した画像を取得し、出力することができる。
　処理部 106 は、それぞれの受光領域において取得した画像データの位置を補正することもできる。処理部 106 は、例えば、第 1 受光領域 1280 において取得されたデータから物体の移動する速さを取得することができる。
　処理部 106 は、この速さと画素 126 における情報取得のスパン (例えば、フレームレート) とに基づいて、第 2 受光領域 1282 及び第 3 受光領域 1284 において取得された時系列データのタイムスタンプを第 1 受光領域 1280 において取得された時系列データのタイムスタンプと合致するように補正をすることができる。
　別の例として、処理部 106 は、第 2 受光領域 1282 及び第 3 受光領域 1284 において取得された時系列データから再構成された物体の画像データのカラム方向に沿った位置を、取得した速さ情報に基づいて補正することもできる。
　別の例として、カラム方向に沿った速さが既知であってもよい。この場合、処理部 106 は、この既知の速さ情報を用いて、それぞれの領域において取得された画像の位置ズレを補正することができる。
　図14は、一実施形態に係る受光領域の構成の一例を示す図である。各受光領域間のピッチ d 及びカラム方向の速さ v が既知であるとする。この場合、それぞれの受光領域において取得される物体の同一の領域は、例えば、所定時間 t = d / v の時間がずれている。このため、処理部 106 は、それぞれの受光領域から取得した時系列データを所定時間 t ずつずらすことで、又は、それぞれの受光領域から取得した画像データを所定時間 t に対応するフレーム数分ずらすことで、カラム方向の位置ズレを補正した複数の画像を取得することができる。この所定時間 t に対応するフレーム数を F とし、 F が整数値となるように、対象の移動の速さ v 、ピッチ d 、及び、フレームレートを設定してもよい。
　このように、処理部 106 は、複数の受光領域において取得した物体について、物体の同じ領域を取得した時間差に基づいて、物体の情報、例えば、位置を補正した画像を取得することができる。この結果、固体撮像装置 10 は、波長帯域ごとに、物体の情報、例えば、位置を補正した情報を取得することが可能となる。
　受光領域 128 において、第 1 受光領域 1280 、第 2 受光領域 1282 、及び、第 3 受光領域 1284 の間の距離 (画素数) は、既知であってもよい。この既知の距離は、マスク 130 の構成から算出されてもよい。この場合、速さ情報と距離情報から、より適切なカラム方向における位置ズレの補正を実現することができる。
　上記では、固体撮像装置 10 は、それぞれの受光領域ごとに取得した異なる波長帯域の情報から画像データを取得して出力するとしたが、本開示における動作は、これに限定されない。処理部 106 は、さらに、複数の波長帯域から取得した画像データに基づいて、所定の指標を算出して出力することができる。これらの指標は、 1 又は複数の画像データに基づいた統計的な指標であってもよい。
　別の例として、処理部 106 は、例えば、 NDWI 、 NDVI 等の画像データを取得し、これを所定指標として出力することもできる。例えば、第 1 フィルタが可視光を透過するフィルタ、第 2 フィルタが NIR 帯域の光を透過するフィルタ、及び、第 3 フィルタが SWIR 帯域の光を透過するフィルタであってもよい。この場合、固体撮像装置 10 は、第 1 受光領域 1280 において受光した光から適切に赤 (RED) に対応する画像データを取得し、第 2 受光領域 1282 において受光した光から NIR 帯域に対応する画像データを取得し、第 3 受光領域 1284 において受光した光から SWIR 帯域に対応する画像データを取得することができる。
　処理部 106 は、以下の式に基づいて画像を合成することができる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　 NDWI1 は、地表面における正規化水指標であり、 NDWI2 は、植生における正規化水指標であり、 NDVI は、正規化植生指標である。このように、固体撮像装置 10 は、複数の波長帯域における画像データから所定指標を算出して出力することもできる。
　図15は、一実施形態に係る処理の一例を示すフローチャートである。このフローチャートでは、限定されない一例として受光領域間の距離及び対象のカラム方向の速さが既知であるとしているが、上述したように既知では無い場合においても適用することができる。
　まず、処理部 106 は、バッファとして用いる FIFO をクリアする (S100) 。 3 つの帯域に対する受光領域である第 1 受光領域 1280 、第 2 受光領域 1282 、及び、第 3 受光領域 1284 を有する場合、記憶部 104 は、例えば、第 1 受光領域 1280 のデータを格納する FIFO1 と、第 2 受光領域 1282 のデータを受光する FIFO2 と、を備える。取得したい帯域数が増大する場合には、 FIFO の数を増やすことで対応することができる。処理部 106 は、それぞれの領域に対する FIFO の内容を初期化する。
　次に、処理部 106 は、フレームバッファをクリアする (S102) 。フレームバッファは、画素アレイ 124 に属する画素 126 から出力されたデータを格納するバッファである。フレームバッファは、取得したい画像の大きさに応じて大きさが設定されてもよい。また、フレームバッファは、それぞれの受光領域に対応して備えられる。上記の場合、記憶部 104 は、第 1 受光領域 1280 、第 2 受光領域 1282 、及び、第 3 受光領域 1284 のそれぞれに対応するフレームバッファが備える。
　次に、固体撮像装置 10 は、フレーム画像を撮影する (S104) 。この撮影は、固体撮像装置 10 における通常の撮影手法を用いて撮影される。
　次に、処理部 106 は、同期処理を実行する (S106 ～ S110) 。
　処理部 106 は、 FIFO に S104 で取得した画像データをそれぞれ入力する (S106) 。処理部 106 は、例えば、第 1 受光領域 1280 において撮影されたデータを FIFO1 にエンキューし、第 2 受光領域 1282 において撮影されたデータを FIFO2 にエンキューする。
　次に、処理部 106 は、現在第 3 受光領域 1284 において撮影されたデータに対応する第 1 受光領域 1280 及び第 2 受光領域 1282 のデータを FIFO からデキューする (S108) 。
　なお、撮影の最初期においては、適切な過去のフレームのデータが格納されるまで、この処理は、省略する。例えば、処理部 106 は、 F フレーム前の撮影データが FIFO2 に格納されるまで FIFO2 からデキューせず、 2 × F フレーム前の撮影データが FIFO1 に格納されるまで FIFO1 からデキューしない態様であってもよい。初期状態から適切な時間 (フレーム) が経過後、処理部 106 は、 FIFO1 及び FIFO2 から適切なタイミングでデキューする。
　次に、処理部 106 は、画像にデータをアペンドする (S110) 。処理部 106 は、例えば、第 1 受光領域 1280 の画像データを格納するフレームバッファに、 FIFO1 から取得した 2 × F フレーム前の受光領域の幅分のデータをアペンドする。同様に、処理部 106 は、例えば、第 2 受光領域 1282 の画像データを格納するフレームバッファに FIFO2データを格納するフレームバッファに現在取得している第 3 受光領域 1284 における画像データをアペンドする。
　なお、このタイミングにおいて、アペンドするデータとアペンドされるデータとの間に重複する領域が存在する場合、処理部 106 は、適切にこれらの重複する領域を重ね合わせるための演算を実行してもよい。
　画像データをアペンドした後に、処理部 106 は、それぞれの受光領域に対するフレームバッファが満たされたか否かを判定する (S112) 。フレームバッファが満たされた場合 (S112: YES) 、処理部 106 は、記憶部 104 又は記憶装置 20 にフレーム分の画像データを出力する (S114) 。
　なお、第 3 受光領域 1284 と第 1 受光領域 1280 との間には 2F フレーム分の差があり、第 3 受光領域 1284 と第 2 受光領域 1282 との間には F フレーム分の差があるので、それぞれのフレームバッファからの出力は、ずれたタイミングで実行されてもよい。
　さらに、この処理の後において、受光領域ごとに、この後に続く S102 からのタイミングが適切にずれて処理されてもよい。例えば、第 3 受光領域 1284 からの画像データを出力して、第 3 受光領域 1284 に対するフレームバッファをクリアし、その F フレーム後に、第 2 受光領域 1282 からの画像データの出力及びフレームバッファをクリア、さらにその F フレーム後に、第 1 受光領域 1280 からの画像データの出力及びフレームバッファのクリアが実行されてもよい。すなわち、 S112 の分岐は、受光領域ごとに判定されてもよい。
　固体撮像装置 10 は、 S102 から S114 までの処理を必要なだけ繰り返してもよい。また、 S116 及び S118 の処理は、例えば、帯域ごとの画像データを取得する場合には必須の処理ではなく、任意に実行されてもよい。指標の出力までを固体撮像装置 10 で実行する場合には、以下に示すように、 S116 及び S118 の処理が実行される。
　指標の出力が必要となる場合には、処理部 106 は、指標に関する演算を実行する。処理部 106 は、例えば、上記の式(1)、式(2)、及び、式(3)に対応する演算を画像フレーム単位で実行する (S116) 。
　そして、固体撮像装置 10 は、 S116 で取得された指標を出力する (S118) 。このように、受光領域ごとに取得された画像データを出力してもよいし、これらの画像から取得できる何らかの指標をチップ内外で計算して出力してもよい。もちろん、受光領域ごとの画像データと、指標データとを併せて出力する形態であってもよい。
　以上のように、本実施形態に係る固体撮像装置 10 又は固体撮像システム 1 によれば、すでに製造されているイメージセンサに対して適切なフィルタを配置し、適切な演算を実行することで、大きな筐体及び高価なモジュールによる制御をすることなく、マルチスペクトル又はハイパースペクトルの帯域をカバーできるラインスキャンカメラを実現することが可能となる。
　上記にしたがって記憶領域を設定すると、複数フレーム分のデータを格納する容量が必要となるが、例えば、画素アレイ 124 において第 1 受光領域 1280 、第 2 受光領域 1282 、及び、第 3 受光領域 1284 以外の他の領域については、画像データを保存しなくてもよい。このため、固体撮像装置 10 は、本来であればこれらの他の領域について用いられるフレームバッファ等を必要に応じて必要となる記憶領域として用いることが可能であるため、受光領域の大きさを適切に設定することで、従来の構成においても十分な記憶容量を確保することも可能である。
　なお、カラム方向に対する速さを所定の速さに維持するために、可動ステージを備えてもよい。
　図16は、一実施形態に係る固体撮像システム 1 の一例を模式的に示す図である。固体撮像システム 1 は、ステージ 24 をさらに備える構成であってもよい。この図16には、記憶装置 20 及び処理装置 22 が示されていないが、これらの要素は、必要に応じて備えられてもよい。例えば、処理装置 22 により、ステージの速さ等の制御がされてもよい。
　ステージ 24 は、上面に載せた対象を所定の方向に所定の速さで移動させる可動ステージである。このステージ 24 は、 1 軸の方向に移動するステージであってもよい。このステージ 24 の 1 軸の方向がカラム方向となるように、固体撮像装置 10 が設置されてもよい。
　処理部 106 又は処理装置 22 は、固体撮像装置 10 の撮像面 (画素 126 の受光面) と、ステージ 24 の上面との距離、画素 126 のピッチ、及び、ステージ 24 の上面の動く速さに基づいて、適切に上記のフレーム数 F を定義することができる。また、上述したように、必要に応じて、 F が整数となるように、これらのいずれかのパラメータを変更することも可能である。
　(第 2 実施形態)
　前述の第 1 実施形態においては、固体撮像装置 10 内にフィルタを備えて、透過光の帯域を変化させる態様について説明したが、固体撮像装置 10 においてフィルタを備えることなく実現することも可能である。
　図17は、一実施形態に係る固体撮像システムの一例を模式的に示す図である。固体撮像システム 1 は、固体撮像装置 10 と、ステージ 24 と、光源 26 と、を備えてもよい。図16と同様に、固体撮像システム 1 は、必要に応じて記憶装置 20 と、処理装置 22 との少なくともいずれか一方を備えていてもよい。
　光源 26 は、ステージ 24 の上面 (固体撮像装置 10 が撮影する面) に、情報を取得したい波長帯域ごとの領域を生成する。光源 26 は、例えば、ステージ 24 の上面に、第 1 照射領域 260 、第 2 照射領域 262 、及び、第 3 照射領域 264 を形成する。上記と同様の例を用いる場合、光源 26 は、可視光の光を照射した第 1 照射領域 260 と、 NIR の波長帯域の光を照射した第 2 照射領域 262 と、 SWIR の波長帯域の光を照射した第 3 照射領域 264 と、をステージ上にそれぞれの帯域に対応する光を照射することで形成する。
　なお、光源 26 は、 1 つのみ示されているが、これに限定されるものではない。複数の光源 26 により、適切に照射領域が定義できる形態であってもよい。
　固体撮像装置 10 は、画素アレイ 124 の所定の領域において、これらの領域の情報が適切に取得できるように、配置される。固体撮像装置 10 は、例えば、画素アレイ 124 内の所定の領域における撮像範囲が、点線で示される撮像範囲 240 となるように配置される。また、固体撮像装置 10 の配置とともに、固体撮像装置 10 の光学系 100 等を調整することで、このような撮像範囲 240 を設定してもよい。
　固体撮像装置 10 は、画素アレイ 124 におけるそれぞれの照射領域を受光する範囲を、第 1 実施形態におけるそれぞれの受光領域として設定する。このように設定することで、図15と同様の処理をして、固体撮像装置 10 は、適切にそれぞれの波長帯域ごとの画像データを取得することが可能となる。
　以上のように、本実施形態によれば、固体撮像装置 10 の構成についてフィルタ等を装着するといった変更しない態様においても同様の動作を実現することが可能となる。
　前述した実施形態は、以下のような形態としてもよい。
　(1)
　第 1 方向及び前記第 1 方向と交わる第 2 方向に沿って 2 次元のアレイ状に受光素子を有し、前記第 1 方向に沿って配置され、それぞれに異なる波長の光を受光し、又は、それぞれに異なる波長の光が入射される、複数の領域が配置される、センサと、
　前記複数の領域のそれぞれの領域の属する前記受光素子において取得される信号に基づいて、前記第 2 方向に沿って移動する物体の情報を補正した画像を取得する、信号処理回路と、
　を備える、固体撮像装置。
　(2)
　前記信号処理回路は、前記複数の領域から取得したそれぞれの波長に関する撮影像に基づいて、前記第 2 方向に沿った物体の位置のズレを補正した画像を取得する、
　(1)に記載の固体撮像装置。
　(3)
　前記センサの受光面側において異なる波長領域に透過特性を有する複数のフィルタを前記第 1 方向に沿って配置して、前記センサにおいて前記複数の領域を形成する、
　(1)又は(2)に記載の固体撮像装置。
　(4)
　前記複数のフィルタは、前記センサに取り付け及び取り外しが可能である、
　(3)に記載の固体撮像装置。
　(5)
　前記センサの受光面において、前記複数のフィルタのうち 1 つのフィルタを介した光が入射される領域を、前記複数の領域とする、
　(3)又は(4)に記載の固体撮像装置。
　(6)
　前記信号処理回路は、前記複数の領域において物体における同じ領域を取得する時間差に基づいて、物体の情報を補正した画像を取得する、
　(1)から(5)のいずれかに記載の固体撮像装置。
　(7)
　前記信号処理回路は、補正した前記複数の領域ごとの波長に対する画像を出力する、
　(1)から(6)のいずれかに記載の固体撮像装置。
　(8)
　前記信号処理回路は、補正した前記複数の領域ごとの波長に対する画像から、所定指標を算出して出力する、
　(1)から(7)のいずれかに記載の固体撮像装置。
　(9)
　前記所定指標は、 NDWI (Normalized Difference Water Index) 又は NDVI (Normalized Difference Vegetable Index) である、
　(8)に記載の固体撮像装置。
　(10)
　前記複数の領域として、可視光領域の波長を受光する領域、近赤外領域の波長を受光する領域、及び、短波赤外領域の波長を受光する領域を少なくとも備える、
　(1)から(9)のいずれかに記載の固体撮像装置。
　(11)
　前記センサと、前記信号処理回路は、同一のチップ内に備えられる、
　(1)から(10)のいずれかに記載の固体撮像装置。
　(12)
　(1)から(11)のいずれかに記載の固体撮像装置と、
　前記第 2 方向に物体を移動可能なステージと、
　を備え、
　前記ステージに伴い移動する物体を、前記固体撮像装置を用いて撮像し、波長ごとの物体の撮影像を取得する、
　固体撮像システム。
　(13)
　複数の波長の光を所定の前記第 1 方向に沿った領域に射出する、光源、
　をさらに備え、
　前記センサに配置される前記複数の領域のそれぞれの領域において、前記光源から射出された光の反射光、又は、透過光を受光する、
　(3)から(5)のいずれかに従属しない(12)に記載の固体撮像システム。
　本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。
　1: 固体撮像システム、
　 10: 固体撮像装置、
　 100: 光学系、
　 102: 撮像素子、
　  120: 垂直駆動回路、
　  122: 水平駆動回路、
　  124: 画素アレイ、
　   126: 画素、
　   128: 受光領域、
　    1280: 第 1 受光領域、
　    1282: 第 2 受光領域、
　    1284: 第 3 受光領域、
　    1286: 境界領域、
　  130: マスク、
　  132: フィルタ部、
　   134: 第 1 フィルタ、
　   136: 第 2 フィルタ、
　   138: 第 3 フィルタ、
　  140: 遮光部、
　 104: 記憶部、
　 106: 処理部、
　 108: I/F、
　 20: 記憶装置、
　 22: 処理装置、
　 24: ステージ、
　  240: 撮像範囲、
　 26: 光源、
　  260: 第 1 照射領域、
　  262: 第 2 照射領域、
　  264: 第 3 照射領域、
　 30: 基板、
　 32: 第 1 基板、
　 34: 第 2 基板、
　  300: 画素領域、
　  302: 制御回路、
　  304: ロジック回路

Claims (13)

  1. 　第 1 方向及び前記第 1 方向と交わる第 2 方向に沿って 2 次元のアレイ状に受光素子を有し、前記第 1 方向に沿って配置され、それぞれに異なる波長の光を受光し、又は、それぞれに異なる波長の光が入射される、複数の領域が配置される、センサと、
    　前記複数の領域のそれぞれの領域の属する前記受光素子において取得される信号に基づいて、前記第 2 方向に沿って移動する物体の情報を補正した画像を取得する、信号処理回路と、
    　を備える、固体撮像装置。
  2. 　前記信号処理回路は、前記複数の領域から取得したそれぞれの波長に関する撮影像に基づいて、前記第 2 方向に沿った物体の位置のズレを補正した画像を取得する、
    　請求項1に記載の固体撮像装置。
  3. 　前記センサの受光面側において異なる波長領域に透過特性を有する複数のフィルタを前記第 1 方向に沿って配置して、前記センサにおいて前記複数の領域を形成する、
    　請求項1に記載の固体撮像装置。
  4. 　前記複数のフィルタは、前記センサに取り付け及び取り外しが可能である、
    　請求項3に記載の固体撮像装置。
  5. 　前記センサの受光面において、前記複数のフィルタのうち 1 つのフィルタを介した光が入射される領域を、前記複数の領域とする、
    　請求項3に記載の固体撮像装置。
  6. 　前記信号処理回路は、前記複数の領域において物体における同じ領域を取得する時間差に基づいて、物体の情報を補正した画像を取得する、
    　請求項1に記載の固体撮像装置。
  7. 　前記信号処理回路は、補正した前記複数の領域ごとの波長に対する画像を出力する、
    　請求項1に記載の固体撮像装置。
  8. 　前記信号処理回路は、補正した前記複数の領域ごとの波長に対する画像から、所定指標を算出して出力する、
    　請求項1に記載の固体撮像装置。
  9. 　前記所定指標は、 NDWI (Normalized Difference Water Index) 又は NDVI (Normalized Difference Vegetable Index) である、
    　請求項8に記載の固体撮像装置。
  10. 　前記複数の領域として、可視光領域の波長を受光する領域、近赤外領域の波長を受光する領域、及び、短波赤外領域の波長を受光する領域を少なくとも備える、
    　請求項1に記載の固体撮像装置。
  11. 　前記センサと、前記信号処理回路は、同一のチップ内に備えられる、
    　請求項1に記載の固体撮像装置。
  12. 　請求項1に記載の固体撮像装置と、
    　前記第 2 方向に物体を移動可能なステージと、
    　を備え、
    　前記ステージに伴い移動する物体を、前記固体撮像装置を用いて撮像し、波長ごとの物体の撮影像を取得する、
    　固体撮像システム。
  13. 　複数の波長の光を所定の前記第 1 方向に沿った領域に射出する、光源、
    　をさらに備え、
    　前記センサに配置される前記複数の領域のそれぞれの領域において、前記光源から射出された光の反射光、又は、透過光を受光する、
    　請求項12に記載の固体撮像システム。
PCT/JP2023/017598 2022-06-29 2023-05-10 固体撮像装置 WO2024004388A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022105081A JP2022146950A (ja) 2022-06-29 2022-06-29 固体撮像装置
JP2022-105081 2022-06-29

Publications (1)

Publication Number Publication Date
WO2024004388A1 true WO2024004388A1 (ja) 2024-01-04

Family

ID=83461467

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/017598 WO2024004388A1 (ja) 2022-06-29 2023-05-10 固体撮像装置

Country Status (2)

Country Link
JP (1) JP2022146950A (ja)
WO (1) WO2024004388A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003159A (ja) * 2011-06-10 2013-01-07 Olympus Corp 撮像装置
JP2017208813A (ja) * 2016-05-13 2017-11-24 アジア航測株式会社 マルチラインイメージセンサ装置、撮影装置、移動体検出装置、及び移動体検出プログラム
US20180204863A1 (en) * 2017-01-17 2018-07-19 Imec Vzw Image sensor, an imaging device, an imaging system and a method for spectral imaging
JP2019129178A (ja) * 2018-01-22 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 半導体素子及び電子機器
JP2021048464A (ja) * 2019-09-18 2021-03-25 ソニーセミコンダクタソリューションズ株式会社 撮像デバイス、撮像システム及び撮像方法
WO2021100426A1 (ja) * 2019-11-19 2021-05-27 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013003159A (ja) * 2011-06-10 2013-01-07 Olympus Corp 撮像装置
JP2017208813A (ja) * 2016-05-13 2017-11-24 アジア航測株式会社 マルチラインイメージセンサ装置、撮影装置、移動体検出装置、及び移動体検出プログラム
US20180204863A1 (en) * 2017-01-17 2018-07-19 Imec Vzw Image sensor, an imaging device, an imaging system and a method for spectral imaging
JP2019129178A (ja) * 2018-01-22 2019-08-01 ソニーセミコンダクタソリューションズ株式会社 半導体素子及び電子機器
JP2021048464A (ja) * 2019-09-18 2021-03-25 ソニーセミコンダクタソリューションズ株式会社 撮像デバイス、撮像システム及び撮像方法
WO2021100426A1 (ja) * 2019-11-19 2021-05-27 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP2022146950A (ja) 2022-10-05

Similar Documents

Publication Publication Date Title
US11019287B2 (en) Semi-global shutter imager
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
EP2428993B1 (en) Imaging device and imaging apparatus
US20160073043A1 (en) Systems and Methods for Enhanced Infrared Imaging
US11659289B2 (en) Imaging apparatus and method, and image processing apparatus and method
JP2009177727A (ja) 撮像装置
JP2010252105A (ja) 撮像装置
JP2012215785A5 (ja)
CN110771152A (zh) 摄像机装置、复眼摄像装置和图像处理方法以及程序和记录介质
US10602919B2 (en) Imaging device
US11460666B2 (en) Imaging apparatus and method, and image processing apparatus and method
US20230402473A1 (en) Multispectral image sensor and imaging module thereof
US20140204200A1 (en) Methods and systems for speed calibration in spectral imaging systems
CN108141538A (zh) 摄像装置及图像处理装置
WO2018163771A1 (ja) 水質検査システム及び水質検査方法
JP2005191748A (ja) 撮像装置
US20220078359A1 (en) Imaging apparatus
WO2024004388A1 (ja) 固体撮像装置
JP2006177812A (ja) 二次元分光輝度計
JP5108013B2 (ja) カラー撮像素子及びこれを用いた撮像装置及びフィルタ
WO2017126242A1 (ja) 撮像装置、及び、画像データ生成方法
US11627259B2 (en) Device, method and computer program
Cavanaugh et al. VNIR hypersensor camera system
DE112021000671T5 (de) Elektronisches gerät
JP7028279B2 (ja) 電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23830840

Country of ref document: EP

Kind code of ref document: A1