WO2022190826A1 - 撮像装置及び電子機器 - Google Patents

撮像装置及び電子機器 Download PDF

Info

Publication number
WO2022190826A1
WO2022190826A1 PCT/JP2022/006793 JP2022006793W WO2022190826A1 WO 2022190826 A1 WO2022190826 A1 WO 2022190826A1 JP 2022006793 W JP2022006793 W JP 2022006793W WO 2022190826 A1 WO2022190826 A1 WO 2022190826A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixels
pixel
unit
imaging device
light
Prior art date
Application number
PCT/JP2022/006793
Other languages
English (en)
French (fr)
Inventor
盛一 大槻
成希 中村
宜邦 野村
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US18/263,662 priority Critical patent/US20240089567A1/en
Priority to CN202280018768.4A priority patent/CN116941247A/zh
Priority to JP2023505261A priority patent/JPWO2022190826A1/ja
Publication of WO2022190826A1 publication Critical patent/WO2022190826A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only

Definitions

  • the present disclosure relates to imaging devices and electronic devices.
  • RGB cameras visible light cameras
  • RGB cameras visible light cameras
  • the present disclosure proposes an imaging device and an electronic device capable of obtaining a color image with high resolution.
  • a pixel array section configured by arranging a plurality of pixels of five or more types with different detectable light wavelength bands in stages along a row direction and a column direction, the pixel array At each point having any spatial phase on the part, the plurality of pixels are arranged such that the mixed spectral characteristics obtained by mixing the spectral characteristics of a predetermined number of pixels around the point are substantially the same.
  • An imaging device for arraying is provided.
  • an electronic device equipped with an imaging device, wherein the imaging device includes a plurality of pixels of five or more types that differ stepwise in wavelength bands of detectable light in the row direction and the column direction. At each point having any spatial phase on the pixel array section, spectral characteristics of a predetermined number of pixels around the point are obtained by mixing the spectral characteristics of the pixels.
  • An electronic device is provided in which the plurality of pixels are arranged such that the mixed spectral characteristics obtained are substantially the same.
  • FIG. 5 is an explanatory diagram showing a planar configuration example of an image sensor 130 according to a comparative example
  • FIG. 1 is an explanatory diagram for explaining an outline of a first embodiment of the present disclosure
  • 1 is a system diagram showing a schematic configuration of an image processing system 10 according to a first embodiment of the present disclosure
  • FIG. 1 is an explanatory diagram showing an example of a functional configuration of a camera 100 according to the first embodiment of the present disclosure
  • FIG. 1 is an explanatory diagram showing a planar configuration example of an image sensor 130 according to the first embodiment of the present disclosure
  • FIG. 3 is an equivalent circuit diagram of a pixel 304 according to the first embodiment of the present disclosure
  • FIG. 3A is a cross-sectional view of a pixel 304 according to the first embodiment of the present disclosure
  • FIG. 3 is an explanatory diagram (part 1) showing an example of a planar configuration of a unit 302 of the pixel array section 300 of the image sensor 130 according to the first embodiment of the present disclosure
  • FIG. 2 is an explanatory diagram (part 2) showing an example of a planar configuration of a unit 302 of the pixel array section 300 of the image sensor 130 according to the first embodiment of the present disclosure
  • FIG. FIG. 4 is an explanatory diagram illustrating an example of mixed spectral characteristics according to the first embodiment of the present disclosure
  • 3 is a block diagram showing an example of a functional configuration of a signal processing section 140 according to the first embodiment of the present disclosure
  • FIG. 2 is a block diagram showing an example of a functional configuration of an image processing device 500 according to the first embodiment of the present disclosure
  • FIG. 4 is a flowchart showing an example of image processing according to the first embodiment of the present disclosure
  • FIG. 10 is an explanatory diagram showing an example of a planar configuration of a unit 302 of a pixel array section 300 of an image sensor 130 according to the second embodiment of the present disclosure
  • 3 is a schematic diagram of the appearance of an unmanned air vehicle 920.
  • FIG. FIG. 3 is a block diagram showing an example of a schematic functional configuration of an unmanned flying object 920
  • 3 is a block diagram showing an example of hardware configuration;
  • the drawings referred to in the following description are drawings for describing one embodiment of the present disclosure and for facilitating understanding thereof. may differ from Furthermore, the imaging device shown in the drawings can be appropriately modified in design in consideration of the following description and known techniques. Further, in the description using the cross-sectional view of the imaging device, the vertical direction of the cross-sectional structure of the imaging device corresponds to the relative direction when the light-receiving surface on which the incident light enters the imaging device faces upward. It may differ from the vertical direction according to the actual gravitational acceleration.
  • electrically connecting means connecting multiple elements directly or indirectly through other elements.
  • spectral characteristics means the detection sensitivity of each pixel mounted on the image sensor to light of each wavelength.
  • mixed spectral characteristics refer to the “spectral characteristics” obtained by mixing the “spectral characteristics” of each pixel in a plurality of predetermined pixels adjacent to each other on the light receiving surface (pixel array section) of the image sensor. shall mean the sum or average value of “characteristics”.
  • a plurality of types of pixels that detect light in each wavelength band are arranged so that a predetermined pattern (unit unit) is repeated. I'm in.
  • the pattern (unit unit) is defined as one period
  • the relative position with respect to the pattern is expressed as a position within the period. .
  • FIG. 1 is an explanatory diagram showing a planar configuration example of an image sensor 130 according to a comparative example, which is used in a multispectral camera.
  • the comparative example means the image sensor 130 that the present inventor repeatedly studied before making the embodiment of the present disclosure.
  • 1 also shows a light receiving surface (pixel array portion) 300 of the image sensor 130 and an enlarged view of unit units 302a arranged in a matrix (along the row direction and the column direction) on the light receiving surface 300.
  • FIG. 1 is an explanatory diagram showing a planar configuration example of an image sensor 130 according to a comparative example, which is used in a multispectral camera.
  • the comparative example means the image sensor 130 that the present inventor repeatedly studied before making the embodiment of the present disclosure.
  • 1 also shows a light receiving surface (pixel array portion) 300 of the image sensor 130 and an enlarged view of unit units 302a arranged in a matrix (along the row direction and the column direction) on the light receiving surface 300.
  • each pixel 304 of the unit 302a indicates the median wavelength of the wavelength band of light detectable by each pixel 304, and each pixel 304 has substantially the same width. It is assumed that the light of each wavelength band can be detected.
  • RGB cameras which can detect light with a wide range of wavelengths as the three RGB primary colors.
  • RGB cameras it is difficult to capture subtle color differences that are invisible to the human eye, and there is a limit to accurately detecting and reproducing the colors of a subject.
  • a high-resolution multispectral camera that can detect light by dividing it into a plurality of fine wavelengths.
  • a multispectral camera may be, for example, a conventional R (red), G (green), B (blue) or Y (yellow), M (magenta) camera based on color primaries or color-matching functions. ) and C (cyan), which are five or more wavelength bands (five bands or more), which is more than the three wavelength bands (three bands) of C (cyan) (multispectrum).
  • the example image sensor 130 shown in FIG. 1 is an image sensor for a multispectral camera capable of detecting light in 16 wavelength bands.
  • the example shown in FIG. 1 is an image sensor 130 composed of 16 types of pixels 304 that detect light in different wavelength bands.
  • each pixel 304 can only detect light in one wavelength band, so each pixel 304 can only obtain color information in one wavelength band. Therefore, a color image is generated by complementing the color information of one pixel 304 using pixel signals from other pixels 304 adjacent to the one pixel 304 and capable of detecting light in different wavelength bands. do. By doing so, it is possible to obtain a color image with high luminance and spectral spatial resolution. Such processing is called demosaic processing.
  • the multispectral camera detects light in five or more wavelength bands. It has been found that due to the arrangement of the pixels 304, it may be difficult to obtain a color image with desired luminance and spectral spatial resolutions even with demosaicing.
  • the light receiving surface (pixel array portion) 300 of the image sensor 130 according to the comparative example is configured by arranging a plurality of unit units 302a along the column direction and the row direction.
  • the unit 302a is composed of 16 pixels 304 arranged in 4 rows and 4 columns as shown in FIG. 1, and the 16 pixels 304 detect light in different wavelength bands.
  • the arrangement of the pixels 304 in the unit 302a is arranged in order of the wavelength of light to be detected. In such a case, it can be said that the pixels 304 that detect long-wavelength light in the unit 302a are biased toward the lower side in the figure. Due to such a bias, in other words, the pixels 304 of different types are not uniformly arranged in the entire unit 302a. Therefore, it is difficult to obtain a color image with the desired luminance and spectral spatial resolution.
  • the present inventors focused on the planar arrangement of the pixels 304 of the image sensor 130 for a multispectral camera capable of detecting light in five or more wavelength bands, and the present inventors described below.
  • the disclosed embodiments have been created.
  • FIG. 2 is an explanatory diagram for explaining the outline of the first embodiment of the present disclosure. More specifically, the unit 302a of the comparative example is shown on the left side of FIG. The unit 302 of this embodiment is shown on the right side. 2 indicates the median wavelength of the wavelength band of light detectable by each pixel 304. Each pixel 304 is It is assumed that light in each wavelength band having approximately the same width can be detected.
  • the pixels 304 that detect long-wavelength light are biased toward the lower side of the drawing, as described above.
  • the pixels 304 are not arranged in the order of the wavelengths of light to be detected. Different types of pixels 304 are arranged uniformly throughout the unit 302 without being separated from each other. By doing so, in the present embodiment, it is possible to interpolate with color information that does not have close wavelengths during demosaic processing, in other words, it is possible to interpolate with unbiased color information. and a color image with spectral spatial resolution.
  • the unit units 302 are repeated on the light receiving surface (pixel array portion) 300 of the image sensor 130, the unit units 302 are regarded as one cycle, and the relative position of any point in the unit units 302 is the spatial phase.
  • the mixed spectral characteristics obtained by mixing the spectral characteristics of the pixels 304 around the point are uniform (substantially the same). It can be said that the pixels 304 of different types are arranged as shown.
  • the unit 302 is composed of 16 types of pixels 304 that detect light in 16 different wavelength bands in stages.
  • the pixels 304 that detect light in wavelength bands that are not adjacent to each other are arranged so as to be adjacent in the row direction and the column direction, and detect light in wavelength bands that are adjacent to each other.
  • the adjacent pixels 304 are arranged so as not to be adjacent to each other in the row direction and the column direction.
  • the light of each wavelength is evenly detected by each region of the light receiving surface (pixel array portion) 300 of the image sensor 130. Therefore, the demosaicing process can be performed. In this case, it becomes possible to complement with color information that does not have a close wavelength. Therefore, in this embodiment, color information can be complemented with unbiased color information, so that a color image with high luminance and spectral spatial resolution can be obtained.
  • the pixels 304 are not arranged in the order of the wavelengths of detectable light, so the influence of light from the adjacent pixels 304 is less likely to occur, thereby suppressing the occurrence of color mixture. be able to.
  • FIG. 3 is a system diagram showing a schematic configuration of the image processing system 10 according to the first embodiment of the present disclosure.
  • the image processing system 10 can mainly include, for example, a camera 100, an image processing device 500, and a server 600, which are interconnected via a network (not shown). communicatively connected. Specifically, the camera 100, the image processing device 500, and the server 600 are connected via, for example, a base station (not shown) (for example, a mobile phone base station, a wireless LAN (Local Area network) access point, etc.). Connected to the above network.
  • the communication method used in the network can be any method regardless of whether it is wired or wireless (e.g., WiFi (registered trademark), Bluetooth (registered trademark), etc.), but stable operation must be maintained. It is desirable to use a communication method that allows An outline of each device included in the image processing system 10 according to the present embodiment will be described below.
  • the camera 100 includes the image sensor 130 having the light-receiving surface (pixel array section) 300 as described above, captures an image of a subject, and can output the image obtained by the capture to the image processing device 500 .
  • a detailed configuration of the camera 100 will be described later.
  • the image processing apparatus 500 can perform various processes on the image acquired from the camera 100 described above, and can output the data obtained by the process to the server 600 described later.
  • the image processing device 500 can be hardware such as a desktop PC (Personal Computer), a laptop PC, a tablet, a smart phone, or a mobile phone.
  • some functions of the image processing device 500 may be performed by the camera 100 described above. Details of the image processing apparatus 500 will be described later.
  • the server 600 can accumulate and analyze data obtained from the image processing apparatus 500, and distribute the analysis results.
  • the server 600 can be configured by a computer or the like, for example.
  • FIG. 3 shows the image processing system 10 according to the present embodiment as including one camera 100, an image processing device 500, and a server 600, the present embodiment is limited to this. not something.
  • the image processing system 10 according to this embodiment may include multiple cameras 100 or may not include the server 600 .
  • FIG. 4 is an explanatory diagram showing an example of the functional configuration of the camera 100 according to the first embodiment of the present disclosure.
  • the camera 100 mainly has an optical lens 110, a shutter mechanism 120, an image sensor 130, a signal processing section 140, an output section 150, and a control section 160. Each element included in the camera 100 will be sequentially described below.
  • the optical lens 110 can form an image of image light (incident light) from a subject on a light receiving surface (pixel array section) 300 of the image sensor 130, which will be described later. As a result, an electric charge is generated in each pixel 304 of the image sensor 130 and taken out as a pixel signal.
  • the shutter mechanism 120 can control the light irradiation period and the light shielding period of the image sensor 130 by opening and closing.
  • the image sensor 130 can receive image light (incident light) from a subject, generate charges, and output pixel signals based on the generated charges to the signal processing unit 140 described later. A detailed configuration of the image sensor 130 will be described later.
  • the signal processing unit 140 is composed of various electronic circuits, acquires a pixel signal from each pixel 304 of the image sensor 130, and performs various signal processing on the acquired pixel signal to generate image data. Furthermore, the signal processing unit 140 can output the generated image data to the output unit 150 . Note that the functional configuration of the signal processing unit 140 will be described later.
  • the output unit 150 can output the image data obtained from the signal processing unit 140 described above to, for example, the image processing device 500, a storage medium such as a memory (not shown), a display device (not shown), or the like.
  • control unit 160 can supply drive signals for controlling the transfer operation of pixel signals of the image sensor 130, the shutter operation of the shutter mechanism 120, and the like.
  • the image sensor 130 performs signal transfer based on a drive signal (timing signal) supplied from the control section 160 .
  • the configuration of the camera 100 is not limited to the configuration shown in FIG. 4, and may be integrated with the image processing device 500, for example.
  • FIG. 5 is an explanatory diagram showing a planar configuration example of the image sensor 130 according to this embodiment.
  • the image sensor 130 is a pixel array in which a plurality of pixels 304 are arranged in a matrix along the row and column directions on a semiconductor substrate 310 made of silicon, for example. It has a portion (light receiving surface) 300 and a peripheral circuit portion provided so as to surround the pixel array portion 300 . Further, the image sensor 130 includes a vertical drive circuit section 332, a column signal processing circuit section 334, a horizontal drive circuit section 336, an output circuit section 338, a control circuit section 340, etc. as the peripheral circuit section. Details of each block of the image sensor 130 are described below.
  • the pixel array section (light receiving surface) 300 has a plurality of pixels 304 two-dimensionally arranged in a matrix along the row and column directions on a semiconductor substrate 310 .
  • the pixel array section 300 is configured by arranging unit units (unit regions) 302 each including a plurality of different types of pixels 304 along the column and row directions.
  • each pixel 304 has a size of about 2.9 ⁇ m ⁇ 2.9 ⁇ m. of pixels 304 are arranged. Details of the arrangement of the pixels 304 in this embodiment will be described later.
  • Each pixel 304 is an element that performs photoelectric conversion on incident light, and includes a photoelectric conversion unit (not shown) and a plurality of pixel transistors (for example, MOS (Metal-Oxide-Semiconductor) transistors) (not shown). omitted).
  • the pixel transistor includes four MOS transistors, for example, a transfer transistor, a selection transistor, a reset transistor, and an amplification transistor. Note that the equivalent circuit and detailed structure of the pixel 304 will be described later.
  • the vertical drive circuit section 332 is formed of, for example, a shift register, selects a pixel drive wiring 342, supplies a pulse for driving the pixels 304 to the selected pixel drive wiring 342, and drives the pixels 304 row by row. . That is, the vertical drive circuit unit 332 sequentially selectively scans the pixels 304 of the pixel array unit 300 in units of rows in the vertical direction, and generates a signal according to the amount of light received by a photoelectric conversion unit (not shown) of each pixel 304. A pixel signal based on the charge is supplied to the column signal processing circuit section 334 to be described later through the vertical signal line 344 .
  • the column signal processing circuit unit 334 is arranged for each column of the pixels 304 and performs signal processing such as noise removal on pixel signals output from the pixels 304 of one row for each column of the pixels 304 .
  • the column signal processing circuit unit 334 performs signal processing such as CDS (Correlated Double Sampling) and AD (Analog-Digital) conversion to remove fixed pattern noise unique to the pixels 304 .
  • the horizontal drive circuit section 336 is formed of, for example, a shift register, and sequentially outputs horizontal scanning pulses to sequentially select each of the column signal processing circuit sections 334 described above, and to output pixels from each of the column signal processing circuit sections 334 .
  • a signal is output on the horizontal signal line 346 .
  • the output circuit section 338 performs signal processing on pixel signals sequentially supplied from each of the column signal processing circuit sections 334 described above through the horizontal signal line 346 and outputs the processed signal.
  • the output circuit section 338 may function, for example, as a functional section that performs buffering, or may perform processing such as black level adjustment, column variation correction, and various digital signal processing. Note that buffering refers to temporarily storing pixel signals in order to compensate for differences in processing speed and transfer speed when exchanging pixel signals.
  • the input/output terminal 348 is a terminal for exchanging signals with an external device.
  • Control circuit unit 340 receives an input clock and data instructing an operation mode and the like, and outputs data such as internal information of the image sensor 130 . That is, the control circuit unit 340 generates a clock signal and a clock signal that serve as a reference for the operation of the vertical drive circuit unit 332, the column signal processing circuit unit 334, the horizontal drive circuit unit 336, and the like based on the vertical synchronization signal, the horizontal synchronization signal, and the master clock. Generate control signals. The control circuit section 340 then outputs the generated clock signal and control signal to the vertical drive circuit section 332, the column signal processing circuit section 334, the horizontal drive circuit section 336, and the like.
  • the configuration of the image sensor 130 is not limited to the configuration shown in FIG.
  • FIG. 6 is an equivalent circuit diagram of the pixel 304 according to this embodiment.
  • the pixel 304 includes a photodiode PD as a photoelectric conversion element (photoelectric conversion unit) that converts light into charge, a transfer transistor TG, a floating diffusion region FD, a reset transistor RST, an amplification transistor AMP, and a selection transistor AMP. It has a transistor SEL.
  • one of the source/drain of the transfer transistor TG is electrically connected to a photodiode PD that receives light and generates charges, and the transfer transistor TG is electrically connected to the floating diffusion region FD.
  • the transfer transistor TG becomes conductive in accordance with the voltage applied to its gate, and can transfer the charge generated in the photodiode PD to the floating diffusion region FD.
  • the floating diffusion region FD is electrically connected to the gate of the amplification transistor AMP that converts charge into voltage and outputs it as a pixel signal.
  • one of the source/drain of the amplification transistor AMP is electrically connected to one of the source/drain of the selection transistor for outputting the pixel signal obtained by the conversion to the signal line VSL according to the selection signal.
  • the other of the source/drain of the amplification transistor AMP is electrically connected to the power supply circuit (power supply potential VDD).
  • the other of the source/drain of the selection transistor SEL is electrically connected to the signal line VSL that transmits the converted voltage as a pixel signal, and is further electrically connected to the column signal processing circuit section 334 described above.
  • the gate of the selection transistor SEL is electrically connected to a selection line (not shown) that selects a row for outputting a signal, and is further electrically connected to the vertical drive circuit section 332 described above. That is, the charge accumulated in the floating diffusion region FD is converted into a voltage by the amplification transistor AMP under the control of the selection transistor SEL, and is output to the signal line.
  • the floating diffusion region FD is electrically connected to one of the drain/source of the reset transistor RST for resetting the accumulated charges.
  • a gate of the reset transistor RST is electrically connected to a reset signal line (not shown) and further electrically connected to the above-described vertical driving circuit section 332 .
  • the other drain/source of the reset transistor RST is electrically connected to a power supply circuit (power supply potential VDD).
  • the reset transistor RST becomes conductive in accordance with the voltage applied to its gate, and can reset (discharge to the power supply circuit (power supply potential VDD)) the charge accumulated in the floating diffusion region FD.
  • FIG. 7 is a cross-sectional view of the pixel 304 according to this embodiment, and for the sake of clarity, part of the cross-sectional configuration of the actual pixel 304 is omitted in FIG.
  • the cross section of the pixel 304 is illustrated so that the light receiving surface on which light is incident on the pixel 304 faces upward.
  • a semiconductor region 430 having a is provided.
  • a photodiode PD that converts light into electric charge is formed in the semiconductor substrate 310 by the PN junction of the semiconductor region 430 .
  • a wiring layer 400 including a wiring 440 formed of, for example, silicon oxide (SiO 2 ) and an interlayer insulating film 450 formed of silicon oxide (SiO 2 ) or the like is provided. Furthermore, the wiring layer 400 is provided with a plurality of electrodes (not shown) made of W, Al, Cu, etc., as gate electrodes of a plurality of pixel transistors for reading out charges generated in the photodiode PD.
  • the electrode is provided so as to face a semiconductor region having a first conductivity type (for example, P-type) in the semiconductor substrate 310 via an insulating film (not shown). Furthermore, in the semiconductor substrate 310, a semiconductor region having a second conductivity type (for example, N type) is provided so as to be adjacent to the semiconductor region having the first conductivity type.
  • the shaped semiconductor regions function as the source/drain regions of the pixel transistor.
  • a floating diffusion portion (common charge storage portion) (not shown), which is a semiconductor region having a second conductivity type (for example, N type), is provided.
  • the floating diffusion portion can temporarily store the charge generated by the photodiode PD.
  • a filter 410 is provided for each pixel 304 on the incident surface of the semiconductor substrate 310 .
  • the filter 410 is a narrow band filter that transmits light of wavelengths within a predetermined range (wavelength band). can be formed.
  • the filter 410 may be a plasmon filter.
  • an electromagnetic wave called surface plasmon which is a combination of light and electron compressional waves, is excited on the metal surface.
  • Such excitation of surface plasmons can cause an anomalous transmission phenomenon of plasmons that transmit light having a specific wavelength in a metal having a periodic microstructure on its surface. Therefore, by utilizing such a phenomenon, it is possible to obtain a filter that transmits light of a specific wavelength, that is, a plasmon filter.
  • an on-chip lens 420 is provided for each pixel 304 on the incident surface of the semiconductor substrate 310, as shown in FIG.
  • the on-chip lens 420 can be made of, for example, Si 3 N 4 or a resin material such as styrene resin, acrylic resin, styrene-acrylic copolymer resin, or siloxane resin.
  • cross-sectional structure of the pixel 304 according to the present embodiment is not limited to the example shown in FIG. 7, and may include, for example, an antireflection layer or the like, and is not particularly limited.
  • FIG. 8 and 9 are explanatory diagrams showing an example of the planar configuration of the unit 302 of the pixel array section 300 of the image sensor 130 according to this embodiment.
  • 8 indicates the median wavelength of the wavelength band of light detectable by each pixel 304.
  • the character shown on each pixel 304 indicates the type of pixel 304 .
  • each pixel 304 shall be capable of detecting light of each wavelength band having approximately the same width.
  • FIG. 10 is an explanatory diagram for explaining an example of mixed spectral characteristics in this embodiment.
  • the unit 302 is composed of 16 different types of pixels 304 arranged in 4 rows and 4 columns (m rows and n columns), for example, as shown in FIG. That is, each pixel 304 can detect light in different wavelength bands in stages.
  • the types of pixels 304 included in the unit 302 are not limited to 16 types as shown in FIG. not something.
  • the number of rows and columns (m rows and n columns) of the pixels 304 in the unit 302 is not limited to the example in FIG.
  • the unit 302 since the unit 302 is repeated in the pixel array section 300, the unit 302 is regarded as one period, and the relative position of an arbitrary point in the unit 302 is expressed in spatial phase. can be expressed. Therefore, in the present embodiment, at each point having any spatial phase on the pixel array section 300, the mixed spectral characteristics obtained by mixing the spectral characteristics of the pixels 304 around the point are uniform (substantially the same). Different types of pixels 304 are arranged so that
  • the pixels 304 that detect light in wavelength bands that are not adjacent to each other are arranged adjacent to each other in the row direction and the column direction, Furthermore, the pixels 304 that detect light in wavelength bands that are adjacent to each other are arranged so as not to be adjacent in the row direction and the column direction.
  • the image sensor 130 According to the image sensor 130 according to the present embodiment having such unitary units 302, light of each wavelength is evenly detected by each region of the pixel array section 300 of the image sensor 130. Therefore, during demosaicing, It becomes possible to complement with color information that does not have a close wavelength. Therefore, in this embodiment, color information can be complemented with unbiased color information, so that a color image with high luminance and spectral spatial resolution can be obtained. In addition, in this embodiment, since the pixels 304 that detect light of similar wavelengths are not adjacent to each other, the influence of light from the adjacent pixels 304 is reduced, and the occurrence of color mixture can be suppressed.
  • the arrangement of the pixels 304 is not limited to the example in FIG. Therefore, another example will be described with reference to FIG.
  • a plurality of points are set that are separated from each other by a predetermined number of pixels 304 on the pixel array section 300 .
  • the plurality of points (points indicated by Y in the drawing) are separated from each other by one pixel 304 .
  • the plurality of points are not limited to being separated from each other by one pixel 304 , and are particularly limited as long as they are separated by a certain number of pixels 304 . not to be
  • the unit 302 since the unit 302 is repeated in the pixel array section 300, the unit 302 is regarded as one cycle, and the relative position of an arbitrary point in the unit 302 is defined in space. It can be expressed in terms of phase. Therefore, it can be said that the respective Y points in FIG. 9 are out of phase with each other by 1/16 period.
  • the mixed spectral characteristics obtained by mixing the spectral characteristics of a predetermined number of pixels 304 surrounding each Y point are uniform (substantially the same) at all the Y points.
  • the pixels 304 are arranged so as to be uniform (substantially the same) at each point having any spatial phase on the pixel array section 300 .
  • the mixed spectral characteristics obtained by mixing the spectral characteristics of the four pixels 304 surrounding each Y point are uniform (substantially the same) at all the Y points. , to arrange the pixels 304 .
  • the mixed spectral characteristics are not limited to the mixture of the spectral characteristics of the four pixels 304 surrounding each Y point. There is no particular limitation as long as the spectral characteristics of a predetermined number of pixels 304 in positional relationship are mixed. Then, for example, the array of pixels 304 as described above can be searched as follows.
  • an evaluation function eval using Root Mean Squared Error (RMSE), which is the square root of the average squared value of the difference (error) between the predicted value and the correct value, is used to determine the arrangement of the pixels 304. to explore. Specifically, each pixel 304 is applied to the unit 302 in a round-robin fashion, and an array that minimizes the evaluation function eval represented by the following formula (1) among all spatial phases is searched.
  • RMSE Root Mean Squared Error
  • color information can be complemented with unbiased color information, so that a color image with high luminance and spectral spatial resolution can be obtained.
  • color information can be complemented with unbiased color information, making it possible to obtain a color image with high luminance and spectral spatial resolution.
  • the pixels 304 that detect light of similar wavelengths are not adjacent to each other, the influence of light from the adjacent pixels 304 is reduced, and the occurrence of color mixture can be suppressed.
  • FIG. 11 is a block diagram showing an example of the functional configuration of the signal processing section 140 according to the first embodiment of the present disclosure.
  • the signal processing unit 140 mainly includes a preprocessing unit 142, a demosaicing processing unit 144, a noise reduction (NR) unit 146, and an output unit 148. Each functional unit of the signal processing unit 140 will be sequentially described below.
  • the preprocessing unit 142 preprocesses pixel signals (raw data) from each pixel 304 of the pixel array unit 300 of the image sensor 130, and outputs the preprocessed pixel signals to the demosaic processing unit 144, which will be described later. can be done.
  • the preprocessing unit 142 may perform OPB (Optical Black) subtraction to remove noise components caused by dark current generated in the pixels 304 . Further, for example, the preprocessing unit 142 may perform defect position detection to detect the position of the pixel 304 that outputs the abnormal value pixel signal, or may perform defect correction to correct the abnormal value pixel signal. good. Furthermore, for example, the preprocessing unit 142 may perform HDR (High Dynamic Range) synthesis that synthesizes a plurality of pixel signals to expand the dynamic range of luminance, or the preprocessing unit 142 may perform a predetermined noise You may perform the noise suppression process which suppresses . In addition, in the present embodiment, the processing performed by the preprocessing unit 142 is not limited to the processing described above.
  • the demosaicing unit 144 can perform the demosaic processing as described above. Specifically, the demosaicing unit 144 demosaicizes the color information of one pixel 304 by using pixel signals from other pixels 304 adjacent to the one pixel 304 and capable of detecting light in different wavelength bands. Complementary processing can be performed. In the present embodiment, as described above, light of each wavelength is equally detected by each region of the pixel array section 300 of the image sensor 130. Therefore, it is possible to supplement with color information that does not have a similar wavelength. becomes possible. Therefore, in this embodiment, it is possible to obtain a color image with high resolution because it can be complemented with unbiased color information. Furthermore, the demosaicing unit 144 can output the processed image data to the NR unit, which will be described later.
  • the demosaicing unit 144 sets a plurality of points (Y points) separated from each other by one pixel 304 on the pixel array unit 300 as shown in FIG.
  • the demosaicing unit 144 then mixes the pixel signals of the four pixels 304 surrounding each Y point.
  • the pixel signals obtained by mixing contain luminance information of light with a wide range of wavelengths linked to the positional information of each Y point. Based on such pixel signals, a color image with high color resolution can be obtained. can be done.
  • the present embodiment is not limited to mixing pixel signals from four pixels 304 surrounding each Y point as shown in FIG. There is no particular limitation as long as pixel signals of a predetermined number of related pixels 304 are mixed.
  • the demosaic processing unit 144 when the mixed spectral characteristics of each Y point are different, the demosaic processing unit 144 generates pixel signals from a predetermined number of pixels 304 surrounding each Y point based on the difference. You may adjust the mixing ratio of Furthermore, in the present embodiment, if the mixed spectral characteristics of the Y points are different, the demosaicing unit 144 changes the number and positions of the pixels 304 based on the difference, and from these pixels 304 of pixel signals may be mixed.
  • the demosaic processing unit 144 may perform spatial filtering (low-pass filter, high-pass filter, band-pass filter) to correct the difference in signal level at each Y point. For example, the demosaic processing unit 144 may adjust the filtering characteristics/strength according to the spatial frequency characteristics (edges, etc.) of the image. Filtering characteristics/strength may be adjusted.
  • the demosaic processing unit 144 may adjust the gain of the mixed pixel signal at each Y point based on the difference in signal level at each Y point. For example, the demosaic processing unit 144 may adjust the gain according to the light source that irradiates the subject with light or the spectral characteristics of the subject.
  • the NR unit 146 can perform processing for removing noise from the image data from the demosaicing unit 144 and output it to the output unit 148 described later. Also, the NR unit 146 may perform correction such as shading correction and false color correction on the image data from the demosaicing unit 144 . In addition, in the present embodiment, the processing performed by the NR unit 146 is not limited to the processing described above.
  • the output unit 148 can output image data obtained through various processes to an external device such as the image processing device 500 .
  • the configuration of the signal processing section 140 is not limited to the configuration shown in FIG.
  • FIG. 12 is a block diagram showing an example of the functional configuration of the image processing apparatus 500 according to this embodiment.
  • the image processing apparatus 500 mainly includes an image recognition section/data analysis section 510 , a stitching processing section 520 , a fusion processing section 530 and an output section 540 .
  • Each functional unit of the image processing apparatus 500 will be described below.
  • the image recognition unit/data analysis unit 510 can perform image recognition processing and analysis processing on image data obtained from the camera 100 using various techniques. In this embodiment, image recognition processing and analysis processing can be performed using high-resolution image data, so that highly accurate recognition and analysis can be performed.
  • the stitching processing unit 520 can perform stitching processing for stitching together a plurality of images having a positional relationship adjacent to each other to generate image data of a wider area. In this embodiment, it is possible to accurately recognize the position based on the high-resolution luminance image, and the stitching process is performed using the recognition result. It can be performed.
  • the fusion processing unit 530 can acquire image data from the camera 100 and image data from another sensor and perform fusion processing.
  • the fusion processing unit 530 can perform fusion processing for superimposing image data from an RGB camera as another sensor and image data from the camera 100 .
  • the image data from the RGB camera and the image data from the camera 100 can be aligned with high accuracy.
  • the output unit 540 can output images and data obtained through various processes to an external device such as the server 600 .
  • the image processing apparatus 500 is not limited to performing the above-described processing. Noise reduction (noise removal) can be performed. Furthermore, the image processing apparatus 500 can perform motion vector search with high precision using a high-resolution luminance image, and can also perform noise reduction in the time direction with high precision.
  • image recognition processing, analysis processing, stitching processing, fusion processing, etc. can be performed using color images with high resolution, so the accuracy of each processing is improved. can be made
  • the configuration of the image processing device 500 is not limited to the configuration shown in FIG. 530 may be configured to cooperate with each other.
  • FIG. 13 is a flowchart illustrating an example of image processing according to the first embodiment of the present disclosure. As shown in FIG. 13, the image processing according to this embodiment includes a plurality of steps from step S101 to step S105. Details of each step included in the image processing according to the present embodiment will be described below.
  • the subject is imaged by the camera 100 (step S101).
  • the camera 100 performs demosaic processing using pixel signals (Raw data) from the pixels 304 of the image sensor 130 (step S102). Further, the camera 100 generates image data based on the demosaic-processed pixel signals, and outputs the image data to the image processing device 500 (step S103).
  • the image processing device 500 performs analysis using the high-resolution image from the camera 100 (step S104).
  • the image processing apparatus 500 then outputs the analysis result obtained in step S104 to the server 600 (step S105).
  • FIG. 14 is an explanatory diagram showing an example of the planar configuration of the unit 302 of the pixel array section 300 of the image sensor 130 according to this embodiment. 14 indicates the median wavelength of the wavelength band of light detectable by each pixel 304. In FIG. Furthermore, in FIG. 14, each pixel 304 shall be capable of detecting light in each wavelength band having approximately the same width.
  • the pixels 304 to be used can be selected according to the subject, imaging conditions (state of illumination light, etc.), and the resolution required depending on the application.
  • the unit 302 is composed of 64 types of pixels 304 of 48 rows and 8 columns (m rows and n columns), for example, as shown in FIG. That is, each pixel 304 can detect light in different wavelength bands in stages.
  • the types of pixels 304 included in the unit 302 are not limited to 64 types as shown in FIG. not something.
  • the number of rows and columns (m rows and n columns) of the pixels 304 in the unit 302 is not limited to the example in FIG.
  • the unit units 302 are repeated in the pixel array section 300, the unit units 302 are taken as one cycle, and the relative positions of arbitrary points in the unit units 302 are can be expressed in spatial phase. Therefore, also in this embodiment, at each point having any spatial phase on the pixel array section 300, the mixed spectral characteristics obtained by mixing the spectral characteristics of the pixels 304 around the point are uniform (substantially the same). Different types of pixels 304 are arranged so that
  • the range of pixels 304 to be used in the pixel array section 300 is selected according to the spatial resolution and wavelength resolution required for each application.
  • the spatial resolution is 1/4, and light in four wavelength bands can be detected.
  • the 16 pixels 304 at the upper right end of FIG. 14 are selected, the spatial resolution is 1/16, and light in 16 wavelength bands can be detected.
  • the spatial resolution is 1/64, and light in 64 wavelength bands can be detected. Note that, in the present embodiment, the mixing ratio and the like described above may be adjusted for each application.
  • the mixed spectral characteristics obtained by mixing the spectral characteristics of the pixels 304 around the point are uniform ( Different types of pixels 304 are arranged so as to be substantially identical). Therefore, according to this embodiment, by selecting the range of pixels 304 to be used from such an array of pixels 304, suitable spatial resolution and wavelength resolution can be obtained according to the application.
  • the image sensor 130 according to the embodiment of the present disclosure can be manufactured by using the method, apparatus, and conditions used for manufacturing general semiconductor devices. That is, the image sensor 130 according to the present embodiment can be manufactured using the existing manufacturing process of semiconductor devices.
  • PVD Physical Vapor Deposition
  • CVD Chemical Vapor Deposition
  • ALD Atomic Layer Deposition
  • PVD methods include vacuum deposition, EB (electron beam) deposition, various sputtering methods (magnetron sputtering, RF (Radio Frequency)-DC (Direct Current) combined bias sputtering, and ECR (Electron Cyclotron Resonance) sputtering.
  • CVD methods include plasma CVD, thermal CVD, metal-organic (MO) CVD, and optical CVD.
  • other methods include electrolytic plating method, electroless plating method, spin coating method; immersion method; casting method; microcontact printing method; drop casting method; screen printing method, inkjet printing method, offset printing method, gravure printing.
  • Various printing methods such as printing method, flexographic printing method; stamp method; spray method; air doctor coater method, blade coater method, rod coater method, knife coater method, squeeze coater method, reverse roll coater method, transfer roll coater method, gravure coater method , kiss coater method, cast coater method, spray coater method, slit orifice coater method and calendar coater method.
  • patterning methods include shadow masking, laser transfer, chemical etching such as photolithography, and physical etching using ultraviolet rays, lasers, and the like.
  • planarization techniques include a CMP (Chemical Mechanical Polishing) method, a laser planarization method, a reflow method, and the like.
  • Such NDVI calculation processing requires highly accurate analysis of the color components contained in the plant, which is the subject. Therefore, by applying the technology of the present disclosure, an image with high resolution can be obtained, so highly accurate NDVI calculation is possible, and the activity level of plants in the captured image can be accurately estimated.
  • the technology of the present disclosure can be applied to quality inspections of industrial products (eg, food products, precision instruments), medical inspections, and the like. Furthermore, since the technology of the present disclosure can accurately detect the skin color of the user's face, it is possible to propose, for example, cosmetics and makeup methods, color coordination of clothes, etc., according to the detection result of the skin color. can provide services to do. Furthermore, the technology of the present disclosure can analyze the skin color detection results, recognize the user's physiological and psychological conditions, and make suggestions for treatment and health promotion, as well as products and services.
  • industrial products eg, food products, precision instruments
  • the technology of the present disclosure can accurately detect the skin color of the user's face, it is possible to propose, for example, cosmetics and makeup methods, color coordination of clothes, etc., according to the detection result of the skin color. can provide services to do. Furthermore, the technology of the present disclosure can analyze the skin color detection results, recognize the user's physiological and psychological conditions, and make suggestions for treatment and health promotion, as well as products and services.
  • FIG. 15 is a schematic diagram of the appearance of the unmanned flying object 920, and more specifically, a schematic diagram of the unmanned flying object 920 viewed from the front 960 thereof.
  • FIG. 16 is a block diagram showing an example of a schematic functional configuration of the unmanned flying object 920. As shown in FIG.
  • the unmanned flying object 920 is an unmanned small airplane, and can fly with an autonomous flight function, an independent attitude control function, and the like.
  • the unmanned flying object 920 mainly has a propeller 930 , a propeller drive section 932 , a flight control section 934 , a positioning unit 940 and a flight control communication section 950 .
  • Each functional unit of the unmanned air vehicle 920 will be described below.
  • a plurality of propellers 930 are provided above unmanned flying object 920 , and are rotated by power transmitted from a propeller drive unit 932 provided inside unmanned flying object 920 . , and maintains the attitude of the unmanned flying object 920 horizontally.
  • a propeller driving section 932 is provided inside the unmanned flying object 920 and rotates each propeller 930 according to control from a flight control section 934, which will be described later.
  • the positioning unit 940 is provided inside the unmanned flying object 920, and obtains two-dimensional position information (longitude information, latitude information) and altitude information, which are positional information of the unmanned flying object 920, and attitude information and acceleration information of the unmanned flying object 920. and output to the flight control unit 934, which will be described later.
  • the output position information, attitude information, and the like are used to fly the unmanned flying object 920 to a desired location and to maintain the unmanned flying object 920 in a horizontal attitude.
  • the positioning unit 940 mainly has an attitude detection section 942, a GPS (Global Positioning System) unit 944, and an altimeter 946, as shown in FIG.
  • the attitude detection unit 942 includes, for example, a gyro sensor or the like that is a combination of an acceleration sensor and an angular velocity sensor, and detects the attitude (inclination, orientation, etc.) and acceleration of the unmanned flying object 920 .
  • the GPS unit 944 is composed of a current position measurement device that performs measurement using GPS signals from GPS satellites, and can obtain two-dimensional position information (latitude information and longitude information) of the unmanned flying object 920 on the ground surface.
  • the altimeter 946 can acquire altitude information (height above the ground) of the unmanned air vehicle 920 .
  • the positioning unit 940 may not include the altimeter 946 if the GPS unit 944 can acquire altitude information with sufficient accuracy. However, the altitude information obtained by the GPS unit 944 may have low accuracy depending on the positioning state. . Therefore, the positioning unit 940 preferably includes an altimeter 946 to obtain altitude information with sufficient accuracy.
  • the flight control unit 934 When the flight control unit 934 receives a control signal from a control device (not shown) owned by the pilot, the flight control unit 934 utilizes the position information and the attitude information acquired by the positioning unit 940 described above, and generates the control signal. It controls the propeller driver 932 according to the flight instructions.
  • the flight control communication unit 950 wirelessly communicates with a control device (not shown) owned by the operator, and transmits and receives control signals and the like used for flight of the unmanned flying object 920 .
  • the flight control communication unit 950 receives a control signal from the control device at predetermined time intervals, and outputs the received control signal to the flight control unit 934 described above.
  • the camera 100 mounted on the unmanned flying object 920 captures an image of the grain field from the sky, and analyzes the color of the image of the grain field at high resolution. This makes it possible to recognize the growing condition of the grain.
  • the technology according to the present disclosure (this technology) can be applied to various electronic devices such as smartphones and industrial cameras installed in production lines.
  • FIG. 17 is a block diagram showing an example of hardware configuration.
  • the image processing apparatus 500 will be described below as an example, the server 600 can also be described in the same manner.
  • the image processing apparatus 500 can be configured with hardware 900 described below, and various processes by the image processing apparatus 500 are realized by cooperation between software and the hardware 900 .
  • the hardware 900 has a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the hardware 900 also has a bridge 904 , an external bus 904 b , an interface 905 , an input device 906 , an output device 907 , a storage 908 , a drive 909 , a connection port 911 and a communication device 913 .
  • the hardware 900 may have a processing circuit such as a DSP (Digital Signal Processor) or an ASIC (Application Specific Integrated Circuit) instead of or in addition to the CPU 901 .
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls overall operations within the hardware 900 according to various programs.
  • the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs, calculation parameters, and the like used by the CPU 901 .
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901 can embody the stitching processing unit 520 of the image processing apparatus 500, for example.
  • the CPU 901, ROM 902 and RAM 903 are interconnected by a host bus 904a including a CPU bus and the like.
  • the host bus 904a is connected via a bridge 904 to an external bus 904b such as a PCI (Peripheral Component Interconnect/Interface) bus.
  • PCI Peripheral Component Interconnect/Interface
  • host bus 904a, bridge 904 and external bus 904b need not necessarily have separate configurations from each other and may be implemented in a single configuration (eg, one bus).
  • the input device 906 is implemented by a device such as a mouse, keyboard, touch panel, button, microphone, switch, lever, etc., through which information is input by the practitioner.
  • the input device 906 may be, for example, a remote control device using infrared rays or other radio waves, or may be an external connection device such as a mobile phone or PDA (Personal Digital Assistant) compatible with the operation of the hardware 900. There may be.
  • the input device 906 may include, for example, an input control circuit that generates an input signal based on information input by the practitioner using the above input means and outputs the signal to the CPU 901 . By operating the input device 906, the practitioner can input various data to the hardware 900 and instruct processing operations.
  • the output device 907 is formed by a device capable of visually or audibly notifying the practitioner of the acquired information.
  • Such devices include display devices such as CRT (Cathode Ray Tube) display devices, liquid crystal display devices, plasma display devices, EL (Electro Luminescent) display devices and lamps, sound output devices such as speakers and headphones, and printer devices. etc.
  • the storage 908 is a device for storing data.
  • the storage 908 is implemented by, for example, a magnetic storage device such as a HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage 908 stores programs to be executed by the CPU 901, various data, various data acquired from the outside, and the like.
  • the drive 909 is a reader/writer for storage media, and is either built into the hardware 900 or externally attached.
  • the drive 909 reads out information recorded on a mounted magnetic disk, optical disk, magneto-optical disk, or removable storage medium such as a semiconductor memory, and outputs the information to the RAM 903 .
  • Drive 909 can also write information to a removable storage medium.
  • connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of data transmission by, for example, USB (Universal Serial Bus).
  • USB Universal Serial Bus
  • the communication device 913 is, for example, a communication interface formed by a communication device or the like for connecting to the network 915 .
  • the communication device 913 is, for example, a communication card for wired or wireless LAN (Local Area Network), LTE (Long Term Evolution), Bluetooth (registered trademark), or WUSB (Wireless USB).
  • the communication device 913 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various types of communication, or the like.
  • the communication device 913 can transmit and receive signals to and from the Internet and other communication devices in accordance with a predetermined protocol such as TCP/IP (Transmission Control Protocol/Internet Protocol).
  • TCP/IP Transmission Control Protocol/Internet Protocol
  • the network 915 is a wired or wireless transmission path for information transmitted from devices connected to the network 915 .
  • the network 915 may include a public line network such as the Internet, a telephone line network, a satellite communication network, various LANs (Local Area Networks) including Ethernet (registered trademark), WANs (Wide Area Networks), and the like.
  • the network 915 may also include a dedicated line network such as IP-VPN (Internet Protocol-Virtual Private Network).
  • a hardware configuration example capable of realizing the functions of the image processing apparatus 500 has been shown above.
  • Each component described above may be implemented using general-purpose members, or may be implemented by hardware specialized for the function of each component. Therefore, it is possible to appropriately change the hardware configuration to be used according to the technical level at which the present disclosure is implemented.
  • the above-described embodiments of the present disclosure use the image processing method executed by the camera 100 (more specifically, the signal processing unit 140), the image processing device 500, or the server 600 as described above. It may include a program to execute and a non-transitory tangible medium on which the program is recorded. Also, the program may be distributed via a communication line (including wireless communication) such as the Internet.
  • each step in the image processing method according to the embodiment of the present disclosure described above does not necessarily have to be processed in the described order.
  • each step may be processed in an appropriately changed order.
  • each step may be partially processed in parallel or individually instead of being processed in chronological order.
  • the processing of each step does not necessarily have to be processed in accordance with the described method, and may be processed by another method by another functional unit, for example.
  • each component of each device illustrated is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution and integration of each device is not limited to the one shown in the figure, and all or part of them can be functionally or physically distributed and integrated in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • a pixel array unit configured by arranging a plurality of pixels of five or more types with different detectable wavelength bands of light in stages along the row direction and the column direction, At each point having any spatial phase on the pixel array section, the plurality of pixels are arranged, Imaging device.
  • the pixels that detect light in wavelength bands that are not adjacent to each other are arranged so as to be adjacent in the row direction and the column direction, The imaging device according to (1) or (2) above.
  • the pixels that detect light in wavelength bands that are adjacent to each other are arranged so as not to be adjacent in the row direction and the column direction.
  • the imaging device according to any one of (1) to (3) above.
  • the imaging device according to (1) or (2) above, wherein in the pixel array section, the plurality of pixels are arranged such that an evaluation function represented by the following formula (1) is minimized.
  • (6) (1) to (5) above, wherein the pixel array section is formed by arranging the unit regions each composed of the plurality of pixels arranged in m rows and n columns along the row direction and the column direction.
  • each of the points is separated from each other by one pixel on the pixel array section;
  • the mixed spectral characteristics are obtained by mixing the spectral characteristics of the four pixels surrounding each point.
  • (8) further comprising a signal processing unit that acquires a pixel signal from each of the plurality of pixels and generates image data based on the acquired pixel signal;
  • the signal processing unit mixes the pixel signals obtained from each of the predetermined number of pixels surrounding each point, and generates the image data from the mixed pixel signals.
  • the signal processing unit adjusts the mixing ratio of the pixel signals obtained from each of the predetermined number of pixels surrounding each point, based on the difference in the mixed spectral characteristics of each point.
  • the imaging device (13) above, wherein the signal processing unit adjusts the gain according to a light source that irradiates a subject with light or a spectral characteristic of the subject.
  • the signal processing unit selects the plurality of pixels to be used when generating the image data based on a subject, imaging conditions, or desired resolution.
  • the image capturing apparatus according to any one of (8) to (15) above, further comprising a stitching processing unit that acquires a plurality of the image data and performs processing to join them together.
  • a fusion processing unit that acquires the image data and image data from another sensor and performs fusion processing.
  • the imaging apparatus according to any one of (8) to (17) above, further comprising an image recognition unit that acquires the image data and performs image recognition.
  • the imaging apparatus according to any one of (8) to (18) above, further comprising an analysis unit that acquires and analyzes the image data.
  • An electronic device equipped with an imaging device The imaging device is A pixel array unit configured by arranging a plurality of pixels of five or more types with different detectable wavelength bands of light in stages along the row direction and the column direction, At each point having any spatial phase on the pixel array section, the plurality of pixels are arranged, Electronics.
  • REFERENCE SIGNS LIST 10 image processing system 100 camera 110 optical lens 120 shutter mechanism 130 image sensor 140 signal processing unit 142 preprocessing unit 144 demosaicing processing unit 146 NR unit 148, 150, 540 output unit 160 control unit 300 light receiving surface (pixel array unit) 302, 302a unit unit 304 pixel 310 semiconductor substrate 332 vertical drive circuit 334 column signal processing circuit 336 horizontal drive circuit 338 output circuit 340 control circuit 342 pixel drive wiring 344 vertical signal line 346 horizontal signal line 348 input/output terminal 400 wiring layer 410 filter 420 on-chip lens 430 semiconductor region 440 wiring 450 interlayer insulating film 500 image processing device 510 image recognition unit/data analysis unit 520 stitching processing unit 530 fusion processing unit 600 server 900 hardware 901 CPU 902 ROMs 903 RAM 904 bridge 904a host bus 904b external bus 905 interface 906 input device 907 output device 908 storage 909 drive 911 connection port 913 communication device 915 network 920 unmanned flying object 930 propeller 932 propeller drive section

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

検出可能な光の波長帯域が段階的に異なる５種類以上の複数の画素（３０４）が行方向及び列方向に沿って配列することにより構成される画素アレイ部（３００）を備え、前記画素アレイ部上のいずれかの空間位相を持つ各点において、当該点の周囲の所定の数の画素の分光特性を混合して得られる混合分光特性が互いに略同一になるように、前記複数の画素が配列する、撮像装置を提供する。

Description

撮像装置及び電子機器
　本開示は、撮像装置及び電子機器に関する。
　一般的に使用されている撮像装置の多くは、ＲＧＢカメラ（可視光カメラ）であり、幅広い範囲の波長を有する光を３つのＲＧＢ原色として検出することができる。しかしながら、ＲＧＢカメラでは、人間の目には見えない微妙な色の違いを捉えることが難しい。そこで、被写体の色を精度よく検出、再現するために、光の波長を細かく複数に分けて検出することが可能な、言い換えると高分解能なマルチスペクトルカメラを利用する場合がある。
特開２００７－２５１３９３号公報
　しかしながら、従来のマルチスペクトルカメラでは、所望の輝度及び分光の空間解像度を持つカラー画像を得ることが難しい場合がある。
　そこで、本開示では、高い解像度を持つカラー画像を得ることが可能な撮像装置及び電子機器を提案する。
　本開示によれば、検出可能な光の波長帯域が段階的に異なる５種類以上の複数の画素が行方向及び列方向に沿って配列することにより構成される画素アレイ部を備え、前記画素アレイ部上のいずれかの空間位相を持つ各点において、当該点の周囲の所定の数の画素の分光特性を混合して得られる混合分光特性が互いに略同一になるように、前記複数の画素が配列する、撮像装置が提供される。
　さらに、本開示によれば、撮像装置を搭載する電子機器であって、前記撮像装置は、検出可能な光の波長帯域が段階的に異なる５種類以上の複数の画素が行方向及び列方向に沿って配列することにより構成される画素アレイ部を備え、前記画素アレイ部上のいずれかの空間位相を持つ各点において、当該点の周囲の所定の数の画素の分光特性を混合して得られる混合分光特性が互いに略同一になるように、前記複数の画素が配列する、電子機器が提供される。
比較例に係るイメージセンサ１３０の平面構成例を示す説明図である。 本開示の第１の実施形態に概要を説明するための説明図である。 本開示の第１の実施形態に係る画像処理システム１０の概略的な構成を示したシステム図である。 本開示の第１の実施形態に係るカメラ１００の機能構成の一例を示す説明図である。 本開示の第１の実施形態に係るイメージセンサ１３０の平面構成例を示す説明図である。 本開示の第１の実施形態に係る画素３０４の等価回路図である。 本開示の第１の実施形態に係る画素３０４の断面図である。 本開示の第１の実施形態に係るイメージセンサ１３０の画素アレイ部３００の単位ユニット３０２の平面構成の一例を示す説明図（その１）である。 本開示の第１の実施形態に係るイメージセンサ１３０の画素アレイ部３００の単位ユニット３０２の平面構成の一例を示す説明図（その２）である。 本開示の第１の実施形態における混合分光特性の一例を説明する説明図である。 本開示の第１の実施形態に係る信号処理部１４０の機能構成の一例を示すブロック図である。 本開示の第１の実施形態に係る画像処理装置５００の機能構成の一例を示すブロック図である。 本開示の第１の実施形態に係る画像処理の一例を示すフローチャートである。 本開示の第２の実施形態に係るイメージセンサ１３０の画素アレイ部３００の単位ユニット３０２の平面構成の一例を示す説明図である。 無人飛行体９２０の外観の模式図である。 無人飛行体９２０の概略的な機能構成の一例を示すブロック図である。 ハードウェア構成の例を示すブロック図である。
　以下に、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。また、本明細書及び図面において、実質的に同一又は類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　また、以下の説明で参照される図面は、本開示の一実施形態の説明とその理解を促すための図面であり、わかりやすくするために、図中に示される形状や寸法、比などは実際と異なる場合がある。さらに、図中に示される撮像装置は、以下の説明と公知の技術を参酌して適宜、設計変更することができる。また、撮像装置の断面図を用いた説明においては、撮像装置の断面構造の上下方向は、撮像装置に対して入射する光が入ってくる受光面を上とした場合の相対方向に対応し、実際の重力加速度に従った上下方向とは異なる場合がある。
　さらに、以下の説明において「電気的に接続する」とは、複数の要素の間を、直接的に、もしくは、他の要素を介して間接的に接続することを意味する。
　なお、説明は以下の順序で行うものとする。
１．　本開示の実施形態を創作するに至る背景
２．　第１の実施形態
　　　２．１　システム構成の概略
　　　２．２　カメラの詳細構成
　　　２．３　イメージセンサの詳細構成
　　　２．４　画素の等価回路
　　　２．５　画素の断面構成
　　　２．６　画素の配列
　　　２．７　信号処理部の構成
　　　２．８　画像処理装置の構成
　　　２．９　画像処理
３．　第２の実施形態
４．　まとめ
５．　応用例
　　　５．１　用途
　　　５．２　無人飛行体への応用例
６．　ハードウェア構成の例
７．　補足
　以下の説明においては、「分光特性」とは、イメージセンサに搭載される各画素の、各波長の光に対する検出感度のことを意味する。さらに、「混合分光特性」とは、イメージセンサの受光面（画素アレイ部）で互いに隣接する位置にある所定の複数の画素において、各画素の「分光特性」を混合させて得られた「分光特性」の総和、又は、平均値を意味するものとする。
　また、本開示の実施形態に係るイメージセンサの受光面（画素アレイ部）では、あらかじめ定められたパターン（単位ユニット）が反復するように、各波長帯域の光を検出する複数種の画素が並んでいる。そして、以下の説明においては、「空間位相」とは、上記パターン（単位ユニット）を１周期とした場合、上記パターンに対する相対位置を、当該周期内における位置として表現したものを意味するものとする。
　＜＜１．　本開示の実施形態を創作するに至る背景＞＞
　まずは、本開示の実施形態を説明する前に、図１を参照して、本発明者が本開示の実施形態を創作するに至る背景について説明する。図１は、マルチスペクトルカメラに用いられる、比較例に係るイメージセンサ１３０の平面構成例を示す説明図である。なお、ここで、比較例とは、本発明者が本開示の実施形態をなす前に検討を重ねていたイメージセンサ１３０のことを意味するものとする。また、図１においては、イメージセンサ１３０の受光面（画素アレイ部）３００と、受光面３００上にマトリックス状（行方向及び列方向に沿って）に配列する単位ユニット３０２ａの拡大図とが示されている。さらに、単位ユニット３０２ａの各画素３０４上に示される数字は、各画素３０４で検出可能な光の波長帯域の中央値の波長が示されているものとし、各画素３０４は、略同一の幅を持つ各波長帯域の光を検出することができるものとする。
　先に説明したように、一般的に使用されている撮像装置の多くは、ＲＧＢカメラであり、幅広い範囲の波長を有する光を３つのＲＧＢ原色として検出することができる。しかしながら、ＲＧＢカメラでは、人間の目には見えない微妙な色の違いを捉えることが難しく、被写体の色を精度よく検出、再現することに限界がある。そのような場合、被写体の色を精度よく検出するために、光の波長を細かく複数に分けて検出することが可能な、言い換えると高分解能なマルチスペクトルカメラを利用することが考えられる。
　本明細書においては、マルチスペクトルカメラは、例えば、色の３原色若しくは等色関数に基づく従来のＲ（赤）、Ｇ（緑）、Ｂ（青）、又は、Ｙ（黄）、Ｍ（マゼンダ）、Ｃ（シアン）の３つの波長帯域（３バンド）より多い５以上の波長帯域（５バンド以上）の光（マルチスペクトル）を検出可能なカメラのことをいうものとする。より具体的には、図１に示すイメージセンサ１３０の例では、１６の波長帯域の光を検出することができるマルチスペクトルカメラ用のイメージセンサである。言い換えると、図１に示す例は、互いに異なる波長帯域の光を検出する１６種類の画素３０４から構成されるイメージセンサ１３０である。
　ところで、イメージセンサ１３０では、各画素３０４は、いずれか１つの波長帯域の光しか検出することができないため、各画素３０４では、１つの波長帯域の色の情報しか得ることができない。そこで、一の画素３０４に隣接する、異なる波長帯域の光を検出することができる他の画素３０４からの画素信号を用いて、一の画素３０４の色情報を補完することにより、カラー画像を生成する。このようにすることで、輝度及び分光の空間解像度の高いカラー画像を得ることが可能となる。このような処理は、デモザイク処理と呼ばれている。
　しかしながら、本発明者がマルチスペクトルカメラ用のイメージセンサについて鋭意検討を行ったところ、マルチスペクトルカメラにおいては、５以上の波長帯域の光を検出することから、受光面（画素アレイ部）３００での画素３０４の配列に起因して、デモザイク処理を行ったとしても、所望の輝度及び分光の空間解像度を持つカラー画像を得ることが難しい場合があることがわかった。
　ここで、比較例に係るイメージセンサ１３０の受光面（画素アレイ部）３００は、複数の単位ユニット３０２ａが列方向及び行方向に沿って配列することにより構成されるものとする。そして、単位ユニット３０２ａは、図１に示すような４行４列の１６個の画素３０４から構成され、１６個の画素３０４は、互いに異なる波長帯域の光を検出するものとする。さらに、比較例においては、図１に示されるように、単位ユニット３０２ａにおける画素３０４の配列は、検出する光の波長順に並んでいるものとする。このような場合、単位ユニット３０２ａにおいて長波長の光を検出する画素３０４が図中下側に偏っているといえる。そして、このような偏りのために、言い換えると、単位ユニット３０２ａの全体で均一に異なる種類の画素３０４が配置されていないために、デモザイク処理を行ったとしても、偏りのある色情報でしか補完できないため、所望の輝度及び分光の空間解像度を持つカラー画像を得ることが難しい。
　そこで、本発明者は、このような状況を鑑みて、５以上の波長帯域の光を検出可能なマルチスペクトルカメラ用のイメージセンサ１３０の画素３０４の平面配列に着眼して、以下に説明する本開示の実施形態を創作するに至った。
　次に、図２を参照して、本発明者が創作した本開示の実施形態の概要を説明する。図２は、本開示の第１の実施形態に概要を説明するための説明図であって、詳細には、図２の左側には比較例の単位ユニット３０２ａが示されており、図２の右側には本実施形態の単位ユニット３０２が示されている。なお、図２の単位ユニット３０２、３０２ａの各画素３０４上に示される数字は、各画素３０４で検出可能な光の波長帯域の中央値の波長が示されているものとし、各画素３０４は、略同一の幅を持つ各波長帯域の光を検出することができるものとする。
　図２の左側に示すように、比較例に係るイメージセンサ１３０の単位ユニット３０２ａにおいては、先に説明したように、長波長の光を検出する画素３０４が図中下側に偏っている。一方、本発明者が創作した本実施形態に係るイメージセンサ１３０の単位ユニット３０２では、検出する光の波長順に画素３０４が並んでいないため、長波長の光を検出する画素３０４が下側に偏っていることなく、単位ユニット３０２の全体で均一に異なる種類の画素３０４が配置されている。このようにすることで、本実施形態においては、デモザイク処理の際、近い波長を持たない色の情報で補完することができるため、言い換えると、偏りのない色情報で補完できるため、所望の輝度及び分光の空間解像度を持つカラー画像を得ることが可能となる。
　本実施形態においては、イメージセンサ１３０の受光面（画素アレイ部）３００においては単位ユニット３０２が繰り返されることから、単位ユニット３０２を１周期として、単位ユニット３０２における任意の点の相対位置を空間位相で表現することができる。従って、本実施形態においては、受光面３００上のいずれかの空間位相を持つ各点において、当該点の周囲の画素３０４の分光特性を混合して得られる混合分光特性が均一（略同一）になるように、異なる種類の画素３０４が配列しているといえる。
　より具体的には、図２の右側に示す例では、単位ユニット３０２は、段階的に異なる１６種類の波長帯域の光を検出する１６種類の画素３０４から構成される。この例では、単位ユニット３０２において、互いに隣り合わない波長帯域の光を検出する画素３０４同士が、行方向及び列方向において隣接するように、配置されており、互いに隣り合う波長帯域の光を検出する画素３０４同士が、行方向及び列方向において隣接しないように、配置されている。
　このような配列を持つ本実施形態に係るイメージセンサ１３０によれば、各波長の光が均等にイメージセンサ１３０の受光面(画素アレイ部)３００の各領域によって検出されることから、デモザイク処理の際、近い波長を持たない色の情報で補完することが可能となる。従って、本実施形態においては、偏りのない色情報で補完できるため、高い輝度及び分光の空間解像度を持つカラー画像を得ることが可能となる。また、本実施形態においては、比較例のように検出可能な光の波長順に画素３０４が並んでいないことから、隣接する画素３０４からの光の影響を受けにくくなることから、混色の発生を抑えることができる。
　なお、本開示では、上述したような画素３０４の配列に関する実施形態、このような配列を持つ受光面（画素アレイ部）３００を持つイメージセンサ１３０によって得られる画素信号の処理に関する実施形態、及び、これら実施形態の応用について説明する。本実施形態においては、高い輝度及び分光の空間解像度を持つカラー画像を得ることが可能であり、さらに、様々なアプリケーションで高解像度を持つカラー画像を利用することが可能となる。以下、このような本開示の実施形態を順次説明する。
　＜＜２．　第１の実施形態＞＞
　＜２．１　システム構成の概略＞
　まずは、本開示の第１の実施形態に係る画像処理システム１０の構成の一例について、図３を参照して説明する。図３は、本開示の第１の実施形態に係る画像処理システム１０の概略的な構成を示したシステム図である。
　図３に示すように、本実施形態に係る画像処理システム１０は、例えば、カメラ１００と、画像処理装置５００と、サーバ６００と主に含むことができ、これらは互いにネットワーク（図示省略）を介して通信可能に接続される。詳細には、カメラ１００と、画像処理装置５００と、サーバ６００とは、例えば、図示しない基地局等（例えば、携帯電話機の基地局、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　ｎｅｔｗｏｒｋ）のアクセスポイント等）を介して上記ネットワークに接続される。なお、ネットワークで用いられる通信方式は、有線又は無線（例えば、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を問わず任意の方式を適用することができるが、安定した動作を維持することができる通信方式を用いることが望ましい。以下に、本実施形態に係る画像処理システム１０の含まれる各装置の概要について説明する。
　（カメラ１００）
　カメラ１００は、上述したような受光面（画素アレイ部）３００を持つイメージセンサ１３０を含み、被写体を撮像し、撮像によって得られた画像を画像処理装置５００へ出力することができる。なお、カメラ１００の詳細構成については後述する。
　（画像処理装置５００）
　画像処理装置５００は、上述したカメラ１００から取得した画像に対して、様々な処理を行うことができ、処理により得られたデータを後述するサーバ６００に出力することができる。例えば、画像処理装置５００は、デスクトップ型ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、ラップトップ型ＰＣ、タブレット、スマートフォン、携帯電話等のハードウェアであることができる。さらに、画像処理装置５００の一部の機能は、上述したカメラ１００で実行されてもよい。なお、画像処理装置５００の詳細については後述する。
　（サーバ６００）
　サーバ６００は、画像処理装置５００から得られたデータを、集積したり、解析したり、解析した結果等を配信したりすることができる。サーバ６００は、例えば、コンピュータ等により構成することができる。
　なお、図３においては、本実施形態に係る画像処理システム１０は、１つのカメラ１００と画像処理装置５００とサーバ６００とを含むものとして示されているが、本実施形態においてはこれに限定されるものではない。例えば、本実施形態に係る画像処理システム１０は、複数のカメラ１００を含んでいてもよく、もしくは、サーバ６００を含んでいなくてもよい。
　＜２．２　カメラの詳細構成＞
　次に、図４を参照して、カメラ１００の構成の一例について説明する。図４は、本開示の第１の実施形態に係るカメラ１００の機能構成の一例を示す説明図である。
　図４に示すように、カメラ１００は、光学レンズ１１０、シャッタ機構１２０、イメージセンサ１３０、信号処理部１４０、出力部１５０、及び、制御部１６０を主に有する。以下、カメラ１００の含まれる各要素を順次説明する。
　（光学レンズ１１０）
　光学レンズ１１０は、被写体からの像光（入射光）を後述するイメージセンサ１３０の受光面（画素アレイ部）３００上に結像させることができる。これにより、イメージセンサ１３０の各画素３０４で、電荷が発生し、画素信号として取り出されることとなる。
　（シャッタ機構１２０）
　シャッタ機構１２０は、開閉することにより、イメージセンサ１３０への光照射期間及び遮光期間を制御することができる。
　（イメージセンサ１３０）
　イメージセンサ１３０は、被写体からの像光（入射光）を受光して、電荷を生成し、生成した電荷に基づく画素信号を、後述する信号処理部１４０へ出力することができる。なお、イメージセンサ１３０の詳細構成については後述する。
　（信号処理部１４０）
　信号処理部１４０は、各種の電子回路から構成され、イメージセンサ１３０の各画素３０４からの画素信号を取得し、取得した画素信号に各種の信号処理を行って画像データを生成することができる。さらに、信号処理部１４０は、生成した画像データを出力部１５０へ出力することができる。なお、信号処理部１４０の機能構成については後述する。
　（出力部１５０）
　出力部１５０は、上述した信号処理部１４０から得られた画像データを、例えば、画像処理装置５００、メモリ等の記憶媒体（図示省略）、表示装置（図示省略）等に出力することができる。
　（制御部１６０）
　制御部１６０は、イメージセンサ１３０の画素信号の転送動作やシャッタ機構１２０のシャッタ動作等を制御する駆動信号をこれらに供給することができる。例えば、イメージセンサ１３０は、制御部１６０から供給される駆動信号（タイミング信号）に基づいて信号転送を行うこととなる。
　なお、本実施形態においては、カメラ１００の構成は、図４に示される構成に限定されるものではなく、例えば、画像処理装置５００と一体の装置であってもよい。
　＜２．３　イメージセンサの詳細構成＞
　次に、図５を参照して、本実施形態に係るイメージセンサ１３０の概略構成について説明する。図５は、本実施形態に係るイメージセンサ１３０の平面構成例を示す説明図である。
　図５に示すように、本実施形態に係るイメージセンサ１３０は、例えばシリコンからなる半導体基板３１０上に、複数の画素３０４が、行方向及び列方向に沿ってマトリック状に配置されている画素アレイ部（受光面）３００と、当該画素アレイ部３００を取り囲むように設けられた周辺回路部とを有する。さらに、上記イメージセンサ１３０には、当該周辺回路部として、垂直駆動回路部３３２、カラム信号処理回路部３３４、水平駆動回路部３３６、出力回路部３３８、制御回路部３４０等が含まれる。以下に、イメージセンサ１３０の各ブロックの詳細について説明する。
　（画素アレイ部３００）
　画素アレイ部（受光面）３００は、半導体基板３１０上に、行方向及び列方向に沿ってマトリックス状に、２次元配置された複数の画素３０４を有する。具体的には、先に説明したように、画素アレイ部３００は、異なる種類の複数の画素３０４を含む単位ユニット（単位領域）３０２が列方向及び行方向に沿って配列することにより構成される。例えば、各画素３０４は、２．９μｍ×２．９μｍ程度のサイズを有し、例えば、画素アレイ部３００においては、列方向に沿って１９４５個の画素３０４が並び、行方向に沿って１１０９個の画素３０４が並んでいる。なお、本実施形態における画素３０４の配列の詳細については、後述する。
　また、各画素３０４は、入射された光に対して光電変換を行う素子であって、光電変換部（図示省略）と、複数の画素トランジスタ（例えばＭＯＳ（Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジスタ）（図示省略）とを有している。そして、当該画素トランジスタは、例えば、転送トランジスタ、選択トランジスタ、リセットトランジスタ、及び、増幅トランジスタの４つのＭＯＳトランジスタを含む。なお、画素３０４の等価回路及び詳細構造については後述する。
　（垂直駆動回路部３３２）
　垂直駆動回路部３３２は、例えばシフトレジスタによって形成され、画素駆動配線３４２を選択し、選択された画素駆動配線３４２に画素３０４を駆動するためのパルスを供給し、行単位で画素３０４を駆動する。すなわち、垂直駆動回路部３３２は、画素アレイ部３００の各画素３０４を行単位で順次垂直方向に選択走査し、各画素３０４の光電変換部（図示省略）の受光量に応じて生成された信号電荷に基づく画素信号を、垂直信号線３４４を通して後述するカラム信号処理回路部３３４に供給する。
　（カラム信号処理回路部３３４）
　カラム信号処理回路部３３４は、画素３０４の列ごとに配置されており、１行分の画素３０４から出力される画素信号に対して画素３０４の列ごとにノイズ除去等の信号処理を行う。例えば、カラム信号処理回路部３３４は、画素３０４の固有の固定パターンノイズを除去するためにＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ：相関２重サンプリング)およびＡＤ（Ａｎａｌｏｇ－Ｄｅｇｉｔａｌ）変換等の信号処理を行う。
　（水平駆動回路部３３６）
　水平駆動回路部３３６は、例えばシフトレジスタによって形成され、水平走査パルスを順次出力することによって、上述したカラム信号処理回路部３３４の各々を順番に選択し、カラム信号処理回路部３３４の各々から画素信号を水平信号線３４６に出力させる。
　（出力回路部３３８）
　出力回路部３３８は、上述したカラム信号処理回路部３３４の各々から水平信号線３４６を通して順次に供給される画素信号に対し、信号処理を行って出力する。出力回路部３３８は、例えば、バッファリング（ｂｕｆｆｅｒｉｎｇ）を行う機能部として機能してもよく、もしくは、黒レベル調整、列ばらつき補正、各種デジタル信号処理等の処理を行ってもよい。なお、バッファリングとは、画素信号のやり取りの際に、処理速度や転送速度の差を補うために、一時的に画素信号を保存することをいう。さらに、入出力端子３４８は、外部装置との間で信号のやり取りを行うための端子である。
　（制御回路部３４０）
　制御回路部３４０は、入力クロックと、動作モード等を指令するデータを受け取り、イメージセンサ１３０の内部情報等のデータを出力する。すなわち、制御回路部３４０は、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動回路部３３２、カラム信号処理回路部３３４及び水平駆動回路部３３６等の動作の基準となるクロック信号や制御信号を生成する。そして、制御回路部３４０は、生成したクロック信号や制御信号を、垂直駆動回路部３３２、カラム信号処理回路部３３４及び水平駆動回路部３３６等に出力する。
　なお、本実施形態においては、イメージセンサ１３０の構成は、図５に示される構成に限定されるものではない。
　＜２．４　画素の等価回路＞
　次に、図６を参照して、本実施形態に係る画素３０４の等価回路の一例を説明する。図６は、本実施形態に係る画素３０４の等価回路図である。
　図６に示すように、画素３０４は、光を電荷に変換する光電変換素子（光電変換部）としてのフォトダイオードＰＤ、転送トランジスタＴＧ、浮遊拡散領域ＦＤ、リセットトランジスタＲＳＴ、増幅トランジスタＡＭＰ、及び選択トランジスタＳＥＬを有する。
　詳細には、図６に示すように、画素３０４においては、転送トランジスタＴＧのソース／ドレインの一方は、光を受光して、電荷を発生するフォトダイオードＰＤに電気的に接続され、転送トランジスタＴＧのソース／ドレインの他方は、浮遊拡散領域ＦＤに電気的に接続される。そして、転送トランジスタＴＧは、自身のゲートに印加された電圧に応じて導通状態になり、フォトダイオードＰＤで発生した電荷を浮遊拡散領域ＦＤに転送することができる。
　また、浮遊拡散領域ＦＤは、電荷を電圧に変換して画素信号として出力する増幅トランジスタＡＭＰのゲートに電気的に接続される。また、増幅トランジスタＡＭＰのソース／ドレインの一方は、選択信号に従って、変換によって得た上記画素信号を信号線ＶＳＬに出力する選択トランジスタのソース／ドレインの一方に電気的に接続される。さらに、増幅トランジスタＡＭＰのソース／ドレインの他方は、電源回路（電源電位ＶＤＤ）に電気的に接続される。
　また、選択トランジスタＳＥＬのソース／ドレインの他方は、変換された電圧を画素信号として伝達する上記信号線ＶＳＬに電気的に接続され、さらに上述したカラム信号処理回路部３３４に電気的に接続される。さらに、選択トランジスタＳＥＬのゲートは、信号を出力する行を選択する選択線（図示省略）に電気的に接続され、さらに上述した垂直駆動回路部３３２に電気的に接続される。すなわち、浮遊拡散領域ＦＤに蓄積された電荷は、選択トランジスタＳＥＬの制御により、増幅トランジスタＡＭＰによって電圧に変換され、信号線に出力されることとなる。
　また、図６に示すように、浮遊拡散領域ＦＤは、蓄積した電荷をリセットするためのリセットトランジスタＲＳＴのドレイン／ソースの一方に電気的に接続される。リセットトランジスタＲＳＴのゲートは、リセット信号線（図示省略）に電気的に接続され、さらに上述した垂直駆動回路部３３２に電気的に接続される。また、リセットトランジスタＲＳＴのドレイン／ソースの他方は、電源回路（電源電位ＶＤＤ）に電気的に接続される。そして、リセットトランジスタＲＳＴは、自身のゲートに印加された電圧に応じて導通状態になり、浮遊拡散領域ＦＤに蓄積された電荷をリセット（電源回路（電源電位ＶＤＤ）へ排出）することができる。
　なお、本実施形態に係る画素３０４の等価回路は、図６に示される例に限定されるものではなく、例えば、他の素子（例えばトランジスタ）等を含んでもよく、特に限定されるものではない。
　＜２．５　画素の断面構成＞
　次に、図７を参照して、本実施形態に係る画素３０４の積層構造について説明する。図７は、本実施形態に係る画素３０４の断面図であって、わかりやすくするために、図７においては、実際の画素３０４の断面構成の一部の図示を省略している。また、図７においては、画素３０４に対して光が入射する受光面が上となるように画素３０４の断面が図示されている。
　詳細には、図７に示すように、画素３０４においては、例えばシリコンからなる半導体基板３１０の第１の導電型（例えばＰ型）を持つ半導体領域に、第２の導電型（例えばＮ型）を持つ半導体領域４３０が設けられている。このような半導体領域４３０によるＰＮ接合によって、光を電荷に変換するフォトダイオードＰＤが半導体基板３１０内に形成される。
　また、半導体基板３１０の、入射面に対して反対側には（図７の下側）、例えば、タングステン（Ｗ）、アルミニウム（Ａｌ）、銅（Ｃｕ）、コバルト（Ｃｏ）、ルテニウム（Ｒｕ）等によって形成される配線４４０と、酸化シリコン（ＳｉＯ２）等によって形成される層間絶縁膜４５０とを含む配線層４００が設けられている。さらに、当該配線層４００には、フォトダイオードＰＤで発生した電荷の読み出しを行うための複数の画素トランジスタのゲート電極として、Ｗ、Ａｌ、Ｃｕ等によって形成される複数の電極（図示省略）が設けられている。具体的には、当該電極は、絶縁膜（図示省略）を介して、半導体基板３１０内の第１の導電型（例えばＰ型）を持つ半導体領域と対向するように設けられている。さらに、半導体基板３１０内には、第１の導電型を持つ上記半導体領域と隣り合うようにして第２の導電型（例えばＮ型）を持つ半導体領域が設けられており、当該第２の導電型を持つ半導体領域は、上記画素トランジスタのソース／ドレイン領域として機能する。
　さらに、半導体基板３１０内には、第２の導電型（例えばＮ型）を持つ半導体領域であるフローティングディフュージョン部（共通電荷蓄積部）（図示省略）が設けられている。当該フローティングディフュージョン部は、フォトダイオードＰＤで生成された電荷を、一時的に蓄積することができる。
　そして、本実施形態においては、図７に示すように、半導体基板３１０の入射面上には、フィルタ４１０が画素３０４ごとに設けられている。当該フィルタ４１０は、所定の範囲（波長帯域）にある波長の光を透過する狭帯域フィルタであって、例えば、カラーフィルタ４１０は、シリコーン等の透明バインダ中に顔料又は染料を分散させた材料から形成することができる。
　また、フィルタ４１０は、プラズモンフィルタであってもよい。金属表面に光が入射すると、当該金属表面に、表面プラズモンと呼ばれる、光と電子疎密波とが結合した電磁波が励起される。このような表面プラズモンの励起により、表面に周期的な微細構造が形成された金属においては、特定の波長を持つ光を透過するプラズモンの異常透過現象が生じ得る。そこで、このような現象を利用して、特定の波長の光を透過させるフィルタ、すなわち、プラズモンフィルタを得ることができる。
　そして、本実施形態においては、図７に示すように、半導体基板３１０の入射面上には、オンチップレンズ４２０が画素３０４ごとに設けられている。オンチップレンズ４２０は、例えば、Ｓｉ３Ｎ４、又は、スチレン系樹脂、アクリル系樹脂、スチレン－アクリル共重合系樹脂、若しくはシロキサン系樹脂等の樹脂系材料によって形成することができる。
　なお、本実施形態に係る画素３０４の断面構造は、図７に示される例に限定されるものではなく、例えば、反射防止層等を含んでもよく、特に限定されるものではない。
　＜２．６　画素の配列＞
　次に、図８から図１０を参照して、本実施形態における画素３０４の配列について説明する。図８及び図９は、本実施形態に係るイメージセンサ１３０の画素アレイ部３００の単位ユニット３０２の平面構成の一例を示す説明図である。なお、図８の単位ユニット３０２の各画素３０４上に示される数字は、各画素３０４で検出可能な光の波長帯域の中央値の波長が示されているものとし、図９の単位ユニット３０２の各画素３０４上に示される文字は、画素３０４の種類を示すものとする。さらに、図８及び図９においては、各画素３０４は、略同一の幅を持つ各波長帯域の光を検出することができるものとする。また、図１０は、本実施形態における混合分光特性の一例を説明する説明図である。
　詳細には、本実施形態に係る単位ユニット３０２は、例えば、図８に示すように、４行４列（ｍ行ｎ列）の１６個の異なる種類の画素３０４から構成される。すなわち、各画素３０４は、段階的に異なる波長帯域の光を検出することができる。なお、本実施形態においては、単位ユニット３０２内に含まれる画素３０４の種類については、図８に示すような１６種であることに限定されるものではなく、５種以上であれば特に限定されるものではない。さらに、本実施形態においては、単位ユニット３０２内の画素３０４の行数及び列数（ｍ行ｎ列）については、図８の例に限定されるものではない。
　先に説明したように、本実施形態においては、画素アレイ部３００においては単位ユニット３０２が繰り返されることから、単位ユニット３０２を１周期として、単位ユニット３０２における任意の点の相対位置を空間位相で表現することができる。従って、本実施形態においては、画素アレイ部３００上のいずれかの空間位相を持つ各点において、当該点の周囲の画素３０４の分光特性を混合して得られる混合分光特性が均一（略同一）になるように、異なる種類の画素３０４が配列している。
　より具体的には、図８に示す例では、単位ユニット３０２において、互いに隣り合わない波長帯域の光を検出する画素３０４同士が、行方向及び列方向において隣接するように、配置されており、さらに、互いに隣り合う波長帯域の光を検出する画素３０４同士が、行方向及び列方向において隣接しないように、配置されている。
　このような単位ユニット３０２を持つ本実施形態に係るイメージセンサ１３０によれば、各波長の光が均等にイメージセンサ１３０の画素アレイ部３００の各領域によって検出されることから、デモザイク処理の際、近い波長を持たない色の情報で補完することが可能となる。従って、本実施形態においては、偏りのない色情報で補完できるため、高い輝度及び分光の空間解像度を持つカラー画像を得ることが可能となる。また、本実施形態においては、近い波長の光を検出する画素３０４が隣接していないことから、隣接する画素３０４からの光の影響を受けにくくなり、混色の発生を抑えることができる。
　なお、本実施形態においては、画素３０４の配列は、図８の例に限定するものではない。そこで、図９を参照して、別の例を説明する。
　ここで、画素アレイ部３００上で所定の数の画素３０４分だけ互いに離隔する複数の点を設定する。具体的には、図９の例では、上記複数の点（図中Ｙで示す点）は、１つの画素３０４分だけ互いに離隔している。なお、本実施形態においては、上記複数の点は、１つの画素３０４分だけ互いに離隔していることに限定されるものではなく、一定の数の画素３０４分だけ離隔していれば、特に限定されるものではない。
　なお、先に説明したように、本実施形態においては、画素アレイ部３００においては単位ユニット３０２が繰り返されることから、単位ユニット３０２を１周期として、単位ユニット３０２における任意の点の相対位置を空間位相で表現することができる。従って、図９の各Ｙ点は、互いに１／１６周期分だけ空間位相がずれているということができる。
　さらに、本実施形態においては、各Ｙ点を取り囲む所定の数の画素３０４の分光特性を混合して得られる混合分光特性が、全てのＹ点で均一（略同一）になるように、言い換えると、画素アレイ部３００上のいずれかの空間位相を持つ各点において均一（略同一）になるように、画素３０４を配列させる。より具体的には、図９の例では、各Ｙ点を取り囲む４個の画素３０４の分光特性を混合して得られる混合分光特性が、全てのＹ点で均一（略同一）になるように、画素３０４を配列させる。なお、本実施形態においては、混合分光特性は、各Ｙ点を取り囲む４個の画素３０４の分光特性を混合したものであることに限定されるものではなく、各Ｙ点を取り囲む、互いに隣接する位置関係にある所定の数の画素３０４の分光特性を混合したものであれば、特に限定されるものではない。そして、例えば、以下のようにして、上述のような画素３０４の配列を探索することができる。
　本実施形態においては、例えば、予測値と正解値との差（誤差）の二乗値の平均値の平方根であるＲＭＳＥ（Ｒｏｏｔ　Ｍｅａｎ　Ｓｑｕａｒｅｄ　Ｅｒｒｏｒ）を用いた評価関数ｅｖａｌを用いて、画素３０４の配列を探索する。詳細には、単位ユニット３０２に各画素３０４を総当たりであてはめて、下記の数式（１）で示される評価関数ｅｖａｌが全空間位相間で最小となる配列を探索する。
Figure JPOXMLDOC01-appb-M000002
　このような単位ユニット３０２を持つ本実施形態に係るイメージセンサ１３０によれば、各波長の光が均等にイメージセンサ１３０の画素アレイ部３００の各領域によって検出されることから、デモザイク処理の際、近い波長を持たない色の情報で補完することが可能となる。従って、本実施形態においては、偏りのない色情報で補完できるため、高い輝度及び分光の空間解像度を持つカラー画像を得ることが可能となる。
　具体的には、図１０の左側に示すように、比較例（図１及び図２の左側に示す配列）における各Ｙ点における混合分光特性はばらつきが大きいものの、図１０の右側に示すような、本実施形態における各Ｙ点に混合分光特性はばらつきが小さくなっている。
　従って、本実施形態においては、偏りのない色情報で補完できるため、高い輝度及び分光の空間解像度を持つカラー画像を得ることが可能となる。また、本実施形態においては、近い波長の光を検出する画素３０４が隣接していないことから、隣接する画素３０４からの光の影響を受けにくくなり、混色の発生を抑えることができる。
　＜２．７　信号処理部の構成＞
　次に、図１１を参照して、信号処理部１４０の詳細構成を説明する。図１１は、本開示の第１の実施形態に係る信号処理部１４０の機能構成の一例を示すブロック図である。
　図１１に示すように、信号処理部１４０は、前処理部１４２と、デモザイク処理部１４４と、Ｎｏｉｓｅ　ｒｅｄｕｃｔｉｏｎ（ＮＲ）部１４６と、出力部１４８とを主に有する。以下に、信号処理部１４０の各機能部について順次説明する。
　（前処理部１４２）
　前処理部１４２は、イメージセンサ１３０の画素アレイ部３００の各画素３０４からの画素信号（Ｒａｗデータ）に対して前処理を行い、後述するデモザイク処理部１４４へ前処理した画素信号を出力することができる。
　例えば、前処理部１４２は、画素３０４で発生した暗電流当に起因して生じるノイズ成分を除去するＯＰＢ（Ｏｐｔｉｃａｌ　Ｂｌａｃｋ）減算を行ってもよい。また、例えば、前処理部１４２は、異常値の画素信号を出力した画素３０４の位置を検出する欠陥位置検出であってもよく、もしくは、異常値の画素信号を補正する欠陥補正を行ってもよい。さらに、例えば、前処理部１４２は、複数の画素信号を合成等して輝度のダイナミックレンジを拡大するＨＤＲ（Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）合成を行ってもよく、もしくは、前処理部１４２は、所定のノイズを抑制するノイズ抑制処理を行ってもよい。なお、本実施形態においては、前処理部１４２で行われる処理は、上述のような処理に限定されるものではない。
　（デモザイク処理部１４４）
　デモザイク処理部１４４は、先に説明したようなデモザイク処理を行うことができる。詳細には、デモザイク処理部１４４は、一の画素３０４に隣接する、異なる波長帯域の光を検出することができる他の複数の画素３０４からの画素信号を用いて、一の画素３０４の色情報を補完する処理を行うことができる。本実施形態においては、先に説明したように、各波長の光が均等にイメージセンサ１３０の画素アレイ部３００の各領域によって検出されることから、近い波長を持たない色の情報で補完することが可能となる。従って、本実施形態においては、偏りのない色情報で補完できるため、高い解像度を持つカラー画像を得ることが可能となる。さらに、デモザイク処理部１４４は、処理した画像データを後述するＮＲ部へ出力することができる。
　より具体的には、デモザイク処理部１４４は、図９に示すような、画素アレイ部３００上で１つの画素３０４分だけ互いに離隔する複数の点（Ｙ点）を設定する。そして、デモザイク処理部１４４は、各Ｙ点を取り囲む４つの画素３０４の画素信号を混合する。混合して得られた画素信号は、各Ｙ点の位置の情報に紐づく、幅広い波長の光の輝度情報を含んでおり、このような画素信号に基づき、色分解能の高いカラー画像を得ることができる。なお、本実施形態においては、図９に示すような、各Ｙ点を取り囲む４つの画素３０４からの画素信号を混合することに限定されるものではなく、各Ｙ点を取り囲む、互いに隣接する位置関係にある所定の数の画素３０４の画素信号を混合することであれば、特に限定されるものではない。
　なお、本実施形態においては、デモザイク処理部１４４は、各Ｙ点の混合分光特性が異なっている場合には、その差分に基づいて、各Ｙ点を取り囲む所定の数の画素３０４からの画素信号の混合比を調整してもよい。さらに、本実施形態においては、デモザイク処理部１４４は、各Ｙ点の混合分光特性が異なっている場合には、上記差分に基づいて画素３０４の数や位置を変更して、これらの画素３０４からの画素信号を混合してもよい。
　さらに、デモザイク処理部１４４は、空間フィルタリング（ローパスフィルタ・ハイパスフィルタ・バンドパスフィルタ）を行い、各Ｙ点の信号レベルの差を補正してもよい。例えば、デモザイク処理部１４４は、画像の空間周波数特性（エッジ等）に応じて、フィルタリングの特性・強度を調整してもよく、被写体に光を照射する光源又は当該被写体の分光特性に応じて、フィルタリングの特性・強度を調整してもよい。
　さらに、デモザイク処理部１４４は、各Ｙ点の信号レベルの差に基づいて、各Ｙ点における混合された画素信号のゲインを調整してもよい。例えば、デモザイク処理部１４４は、被写体に光を照射する光源又は当該被写体の分光特性に応じて、上記ゲインを調整してもよい。
　（ＮＲ部１４６）
　ＮＲ部１４６は、デモザイク処理部１４４からの画像データに対して、ノイズを除去する処理を行い、後述する出力部１４８へ出力することができる。また、ＮＲ部１４６は、デモザイク処理部１４４からの画像データに対して、シェーディング補正や偽色補正等の補正を行ってもよい。なお、本実施形態においては、ＮＲ部１４６で行われる処理は、上述のような処理に限定されるものではない。
　（出力部１４８）
　出力部１４８は、各種の処理を経て得られた画像データを、画像処理装置５００等の外部装置へ出力することができる。
　以上のように、本実施形態においては、各波長の光が均等にイメージセンサ１３０の画素アレイ部３００の各領域によって検出されることから、近い波長を持たない色の情報で補完（デモザイク処理）することが可能となる。従って、本実施形態においては、偏りのない色情報で補完できるため、高い解像度を持つカラー画像を得ることが可能となる。
　なお、本実施形態においては、信号処理部１４０の構成は、図１１に示す構成に限定されるものではない。
　＜２．８　画像処理装置の構成＞
　次に、図１２を参照して、本実施形態に係る画像処理装置５００の詳細構成を説明する。図１２は、本実施形態に係る画像処理装置５００の機能構成の一例を示すブロック図である。図１２に示すように、画像処理装置５００は、画像認識部／データ解析部５１０と、スティッチング処理部５２０と、フュージョン処理部５３０と、出力部５４０とを主に有する。以下に、画像処理装置５００の各機能部について順次説明する。
　（画像認識部／データ解析部５１０）
　画像認識部／データ解析部５１０は、様々な手法を用いて、カメラ１００から得られた画像データに対して画像認識処理及び解析処理を行うことができる。本実施形態においては、高解像度の画像データを用いて、画像認識処理及び解析処理を行うことができることから、精度の高い認識及び解析を行うことができる。
　（スティッチング処理部５２０）
　スティッチング処理部５２０は、隣り合う位置関係にある複数の画像を互いにつなぎ合わせるスティッチング処理を行い、より広い領域の画像データを生成することができる。本実施形態においては、高解像度の輝度画像に基づいて位置を精度よく認識することが可能であり、その認識結果を利用してスティッチング処理を行うことから、精度の高い位置合わせでスティッチング処理を行うことができる。
　（フュージョン処理部５３０）
　フュージョン処理部５３０は、カメラ１００からの画像データと、他のセンサからの画像データとを取得して、フュージョン処理を行うことができる。例えば、フュージョン処理部５３０は、他のセンサとしてのＲＧＢカメラからの画像データとカメラ１００からの画像データとを重畳するフュージョン処理を行うことができる。この場合、高解像度の輝度画像に基づいて位置を精度よく認識することが可能であることから、ＲＧＢカメラからの画像データとカメラ１００からの画像データとの位置合わせを精度よく行うことができる。
　（出力部５４０）
　出力部５４０は、各種の処理を経て得られた画像やデータを、サーバ６００等の外部装置へ出力することができる。
　また、本実施形態においては、画像処理装置５００は、上述のような処理を行うことに限定されるものではなく、高解像度な輝度画像を用いて、相関処理による高解像度化、エッジ判定などによる低ノイズ化（ノイズ除去）を行うことができる。さらに、画像処理装置５００は、高解像度な輝度画像を用いて、動きベクトル探索を高精度に行い、時間方向のノイズリダクションを高精度に行うこともできる。
　以上のように、本実施形態においては、高い解像度を持つカラー画像を用いて、画像認識処理、解析処理、スティッチング処理、及び、フュージョン処理等を行うことができることから、各処理の精度を向上させることができる。
　なお、本実施形態においては、画像処理装置５００の構成は、図１２に示す構成に限定されるものではなく、例えば、画像認識部／データ解析部５１０と、スティッチング処理部５２０と、フュージョン処理部５３０とが互いに協働するように構成されていてもよい。
　＜２．９　画像処理＞
　次に、図１３を参照して、本実施形態に係る画像処理の一例を説明する。図１３は、本開示の第１の実施形態に係る画像処理の一例を示すフローチャートである。図１３に示すように、本実施形態に係る画像処理には、ステップＳ１０１からステップＳ１０５までの複数のステップが含まれている。以下に、本実施形態に係る画像処理に含まれる各ステップの詳細を説明する。
　まずは、カメラ１００で被写体の撮像する（ステップＳ１０１）。次に、カメラ１００は、イメージセンサ１３０の画素３０４からの画素信号（Ｒａｗデータ）を用いてデモザイク処理を行う（ステップＳ１０２）。さらに、カメラ１００は、デモザイク処理された画素信号に基づき画像データを生成して、画像処理装置５００へ出力する（ステップＳ１０３）。
　さらに、画像処理装置５００は、カメラ１００からの高解像度な画像を用いて解析を行う（ステップＳ１０４）。そして、画像処理装置５００は、上述のステップS１０４で得られた解析結果をサーバ６００へ出力する（ステップＳ１０５）。
　＜＜３．　第２の実施形態＞＞
　次に、図１４を参照して、本開示の第２の実施形態を説明する。図１４は、本実施形態に係るイメージセンサ１３０の画素アレイ部３００の単位ユニット３０２の平面構成の一例を示す説明図である。なお、図１４の単位ユニット３０２の各画素３０４上に示される数字は、各画素３０４で検出可能な光の波長帯域の中央値の波長が示されているものとする。さらに、図１４においては、各画素３０４は、略同一の幅を持つ各波長帯域の光を検出することができるものとする。
　本実施形態においては、被写体や、撮像条件（照明光の状態等）や、アプリケーションに依存して要求される解像度等に応じて、使用する画素３０４を選択することができる。
　詳細には、本実施形態に係る単位ユニット３０２は、例えば、図１４に示すように、４８行８列（ｍ行ｎ列）の６４種類の画素３０４から構成される。すなわち、各画素３０４は、段階的に異なる波長帯域の光を検出することができる。なお、本実施形態においては、単位ユニット３０２内に含まれる画素３０４の種類については、図１４に示すような６４種であることに限定されるものではなく、５種以上であれば特に限定されるものではない。さらに、本実施形態においては、単位ユニット３０２内の画素３０４の行数及び列数（ｍ行ｎ列）については、図１４の例に限定されるものではない。
　本実施形態においても、上述した第１の実施形態と同様に、画素アレイ部３００においては単位ユニット３０２が繰り返されることから、単位ユニット３０２を１周期として、単位ユニット３０２における任意の点の相対位置を空間位相で表現することができる。従って、本実施形態においても、画素アレイ部３００上のいずれかの空間位相を持つ各点において、当該点の周囲の画素３０４の分光特性を混合して得られる混合分光特性が均一（略同一）になるように、異なる種類の画素３０４が配列している。
　そして、本実施形態においては、例えば、アプリケーションごとに求められる空間解像度と波長分解能に応じて、画素アレイ部３００における使用する画素３０４の範囲を選択する。
　より具体的には、図１４の左上端の４個の画素３０４を選択した場合、空間解像度１／４であり、４つの波長帯域の光を検出することができる。また、図１４の右上端の１６個の画素３０４を選択した場合、空間解像度１／１６であり、１６の波長帯域の光を検出することができる。さらに、図１４の全体の６４個の画素３０４を選択した場合、空間解像度１／６４であり、６４の波長帯域の光を検出することができる。なお、本実施形態においては、アプリケーションごとに上述した混合比等を調整してもよい。
　以上のように、本実施形態においては、画素アレイ部３００上のいずれかの空間位相を持つ各点において、当該点の周囲の画素３０４の分光特性を混合して得られる混合分光特性が均一（略同一）になるように、異なる種類の画素３０４が配列している。従って、本実施形態によれば、このような画素３０４の配列から使用する画素３０４の範囲を選択することにより、アプリケーションに応じて、好適な空間解像度と波長分解能とを得ることができる。
　＜＜４．　まとめ＞＞
　以上のように、本開示の実施形態に係る画素３０４の配列や処理によれば、各波長の光が均等にイメージセンサ１３０の画素アレイ部３００の各領域によって検出されることから、近い波長を持たない色の情報で補完（デモザイク処理）することが可能となる。従って、本実施形態においては、偏りのない色情報で補完できるため、高い解像度を持つカラー画像を得ることが可能となる。さらに、本実施形態においては、高い解像度を持つカラー画像を用いて、画像認識処理、解析処理、スティッチング処理、及び、フュージョン処理等を行うことができることから、各処理の精度を向上させることができる。
　また、本開示の実施形態に係るイメージセンサ１３０は、一般的な半導体装置の製造に用いられる、方法、装置、及び条件を用いることで製造することが可能である。すなわち、本実施形態に係るイメージセンサ１３０は、既存の半導体装置の製造工程を用いて製造することが可能である。
　なお、上述の方法としては、例えば、ＰＶＤ（Ｐｈｙｓｉｃａｌ　Ｖａｐｏｒ　Ｄｅｐｏｓｉｔｉｏｎ）法、ＣＶＤ（Ｃｈｅｍｉｃａｌ　Ｖａｐｏｒ　Ｄｅｐｏｓｉｔｉｏｎ）法及びＡＬＤ（Ａｔｏｍｉｃ　Ｌａｙｅｒ　Ｄｅｐｏｓｉｔｉｏｎ）法等を挙げることができる。ＰＶＤ法としては、真空蒸着法、ＥＢ（電子ビーム）蒸着法、各種スパッタリング法（マグネトロンスパッタリング法、ＲＦ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ）－ＤＣ（Ｄｉｒｅｃｔ　Ｃｕｒｒｅｎｔ）結合形バイアススパッタリング法、ＥＣＲ（Ｅｌｅｃｔｒｏｎ　Ｃｙｃｌｏｔｒｏｎ　Ｒｅｓｏｎａｎｃｅ）スパッタリング法、対向ターゲットスパッタリング法、高周波スパッタリング法等）、イオンプレーティング法、レーザーアブレーション法、分子線エピタキシー法（ＭＢＥ（Ｍｏｌｅｃｕｌａｒ　Ｂｅａｍ　Ｅｐｉｔａｘｙ）法）、レーザー転写法を挙げることができる。また、ＣＶＤ法としては、プラズマＣＶＤ法、熱ＣＶＤ法、有機金属（ＭＯ）ＣＶＤ法、光ＣＶＤ法を挙げることができる。さらに、他の方法としては、電解メッキ法や無電解メッキ法、スピンコート法；浸漬法；キャスト法；マイクロコンタクトプリント法；ドロップキャスト法；スクリーン印刷法やインクジェット印刷法、オフセット印刷法、グラビア印刷法、フレキソ印刷法といった各種印刷法；スタンプ法；スプレー法；エアドクタコーター法、ブレードコーター法、ロッドコーター法、ナイフコーター法、スクイズコーター法、リバースロールコーター法、トランスファーロールコーター法、グラビアコーター法、キスコーター法、キャストコーター法、スプレーコーター法、スリットオリフィスコーター法、カレンダーコーター法といった各種コーティング法を挙げることができる。さらに、パターニング法としては、シャドーマスク、レーザー転写、フォトリソグラフィー等の化学的エッチング、紫外線やレーザー等による物理的エッチング等を挙げることができる。加えて、平坦化技術としては、ＣＭＰ（Ｃｈｅｍｉｃａｌ　Ｍｅｃｈａｎｉｃａｌ　Ｐｏｌｉｓｈｉｎｇ）法、レーザー平坦化法、リフロー法等を挙げることができる。
　＜＜５．　応用例＞＞
　例えば、本開示に係る技術は、様々な用途に適用したり、様々な電子機器に搭載したりすることができる。そこで、以下、本技術を適用することができる用途や電子機器の例について説明する。
　＜５．１　用途＞
　昨今、例えばカメラを用いて農作物や、花、木等の様々な植物を撮影し、撮影画像を解析することで植物の活性度を計測する技術が求められている。例えば、植物の活性度を示す植生指標として、例えばＮＤＶＩ（Ｎｏｒｍａｌｉｚｅｄ　Ｄｉｆｆｅｒｅｎｃｅ　Ｖｅｇｅｔａｔｉｏｎ　Ｉｎｄｅｘ）がある。画像を解析することにより、画像内に撮影された植物のＮＤＶＩを算出することで、撮影された画像内の植物の活性度を推定することができる。
　このようなＮＤＶＩ算出処理には、被写体である植物に含まれる色成分を高精度に解析することが必要となる。そこで、本開示の技術を適用することにより、高解像度を持つ画像を得ることができるため、高精度なＮＤＶＩ算出が可能となり、撮影画像内の植物の活性度を正確に推定することができる。
　なお、本開示の技術は、工業製品（例えば、食品、精密機器）における品質検査や、医療用検査等に適用することができる。さらに、本開示の技術は、ユーザの顔の肌色を正確に検出することができることから、肌色の検出結果に応じて、例えば、化粧品や化粧方法の提案や、洋服のカラーコーディネート等の提案等を行うサービスを提供することができる。さらに、本開示の技術は、肌色の検出結果を解析して、ユーザの生理状態や心理状態を認識し、治療や健康増進のための提案や、商品、サービス等の提案を行うこともできる。
　＜５．２　無人飛行体への応用例＞
　本開示に係る技術は、無人飛行体に搭載するカメラに適用することができる。そこで、図１５及び図１６を参照して、本開示の実施形態に係るカメラ１００を搭載し得る無人飛行体について説明する。図１５は、無人飛行体９２０の外観の模式図であり、詳細には、無人飛行体９２０をその正面９６０から見た場合の模式図である。また、図１６は、無人飛行体９２０の概略的な機能構成の一例を示すブロック図である。
　無人飛行体９２０は、無人の小型飛行機であって、自律飛行機能および自立姿勢制御機能等により飛行することができる。当該無人飛行体９２０は、プロペラ９３０と、プロペラ駆動部９３２と、飛行制御部９３４と、測位ユニット９４０と、飛行制御用通信部９５０とを主に有する。以下に、無人飛行体９２０の各機能ユニットについて説明する。
　プロペラ９３０は、図１５に示すように無人飛行体９２０の上部に複数設けられ、無人飛行体９２０の内部に設けられたプロペラ駆動部９３２から伝達された動力により回転することにより、無人飛行体９２０に推進力を与えたり、無人飛行体９２０の姿勢を水平に保持したりする。また、プロペラ駆動部９３２は、無人飛行体９２０の内部に設けられ、後述する飛行制御部９３４からの制御に従って、各プロペラ９３０を回転させる。
　測位ユニット９４０は、無人飛行体９２０の内部に設けられ、無人飛行体９２０の位置情報である二次元位置情報（経度情報、緯度情報）及び高度情報と、無人飛行体９２０の姿勢情報及び加速度情報とを取得し、後述する飛行制御部９３４に出力する。出力された位置情報や姿勢情報等は、無人飛行体９２０を所望する場所へ飛行させたり、無人飛行体９２０を水平姿勢に維持したりするために用いられる。
　測位ユニット９４０は、図１６に示すように、姿勢検出部９４２、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）ユニット９４４及び高度計９４６を主に有する。詳細には、姿勢検出部９４２は、例えば、加速度センサ及び角速度センサが組み合わされたジャイロセンサ等を含み、無人飛行体９２０の姿勢（傾き、向き等）及び加速度を検出する。ＧＰＳユニット９４４は、ＧＰＳ衛星からのＧＰＳ信号を用いて計測を行う現在位置計測装置からなり、無人飛行体９２０の地表における二次元位置情報（緯度情報、経度情報）を取得することができる。高度計９４６は、無人飛行体９２０の高度情報（地表からの高さ）を取得することができる。
　なお、測位ユニット９４０は、ＧＰＳユニット９４４によって十分な精度を持つ高度情報を取得することができる場合には、高度計９４６を含まなくてもよい。しかしながら、ＧＰＳユニット９４４によって得られる高度情報は、測位状態によっては精度が低い場合があり、この場合、無人飛行体９２０の飛行等に用いる高度情報としては、十分な精度を持っていないことがある。従って、十分な精度を持つ高度情報を取得するために、測位ユニット９４０は高度計９４６を含んでいることが好ましい。
　飛行制御部９３４は、操縦者が有する操縦装置（図示省略）からの制御信号を受信した場合には、上述の測位ユニット９４０で取得した位置情報及び姿勢情報等を利用しつつ、上記制御信号の飛行指示に従ってプロペラ駆動部９３２を制御する。
　飛行制御用通信部９５０は、操縦者が有する操縦装置（図示省略）との間で無線通信し、無人飛行体９２０の飛行に用いられる制御信号等の送受信を行う。例えば、飛行制御用通信部９５０は、所定の時間おきに、上記操縦装置から制御信号を受信し、受信した制御信号を上述した飛行制御部９３４に出力する。
　無人飛行体９２０に本開示に係る技術を適用することにより、例えば、無人飛行体９２０に搭載されたカメラ１００により、上空から穀物畑を撮像し、穀物畑の画像の色彩を高解像度で解析することにより、穀物の生育状況を認識することができる。
　さらに、本開示に係る技術（本技術）は、スマートフォン、生産ラインに設けられる産業用カメラといった各種の電子機器に適用することができる。
　＜＜６．　ハードウェア構成の例＞＞
　図１７は、ハードウェア構成の例を示すブロック図である。以下では、画像処理装置５００を例に挙げて説明するが、サーバ６００についても同様の説明が可能である。画像処理装置５００は、以下に説明するハードウェア９００で構成することができ、画像処理装置５００による各種処理は、ソフトウェアと、ハードウェア９００との協働により実現される。
　図１７に示されるように、ハードウェア９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを有する。また、ハードウェア９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ９０８、ドライブ９０９、接続ポート９１１、及び通信装置９１３を有する。ハードウェア９００は、ＣＰＵ９０１に代えて、又は、これとともに、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）もしくは、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、各種プログラムに従ってハードウェア９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、画像処理装置５００のスティッチング処理部５２０等を具現し得る。
　ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバス等を含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０４ｂに接続されている。なお、ホストバス９０４ａ、ブリッジ９０４及び外部バス９０４ｂは、お互いから分離した構成を必ずしも有する必要はなく、単一の構成（例えば１つのバス）において実装されてもよい。
　入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、実施者によって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、ハードウェア９００の操作に対応した携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いて実施者により入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等を含んでいてもよい。実施者は、この入力装置９０６を操作することにより、ハードウェア９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９０７は、取得した情報を実施者に対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｔ）ディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音響出力装置や、プリンタ装置等がある。
　ストレージ９０８は、データ格納用の装置である。ストレージ９０８は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。このストレージ９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。
　ドライブ９０９は、記憶媒体用リーダライタであり、ハードウェア９００に内蔵、あるいは、外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は、半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等によりデータ伝送可能な外部機器との接続口である。
　通信装置９１３は、例えば、ネットワーク９１５に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ　Ｃｏｎｔｒｏｌ　Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ）等の所定のプロトコルに則して信号等を送受信することができる。
　なお、ネットワーク９１５は、ネットワーク９１５に接続されている装置から送信される情報の有線又は無線の伝送路である。例えば、ネットワーク９１５は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等を含んでもよい。また、ネットワーク９１５は、ＩＰ－ＶＰＮ（Ｉｎｔｅｒｎｅｔ　Ｐｒｏｔｏｃｏｌ－Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）等の専用回線網を含んでもよい。
　以上、画像処理装置５００の機能を実現可能なハードウェア構成例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　＜＜７．　補足＞＞
　なお、先に説明した本開示の実施形態は、例えば、上記で説明したようなカメラ１００（詳細には、信号処理部１４０）、画像処理装置５００又はサーバ６００等で実行される画像処理方法を実行するプログラム、及び、当該プログラムが記録された一時的でない有形の媒体を含みうる。また、当該プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。
　また、上述した本開示の実施形態の画像処理方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法により処理されていてもよい。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　検出可能な光の波長帯域が段階的に異なる５種類以上の複数の画素が行方向及び列方向に沿って配列することにより構成される画素アレイ部を備え、
　前記画素アレイ部上のいずれかの空間位相を持つ各点において、当該点の周囲の所定の数の画素の分光特性を混合して得られる混合分光特性が互いに略同一になるように、前記複数の画素が配列する、
　撮像装置。
（２）
　前記画素アレイ部上で所定の数の画素分だけ互いに離隔する前記各点において、前記混合分光特性は略同一である、上記（１）に記載の撮像装置。
（３）
　前記画素アレイ部においては、互いに隣り合わない波長帯域の光を検出する前記画素同士が、前記行方向及び前記列方向において隣接するように、配置される、
　上記（１）又は（２）に記載の撮像装置。
（４）
　前記画素アレイ部においては、互いに隣り合う波長帯域の光を検出する前記画素同士が、前記行方向及び前記列方向において隣接しないように、配置される、
　上記（１）～（３）のいずれか１つに記載の撮像装置。
（５）
　前記画素アレイ部においては、下記の数式（１）で示される評価関数が最小となるように、前記複数の画素が配置される、上記（１）又は（２）に記載の撮像装置。
Figure JPOXMLDOC01-appb-M000003
 （６）
　前記画素アレイ部は、ｍ行及びｎ列で配列する前記複数の画素からなる単位領域が、前記行方向及び前記列方向に沿って配列することにより構成される、上記（１）～（５）のいずれか１つに記載の撮像装置。
（７）
　前記各点は、前記画素アレイ部上で１つの前記画素分だけ互いに離隔し、
　前記混合分光特性は、前記各点を囲む４つの前記画素の前記分光特性を混合して得られる、
　上記（２）に記載の撮像装置。
（８）
　前記複数の画素のそれぞれから画素信号を取得し、取得した前記画素信号に基づいて、画像データを生成する信号処理部をさらに備え、
　前記信号処理部は、前記各点を囲む前記所定の数の前記画素のそれぞれから得られる前記画素信号を混合し、混合した前記画素信号から前記画像データを生成する、
　上記（１）に記載の撮像装置。
（９）
　前記信号処理部は、前記各点の前記混合分光特性の差分に基づいて、前記各点を囲む前記所定の数の画素のそれぞれから得られる前記画素信号の混合比を調整する、
　上記（８）に記載の撮像装置。
（１０）
　前記信号処理部は、前記各点に対応させて混合された前記画素信号の信号レベルの差に応じて、空間フィルタリングを行う、上記（９）に記載の撮像装置。
（１１）
　前記信号処理部は、前記画像データの空間周波数特性に応じて、前記空間フィルタリングの特性・強度を調整する、上記（１０）に記載の撮像装置。
（１２）
　前記信号処理部は、被写体に光を照射する光源又は当該被写体の分光特性に応じて、前記空間フィルタリングの特性・強度を調整する、上記（１０）に記載の撮像装置。
（１３）
　前記信号処理部は、前記各点に対応させて混合された前記画素信号の信号レベルの差に応じて、前記混合された画素信号のゲインを調整する、上記（９）に記載の撮像装置。
（１４）
　前記信号処理部は、被写体に光を照射する光源又は当該被写体の分光特性に応じて、前記ゲインを調整する、上記（１３）に記載の撮像装置。
（１５）
　前記信号処理部は、被写体、撮像条件又は所望の解像度に基づいて、前記画像データの生成の際に使用する前記複数の画素を選択する、上記（８）に記載の撮像装置。
（１６）
　複数の前記画像データを取得し、互いにつなぎ合わせる処理を行うスティッチング処理部をさらに備える、上記（８）～（１５）のいずれか１つに記載の撮像装置。
（１７）
　前記画像データ及び他のセンサからの画像データを取得して、フュージョン処理を行うフュージョン処理部をさらに備える、上記（８）～（１６）のいずれか１つに記載の撮像装置。
（１８）
　前記画像データを取得し、画像認識を行う画像認識部をさらに備える、上記（８）～（１７）のいずれか１つに記載の撮像装置。
（１９）
　前記画像データを取得し、解析を行う解析部をさらに備える、上記（８）～（１８）のいずれか１つに記載の撮像装置。
（２０）
　撮像装置を搭載する電子機器であって、
　前記撮像装置は、
　検出可能な光の波長帯域が段階的に異なる５種類以上の複数の画素が行方向及び列方向に沿って配列することにより構成される画素アレイ部を備え、
　前記画素アレイ部上のいずれかの空間位相を持つ各点において、当該点の周囲の所定の数の画素の分光特性を混合して得られる混合分光特性が互いに略同一になるように、前記複数の画素が配列する、
　電子機器。
　　１０　　画像処理システム
　　１００　　カメラ
　　１１０　　光学レンズ
　　１２０　　シャッタ機構
　　１３０　　イメージセンサ
　　１４０　　信号処理部
　　１４２　　前処理部
　　１４４　　デモザイク処理部
　　１４６　　ＮＲ部
　　１４８、１５０、５４０　　出力部
　　１６０　　制御部
　　３００　　受光面（画素アレイ部）
　　３０２、３０２ａ　　単位ユニット
　　３０４　　画素
　　３１０　　半導体基板
　　３３２　　垂直駆動回路部
　　３３４　　カラム信号処理回路部
　　３３６　　水平駆動回路部
　　３３８　　出力回路部
　　３４０　　制御回路部
　　３４２　　画素駆動配線
　　３４４　　垂直信号線
　　３４６　　水平信号線
　　３４８　　入出力端子
　　４００　　配線層
　　４１０　　フィルタ
　　４２０　　オンチップレンズ
　　４３０　　半導体領域
　　４４０　　配線
　　４５０　　層間絶縁膜
　　５００　　画像処理装置
　　５１０　　画像認識部／データ解析部
　　５２０　　スティッチング処理部
　　５３０　　フュージョン処理部
　　６００　　サーバ
　　９００　　ハードウェア
　　９０１　　ＣＰＵ
　　９０２　　ＲＯＭ
　　９０３　　ＲＡＭ
　　９０４　　ブリッジ
　　９０４ａ　　ホストバス
　　９０４ｂ　　外部バス
　　９０５　　インタフェース
　　９０６　　入力装置
　　９０７　　出力装置
　　９０８　　ストレージ
　　９０９　　ドライブ
　　９１１　　接続ポート
　　９１３　　通信装置
　　９１５　　ネットワーク
　　９２０　　無人飛行体
　　９３０　　プロペラ
　　９３２　　プロペラ駆動部
　　９３４　　飛行制御部
　　９４０　　測位ユニット
　　９４２　　姿勢検出部
　　９４４　　ＧＰＳユニット
　　９４６　　高度計
　　９５０　　飛行制御用通信部
　　９６０　　正面

Claims (20)

  1. 　検出可能な光の波長帯域が段階的に異なる５種類以上の複数の画素が行方向及び列方向に沿って配列することにより構成される画素アレイ部を備え、
    　前記画素アレイ部上のいずれかの空間位相を持つ各点において、当該点の周囲の所定の数の画素の分光特性を混合して得られる混合分光特性が互いに略同一になるように、前記複数の画素が配列する、
    　撮像装置。
  2. 　前記画素アレイ部上で所定の数の画素分だけ互いに離隔する前記各点において、前記混合分光特性は略同一である、請求項１に記載の撮像装置。
  3. 　前記画素アレイ部においては、互いに隣り合わない波長帯域の光を検出する前記画素同士が、前記行方向及び前記列方向において隣接するように、配置される、
    　請求項１に記載の撮像装置。
  4. 　前記画素アレイ部においては、互いに隣り合う波長帯域の光を検出する前記画素同士が、前記行方向及び前記列方向において隣接しないように、配置される、
    　請求項１に記載の撮像装置。
  5. 　前記画素アレイ部においては、下記の数式（１）で示される評価関数が最小となるように、前記複数の画素が配置される、請求項１に記載の撮像装置。
    Figure JPOXMLDOC01-appb-M000001
  6. 　前記画素アレイ部は、ｍ行及びｎ列で配列する前記複数の画素からなる単位領域が、前記行方向及び前記列方向に沿って配列することにより構成される、請求項１に記載の撮像装置。
  7. 　前記各点は、前記画素アレイ部上で１つの前記画素分だけ互いに離隔し、
    　前記混合分光特性は、前記各点を囲む４つの前記画素の前記分光特性を混合して得られる、
    　請求項２に記載の撮像装置。
  8. 　前記複数の画素のそれぞれから画素信号を取得し、取得した前記画素信号に基づいて、画像データを生成する信号処理部をさらに備え、
    　前記信号処理部は、前記各点を囲む前記所定の数の前記画素のそれぞれから得られる前記画素信号を混合し、混合した前記画素信号から前記画像データを生成する、
    　請求項１に記載の撮像装置。
  9. 　前記信号処理部は、前記各点の前記混合分光特性の差分に基づいて、前記各点を囲む前記所定の数の画素のそれぞれから得られる前記画素信号の混合比を調整する、
    　請求項８に記載の撮像装置。
  10. 　前記信号処理部は、前記各点に対応させて混合された前記画素信号の信号レベルの差に応じて、空間フィルタリングを行う、請求項９に記載の撮像装置。
  11. 　前記信号処理部は、前記画像データの空間周波数特性に応じて、前記空間フィルタリングの特性・強度を調整する、請求項１０に記載の撮像装置。
  12. 　前記信号処理部は、被写体に光を照射する光源又は当該被写体の分光特性に応じて、前記空間フィルタリングの特性・強度を調整する、請求項１０に記載の撮像装置。
  13. 　前記信号処理部は、前記各点に対応させて混合された前記画素信号の信号レベルの差に応じて、前記混合された画素信号のゲインを調整する、請求項９に記載の撮像装置。
  14. 　前記信号処理部は、被写体に光を照射する光源又は当該被写体の分光特性に応じて、前記ゲインを調整する、請求項１３に記載の撮像装置。
  15. 　前記信号処理部は、被写体、撮像条件又は所望の解像度に基づいて、前記画像データの生成の際に使用する前記複数の画素を選択する、請求項８に記載の撮像装置。
  16. 　複数の前記画像データを取得し、互いにつなぎ合わせる処理を行うスティッチング処理部をさらに備える、請求項８に記載の撮像装置。
  17. 　前記画像データ及び他のセンサからの画像データを取得して、フュージョン処理を行うフュージョン処理部をさらに備える、請求項８に記載の撮像装置。
  18. 　前記画像データを取得し、画像認識を行う画像認識部をさらに備える、請求項８に記載の撮像装置。
  19. 　前記画像データを取得し、解析を行う解析部をさらに備える、請求項８に記載の撮像装置。
  20. 　撮像装置を搭載する電子機器であって、
    　前記撮像装置は、
    　検出可能な光の波長帯域が段階的に異なる５種類以上の複数の画素が行方向及び列方向に沿って配列することにより構成される画素アレイ部を備え、
    　前記画素アレイ部上のいずれかの空間位相を持つ各点において、当該点の周囲の所定の数の画素の分光特性を混合して得られる混合分光特性が互いに略同一になるように、前記複数の画素が配列する、
    　電子機器。
PCT/JP2022/006793 2021-03-09 2022-02-18 撮像装置及び電子機器 WO2022190826A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/263,662 US20240089567A1 (en) 2021-03-09 2022-02-18 Imaging device and electronic equipment
CN202280018768.4A CN116941247A (zh) 2021-03-09 2022-02-18 成像装置和电子设备
JP2023505261A JPWO2022190826A1 (ja) 2021-03-09 2022-02-18

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163158447P 2021-03-09 2021-03-09
US63/158,447 2021-03-09

Publications (1)

Publication Number Publication Date
WO2022190826A1 true WO2022190826A1 (ja) 2022-09-15

Family

ID=83227711

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/006793 WO2022190826A1 (ja) 2021-03-09 2022-02-18 撮像装置及び電子機器

Country Status (5)

Country Link
US (1) US20240089567A1 (ja)
JP (1) JPWO2022190826A1 (ja)
CN (1) CN116941247A (ja)
TW (1) TW202241118A (ja)
WO (1) WO2022190826A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227697A (ja) * 2007-03-09 2008-09-25 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
WO2018179671A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
WO2019026619A1 (ja) * 2017-08-01 2019-02-07 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP2019080245A (ja) * 2017-10-26 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227697A (ja) * 2007-03-09 2008-09-25 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
WO2018179671A1 (ja) * 2017-03-27 2018-10-04 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
WO2019026619A1 (ja) * 2017-08-01 2019-02-07 ソニー株式会社 画像処理装置、画像処理方法、並びにプログラム
JP2019080245A (ja) * 2017-10-26 2019-05-23 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び撮像装置

Also Published As

Publication number Publication date
TW202241118A (zh) 2022-10-16
US20240089567A1 (en) 2024-03-14
CN116941247A (zh) 2023-10-24
JPWO2022190826A1 (ja) 2022-09-15

Similar Documents

Publication Publication Date Title
US20240047502A1 (en) Solid-state imaging device, driving method therefor, and electronic apparatus
EP2642757B1 (en) Imaging systems with clear filter pixels
TWI500319B (zh) 影像感測器之延伸景深
US11678063B2 (en) System and method for visible and infrared high dynamic range sensing
EP4161061A1 (en) Image acquisition method, camera assembly, and mobile terminal
CN102687502B (zh) 减少彩色图像中的噪声
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
JP6598507B2 (ja) 撮像装置、撮像システム、信号処理方法
US11659289B2 (en) Imaging apparatus and method, and image processing apparatus and method
US20090268055A1 (en) Concentric exposure sequence for image sensor
CN110463197B (zh) 增强立体相机成像系统中的空间分辨率
WO2021103818A1 (zh) 图像传感器、控制方法、摄像头组件及移动终端
TW200904204A (en) Methods, systems and apparatuses for high-quality green imbalance compensation in images
JPWO2017138370A1 (ja) 固体撮像素子およびその製造方法、並びに電子機器
US11460666B2 (en) Imaging apparatus and method, and image processing apparatus and method
US20110310278A1 (en) Systems and methods for adaptive control and dynamic range extension of image sensors
US20110157395A1 (en) Image sensor with fractional resolution image processing
EP3700192A1 (en) Imaging device and signal processing device
EP3678365A1 (en) Imaging element, image processing device, image processing method, and program
US11451715B2 (en) Imaging apparatus, exposure controlling method, and imaging device
WO2022190826A1 (ja) 撮像装置及び電子機器
EP3780580B1 (en) Image capture element and image processing method
EP3780594B1 (en) Imaging device and method, image processing device and method, and imaging element
US20130308021A1 (en) Systems and methods for adaptive control and dynamic range extension of image sensors
WO2021046691A1 (zh) 图像采集方法、摄像头组件及移动终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22766789

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023505261

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18263662

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280018768.4

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22766789

Country of ref document: EP

Kind code of ref document: A1