WO2015012121A1 - 撮像素子、撮像方法、並びにプログラム - Google Patents

撮像素子、撮像方法、並びにプログラム Download PDF

Info

Publication number
WO2015012121A1
WO2015012121A1 PCT/JP2014/068543 JP2014068543W WO2015012121A1 WO 2015012121 A1 WO2015012121 A1 WO 2015012121A1 JP 2014068543 W JP2014068543 W JP 2014068543W WO 2015012121 A1 WO2015012121 A1 WO 2015012121A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
control signal
exposure
transfer control
Prior art date
Application number
PCT/JP2014/068543
Other languages
English (en)
French (fr)
Inventor
光永　知生
俊 海津
哲平 栗田
亨 西
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP14830150.0A priority Critical patent/EP3026891A4/en
Priority to KR1020167001069A priority patent/KR102221341B1/ko
Priority to JP2015528226A priority patent/JP6528974B2/ja
Priority to US14/905,794 priority patent/US10015417B2/en
Priority to CN201480040407.5A priority patent/CN105409205B/zh
Publication of WO2015012121A1 publication Critical patent/WO2015012121A1/ja
Priority to US15/885,701 priority patent/US10200639B2/en
Priority to US16/226,567 priority patent/US10638065B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/571—Control of the dynamic range involving a non-linear response
    • H04N25/573—Control of the dynamic range involving a non-linear response the logarithmic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • This technology relates to an image sensor, an imaging method, and a program.
  • the present invention relates to an imaging device, an imaging method, and a program suitable for expanding a dynamic range by reading out a plurality of pixels at a plurality of exposure timings.
  • an electronic device that captures an image of a subject such as a person to generate an image (image data) and records the generated image (image data) as an image content (image file), for example, an imaging device such as a digital still camera Is popular.
  • CCD Charge-Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • the dynamic range is one of the performance axes of image sensors.
  • the dynamic range is the range of brightness of incident light that can be converted as an effective image signal. The larger the dynamic range, the better the performance can be converted from dark light to bright light into an image signal.
  • Patent Literature 1 proposes a method called SVE (Spatially Varying Exposure).
  • a pixel of a normal image sensor has a photodiode (PD: Photo Diode), and incident light is converted into electric charge by photoelectric conversion. Since the amount of charge that can be accumulated in the pixel is determined, charge overflow occurs for incident light that is too strong, and no further signal can be extracted. In addition, due to noise generated in the pixel and readout circuit, the generated charge is buried in the noise and the signal cannot be extracted for light that is too weak.
  • PD Photo Diode
  • pixels with different sensitivities are arranged in a predetermined arrangement pattern so that signals can be acquired with high-sensitivity pixels in dark areas and low-sensitivity pixels in bright areas. It is.
  • a method of changing the sensitivity for each pixel there are a method of using an electronic shutter control mechanism of an image sensor in addition to a method of changing a pixel aperture ratio or using an on-chip filter having a different light transmittance.
  • Patent Document 1 a method using an electronic shutter control mechanism in a CCD image sensor is proposed.
  • Patent Document 2 proposes an image sensor in which four types of pixels are arranged in combination with pixels having spectral sensitivity for obtaining luminance signals and pixels having three types of spectral sensitivity for obtaining color signals.
  • pixels for obtaining luminance signals are arranged in a checkered pattern, and pixels having R, G, and B spectral sensitivities for obtaining color signals are the remaining checkers. What is the arrangement position of the shape is described.
  • Patent Document 3 discloses an example of an exposure pattern in the case of performing SVE imaging with the pixel array described in Patent Document 2.
  • Patent Document 1 there is a description of a pixel control method for performing shooting by the SVE method in an image sensor having a color arrangement composed of three colors of RGB (red, green, and blue).
  • Patent Document 2 there is a description of using one pixel for obtaining a luminance signal and three pixels for obtaining a color signal in combination.
  • Patent Document 3 there is a description of an exposure pattern in the case of performing SVE imaging with the pixel array described in Patent Document 2.
  • the present technology has been made in view of such a situation, and is capable of expanding the dynamic range and further improving the performance.
  • each of the four types of spectral sensitivity pixels including a spectral sensitivity pixel having total color matching are arranged on the imaging surface, and each of the four types of spectral sensitivity includes a first one. Pixels that realize exposure and pixels that realize second exposure different from the first exposure are arranged on the imaging surface.
  • Second lines that are shifted by one pixel are alternately arranged in a direction orthogonal to the specific direction, and pixels having spectral sensitivities different from the spectral sensitivities of the first pixels are It is possible to form a 4 ⁇ 4 pixel periodic arrangement in which the first spectral sensitivity pixels are arranged in a checkered pattern in a two-dimensional manner with a two-pixel or four-pixel cycle in a specific direction.
  • Three pixel transfer control signal lines for controlling exposure start and end timings of a plurality of pixels constituting one line in the specific direction are provided for each line, and the pixel transfer control signal lines in the first line
  • the first pixel transfer control signal line sends a transfer control signal to the pixels having the same spectral sensitivity in the two pixel period of the first line, and among the pixel transfer control signal lines in the first line
  • the second pixel transfer control signal line sends a transfer control signal to the pixels having the same spectral sensitivity in the four-pixel cycle of the first line
  • the third pixel transfer control signal line in the first line is the third pixel transfer control signal line.
  • the pixel transfer control signal line sends a transfer control signal to the pixels having the same spectral sensitivity in the four pixel period of the first line, and the first of the pixel transfer control signal lines in the second line.
  • the pixel transfer control signal line sends a transfer control signal to pixels having the same spectral sensitivity in the two pixel period of the second line, and the second pixel transfer of the pixel transfer control signal lines in the second line.
  • the control signal line sends a transfer control signal to the pixels having the same spectral sensitivity in the four pixel period of the second line, and the third pixel transfer control signal among the pixel transfer control signal lines in the second line
  • a line sends a transfer control signal to pixels having the same spectral sensitivity in the four-pixel cycle of the second line, and each of the pixel transfer control signal lines has a first timing for realizing the first exposure;
  • the pixel transfer control signal can be sent at either of the second timings for realizing the second exposure.
  • One A / D converter is shared between two adjacent pixels in the specific direction, and at least two pixel transfer control signal lines of the pixel transfer control signal lines are used for the two adjacent pixels.
  • the exposure timing can be shifted.
  • a single floating diffusion can be shared by a pixel group composed of a plurality of pixels.
  • the periodic arrangement of the 4 ⁇ 4 pixels includes the first line in which the first pixels and the second pixels having the second spectral sensitivity are alternately arranged in the specific direction, and the specific direction.
  • the first pixel is arranged in a two-pixel cycle, and the third pixel having the third spectral sensitivity and the fourth pixel having the fourth spectral sensitivity are arranged in the remaining pixel positions at a four-pixel cycle.
  • the second lines can be alternately arranged in a direction orthogonal to the specific direction.
  • the first pixel transfer control signal line of the first line and the first pixel transfer control signal line of the second line are controlled to send control signals at different timings, respectively.
  • the second pixel transfer control signal line and the third pixel transfer control signal line of one line are controlled to send control signals at different timings, respectively, and the second pixel of the second line
  • the transfer control signal line and the pixel transfer control signal line for the third pixel of the fourth line are controlled to send control signals at different timings, respectively, and the fourth line of the second line
  • the pixel transfer control signal line for the pixel and the pixel transfer control signal line for the fourth pixel in the fourth line are controlled to send control signals at different timings. It can be.
  • a first processing unit that calculates an interpolated value at the pixel position of the first exposure signal having the first spectral sensitivity, and the second exposure signal having the first spectral sensitivity.
  • a second processing unit that calculates an interpolation value at the pixel position
  • a third processing unit that calculates an interpolation value at the pixel position of the signal of the first exposure having the second spectral sensitivity
  • the second processing unit A fourth processing unit that calculates an interpolated value at the pixel position of the second exposure signal having a spectral sensitivity of the third, and an interpolated value at the pixel position of the signal of the first exposure having the third spectral sensitivity.
  • a fifth processing unit that calculates the interpolation value at the pixel position of the second exposure signal having the third spectral sensitivity, and the first exposure having the fourth spectral sensitivity.
  • a seventh processing unit for calculating an interpolation value at the pixel position of the signal of And an eighth processing unit that calculates an interpolated value at the pixel position of the signal of the second exposure having the spectral sensitivity of 4.
  • a ninth processing unit that calculates an interpolation value of the sensitivity, the third spectral sensitivity, and the fourth spectral sensitivity, respectively.
  • the ninth processing unit may include a process of converting a signal read from each pixel into a non-linear gradation.
  • the processing for converting to the non-linear gradation may include processing for conversion based on an upward convex power function characteristic.
  • the process of converting to the non-linear gradation can include a process of converting based on logarithmic gradation characteristics.
  • a logarithmic conversion processing unit that performs logarithmic conversion on signals from pixels arranged on the imaging surface; and a logarithmic inverse conversion processing unit that performs logarithmic inverse conversion on the interpolation value output from the ninth processing unit.
  • the first to eighth processing units may perform processing using values converted by the logarithmic conversion processing unit, respectively.
  • a logarithmic conversion processing unit that logarithmically converts a signal from a pixel arranged on the imaging surface; and a logarithmic inverse conversion processing unit that performs logarithmic inverse conversion on the interpolation value output from the conversion unit.
  • Each of the processing units 1 to 8 can perform processing using values converted by the logarithmic conversion processing unit.
  • each of the four types of spectral sensitivity pixels including a spectral sensitivity pixel having total color matching are arranged on an imaging surface, and each of the four types of spectral sensitivity includes a first A pixel that realizes exposure and a pixel that realizes second exposure different from the first exposure are arranged on the imaging surface, and in a specific direction, the first spectral sensitivity that is the total color matching property is the first.
  • a first line in which pixels are arranged in a two-pixel cycle and a second line in which the first pixel is arranged with a shift of one pixel in the specific direction from the first line are in the specific direction.
  • pixels having a spectral sensitivity different from the spectral sensitivity of the first pixel are arranged in a specific direction at a period of 2 or 4 pixels for each same spectral sensitivity.
  • a period of 4 ⁇ 4 pixels in which the first spectral sensitivity pixels are in a checkered array A pixel transfer control signal line for controlling exposure start and end timings of a plurality of pixels constituting one line in the specific direction, and for each line.
  • the pixel transfer control signal line is provided with a pixel transfer control signal at either a first timing for realizing the first exposure or a second timing for realizing the second exposure. Including a sending step.
  • spectral sensitivity pixels including a spectral sensitivity pixel having total color matching are arranged on an imaging surface, and a first exposure is performed on each of the four types of spectral sensitivity.
  • a pixel that realizes a second exposure different from the first exposure are arranged on the imaging surface, and is a first pixel of spectral sensitivity that is the total color matching in a specific direction.
  • the second line in which the first pixel is arranged one pixel away from the first line in the specific direction is in the specific direction.
  • Pixels having spectral sensitivities that are alternately arranged in the orthogonal directions and different from the spectral sensitivities of the first pixels are arranged for each of the same spectral sensitivities in two or four pixel cycles in a specific direction.
  • the first spectral sensitivity pixels are arranged in a checkered pattern.
  • a pixel transfer control signal line for controlling exposure start and end timings of a plurality of pixels constituting one line in the specific direction in a program executed by a computer that controls an image sensor that constitutes a general arrangement
  • the three pixel transfer control signal lines provided for each line have either a first timing for realizing the first exposure or a second timing for realizing the second exposure. Processing including sending a pixel transfer control signal.
  • spectral sensitivity pixels including a spectral sensitivity pixel that has total color matching are arranged on the imaging surface, and the four types of spectral sensitivity are provided.
  • the pixels that realize the first exposure and the pixels that realize the second exposure different from the first exposure are arranged on the imaging surface, respectively. Is configured and controlled.
  • the dynamic range can be expanded and the performance can be further improved.
  • FIG. 2 is a diagram illustrating a configuration example of a basic circuit of a pixel provided in the imaging element according to the first embodiment.
  • FIG. 2 is a diagram illustrating a configuration example of a pixel control circuit and a pixel wiring of an imaging element in the first embodiment.
  • FIG. 3 is a timing chart schematically showing a control signal to each pixel constituting the imaging element in the first embodiment.
  • 3 is a timing chart schematically showing a control signal to each pixel constituting the imaging element in the first embodiment.
  • 3 is a timing chart schematically showing a control signal to each pixel constituting the imaging element in the first embodiment.
  • 3 is a timing chart schematically showing a control signal to each pixel constituting the imaging element in the first embodiment.
  • 6 is a timing chart schematically showing a control signal to each pixel constituting the imaging element in the second embodiment. It is a figure which shows the structural example of the basic circuit of the pixel with which the imaging element in 3rd Embodiment is equipped.
  • FIG. 10 is a timing chart schematically showing a control signal to each pixel constituting the imaging element in the third embodiment. It is a figure which shows the structural example of the basic circuit of the pixel with which the imaging element in 4th Embodiment is equipped. It is a figure which shows the structural example of the pixel control circuit and pixel wiring of an imaging device in 4th Embodiment. 14 is a timing chart schematically showing control signals to each pixel constituting the imaging element in the fourth embodiment. It is a block diagram which shows the function structural example of the imaging device in 5th Embodiment.
  • FIG. 1 It is a block diagram which shows the function structural example of the image process part in 5th Embodiment. It is a figure which shows an example of the interpolation filter coefficient utilized in WL high frequency interpolation part in 5th Embodiment, and WS high frequency interpolation part.
  • FIG. 11 is a block diagram illustrating a functional configuration example of processing for conversion into RGB Bayer data in an imaging element in another application example. It is a block diagram which shows the function structural example which changed the processing position of logarithmic transformation in the image processing part in 5th Embodiment.
  • FIG. 11 is a block diagram illustrating a functional configuration example of processing for conversion into RGB Bayer data in an imaging element in another application example. It is a block diagram which shows the function structural example which changed the processing position of logarithmic transformation in the image processing part in 5th Embodiment.
  • FIG. 11 is a block diagram illustrating a functional configuration example in which a logarithmic conversion processing position is changed in a process of converting to RGB Bayer data in an imaging element in another application example. It is a figure which shows the other example of the arrangement
  • First embodiment (example in which three pixel transfer control signal lines are provided on one horizontal line) 2.
  • Second embodiment (an example of an image sensor in which two horizontal pixels share one A / D converter) 3.
  • Third embodiment (an example of an image sensor in which four pixels in the vertical direction share one FD) 4).
  • Fourth embodiment (an example of an image sensor in which 8 pixels share an FD) 5.
  • Fifth embodiment (example of imaging apparatus) 6).
  • Image sensors include CCD (Charge Coupled Device sensor, CMOS (Complementary Metal Oxide Semiconductor) sensor, etc.
  • this technology uses R (red), G (green), B (blue), and W (white) colors.
  • the present invention can be applied to an image sensor in which four pixels that output light are arranged.
  • each rectangle schematically represents a pixel.
  • Each rectangle has a symbol indicating the type of color filter (color light output from each pixel). For example, “G” is attached to the G pixel, “R” is attached to the R pixel, “B” is attached to the B pixel, and “W” is attached to the W pixel. The same applies to the following description.
  • the W pixel functions as a spectral sensitivity pixel having total color matching
  • the R pixel, the G pixel, and the B pixel function as spectral sensitivity pixels having characteristics in the respective colors.
  • the present technology can be applied to an image sensor (image sensor) in which four types of spectral sensitivity pixels including a spectral sensitivity of total color matching are arranged on the imaging surface.
  • the image sensor shown in FIG. 1 shows an arrangement of R pixels, G pixels, B pixels, and W pixels arranged in 1 to 8 rows and 1 to 8 columns.
  • FIG. 1 shows a part of an image sensor, which is arranged in other rows and columns other than R pixels, G pixels, B pixels, and W pixels arranged in 1 to 8 rows and 1 to 8 columns.
  • the configuration for the arranged R pixel, G pixel, B pixel, and W pixel is the same.
  • the pixel 10 (m, n) where m represents a row and n represents a column.
  • a row is a horizontal direction in which a horizontal signal line (not shown) is arranged
  • a column is a vertical direction in which a vertical signal line (not shown) is arranged.
  • the pixel 10 (2, 1) represents a pixel located in the first column of the second row.
  • the upper left pixel is a pixel 10 (1, 1), and the position of each pixel is expressed with the pixel 10 (1, 1) as a reference.
  • the same description is made in other drawings.
  • W pixel 10 (1, 1), G pixel 10 (1, 2), W pixel 10 (1, 3), G pixel 10 (1, 4), W pixel 10 (1, 5) , G pixel 10 (1, 6), W pixel 10 (1, 7), and G pixel 10 (1, 8) are arranged.
  • W pixels and G pixels are arranged in the first row.
  • R pixel 10 (2, 1), W pixel 10 (2, 2), B pixel 10 (2, 3), W pixel 10 (2, 4), R pixel 10 (2, 5) , W pixel 10 (2, 6), B pixel 10 (2, 7), and W pixel 10 (2, 8) are arranged.
  • R pixels, W pixels, and B pixels are arranged in the second row.
  • W pixels and G pixels are alternately arranged as in the first row.
  • the fourth row is similar to the second row in that R pixels, W pixels, and B pixels are arranged, except that the start pixel is not an R pixel but a B pixel.
  • the fourth row includes the B pixel 10 (4, 1), the W pixel 10 (4, 2), the R pixel 10 (4, 3), the W pixel 10 (4, 4), and the B pixel 10 (4, 5). ), W pixel 10 (4, 6), R pixel 10 (4, 7), and W pixel 10 (4, 8).
  • W pixels and G pixels are alternately arranged as in the 1st row.
  • R pixels, W pixels, and B pixels are arranged in the sixth row.
  • B pixels, W pixels, and R pixels are arranged in the eighth row.
  • the W pixel when attention is paid to a W pixel having a spectral sensitivity of total color matching in the specific direction, the W pixel is arranged in a cycle of two pixels. And a second line in which W pixels are arranged with a shift of one pixel in a specific direction from the first line.
  • the first line and the second line are alternately arranged in a direction (column direction) orthogonal to the specific direction.
  • R pixels, G pixels, and B pixels having spectral sensitivities different from those of W pixels are arranged in a specific direction at intervals of 2 pixels or 4 pixels for each same spectral sensitivity.
  • G pixels are arranged at a two-pixel cycle in the first line
  • R pixels and B pixels are arranged at a four-pixel cycle in the second line.
  • the color arrangement is performed so as to form a periodic arrangement of 4 ⁇ 4 pixels in which the W pixels are in a checkered arrangement in two dimensions.
  • FIG. 2 is a diagram illustrating an example of a pixel array of a color filter attached to the light receiving unit of the image sensor according to the first embodiment of the present technology.
  • the pixel arrangement shown in FIG. 2 is basically the same as the pixel arrangement shown in FIG. 1, except that pixels with different sensitivities are arranged.
  • a rectangle without hatching inside the rectangle indicates a long-time exposure pixel
  • a rectangle with hatching inside the rectangle indicates a short-time exposure pixel.
  • a symbol indicating the type of color filter is shown together with a symbol indicating long exposure or short exposure.
  • GL is added to the long-time exposure pixel of the G pixels and is described as a GL pixel
  • GS is added to the short-time exposure pixel and is described as a GS pixel.
  • the long exposure pixel is denoted by “RL” and described as an RL pixel
  • the short time exposure pixel is denoted by “RS” and described as an RS pixel.
  • the long-time exposure pixels are denoted by “BL” and described as BL pixels
  • the short-time exposure pixels are denoted by “BS” and described as BS pixels.
  • the W pixels the long-time exposure pixels are denoted by “WL” and described as WL pixels
  • the short-time exposure pixels are denoted by “WS” and described as WS pixels.
  • a long-time exposure pixel is a pixel that is continuously exposed (long-time exposure) and read out within a certain exposure period.
  • the short-time exposure pixel is a pixel that reads only a signal obtained by exposure in a period shorter than a predetermined exposure time within a certain exposure period.
  • the description will be continued by taking as an example a case in which pixels that realize two types of exposure, that is, long-time exposure and short-time exposure, are arranged on the imaging surface. It is not a description that means that the present technology can be applied only when exposure is realized. The present technology can also be applied when two or more types of exposure are realized.
  • different exposures such as the first exposure and the second exposure, for example, both the first exposure and the second exposure, are not long-time exposure and short-time exposure. Even with exposure classified as time exposure, the present technology can be applied as long as the exposure is of two types with different exposure times.
  • the color arrangement of the color filter in the first embodiment of the present technology is the same as the four-color arrangement shown in FIG.
  • pixels controlled by two types of exposure times, a long time and a short time, are formed for each color.
  • WL pixel 20 (1, 1), GL pixel 20 (1, 2), WL pixel 20 (1, 3), GS pixel 20 (1, 4), WL pixel 20 (1, 5) , GL pixel 20 (1, 6), WL pixel 20 (1, 7), and GS pixel 20 (1, 8) are arranged.
  • a long exposure pixel WL pixel, a long exposure pixel GL pixel, and a short exposure pixel GS pixel are arranged.
  • WS pixel 20 (2, 6), BL pixel 20 (2, 7), and WS pixel 20 (2, 8) are arranged.
  • a WS pixel as a short-time exposure pixel, an RL pixel as a long-time exposure pixel, and a BL pixel as a long-time exposure pixel are arranged in the second row.
  • a pixel that is a GL pixel of a long exposure pixel is a GS pixel of a short exposure pixel.
  • the pixel that is the GS pixel of the short-time exposure pixel is the GL pixel of the long-time exposure pixel. That is, in the third row, WL pixel 20 (3, 1), GS pixel 20 (3, 2), WL pixel 20 (3, 3), GL pixel 20 (3,4), WL pixel 20 (3, 3) 5)
  • the GS pixel 20 (3, 6), the WL pixel 20 (3, 7), and the GL pixel 20 (3, 8) are arranged.
  • the G pixels located in the same column for example, the GL pixel 20 (1, 2) and the GS pixel 20 (3, 2) arranged in the first column have different exposure times.
  • the long-time exposure pixels and the short-time exposure pixels are configured to be relatively uniformly distributed.
  • the fourth row the R pixel, the W pixel, and the B pixel are arranged as in the second row, but the start pixel is not the R pixel but the B pixel, and all the pixels are set as the short-time exposure pixels. Is different. That is, the fourth row includes BS pixel 20 (4, 1), WS pixel 20 (4, 2), RS pixel 20 (4, 3), WS pixel 20 (4, 4), BS pixel 20 (4, 5). ), WS pixel 20 (4, 6), RS pixel 20 (4, 7), and WS pixel 20 (4, 8) are arranged.
  • the R pixel and the B pixel are also located in the same row as the G pixel, and the R pixel and the G pixel located in the vicinity have different exposure times.
  • the long-time exposure pixels and the short-time exposure pixels are configured to be relatively uniformly distributed.
  • the fifth to eighth rows have the same pixel arrangement as that of the first to fourth rows. Thus, the arrangement is repeated every four rows.
  • W pixels and G pixels are alternately arranged in the odd-numbered rows (1, 3, and 5 rows) from the top, and all of the W pixels are exposed for a long time.
  • GL pixels that are exposed for a long time and GS pixels that are exposed for a short time are alternately arranged.
  • W pixels are arranged every other pixel, and R pixels and B pixels are alternately arranged at the remaining pixel positions. Further, the W pixels in the even-numbered rows are all WS pixels that are subjected to short-time exposure.
  • the R pixel and the B pixel are both long-exposure RL pixels and BL pixels in the same row, and both are short-exposure RS pixels and BS pixels, and are alternately arranged every two rows.
  • the arrangement of pixels shown in FIG. 2 seems to have a complicated exposure spatial pattern at first glance, but when looking at the arrangement of pixels for each color and for each exposure, all are isotropic arrangements. As will be described later, the arrangement can be expected to have an effect that signal processing such as an interpolation filter is easily performed.
  • FIG. 3 schematically shows wiring of control signal lines for realizing the exposure time control of FIG.
  • the solid lines extending in the horizontal direction indicate pixel transfer control signal lines for controlling the exposure of the pixels. Black on the pixel transfer control signal line indicates connection with the pixel at that position.
  • the pixel arrangement is the pixel arrangement shown in FIG. 2, and the hatched portion represents a short-time exposure pixel.
  • the pixel arrangement will be described with reference to FIG.
  • pixel transfer control signal lines 21-1 to 21-3 are arranged in the first row
  • the pixel transfer control signal lines 22-1 to 22-3 are arranged in the second row
  • the third row Pixel transfer control signal lines 23-1 to 23-3 are arranged
  • pixel transfer control signal lines 24-1 to 24-3 are arranged in the fourth row
  • pixel transfer control signal lines 25 are arranged in the fifth row.
  • -1 to 25-3 are arranged
  • pixel transfer control signal lines 26-1 to 26-3 are arranged in the sixth row
  • pixel transfer control signal lines 27-1 to 27-3 are arranged in the seventh row.
  • pixel transfer control signal lines 28-1 to 28-3 are arranged in the eighth row.
  • the pixel transfer control signal line 21-1 is connected to the WL pixel 20 (1,1), the WL pixel 20 (1,3), the WL pixel 20 (1,5), and the WL pixel 20 (1,7). . That is, the pixel transfer control signal line 21-1 is connected to the WL pixels of the long-time exposure pixels and controls their exposure.
  • the pixel transfer control signal line 21-2 is connected to the GL pixel 20 (1,2) and the GL pixel 20 (1,6). That is, the pixel transfer control signal line 21-2 is connected to the GL pixels of the long-time exposure pixels and controls their exposure.
  • the pixel transfer control signal line 21-3 is connected to the GS pixel 20 (1, 4) and the GS pixel 20 (1, 8). That is, the pixel transfer control signal line 21-3 is connected to the GS pixel of the short-time exposure pixel and controls the exposure thereof.
  • the pixel transfer control signal line 22-1 is connected to the WS pixel 20 (2, 2), the WS pixel 20 (2, 4), the WS pixel 20 (2, 6), and the WS pixel 20 (2, 8). . That is, the pixel transfer control signal line 22-1 is connected to the WS pixels of the short-time exposure pixels and controls their exposure.
  • the pixel transfer control signal line 22-2 is connected to the RL pixel 20 (2, 1) and the RL pixel 20 (2, 5). That is, the pixel transfer control signal line 22-2 is connected to the RL pixel of the long-time exposure pixel and controls the exposure thereof.
  • the pixel transfer control signal line 22-3 is connected to the BL pixel 20 (2, 3) and the BL pixel 20 (2, 7). That is, the pixel transfer control signal line 22-3 is connected to the BL pixels of the long-time exposure pixels and controls their exposure.
  • the pixel transfer control signal line 23-1 is connected to the WL pixel 20 (3, 1), the WL pixel 20 (3, 3), the WL pixel 20 (3, 5), and the WL pixel 20 (3, 7). . That is, the pixel transfer control signal line 23-1 is connected to the WL pixels of the long-time exposure pixels and controls their exposure.
  • the pixel transfer control signal line 23-2 is connected to the GL pixel 20 (3,4) and the GL pixel 20 (3, 8). That is, the pixel transfer control signal line 23-2 is connected to the GL pixels of the long-time exposure pixels and controls their exposure.
  • the pixel transfer control signal line 23-3 is connected to the GS pixel 20 (3, 2) and the GS pixel 20 (3, 6). That is, the pixel transfer control signal line 23-3 is connected to the GS pixel of the short-time exposure pixel and controls their exposure.
  • the pixel transfer control signal line 24-1 is connected to the WS pixel 20 (4, 2), the WS pixel 20 (4, 4), the WS pixel 20 (4, 6), and the WS pixel 20 (4, 8). . That is, the pixel transfer control signal line 24-1 is connected to the WS pixels of the short-time exposure pixels and controls their exposure.
  • the pixel transfer control signal line 24-2 is connected to the RS pixel 20 (4, 3) and the RS pixel 20 (4, 7). That is, the pixel transfer control signal line 24-2 is connected to the RS pixels of the short-time exposure pixels and controls their exposure.
  • the pixel transfer control signal line 24-3 is connected to the BS pixel 20 (4, 1) and the BS pixel 20 (4, 5). That is, the pixel transfer control signal line 24-3 is connected to the BS pixels of the short-time exposure pixels and controls their exposure.
  • the fifth to eighth lines have the same pixel arrangement and pixel transfer control signal line connection as the first to fourth lines, the description thereof will be omitted.
  • the W pixel Since the W pixel has sensitivity over the entire wavelength band of visible light, it may have sensitivity that is nearly twice that of the R, G, and B pixels. Therefore, only W pixels are likely to be saturated. According to the present technology, exposure control for each color can be performed. As a result, for example, it is possible to perform control such that only the W pixel has a shorter exposure time than the R, G, and B pixels, and control can be performed so that the W pixel is not saturated.
  • Arrangement (exposure pattern) of long-time exposure pixels and short-time exposure pixels when the pixel transfer control signal line wiring shown in FIG. 3 is applied to the pixel arrangement (color arrangement) shown in FIG. Is not limited to the exposure pattern shown in FIG. Examples of other exposure patterns are shown in FIGS. Although not shown in addition to FIGS. 2 and 4 to 6, the pixel transfer control signal line wiring shown in FIG. 3 is also provided for patterns such as phase difference, long exposure and short exposure determination. Can be applied.
  • FIGS. 4 to 6 The color arrangement shown in each of FIGS. 4 to 6 is the same as that in FIG. 1 (FIG. 2). Similarly to the case shown in FIG. 1, the first row to the fourth row are repeated. Therefore, in the following description, the arrangement of pixels in the first row to the fourth row will be described.
  • WL pixel 40 (1, 1), GL pixel 40 (1, 2), WL pixel 40 (1, 3), GS pixel 40 (1, 4), WL A pixel 40 (1, 5), a GL pixel 40 (1, 6), a WL pixel 40 (1, 7), and a GS pixel 40 (1, 8) are arranged.
  • a long exposure pixel WL pixel, a long exposure pixel GL pixel, and a short exposure pixel GS pixel are arranged.
  • WS pixel 40 (2, 6), BS pixel 40 (2, 7), WS pixel 40 (2, 8) are arranged.
  • a WS pixel as a short exposure pixel, an RL pixel as a long exposure pixel, and a BS pixel as a short exposure pixel are arranged in the second row.
  • WL pixel 40 (3, 1), GS pixel 40 (3, 2), WL pixel 40 (3, 3), GL pixel 40 (3,4), WL pixel 40 (3, 5) , GS pixel 40 (3, 6), WL pixel 40 (3, 7), and GL pixel 40 (3, 8) are arranged.
  • a long exposure pixel WL pixel, a long exposure pixel GL pixel, and a short exposure pixel GS pixel are arranged.
  • the fourth row includes BL pixel 40 (4, 1), WS pixel 40 (4, 2), RS pixel 40 (4, 3), WS pixel 40 (4, 4), BL pixel 40 (4, 5), A WS pixel 40 (4, 6), an RS pixel 40 (4, 7), and a WS pixel 40 (4, 8) are arranged.
  • a WS pixel as a short exposure pixel, a BL pixel as a long exposure pixel, and an RS pixel as a short exposure pixel are arranged.
  • the exposure pattern shown in FIG. 4 also includes long-exposure pixels and short-exposure pixels in the same row, similar to the exposure pattern shown in FIG. Also in the exposure pattern shown in FIG. 4, as shown in FIG. 3, it is possible to control and separately provide three pixel transfer control signal lines in one row. In addition to long exposure and short exposure control, independent control for each color is possible.
  • WL pixel 50 (1, 1), GL pixel 50 (1, 2), WL pixel 50 (1, 3), GL pixel 50 (1, 4), WL A pixel 50 (1, 5), a GL pixel 50 (1, 6), a WL pixel 50 (1, 7), and a GL pixel 50 (1, 8) are arranged.
  • WL pixels and GL pixels, which are long-time exposure pixels, are arranged in the first row.
  • WS pixel 50 (2, 6), BL pixel 50 (2, 7), and WS pixel 50 (2, 8) are arranged.
  • a WS pixel as a short-time exposure pixel, an RL pixel as a long-time exposure pixel, and a BL pixel as a long-time exposure pixel are arranged in the second row.
  • WL pixel 50 3, 1), GS pixel 50 (3, 2), WL pixel 50 (3, 3), GS pixel 50 (3,4), WL pixel 50 (3, 5) , GS pixel 50 (3, 6), WL pixel 50 (3, 7), and GS pixel 50 (3, 8) are arranged.
  • a WL pixel as a long exposure pixel and a GS pixel as a short exposure pixel are arranged.
  • the fourth row includes BS pixel 50 (4, 1), WS pixel 50 (4, 2), RS pixel 50 (4, 3), WS pixel 50 (4, 4), BS pixel 50 (4, 5),
  • the WS pixel 50 (4, 6), the RS pixel 50 (4, 7), and the WS pixel 50 (4, 8) are arranged.
  • a WS pixel, a BS pixel, and an RS pixel, which are short-time exposure pixels, are arranged in the fourth row.
  • the exposure pattern shown in FIG. 5 includes a row in which long exposure pixels and short exposure pixels are mixed in the same row. Also in the exposure pattern shown in FIG. 5, as shown in FIG. 3, it is possible to control and separately provide three pixel transfer control signal lines in one row. In addition to long exposure and short exposure control, independent control for each color is possible.
  • WL pixel 60 (1, 1), GL pixel 60 (1, 2), WL pixel 60 (1, 3), GL pixel 60 (1, 4), WL A pixel 60 (1, 5), a GL pixel 60 (1, 6), a WL pixel 60 (1, 7), and a GL pixel 60 (1, 8) are arranged.
  • WL pixels and GL pixels, which are long-time exposure pixels, are arranged in the first row.
  • WS pixel 60 (2, 6), BS pixel 60 (2, 7), and WS pixel 60 (2, 8) are arranged.
  • a WS pixel as a short exposure pixel, an RL pixel as a long exposure pixel, and a BS pixel as a short exposure pixel are arranged in the second row.
  • WL pixel 60 In the third row, WL pixel 60 (3, 1), GS pixel 60 (3, 2), WL pixel 60 (3, 3), GS pixel 60 (3,4), WL pixel 60 (3, 5) , GS pixel 60 (3, 6), WL pixel 60 (3, 7), and GS pixel 60 (3, 8) are arranged. In this case, in the third row, a WL pixel as a long exposure pixel and a GS pixel as a short exposure pixel are arranged.
  • the fourth row includes a BL pixel 60 (4, 1), a WS pixel 60 (4, 2), an RS pixel 60 (4, 3), a WS pixel 60 (4, 4), a BL pixel 60 (4, 5),
  • the WS pixel 60 (4, 6), the RS pixel 60 (4, 7), and the WS pixel 60 (4, 8) are arranged.
  • a WS pixel as a short exposure pixel, a BL pixel as a long exposure pixel, and an RS pixel as a short exposure pixel are arranged.
  • the exposure pattern shown in FIG. 6 has a mixture of long exposure pixels and short exposure pixels in the same row. Also in the exposure pattern shown in FIG. 6, as shown in FIG. 3, by providing three pixel transfer control signal lines in one row, it becomes possible to control and separate them. In addition to long exposure and short exposure control, independent control for each color is possible.
  • FIG. 7 is a diagram illustrating a configuration example of a basic circuit of a pixel provided in the image sensor according to the first embodiment of the present technology.
  • FIG. 7 shows a configuration example of a pixel circuit of a CIS (CMOS image sensor) having a 4Tr (transistor) configuration in which pixel sharing is not performed.
  • CIS CMOS image sensor
  • 4Tr transistor
  • an equivalent circuit surrounded by a broken-line rectangle represents a component of one pixel.
  • the pixel includes a photodiode PD71, which is a light receiving unit, a floating diffusion FD72, and four MOS-FETs 73-1 to 73-4.
  • the pixels are connected to a pixel transfer control signal line (pixel transfer gate control signal line) TRG74, a pixel readout selection control signal line SEL75, a vertical signal line (readout line) VSL76, and a pixel reset control signal line RST77.
  • pixel transfer control signal line pixel transfer gate control signal line
  • SEL75 pixel readout selection control signal line
  • VSL76 vertical signal line
  • RST77 pixel reset control signal line
  • the light irradiated to the pixel is converted into electrons in the PD 71, and charges corresponding to the light amount are accumulated in the PD 71.
  • the MOS-FET 73-1 controls charge transfer between the PD 71 and the FD 72. By applying the signal of the pixel transfer control signal line TRG74 to the gate electrode of the MOS-FET 73-1, the charge accumulated in the PD71 is transferred to the FD72.
  • the FD 72 is connected to the gate electrode of the MOS-FET 73-3.
  • the control signal of the pixel readout selection control signal line SEL75 is applied to the gate electrode of the MOS-FET 73-4, the voltage corresponding to the charge accumulated in the FD 72 can be read out as a signal from the vertical signal line VSL76.
  • the reset signal of the pixel reset control signal line RST77 is applied to the gate electrode of the MOS-FET 73-2, the charge accumulated in the FD 72 flows through the MOS-FET 73-2, so that the charge accumulation state is reset.
  • 1 pixel has such a basic configuration, and a signal corresponding to the amount of received light is taken out.
  • FIG. 8 is a diagram illustrating a configuration example of the pixel control circuit and the pixel wiring of the image sensor according to the first embodiment of the present technology.
  • the image sensor shown in FIG. 8 is illustrated by taking the first to fourth lines of the image sensor shown in FIG. 2 as an example. Therefore, since the arrangement has been described with reference to FIG. 2, the description thereof is omitted here.
  • the WL pixel located at the upper left is the WL pixel 20 (1, 1).
  • the description will be continued assuming that the other pixels are given the same reference numerals as those of the pixel shown in FIG.
  • the plurality of pixels are arranged in a two-dimensional square lattice.
  • Each pixel has a circuit configuration as shown in FIG.
  • a pixel transfer control signal line TRG74 corresponds to the pixel transfer control signal line in FIG.
  • the same reference numerals as those in FIG. 3 are used.
  • the image pickup device further includes a vertical scanning control circuit (V SCAN CIRCUIT) 81, a horizontal transfer circuit (H TRANSFER CIRCUIT) 82, an A / D (Analog / Digital) converter (ADC) 83 for each column, and a memory (MEM). 84.
  • V SCAN CIRCUIT vertical scanning control circuit
  • H TRANSFER CIRCUIT horizontal transfer circuit
  • ADC Analog / Digital converter
  • MEM memory
  • the vertical operation control circuit 81 controls each signal line (RST77, TRG21 to 24, SEL75) wired in the row direction to turn on / off the switch between each pixel 20 and the vertical signal line VSL76. To do. The control of each signal line will be described later.
  • the horizontal transfer circuit 82 is a circuit for horizontally transferring digital data held in the memory 84 for each column.
  • the A / D converter 83 for each column converts the image data from each pixel, which is an analog value, into digital data (digital value).
  • the memory 84 for each column is a memory for sequentially storing the digital data converted by the A / D converter 83 for each column.
  • Vertical signal lines VSL76 are wired in the vertical direction, and pixels on the same column share one vertical signal line VSL76.
  • the vertical signal line VSL76 is exclusively connected to the output terminal (OUT) by the horizontal transfer circuit 82.
  • one pixel can be connected to the output terminal (OUT) by the selection control of the vertical scanning control circuit 81. For this reason, signals of all the pixels can be read out in a time division manner while sequentially selecting the respective pixels 20.
  • three pixel transfer control signal lines TRG21 to TRG21, a pixel readout selection control signal line SEL75, and a pixel reset control signal line RST77 are wired in the image sensor in each row in the horizontal direction.
  • the three pixel transfer control signal lines TRG21 to TRG24 are connected to the respective pixels in the pattern shown in FIG.
  • FIG. 9 is a timing chart schematically showing a control signal to each pixel included in the image sensor according to the first embodiment of the present technology.
  • FIG. 9 shows a timing chart of control signal lines to the pixels for four rows shown in FIG. The horizontal axis is the time axis.
  • ExpL1 to Exp4 indicate exposure periods
  • ExpL1 to ExpL4 are exposure periods of long exposure pixels
  • ExpS1 to Exp4 are exposure periods of short exposure pixels
  • the numbers correspond to the line numbers.
  • the pixel electronic shutter means that the pixel reset control signal line RST77 is turned ON (the reset transistor 73-2 is an NMOS and is at the H level) and the pixel transfer control signal line TRG77 is simultaneously activated.
  • the accumulated charge of the target PD (photodiode) 71 is reset by the pixel electronic shutter. For this reason, even if the pixel reset control signal line RST77 is ON, if the pixel transfer control signal lines TRG21 to TRG24 are OFF, the target PD 71 is not reset.
  • the pixel reset control signal line RST77-1 and the pixel transfer control signal lines TRG21-1, 21-2 are turned on, so that the WL pixels 20 (1,1), WL in the first row Pixel electronic shutters of the pixel (1, 3), the WL pixel 20 (1, 5), the WL pixel 20 (1, 7), the GL pixel 20 (1, 2), and the GL pixel 20 (1, 6) are released. .
  • each pixel can be controlled so that a plurality of pixels in one horizontal line are exposed in different exposure periods.
  • the same control can be performed for the second line. For example, at time t2, since the pixel reset control signal line RST77-2 and the pixel transfer control signal lines TRG22-2 and 22-3 are turned on, the RL pixel 20 (2, 1), The pixel electronic shutters of the RL pixel 20 (2, 5), the BL pixel 20 (2, 3), and the BL pixel 20 (2, 7) are released. Further, in these pixels, the pixel transfer control signal lines TRG22-2 and 22-3 are turned on at time t10, and the charge accumulated in the PD 71 is transferred, so that (ExpL2) is from time t2 to time t10. It becomes an exposure period.
  • the same control can be performed for the third line.
  • the pixel reset control signal line RS77-3 and the pixel transfer control signal lines TRG23-1, 23-2 are turned on, so that the WL pixel 20 (3, 1), The pixel electronic shutters of the WL pixel 20 (3, 3), the WL pixel 20 (3, 5), the WL pixel 20 (3, 7), the GL pixel 20 (3,4), and the GL pixel 20 (3, 8) Cut off.
  • the same control can be performed for the fourth line. However, in the fourth row, at time t4, the pixel reset control signal line RST77-4 is turned on, but since there is no pixel transfer control signal line 24 that is turned on at the same time, the pixel electronic shutter is cut at time t4. There are no pixels.
  • the pixel electronic shutters of all the pixels in the fourth row are Cut off. That is, BS pixel 20 (4, 1), WS pixel 20 (4, 2), RS pixel 20 (4, 3), WS pixel 20 (4, 4), BS pixel 20 (4, 5), WS pixel 20
  • the pixel electronic shutters of (4, 6), RS pixel 20 (4, 7), and WS pixel 20 (4, 8) are released.
  • the pixel transfer control signal line TRG24-3 is turned on at time t12, and the charge accumulated in the PD 71 is transferred, so that the exposure period from time t8 to time t12 (ExpS4) is the exposure period. .
  • time t1, time t2, time t3, time t4, time t5, time t6, time t7, time t8, time t9, time t10, time t11, time t12 are all 1H (one line). Therefore, the long exposure times ExpL1 to ExpL1 to 4 for each row and the short exposure times ExpS1 to ExpS1 to 4 for each row are the same.
  • FIG. 10 shows a timing chart for realizing the exposure control pattern shown in FIG.
  • the first and third lines are the same as the exposure control pattern shown in FIG. 2, and the timing for the first and third lines in the timing chart shown in FIG. Since this is the same, the description thereof is omitted.
  • the control for the second line will be described. For example, at time t2, since the pixel reset control signal line RST77-2 and the pixel transfer control signal line TRG22-2 are turned on, the RL pixel 40 (2, 1) and the RL pixel 40 ( 2,5) The pixel electronic shutter is released. Further, in these pixels, the pixel transfer control signal line TRG22-2 is turned on at time t10, and the charge accumulated in the PD 71 is transferred, so that the exposure period from time t2 to time t10 (ExpL2) is the exposure period. .
  • the pixel electronic shutter of the pixel 40 (2, 4), WS pixel 40 (2, 6), WS pixel 40 (2, 8), BS pixel 40 (2, 3), BS pixel 40 (2, 7) is turned off. It is done. Further, in these pixels, the pixel transfer control signal lines TRG 22-1 and 22-3 are turned on at time t10, and the charge accumulated in the PD 71 is transferred, so that the time from time t6 to time t10 (ExpS2) is increased. It becomes an exposure period.
  • the control for the fourth line will be described.
  • the pixel reset control signal line RST77-4 and the pixel transfer control signal line TRG24-3 are turned on, so that the BL pixel 40 (4, 1) and BL pixel 40 (4, 4) in the fourth row are turned on. 5)
  • the pixel electronic shutter is released.
  • the pixel transfer control signal line TRG24-3 is turned on at time t12, and the charge accumulated in the PD 71 is transferred, so the exposure period from time t4 to time t12 (ExpL4) is the exposure period. .
  • the pixel reset control signal line RST77-4 and the pixel transfer control signal lines TRG24-1, 24-3 are turned on, so that the WS pixels 40 (4, 2), WS in the second row are turned on.
  • the pixel electronic shutter of the pixel 40 (4, 4), WS pixel 40 (4, 6), WS pixel 40 (4, 8), RS pixel 40 (4, 3), and RS pixel 40 (4, 7) is turned off. It is done.
  • the pixel transfer control signal lines TRG 24-1 and 24-3 are turned on at time t12, and the charges accumulated in the PD 71 are transferred, so that the time from time t8 to time t12 (ExpS4) is increased. It becomes an exposure period.
  • FIG. 11 shows a timing chart for realizing the exposure control pattern shown in FIG.
  • the second and fourth lines are the same as the exposure control pattern shown in FIG. 2, and the timing for the second and fourth lines in the timing chart shown in FIG. Since this is the same, the description thereof is omitted.
  • the control for the first line will be described. For example, since the pixel reset control signal line RST77-1 and the pixel transfer control signal lines TRG21-1, 21-2, and 21-3 are turned on at time t1, the pixels of all the pixels in the first row The electronic shutter is released. Further, at time t9, the pixel transfer control signal lines TRG21-1, 21-2, and 21-3 are turned on and the charges accumulated in the PD 71 are transferred to these pixels, so that the time between time t1 and time t9 is transferred. (ExpL1) is the exposure period.
  • the control for the third line will be described.
  • the pixel reset control signal line RST77-3 and the pixel transfer control signal line TRG23-1 are turned on, the WL pixel 50 (3, 1) and the WL pixel 50 (3, 3) in the third row 3) The pixel electronic shutters of the WL pixel 50 (3, 5) and the WL pixel 50 (3, 7) are released.
  • the pixel transfer control signal line TRG23-1 is turned on at time t11, and the charge accumulated in the PD 71 is transferred, so that the exposure period from time t3 to time t11 (ExpL3) is the exposure period. .
  • FIG. 12 shows a timing chart for realizing the exposure control pattern shown in FIG. Note that the description of the pixel transfer control signal lines TRG21 to 24 and the wiring between the pixels is the same as that shown in FIG.
  • the control for the first line will be described. For example, since the pixel reset control signal line RST77-1 and the pixel transfer control signal lines TRG21-1, 21-2, and 21-3 are turned on at time t1, the pixels of all the pixels in the first row The electronic shutter is released. Further, at time t9, the pixel transfer control signal lines TRG21-1, 21-2, and 21-3 are turned on and the charges accumulated in the PD 71 are transferred to these pixels, so that the time between time t1 and time t9 is transferred. (ExpL1) is the exposure period.
  • the control for the second line will be described. For example, at time t2, since the pixel reset control signal line RST77-2 and the pixel transfer control signal line TRG22-2 are turned on, the RL pixel 60 (2, 1) and the RL pixel 60 ( 2,5) The pixel electronic shutter is released. Further, in these pixels, the pixel transfer control signal line TRG22-2 is turned on at time t10, and the charge accumulated in the PD 71 is transferred, so that the exposure period from time t2 to time t10 (ExpL2) is the exposure period. .
  • the pixel electronic shutter of pixel 60 (2, 4), WS pixel 60 (2, 6), WS pixel 60 (2, 8), BS pixel 60 (2, 3), and BS pixel 60 (2, 7) is turned off. It is done. Further, in these pixels, the pixel transfer control signal lines TRG 22-1 and 22-3 are turned on at time t10, and the charge accumulated in the PD 71 is transferred, so that the time from time t6 to time t10 (ExpS2) is increased. It becomes an exposure period.
  • the control for the third line will be described.
  • the pixel reset control signal line RST77-3 and the pixel transfer control signal line TRG23-1 are turned on, the WL pixel 60 (3, 1) and the WL pixel 60 (3, 3) in the third row 3) The pixel electronic shutters of the WL pixel 60 (3, 5) and the WL pixel 60 (3, 7) are released.
  • the pixel transfer control signal line TRG23-1 is turned on at time t11, and the charge accumulated in the PD 71 is transferred, so that the exposure period from time t3 to time t11 (ExpL3) is the exposure period. .
  • the control for the fourth line will be described.
  • the pixel reset control signal line RST77-4 and the pixel transfer control signal line TRG24-3 are turned on, so that the BL pixel 60 (4, 1) and BL pixel 60 (4, 4) in the fourth row are turned on. 5)
  • the pixel electronic shutter is released.
  • the pixel transfer control signal line TRG24-3 is turned on at time t12, and the charge accumulated in the PD 71 is transferred, so the exposure period from time t4 to time t12 (ExpL4) is the exposure period. .
  • the pixel reset control signal line RST77-4 and the pixel transfer control signal lines TRG24-1, 24-3 are turned on, so that the WS pixels 60 (4, 2), WS in the second row
  • the pixel electronic shutter of the pixel 60 (4, 4), the WS pixel 60 (4, 6), the WS pixel 60 (4, 8), the RS pixel 60 (4, 3), and the RS pixel 60 (4, 7) is turned off. It is done.
  • the pixel transfer control signal lines TRG 24-1 and 24-3 are turned on at time t12, and the charges accumulated in the PD 71 are transferred, so that the time from time t8 to time t12 (ExpS4) is increased. It becomes an exposure period.
  • three pixel transfer control signal lines TRG are provided on one horizontal row for a CIS having a color filter array including W pixels.
  • each pixel transfer control signal line TRG By controlling each pixel transfer control signal line TRG, high dynamic range imaging can be realized by mixing pixels with different exposure times in the same row.
  • it can be compatible with a color-specific shutter for compensating for the color filter sensitivity difference.
  • FIG. 13 is a diagram illustrating a configuration example of the pixel control circuit and the pixel wiring of the image sensor according to the second embodiment of the present technology.
  • the image sensor includes a vertical scanning control circuit (V SCAN CIRCUIT) 81, a horizontal transfer circuit (H TRANSFER CIRCUIT) 82, a column switch (SW) 101 for each row, an A / D converter (ADC) 83 for each row, A memory (MEM) 84 for every two rows and a plurality of pixels 20 are provided.
  • V SCAN CIRCUIT vertical scanning control circuit
  • H TRANSFER CIRCUIT horizontal transfer circuit
  • SW column switch
  • ADC A / D converter
  • a memory MEM
  • symbol is attached
  • the column switch 101 is added, and the number of A / D converters 83 and memories 84 is reduced to half that of the configuration in which processing is performed every two rows. Since each pixel has the same color and arrangement as the pixel shown in FIG. 2 as in FIG. 8, the description will be continued with the same reference numerals as in FIG.
  • the column switch 101 selects one of the signals from the two pixels based on a signal from a control unit (not shown) and outputs the selected signal to the A / D converter 83.
  • the A / D converter 83 converts the image data (analog value) from the column switch 101 into digital data (digital value).
  • the memory 84 is a memory for sequentially storing the digital data converted by the A / D converter 83.
  • one A / D converter 83 can read only one pixel at a time, when reading two pixels in the same row by one A / D converter 83, the reading time of the two pixels is shifted. It is necessary to do this in two steps. In this case, the time required for A / D conversion of pixels for one row is doubled.
  • FIG. 14 is a timing chart schematically showing a control signal to each pixel included in the image sensor according to the second embodiment of the present technology.
  • FIG. 14 shows a timing chart of control signal lines to the pixels for four rows shown in FIG.
  • the horizontal axis is the time axis.
  • the periods indicated by the double arrow lines ExpL1 to ExpL1 and ExpS1 to Exp4 in the upper part of the figure indicate the exposure period, ExpL1 to ExpL4 are the exposure period of the long exposure pixel, ExpS1 to Exp4 are the exposure period of the short exposure pixel,
  • the numbers correspond to the line numbers.
  • control timing of adjacent pixels in the same row sharing the A / D converter 83 is shifted by a predetermined time.
  • the timing shifted by the predetermined time is indicated by “′”.
  • the time shifted from the time t1 by a predetermined time is t1 '.
  • the control timing is shifted by, for example, controlling the pixels in the column adjacent to the left side with respect to the A / D converter 83 at time t1, and the pixels in the column adjacent to the right side with respect to the same A / D converter 83. Control is performed at time t1 ′.
  • the pixel reset control signal line RST77-1 and the pixel transfer control signal line TRG21-1 are turned on, so that the WL pixel 20 (1, 1), WL pixel 20 ( 1, 3), the pixel electronic shutter of the WL pixel 20 (1, 5) and the WL pixel 20 (1, 7) is released.
  • the pixel reset control signal line RST77-1 and the pixel transfer control signal line TRG21-2 are turned on, so the GL pixel 20 (1,2) and the GL pixel in the first row.
  • the 20 (1, 6) pixel electronic shutter is released.
  • the pixel transfer control signal line TRG21-1 is turned on at time t9
  • the pixel transfer control signal line TRG21-2 is turned on at time t9 ′
  • the charge accumulated in the PD 71 is transferred, so that the exposure period ExpL1 Only exposed.
  • the pixel reset control signal line RST77-1 and the pixel transfer control signal line TRG21-3 are turned on, so that the GS pixel 20 (1, 4) and the GS pixel 20 ( 1,8) The pixel electronic shutter is released. Further, at time t9 ', these pixels are exposed for the exposure period ExpS1 because the pixel transfer control signal line TRG21-3 is turned on and charges accumulated in the PD are transferred.
  • the A / D converter 83 is shared in a time-sharing manner, and each pixel can be controlled to be exposed in different exposure periods.
  • the same control can be performed for the second line. For example, at time t2, since the pixel reset control signal line RST77-2 and the pixel transfer control signal lines TRG22-2 and 22-3 are turned on, the RL pixel 20 (2, 1), The pixel electronic shutters of the BL pixel 20 (2, 3), the RL pixel 20 (2, 5), and the BL pixel 20 (2, 7) are released. Further, these pixels are exposed for the exposure period ExpL2 because the pixel transfer control signal lines TRG22-2 and 22-3 are turned on at time t10 and the charges accumulated in the PD 71 are transferred.
  • the pixel reset control signal line RST77-2 and the pixel transfer control signal line TRG22-1 are turned on, so that the WS pixel 20 (2, 2) and the WS pixel 20 ( 2, 4), WS pixel 20 (2, 6), WS pixel 20 (2, 8) pixel electronic shutter is released. Further, at time t10 ', these pixels are exposed for the exposure period ExpS2 because the pixel transfer control signal line TRG22-1 is turned on and charges accumulated in the PD 71 are transferred.
  • the same control can be performed for the third line.
  • the pixel reset control signal line RST77-3 and the pixel transfer control signal line TRG23-1 are turned on, so that the WL pixel 20 (3, 1), WL pixel 20 ( 3, 3), the pixel electronic shutter of the WL pixel 20 (3, 5) and the WL pixel 20 (3, 7) is released.
  • the pixel reset control signal line RST77-3 and the pixel transfer control signal line TRG23-2 are turned on, so the GL pixel 20 (3, 4) and the GL pixel in the third row. 20 (3, 8) pixel electronic shutter is released. Further, in these pixels, the pixel transfer control signal line TRG23-1 is turned on at time t11, and the pixel transfer control signal line TRG23-2 is turned on at time t11 ′, so that the charge accumulated in the PD 71 is transferred, so that the exposure period ExpL3 Only exposed.
  • the pixel reset control signal line RST77-3 and the pixel transfer control signal line TRG23-3 are turned on, so that the GS pixel 20 (3, 2) and the GS pixel 20 ( 3,6) The pixel electronic shutter is released. Further, at time t11 ', these pixels are exposed for the exposure period ExpS3 because the pixel transfer control signal line TRG23-3 is turned on and charges accumulated in the PD 71 are transferred.
  • the pixel reset control signal line RST77-4 and the pixel transfer control signal lines TRG24-2 and 24-3 are turned on, so that the BS pixel 20 (4, 1), RS in the fourth row Pixel electronic shutters of the pixel 20 (4, 3), the BS pixel 20 (4, 5), and the RS pixel 20 (4, 7) are released.
  • the pixel reset control signal line RST77-4 and the pixel transfer control signal line TRG24-1 are turned on, so that the WS pixel 20 (4, 2), WS pixel in the fourth row
  • the pixel electronic shutters of 20 (4, 4), WS pixel 20 (4, 6), and WS pixel 20 (4, 8) are released.
  • the pixel transfer control signal lines TRG24-2 and 24-3 are turned on at time t12
  • the pixel transfer control signal line TRG24-1 is turned on at time t12 ′, so that the charge accumulated in the PD 71 is transferred.
  • the exposure is performed for the exposure period ExpS4.
  • the horizontal direction 1 is compared with the CIS having the color filter array including the W pixel and sharing the A / D converter in two adjacent columns.
  • the exposure control pattern in FIG. 2 has been described above as an example, the exposure control pattern in FIGS. 4, 5, and 6 is realized in the second embodiment as in the first embodiment. This can be achieved by switching the arrangement of the long-time exposure pixels and the short-time exposure pixels by switching ON / OFF of the pixel transfer control signal line TRG. Since the method is not fundamentally different from that described in the first embodiment, description thereof is omitted.
  • FIG. 15 is a diagram illustrating a configuration example of a basic circuit of a pixel provided in an image sensor according to the third embodiment of the present technology.
  • four pixels arranged continuously in the vertical direction are connected to one FD 72 via the pixel transfer transistors 73-11 to 14 and share the circuit configuration CMN 131 after the FD 72.
  • 2 shows a shared pixel circuit.
  • Each pixel is connected to a pixel transfer control signal line TRG21 to 24, a pixel readout selection control signal line SEL75, a vertical signal line (readout line) VSL76, and a pixel reset control signal line RST77. Note that the configuration and operation other than the point that four pixels are shared in the vertical direction are substantially the same as those of the pixel circuit shown in FIG. 7, and thus detailed description thereof is omitted here.
  • FIG. 16 is a diagram illustrating a configuration example of the pixel control circuit and the pixel wiring of the image sensor according to the third embodiment of the present technology.
  • the basic configuration of the pixel control circuit and the pixel wiring of the image sensor shown in FIG. 16 is the same as the configuration of the pixel control circuit and the pixel wiring of the image sensor in the first embodiment shown in FIG.
  • the same parts are denoted by the same reference numerals, and description thereof is omitted.
  • the four pixels arranged in the vertical direction have independent circuit configurations, but in FIG. 16, since the configuration CMN 131 after the FD 72 is shared, the pixel readout selection is performed.
  • One control signal line SEL75 and one pixel reset control signal line RST77 are arranged every four rows.
  • the connection to the vertical signal line (readout line) VSL76 is also four vertical pixels and is one connection through the CMN 131.
  • FIG. 17 is a timing chart schematically showing a control signal to each pixel constituting the image sensor in the third embodiment of the present technology.
  • FIG. 17 shows a timing chart of control signal lines to the pixels for four rows shown in FIG.
  • the horizontal axis is the time axis.
  • the periods indicated by the double arrow lines ExpL1 to ExpL1 and ExpS1 to Exp4 in the upper part of the figure indicate the exposure period, ExpL1 to ExpL4 are the exposure periods of the long exposure pixels, and ExpS1 to Exp4 are the exposure periods of the short exposure pixels. Yes, the numbers correspond to the line numbers.
  • the difference from the timing chart in the first embodiment described in FIG. 9 is that the pixel reset control signal lines RST77-1 to RST77-1 to RST4 for each row and the pixel readout selection control signal lines SEL75-1 to SEL75-1 to SEL75 to 4 for each row. That is, the pixel reset control signal and the pixel readout selection control signal that have been supplied are supplied from one pixel reset control signal line RST77 and pixel readout selection control signal line SEL75, respectively.
  • the third embodiment is similar to the first embodiment.
  • a desired sensitivity pattern can be generated by performing control to appropriately turn on / off the three pixel transfer control signal lines TRG in one horizontal row at the pixel reset timing.
  • the pixel transfer control signal lines TRG 21-1 and 21-2 are turned on at time t 9, and the charge accumulated in the PD 71 is transferred, so that the exposure from time t 1 to time t 9 (ExpL 1) is exposed. It becomes a period.
  • the same control can be performed for the second line. For example, at time t2, since the pixel reset control signal line RST77 and the pixel transfer control signal lines TRG22-2 and 22-3 are turned ON, the RL pixel 20 (2, 1) and the RL pixel in the second row The pixel electronic shutters of 20 (2, 5), BL pixel 20 (2, 3), and BL pixel 20 (2, 7) are released. Further, in these pixels, the pixel transfer control signal lines TRG22-2 and 22-3 are turned on at time t10, and the charge accumulated in the PD 71 is transferred, so that (ExpL2) is from time t2 to time t10. It becomes an exposure period.
  • the same control can be performed for the third line.
  • the pixel reset control signal line RS77 and the pixel transfer control signal lines TRG 23-1, 23-2 are turned on, so that the WL pixel 20 (3, 1), WL pixel in the third row 20 (3, 3), WL pixel 20 (3, 5), WL pixel 20 (3, 7), GL pixel 20 (3,4), and GL pixel 20 (3, 8) are electronically shuttered. .
  • the pixel reset control signal line RST77 and the pixel transfer control signal line TRG23-3 are turned on, so that the GS pixel 20 (3, 2) and the GS pixel 20 (3, 6) in the third row. ) Pixel electronic shutter is released. Further, in these pixels, the pixel transfer control signal line TRG23-3 is turned on at time t11, and the charge accumulated in the PD 71 is transferred, so that the exposure period from time t7 to time t11 (ExpS3) is the exposure period. .
  • the same control can be performed for the fourth line.
  • the pixel reset control signal line RST77 is turned on at time t4, but since there is no pixel transfer control signal line 24 that is turned on at the same time, the pixel whose pixel electronic shutter is cut at time t4 is Absent.
  • the pixel reset control signal line RST77 and the pixel transfer control signal lines TRG24-1, 24-2, 24-3 are turned on, so that the pixel electronic shutters of all the pixels in the fourth row are released. . That is, BS pixel 20 (4, 1), WS pixel 20 (4, 2), RS pixel 20 (4, 3), WS pixel 20 (4, 4), BS pixel 20 (4, 5), WS pixel 20 The pixel electronic shutters of (4, 6), RS pixel 20 (4, 7), and WS pixel 20 (4, 8) are released.
  • the exposure control patterns in FIGS. 4, 5, and 6 are realized in the third embodiment as in the first embodiment. This can be achieved by switching the arrangement of the long-time exposure pixels and the short-time exposure pixels by switching ON / OFF of the pixel transfer control signal line TRG. Since the method is not fundamentally different from that described in the first embodiment, the description is omitted.
  • FIG. 18 is a diagram illustrating a configuration example of a basic circuit of a pixel provided in an imaging element according to the fourth embodiment of the present technology.
  • 4 ⁇ 2 8 pixels arranged continuously in the vertical direction ⁇ horizontal direction are connected to one FD 72 via pixel transfer transistors 73-11 to 73-18, and the circuits after the FD 72 are connected.
  • An 8-pixel shared pixel circuit sharing the configuration CMN 131 is shown.
  • Each pixel is connected to a pixel transfer control signal line TRG21 to 24, a pixel readout selection control signal line SEL75, a vertical signal line (readout line) VSL76, and a pixel reset control signal line RST77. Since the configuration and operation other than the point of sharing eight pixels are substantially the same as those of the pixel circuit shown in FIG. 7, detailed description thereof is omitted here.
  • FIG. 19 is a diagram illustrating a configuration example of the pixel control circuit and the pixel wiring of the imaging device according to the fourth embodiment of the present technology.
  • one pixel readout selection control signal line SEL75 and one pixel reset control signal line RST77 are arranged for every four rows.
  • one vertical signal line (readout line) VSL76 is provided for every two columns, and the number of connections to the vertical signal line (readout line) VSL76 is one for 4 ⁇ 2 pixels.
  • FIG. 20 is a timing chart schematically showing a control signal to each pixel included in the imaging device according to the fourth embodiment of the present technology.
  • FIG. 20 shows a timing chart of control signal lines to the pixels for four rows shown in FIG. The horizontal axis is the time axis.
  • periods indicated by double arrow lines ExpL1 to Exp4 indicate exposure periods
  • ExpL1 to ExpL4 are exposure periods of long exposure pixels
  • ExpS1 to Exp4 are exposure periods of short exposure pixels
  • the numbers correspond to the line numbers.
  • the A / D converter 83 is also shared by two adjacent columns. Therefore, as in the second embodiment in which the A / D converter 83 is shared by two adjacent columns, the operation needs to be controlled so that two pixels adjacent in the horizontal direction are read out in a time-sharing manner at different timings. It becomes.
  • the pixel transfer control signal to the adjacent column is shifted by a predetermined time as in the case shown in FIG.
  • pixel transfer control signals to adjacent columns are supplied while being shifted by a predetermined time.
  • the WL pixel 20 (1,1), WL pixel 20 (1,3), WL pixel 20 (1,5), WL pixel 20 in the first row from the pixel transfer control signal line TRG21-1.
  • the pixel transfer control signal is supplied to (1,7), and at time t1 ′, the GL pixel 20 (1,2) and GL pixel 20 (1,6) in the first row are supplied from the pixel transfer control signal line TRG21-2.
  • a pixel transfer control signal is supplied to.
  • the pixel readout selection control signal is supplied to the pixel readout selection control signal line SEL75, and at the same time, the WL pixels 20 (1, 1) in the first row from the pixel transfer control signal line TRG21-1
  • the signal of the WL pixel 20 is read out.
  • a pixel transfer control signal is supplied from the pixel transfer control signal line TRG 21-2 to the GL pixel in the first row, so that the GL pixel 20 (1,2) and the GL pixel 20 (1,6) The signal is read out.
  • the WL pixel 20 and the GL pixel 20 in the first row are exposed for the same exposure period ExpL1.
  • the control of the third embodiment shown in FIG. Similarly, pixel reset control signals and pixel readout selection control signals for four rows are supplied from one pixel readout selection control signal line SEL75 and pixel reset control signal line RST77, respectively.
  • the exposure control pattern of FIGS. 4, 5, and 6 is also realized in the fourth embodiment as in the first embodiment. This can be achieved by switching the arrangement of the long-time exposure pixels and the short-time exposure pixels by switching ON / OFF of the pixel transfer control signal line TRG. Since the method is not fundamentally different from that described in the first embodiment, the description is omitted.
  • an imaging device including at least three pixel transfer control signal lines connected to a plurality of pixels that form a line and have different exposure timings. An example is shown. Below, the example of an imaging device provided with these image sensors is shown.
  • FIG. 21 is a block diagram illustrating a functional configuration example of the imaging device according to the embodiment of the present technology.
  • the imaging apparatus 300 includes an imaging element 310, an image processing unit 311, a recording control unit 312, a content storage unit 313, a display control unit 314, a display unit 315, a control unit 316, and an operation reception unit 317.
  • the image sensor 310 generates an image signal based on an instruction from the control unit 316, and outputs the generated image signal to the image processing unit 311. Specifically, the image sensor 310 converts light of a subject incident through an optical system (not shown) into an electrical signal. Note that the image sensor 310 corresponds to each image sensor shown in the first to fourth embodiments of the present technology.
  • the optical system includes a lens group and a diaphragm for collecting incident light from the subject, and the light collected by the lens group is incident on the image sensor 310 through the diaphragm.
  • the image processing unit 311 performs various image processing on the image signal (digital signal) output from the image sensor 310 based on an instruction from the control unit 316. Then, the image processing unit 311 outputs an image signal (image data) subjected to various image processings to the recording control unit 312 and the display control unit 314.
  • the recording control unit 312 performs recording control on the content storage unit 313 based on an instruction from the control unit 316. For example, the recording control unit 312 causes the content storage unit 313 to record an image (image data) output from the image processing unit 311 as an image content (a still image file or a moving image file).
  • the content storage unit 313 is a recording medium that stores various information (image content and the like) based on the control of the recording control unit 312. Note that the content storage unit 313 may be built in the imaging apparatus 300 or detachable from the imaging apparatus 300.
  • the display control unit 314 causes the display unit 315 to display the image output from the image processing unit 311 based on an instruction from the control unit 316.
  • the display control unit 314 causes the display unit 315 to display a display screen for performing various operations related to the imaging operation and an image (so-called through image) generated by the imaging element 310.
  • the display unit 315 is a display panel that displays each image based on the control of the display control unit 314.
  • the control unit 316 controls each unit in the imaging apparatus 300 based on a control program stored in a memory (not shown). For example, the control unit 316 performs output control (display control) or recording control of the image signal (image data) subjected to image processing by the image processing unit 311.
  • the operation reception unit 317 is an operation reception unit that receives an operation performed by the user, and outputs a control signal (operation signal) corresponding to the received operation content to the control unit 316.
  • the imaging device of the present technology outputs RAW data in which pixels subjected to two types of exposure for a long time and a short time are mixed in a four-row color array including W pixels.
  • the image processing unit 311 performs processing for generating RGB image data from the RAW data.
  • FIG. 22 is a block diagram illustrating a functional configuration example of the image processing unit 311 according to the fifth embodiment of the present technology.
  • the image processing unit 311 inputs RAW data in which pixels subjected to two types of exposure for a long time and a short time in a four-row color array including W pixels are mixed, and RGB image data, that is, R is applied to all pixels. , G and B are output.
  • the image processing unit 311 includes a WL high frequency interpolation unit 351, a WS high frequency interpolation unit 352, a WL low frequency interpolation unit 353, a WS low frequency interpolation unit 354, a GL low frequency interpolation unit 355, a GS low frequency interpolation unit 356, and an RL low frequency interpolation.
  • RS low frequency interpolation unit 358 BL low frequency interpolation unit 359, BS low frequency interpolation unit 360, W high frequency HDR synthesis unit 361, W low frequency HDR synthesis unit 362, G low frequency HDR synthesis unit 363, R low frequency It comprises an HDR synthesizing unit 364, a B low frequency HDR synthesizing unit 364, a W-GCh correlation processing unit 366, a W-RCh correlation processing unit 367, and a W-BCh correlation processing unit 368.
  • the WL high frequency interpolation unit 351 interpolates the signals of the WL pixels 20 arranged in every other square lattice with all the pixels using an interpolation filter.
  • a coefficient two-dimensional FIR (Finite Impulse Response) filter as shown in FIG. 23 is applied to all pixel positions.
  • the center position of the 9 ⁇ 9 coefficient corresponds to the pixel position (interpolation pixel position) for calculating the interpolation value, and the pixel position where the WL pixel exists in the range of 9 ⁇ 9 pixels around the interpolation pixel position.
  • the filter calculation is performed with the coefficient set to 0 at pixel positions other than the WL pixel. Note that the coefficients illustrated in FIG. 23 are merely examples, and do not indicate limitations.
  • the WS high frequency interpolation unit 352 interpolates the signals of the WS pixels 20 arranged in a square lattice with a two-pixel pitch into all the pixels using an interpolation filter.
  • an interpolation filter For example, a two-dimensional FIR filter with coefficients as shown in FIG. 23 is applied to all pixel positions.
  • the center position of the 9 ⁇ 9 coefficient corresponds to the pixel position (interpolation pixel position) for calculating the interpolation value, and the pixel position where the WS pixel exists in the range of 9 ⁇ 9 pixels around the interpolation pixel position.
  • the filter calculation is performed with the coefficient set to 0 at pixel positions other than the WS pixel.
  • the WL low-frequency interpolation unit 353 interpolates the signals of the WL pixels 20 arranged in a square lattice with a two-pixel pitch into all the pixels using an interpolation filter.
  • an interpolation filter For example, a two-dimensional FIR filter with coefficients as shown in FIG. 24 is applied to all pixel positions.
  • the center position of the 9 ⁇ 9 coefficient corresponds to the pixel position (interpolation pixel position) for calculating the interpolation value, and the pixel position where the WL pixel exists in the range of 9 ⁇ 9 pixels around the interpolation pixel position.
  • the filter calculation is performed with the coefficient set to 0 at pixel positions other than the WL pixel. Note that the coefficients illustrated in FIG. 24 are examples and do not indicate limitations.
  • the WS low-frequency interpolation unit 354 interpolates the signals of the WS pixels 20 arranged in a square lattice with a two-pixel pitch into all the pixels using an interpolation filter.
  • an interpolation filter For example, a two-dimensional FIR filter with coefficients as shown in FIG. 24 is applied to all pixel positions.
  • the center position of the 9 ⁇ 9 coefficient corresponds to the pixel position (interpolation pixel position) for calculating the interpolation value, and the pixel position where the WS pixel exists in the range of 9 ⁇ 9 pixels around the interpolation pixel position.
  • the filter calculation is performed with the coefficient set to 0 at pixel positions other than the WS pixel.
  • the GL low-frequency interpolation unit 355 interpolates the signals of the GL pixels 20 arranged in a checkered lattice with a 4-pixel pitch into all the pixels using an interpolation filter.
  • an interpolation filter For example, a two-dimensional FIR filter with coefficients as shown in FIG. 24 is applied to all pixel positions.
  • the center position of the 9 ⁇ 9 coefficient corresponds to the pixel position (interpolation pixel position) for calculating the interpolation value, and the pixel position where the GL pixel exists in the range of 9 ⁇ 9 pixels around the interpolation pixel position.
  • the filter calculation is performed with the coefficient set to 0 at pixel positions other than the GL pixel.
  • the GS low-frequency interpolation unit 356 interpolates the signals of the GS pixels 20 arranged in a checkered lattice with a 4-pixel pitch into all the pixels using an interpolation filter.
  • an interpolation filter For example, a two-dimensional FIR filter with coefficients as shown in FIG. 24 is applied to all pixel positions.
  • the center position of the 9 ⁇ 9 coefficient corresponds to the pixel position (interpolation pixel position) for calculating the interpolation value, and the pixel position where the GS pixel exists in the range of 9 ⁇ 9 pixels around the interpolation pixel position.
  • the filter calculation is performed with the coefficient set to 0 at pixel positions other than the GS pixel.
  • the RL low-frequency interpolation unit 357 interpolates the signals of the RL pixels 20 arranged in a square lattice with a 4-pixel pitch into all the pixels using an interpolation filter.
  • an interpolation filter For example, a two-dimensional FIR filter with coefficients as shown in FIG. 24 is applied to all pixel positions.
  • the center position of the 9 ⁇ 9 coefficient corresponds to the pixel position (interpolation pixel position) for calculating the interpolation value, and the pixel position where the RL pixel exists in the range of 9 ⁇ 9 pixels around the interpolation pixel position.
  • the filter calculation is performed with the coefficient set to 0 at pixel positions other than the RL pixel.
  • the RS low-frequency interpolation unit 358 interpolates the signals of the RS pixels 20 arranged in a square lattice with a 4-pixel pitch into all the pixels using an interpolation filter.
  • an interpolation filter For example, a two-dimensional FIR filter with coefficients as shown in FIG. 24 is applied to all pixel positions.
  • the center position of the 9 ⁇ 9 coefficient corresponds to the pixel position (interpolation pixel position) for calculating the interpolation value, and the pixel position where the RS pixel exists in the range of 9 ⁇ 9 pixels around the interpolation pixel position.
  • the filter calculation is performed with the coefficient set to 0 at pixel positions other than the RS pixel.
  • the BL low-frequency interpolation unit 359 interpolates the signals of the BL pixels 20 arranged in a 4-pixel pitch square lattice to all the pixels using an interpolation filter.
  • an interpolation filter For example, a two-dimensional FIR filter with coefficients as shown in FIG. 24 is applied to all pixel positions.
  • the center position of the 9 ⁇ 9 coefficient corresponds to the pixel position (interpolation pixel position) for calculating the interpolation value, and the pixel position where the BL pixel exists in the range of 9 ⁇ 9 pixels around the interpolation pixel position.
  • the filter calculation is performed with the coefficient set to 0 at pixel positions other than the BL pixel.
  • the BS low-frequency interpolation unit 360 interpolates the signals of the BS pixels 20 arranged in a square lattice with a 4-pixel pitch into all the pixels using an interpolation filter.
  • an interpolation filter For example, a two-dimensional FIR filter with coefficients as shown in FIG. 24 is applied to all pixel positions.
  • the center position of the 9 ⁇ 9 coefficient corresponds to the pixel position (interpolation pixel position) for calculating the interpolation value, and the pixel position where the BS pixel exists in the range of 9 ⁇ 9 pixels around the interpolation pixel position is set.
  • the filter calculation is performed with the coefficient set to 0 at pixel positions other than the BS pixel.
  • the W high frequency HDR synthesizing unit 361 synthesizes the WL high frequency pixel value interpolated into all the pixels output from the WL high frequency interpolating unit 351 and the WS high frequency pixel value output from the WS high frequency interpolating unit 352 to generate a high dynamic level. A process of generating a pixel value of the range for all pixels is performed.
  • the W low-frequency HDR synthesizing unit 362 receives the WL low-frequency pixel value interpolated in all the pixels that are output from the WL low-frequency interpolation unit 353 and the WS low-frequency pixel value that is output from the WS low-frequency interpolation unit 354. A process of combining and generating a pixel value of a high dynamic range for all pixels is performed.
  • the G low frequency HDR synthesizing unit 363 receives the GL low frequency pixel value interpolated by all the pixels that are output from the GL low frequency interpolation unit 355 and the GS low frequency pixel value that is output from the GS low frequency interpolation unit 356. A process of combining and generating a pixel value of a high dynamic range for all pixels is performed.
  • the R low-frequency HDR synthesizing unit 364 receives the RL low-frequency pixel value interpolated by all the pixels that are output from the RL low-frequency interpolation unit 357 and the RS low-frequency pixel value that is output from the RS low-frequency interpolation unit 358. A process of combining and generating a pixel value of a high dynamic range for all pixels is performed.
  • the B low frequency HDR synthesizing unit 365 obtains the BL low frequency pixel value interpolated by all the pixels output from the BL low frequency interpolation unit 359 and the BS low frequency pixel value output from the BS low frequency interpolation unit 360. A process of combining and generating a pixel value of a high dynamic range for all pixels is performed.
  • FIG. 25 is a block diagram illustrating a functional configuration example of the G low-frequency HDR synthesizing unit 363 according to the fifth embodiment of the present technology.
  • the G low frequency HDR synthesizing unit receives a GL pixel value signal interpolated at all pixel positions and a GS pixel value signal interpolated at all pixel positions, and combines the G pixel values of a high dynamic range obtained by synthesizing them. Output to position.
  • the G low frequency HDR synthesizing unit 363 includes two logarithmic conversion processing units 381, a logarithmic conversion processing unit 382, a weight value determination processing unit 383, an exposure correction processing unit 384, a blend processing unit 385, and a logarithmic inverse conversion processing unit 386.
  • the two logarithmic conversion processing units 381 and 382 output values obtained by logarithmically converting the GL pixel value and the GS pixel value for each pixel, respectively.
  • the exposure correction processing unit 384 adds a logarithmic value corresponding to the exposure ratio of the long exposure and the short exposure to the logarithmically converted GS pixel value output from the logarithmic conversion processing unit 382, The level of the logarithmically converted GS pixel value is matched with the level of the logarithmically converted GL pixel value.
  • the weight value determination processing unit 383 blends the logarithmically converted GL pixel value and the logarithmically converted GS pixel value after exposure correction. To decide.
  • the blend processing unit 385 based on the blend coefficient determined by the weight value determination processing unit 383, the logarithmically converted GL pixel value output from the logarithmic conversion processing unit 381 and the exposure correction output from the exposure correction processing unit 384.
  • the subsequent logarithmically transformed GS pixel values are blended and synthesized.
  • the logarithmic inverse transformation processing unit 386 returns the G pixel value blended and synthesized by the blending processing unit 385 to the original linear characteristic.
  • FIG. 26 is a diagram schematically illustrating a series of operations of an HDR synthesizing unit such as the G low frequency HDR synthesizing unit 363.
  • the horizontal axis represents the luminance of the subject, and the vertical axis represents the G pixel value gradation, both of which are logarithmic gradations.
  • a solid line L1 indicates the characteristics of the GL pixel, and a solid line L2 indicates the characteristics of the GS pixel. Since the GL pixel has a longer exposure time, the GL pixel shows a larger value than the GS pixel for the same subject luminance.
  • the two gaps are exactly the exposure ratio in logarithmic gradation.
  • Obtaining high dynamic range luminance characteristics means obtaining linear pixel characteristics for a wide range of subject luminance, so the purpose of the HDR synthesis unit is to connect the characteristics of GL pixels and GS pixels. To create one long linear characteristic. Therefore, the exposure correction processing unit adds a bias corresponding to the exposure ratio to the GS pixel characteristic to create a characteristic that is aligned with the GL pixel characteristic.
  • the blend processing unit 385 performs processing for synthesizing the GL pixel characteristic represented by the solid line L1 and the GS pixel characteristic represented by the exposure-corrected solid line L2 to obtain the G pixel characteristic having a high dynamic range.
  • the GS pixel is buried in noise, so we want to use only the characteristics of the GL pixel.
  • the weight of the blend is controlled so that the contribution gradually changes in the region where the two luminance characteristics overlap.
  • the weight value determination processing unit 383 estimates the subject luminance from the input GL pixel value (after logarithmic conversion), and calculates a weight value according to characteristics set in advance according to the above request. For example, a weight value characteristic as shown in FIG. 27 can be used.
  • the weight value characteristic shown in FIG. 27 is a characteristic in which the value of logG takes 1 to the first value, gradually decreases when the value is larger than the first value, and takes 0 when the value is larger than the second value. It is.
  • the HDR synthesizing unit includes a process of converting the signal read from each pixel into a non-linear gradation, and the conversion into the non-linear gradation is performed based on an upward convex power function characteristic. Processing is included.
  • the W-GCh correlation processing unit 366 includes a W high-frequency luminance value after HDR synthesis, which is an output from the W high-frequency HDR synthesis unit 361, and a W low-frequency luminance value after HDR synthesis, which is an output from the W low-frequency HDR synthesis unit 362.
  • the G low frequency luminance value output from the G low frequency HDR synthesizing unit 363 is input, and the G luminance value with the high frequency component corrected is calculated and output.
  • the W-RCh correlation processing unit 367 is a W high-frequency luminance value after HDR synthesis that is an output from the W high-frequency HDR synthesis unit 361 and a W low-frequency luminance value after HDR synthesis that is an output of the W low-frequency HDR synthesis unit 362.
  • the R low frequency luminance value output from the R low frequency HDR synthesizing unit 364 is input, and the R luminance value with the high frequency component corrected is calculated and output.
  • the W-BCh correlation processing unit 368 is a W high-frequency luminance value after HDR synthesis that is an output from the W high-frequency HDR synthesis unit 361, and a W low-frequency luminance value after HDR synthesis that is an output of the W low-frequency HDR synthesis unit 362.
  • the B low frequency luminance value output from the B low frequency HDR synthesizing unit 365 is input, and the B luminance value with the high frequency component corrected is calculated and output.
  • the operation of the W-GCh correlation processing unit 366 will be described.
  • the operations of the W-RCh correlation processing unit 367 and the W-BCh correlation processing unit 368 are also similar to the operations of the W-GCh correlation processing unit 366, respectively.
  • the operation will be described as an example.
  • the high frequency components of the R pixel, G pixel, and B pixel are estimated using the high frequency component obtained from the W pixel. Specifically, the difference between the output of the W high frequency HDR synthesizing unit 361 that can reproduce up to a high frequency and the output of the W low frequency HDR synthesizing unit 362 that does not have a high frequency component due to the smoothing effect of the filter, The high frequency component is calculated.
  • the high frequency component of the W pixel is output to the output of each of the low frequency HDR synthesis units of R, G, and B. The components are added.
  • the output RAW of the image sensor that has a four-row color array obtained by adding W to RGB and controls long-time exposure and short-time exposure for each color.
  • the configuration of the imaging apparatus including image processing that can generate RGB image data with a high dynamic range from the data has been described.
  • FIG. 28 is a diagram showing another configuration of the image processing unit 311 (FIG. 21).
  • the image processing unit 311 ′ shown in FIG. 28 (denoted with “′ to distinguish from the image processing unit 311 shown in FIG. 22) is added to the image processing unit 311 shown in FIG. It is the structure which added. According to such a configuration, it is possible to perform processing for conversion into an RGB Bayer array in the image sensor.
  • the image processing unit 311 ′ shown in FIG. 28 obtains the RGB pixel values obtained by HDR synthesis by the processing by the WL high frequency interpolation unit 351 to the W-BCh correlation processing unit 368, and then converts them into a Bayer array.
  • a down-sampling unit 401 is provided for re-sampling. By re-sampling by the down-sampling unit 401, it is possible to output data converted into an RGB Bayer array within the image sensor.
  • logarithmic conversion processing units 381 and 382 and logarithmic inverse conversion processing unit 386 including HDR synthesizing units 361 to 365
  • logarithmic conversion processing is performed before each interpolation means
  • logarithmic inverse conversion processing is performed after Ch correlation processing units 366 to 368 (or after downsampling unit 401). May be.
  • FIG. 29 is a diagram illustrating a configuration of an image processing unit 311 when logarithmic inverse transformation processing is performed after 368.
  • the image processing unit 311 shown in FIG. 22 is compared with the image processing unit 311 “shown with“ added to distinguish from other image processing units 311 ”shown in FIG. 29.
  • the image processing unit 311 ′′ logarithmic conversion is performed for logarithmic conversion processing of raw data in which pixels subjected to two types of exposure for a long time and a short time are mixed in a four-row color array including an input W pixel.
  • a processing unit 421 is provided before the WL high frequency interpolation unit 351 to the BS low frequency interpolation unit 360.
  • each of the interpolation units of the WL high-frequency interpolation unit 351 to the BS low-frequency interpolation unit 360 performs the interpolation process using the data subjected to the logarithmic conversion process. Since the logarithmic conversion processing unit 421 is provided in the preceding stage of each interpolation unit, the W high frequency HDR synthesizing unit 361 to the B low frequency HDR synthesizing unit 365 are not shown, but the logarithmic conversion processing unit 381 and the logarithmic conversion processing unit are not shown. 382 is not provided. Further, the logarithmic inverse transformation processing unit 386 is not provided.
  • the logarithmic inverse transform processing unit 386 provided in each of the W high frequency HDR synthesizing unit 361 to the B low frequency HDR synthesizing unit 365 is a W-GCh correlation process in the image processing unit 311 ′′ shown in FIG. Sections 366 to W-BCh correlation processing units 368 are provided after the correlation processing units.
  • a logarithmic inverse transformation processing unit 422 is provided after the W-GCh correlation processing unit 366, and a logarithmic inverse transformation processing unit 423 is provided after the W-RCh correlation processing unit 367.
  • the logarithmic inverse transformation processing unit 424 is provided in the subsequent stage of the correlation processing unit 368.
  • each of R, G, and B data can be generated and output.
  • FIG. 30 shows that the logarithmic conversion processing units 381 and 382 and the logarithmic inverse conversion processing unit 386 included in the HDR synthesizing units 361 to 365 are changed in position to perform logarithmic conversion processing before each interpolation unit, and after the downsampling unit 401. It is a figure which shows the structure of the image process part 311 at the time of making it perform a logarithmic inverse transformation process.
  • the image processing unit 311 shown in FIG. 22 is compared with the image processing unit 311 “′” shown in FIG. 30 (depicted with “” to distinguish from other image processing units 311).
  • the image processing unit 311 ′′ ′ includes a logarithm for logarithmically converting RAW data in which pixels subjected to two types of exposure for a long time and a short time in a four-row color array including an input W pixel are mixed.
  • a conversion processing unit 451 is provided before the WL high frequency interpolation unit 351 to the BS low frequency interpolation unit 360. This is the same as the image processing unit 311 ′′ shown in FIG.
  • the image processing unit 311 ′′ ′ is provided with a downsampling unit 521 following the W-GCh correlation processing unit 366 to the W-BCh correlation processing unit 368.
  • This downsampling unit 452 is shown in FIG. Similar to the down-sampling unit 401 of the illustrated image processing unit 311 ′, the output from the W-GCh correlation processing unit 366 to the W-BCh correlation processing unit 368 is down-sampled, so that an RGB Bayer array is formed in the image sensor. Generate and output data converted to.
  • the output from the downsampling unit 452 is supplied to the logarithmic inverse transformation processing unit 453, and the logarithmic inverse transformation processing is performed.
  • the imaging device has been described as an example.
  • an electronic device having an imaging unit including an imaging element for example, a mobile phone device incorporating the imaging unit
  • Embodiments can be applied.
  • the three control wirings per line and the operation thereof have been described on the premise of the RGB + W color arrangement illustrated in FIG. 1, but the present invention is not limited to the color arrangement illustrated in FIG. 1.
  • the present technology is not limited to the color arrangement shown in FIG. 1. Examples of color arrangements to which the present technology can be applied other than the color arrangement of FIG. 1 are shown below.
  • FIG. 31 is a diagram illustrating another example of a color arrangement to which the present technology is applied.
  • a configuration of the image sensor in the horizontal direction (the horizontal direction in FIG. 31 and the row direction) will be described.
  • G pixel 600 (1, 6), W pixel 600 (1, 7), and R pixel 600 (1, 8) are arranged.
  • W pixels, G pixels, and R pixels are arranged in the first row.
  • G pixel 600 (2, 1), W pixel 600 (2, 2), R pixel 600 (2, 3), W pixel 600 (2, 4), G pixel 600 (2, 5) , W pixel 600 (2, 6), R pixel 600 (2, 7), and W pixel 600 (2, 8) are arranged.
  • W pixels, G pixels, and R pixels are also arranged in the second row.
  • W pixel 600 (3, 1), B pixel 600 (3, 2), W pixel 600 (3, 3), G pixel 600 (3,4), W pixel 600 (3, 5) , B pixel 600 (3, 6), W pixel 600 (3, 7), and G pixel 600 (3, 8) are arranged.
  • W pixels, G pixels, and B pixels are arranged in the third row.
  • W pixel 600 (4, 6), G pixel 600 (4, 7), and W pixel 600 (4, 8) are arranged.
  • W pixels, G pixels, and B pixels are also arranged in the fourth row.
  • the 5th to 8th lines are the same as the 1st to 4th lines.
  • the present technology described above can be applied to such a color arrangement.
  • FIG. 32 is a diagram illustrating another example of the color arrangement to which the present technology is applied.
  • a configuration of the image sensor in the horizontal direction (the horizontal direction in FIG. 32 and the row direction) will be described.
  • W pixel 610 (1, 1), R pixel 610 (1, 2), W pixel 610 (1, 3), G pixel 610 (1, 4), W pixel 610 (1, 5) , R pixel 610 (1, 6), W pixel 610 (1, 7), and G pixel 610 (1, 8) are arranged.
  • W pixels, G pixels, and R pixels are arranged in the first row.
  • the B pixel 610 (2, 1), the W pixel 610 (2, 2), the G pixel 610 (2, 3), the W pixel 610 (2, 4), and the B pixel 610 (2, 5) , W pixel 610 (2, 6), G pixel 610 (2, 7), and W pixel 610 (2, 8) are arranged.
  • W pixels, G pixels, and B pixels are arranged in the second row.
  • W pixel 610 (3, 1), G pixel 610 (3, 2), W pixel 610 (3, 3), R pixel 610 (3,4), W pixel 610 (3, 5) , G pixel 610 (3, 6), W pixel 610 (3, 7), and R pixel 610 (3, 8) are arranged.
  • W pixels, G pixels, and R pixels are arranged in the third row.
  • G pixel 610 (4, 1), W pixel 610 (4, 2), B pixel 610 (4, 3), W pixel 610 (4, 4), G pixel 610 (4, 5) , W pixel 610 (4, 6), B pixel 610 (4, 7), and W pixel 610 (4, 8) are arranged.
  • W pixels, G pixels, and B pixels are arranged in the fourth row.
  • the 5th to 8th lines are the same as the 1st to 4th lines.
  • the present technology described above can be applied to such a color arrangement.
  • the present technology can be applied to exposure patterns other than the exposure patterns shown in FIGS. 2, 4, 5, and 6, respectively.
  • Examples of exposure control patterns that can be realized by three control lines per line described in the embodiment of the present technology are shown in FIGS.
  • the exposure pattern shown in FIG. 33 is an example in which long exposure pixels or short exposure pixels are arranged for each row.
  • this is an example in which long exposure pixels and short exposure pixels are alternately arranged in units of rows. That is, the first row, the third row, the fifth row, and the seventh row are long-time exposure pixels, and the second row, the fourth row, the sixth row, and the eighth row are short-time exposure pixels.
  • Exposure pattern The present technology described above can also be applied to such an exposure pattern.
  • FIG. 34 is a view showing another example of the exposure pattern.
  • the exposure pattern shown in FIG. 34 is an example in which long exposure pixels or short exposure pixels are arranged for each column. In other words, this is an example in which long exposure pixels and short exposure pixels are alternately arranged in units of columns. That is, the first, third, fifth, and seventh columns are long-time exposure pixels, and the second, fourth, sixth, and eighth columns are short-time exposure pixels. Exposure pattern.
  • the present technology described above can also be applied to such an exposure pattern.
  • FIG. 35 is a diagram showing another example of the exposure pattern.
  • L pixel 640 (1, 5), L pixel 640 (1, 6), L pixel 640 (1, 7), and S pixel 640 (1, 8) are arranged.
  • S pixel 640 (2, 1), S pixel 640 (2, 2), L pixel 640 (2, 3), S pixel 640 (2, 4), S pixel 640 (2, 5) , S pixel 640 (2, 6), L pixel 640 (2, 7), and S pixel 640 (2, 8) are arranged.
  • L pixel 640 (3, 1), S pixel 640 (3, 2), L pixel 640 (3, 3), L pixel 640 (3,4), L pixel 640 (3, 5) , S pixel 640 (3, 6), L pixel 640 (3, 7), and L pixel 640 (3, 8) are arranged.
  • L pixel 640 (4, 1), S pixel 640 (4, 2), S pixel 640 (4, 3), S pixel 640 (4, 4), L pixel 640 (4, 5) , S pixel 640 (4, 6), S pixel 640 (4, 7), and S pixel 640 (4, 8) are arranged.
  • the 5th to 8th lines are the same as the 1st to 4th lines.
  • the present technology described above can also be applied to such an exposure pattern.
  • FIG. 36 is a view showing another example of the exposure pattern.
  • the L pixel 650 (1, 1), the S pixel 650 (1, 2), the L pixel 650 (1, 3), the L pixel 650 (1, 4), An L pixel 650 (1, 5), an S pixel 650 (1, 6), an L pixel 650 (1, 7), and an L pixel 650 (1, 8) are arranged.
  • L pixel 650 (2, 1), S pixel 650 (2, 2), S pixel 650 (2, 3), S pixel 650 (2, 4), L pixel 650 (2, 5) , S pixel 650 (2, 6), S pixel 650 (2, 7), and S pixel 650 (2, 8) are arranged.
  • the third line is all L pixels.
  • the fourth row is all S pixels.
  • the 5th to 8th lines are the same as the 1st to 4th lines.
  • the present technology described above can also be applied to such an exposure pattern.
  • FIG. 37 is a diagram showing another example of the exposure pattern.
  • the L pixel 660 (1, 1), the L pixel 660 (1, 2), the L pixel 660 (1, 3), the S pixel 660 (1, 4), An L pixel 660 (1, 5), an L pixel 660 (1, 6), an L pixel 660 (1, 7), and an S pixel 660 (1, 8) are arranged.
  • S pixel 660 (2, 1), S pixel 660 (2, 2), L pixel 660 (2, 3), S pixel 660 (2, 4), S pixel 660 (2, 5) , S pixel 660 (2, 6), L pixel 660 (2, 7), and S pixel 660 (2, 8) are arranged.
  • the L pixel 660 (3, 1), the S pixel 660 (3, 2), the L pixel 660 (3, 3), the L pixel 660 (3,4), the L pixel 660 (3, 5) , S pixel 660 (3, 6), L pixel 660 (3, 7), and L pixel 660 (3, 8) are arranged.
  • the 5th to 8th lines are the same as the 1st to 4th lines.
  • the present technology described above can also be applied to such an exposure pattern.
  • FIG. 38 is a view showing another example of an exposure pattern.
  • the L pixel 670 (1, 1), the L pixel 670 (1, 2), the L pixel 670 (1, 3), the S pixel 670 (1, 4), An L pixel 670 (1, 5), an L pixel 670 (1, 6), an L pixel 670 (1, 7), and an S pixel 670 (1, 8) are arranged.
  • L pixel 670 (2, 1), S pixel 670 (2, 2), L pixel 670 (2, 3), S pixel 670 (2, 4), L pixel 670 (2, 5) , S pixel 670 (2, 6), L pixel 670 (2, 7), and S pixel 670 (2, 8) are arranged.
  • the L pixel 670 (3, 1), the S pixel 670 (3, 2), the L pixel 670 (3, 3), the L pixel 670 (3,4), the L pixel 670 (3, 5) , S pixel 670 (3, 6), L pixel 670 (3, 7), and L pixel 670 (3, 8) are arranged.
  • the fourth row all S pixels are arranged.
  • the fifth to eighth rows have the same arrangement as the first to fourth rows.
  • the present technology described above can also be applied to such an exposure pattern.
  • FIG. 39 is a diagram showing another example of the exposure pattern.
  • L pixels are all arranged in the first row.
  • L pixel 680 (2, 1), S pixel 680 (2, 2), S pixel 680 (2, 3), S pixel 680 (2, 4), L pixel 680 (2, 5) , S pixel 680 (2, 6), S pixel 680 (2, 7), and S pixel 680 (2, 8) are arranged.
  • the L pixel 680 (3, 1), the S pixel 680 (3, 2), the L pixel 680 (3, 3), the S pixel 680 (3,4), the L pixel 680 (3, 5) , S pixel 680 (3, 6), L pixel 680 (3, 7), and S pixel 680 (3, 8) are arranged.
  • the fourth row includes an L pixel 680 (4, 1), an S pixel 680 (4, 2), an S pixel 680 (4, 3), an S pixel 680 (4, 4), and an L pixel 680 (4, 5).
  • S pixel 680 (4, 6), S pixel 680 (4, 7), and S pixel 680 (4, 8) are arranged.
  • the 5th to 8th lines are the same as the 1st to 4th lines.
  • the present technology described above can also be applied to such an exposure pattern.
  • FIG. 40 is a diagram showing another example of the exposure pattern.
  • the exposure pattern shown in FIG. 40 includes an L pixel 690 (1, 1), an S pixel 690 (1, 2), an L pixel 690 (1, 3), and an S pixel 690 (1, 4) in the first row.
  • L pixel 690 (1, 5), S pixel 690 (1, 6), L pixel 690 (1, 7), and S pixel 690 (1, 8) are arranged.
  • all S pixels are arranged.
  • all L pixels are arranged.
  • the fourth row is the same as the first row, the L pixel 690 (4, 1), the S pixel 690 (4, 2), the L pixel 690 (4, 3), the S pixel 690 (4, 4), and the L pixel 690. (4, 5), S pixel 690 (4, 6), L pixel 690 (4, 7), and S pixel 690 (4, 8) are arranged.
  • the 5th to 8th lines are the same as the 1st to 4th lines.
  • the present technology described above can also be applied to such an exposure pattern.
  • a pixel having a spectral sensitivity other than RGB + W may be used.
  • a combination of four rows in which G is added to a complementary color system such as Y (yellow), C (cyan), and M (magenta) may be used.
  • this technology can also take the following structures.
  • spectral sensitivity pixels including a spectral sensitivity pixel having total color matching are arranged on the imaging surface, A pixel that realizes a first exposure and a pixel that realizes a second exposure different from the first exposure are arranged on the imaging surface for each of the four types of spectral sensitivities.
  • Second lines arranged with a shift of one pixel are alternately arranged in a direction orthogonal to the specific direction, Pixels having spectral sensitivities different from the spectral sensitivities of the first pixels are arranged for each of the same spectral sensitivities in two or four pixel cycles in a specific direction, and the first spectral sensitivity pixels are checked in two dimensions.
  • the imaging device according to (1) which forms a periodic arrangement of 4 ⁇ 4 pixels that is an array.
  • the first pixel transfer control signal line sends a transfer control signal to pixels having the same spectral sensitivity of the two pixel periods of the first line
  • the second pixel transfer control signal line sends a transfer control signal to pixels having the same spectral sensitivity in the four-pixel cycle of the first line
  • a third pixel transfer control signal line sends a transfer control signal to pixels having the same spectral sensitivity in the four-pixel cycle of the first line
  • the first pixel transfer control signal line sends a transfer control signal to pixels having the same spectral sensitivity in the two pixel period of the second line
  • the second pixel transfer control signal line sends a transfer control signal to pixels having the same spectral sensitivity in the two pixel period of the second line
  • the periodic arrangement of the 4 ⁇ 4 pixels is A first line in which the first pixels and second pixels of the second spectral sensitivity are alternately arranged in the specific direction; In the specific direction, the first pixels are arranged in a two-pixel cycle, and a third pixel having a third spectral sensitivity and a fourth pixel having a fourth spectral sensitivity are arranged at a remaining pixel position in a four-pixel cycle.
  • the image pickup device according to (3), wherein the second lines arranged in (2) are alternately arranged in a direction orthogonal to the specific direction.
  • the first pixel transfer control signal line of the first line and the first pixel transfer control signal line of the second line are controlled to send control signals at different timings, respectively.
  • the second pixel transfer control signal line and the third pixel transfer control signal line of the first line are controlled to send control signals at different timings, respectively.
  • the second pixel transfer control signal line of the second line and the pixel transfer control signal line for the third pixel of the fourth line are controlled to send control signals at different timings, respectively.
  • the pixel transfer control signal line for the fourth pixel of the second line and the pixel transfer control signal line for the fourth pixel of the fourth line send control signals at different timings, respectively.
  • the imaging device according to (6) which is controlled as follows.
  • a first processing unit that calculates an interpolation value at the pixel position of the signal of the first exposure having the first spectral sensitivity;
  • a second processing unit that calculates an interpolation value at the pixel position of the second exposure signal of the first spectral sensitivity;
  • a third processing unit for calculating an interpolated value at the pixel position of the signal of the first exposure having the second spectral sensitivity;
  • a fourth processing unit that calculates an interpolation value at the pixel position of the second exposure signal of the second spectral sensitivity;
  • a fifth processing unit for calculating an interpolated value at the pixel position of the signal of the first exposure having the third spectral sensitivity;
  • a sixth processing unit that calculates an interpolation value at the pixel position of the second exposure signal of the third spectral sensitivity;
  • a seventh processing unit that calculates an interpolation value at the pixel position of the signal of the first exposure having the fourth spectral sensitivity;
  • the imaging device according to any one of (1) to (7), further including
  • the imaging device further including: a ninth processing unit that calculates an interpolation value of the sensitivity, the third spectral sensitivity, and the fourth spectral sensitivity.
  • the imaging device further including a conversion unit that converts the interpolation value output from the ninth processing unit into a Bayer array.
  • the ninth processing unit includes a process of converting a signal read from each pixel into a non-linear gradation.
  • a logarithmic conversion processing unit that logarithmically converts signals from pixels arranged on the imaging surface;
  • a logarithmic inverse transformation processing unit that inversely transforms the interpolation value output from the conversion unit;
  • spectral sensitivity pixels including a spectral sensitivity pixel having total color matching are arranged on the imaging surface, For each of the four types of spectral sensitivities, a pixel that realizes a first exposure and a pixel that realizes a second exposure different from the first exposure are arranged on the imaging surface, In a specific direction, a first line in which the first pixels having spectral sensitivity that is the total color matching are arranged in a two-pixel cycle, and the first pixel is in the specific direction from the first line.
  • Second lines arranged with a shift of one pixel are alternately arranged in a direction orthogonal to the specific direction, Pixels having spectral sensitivities different from the spectral sensitivities of the first pixels are arranged for each of the same spectral sensitivities in two or four pixel cycles in a specific direction, and the first spectral sensitivity pixels are checked in two dimensions.
  • spectral sensitivity pixels including a spectral sensitivity pixel having total color matching are arranged on the imaging surface, For each of the four types of spectral sensitivities, a pixel that realizes a first exposure and a pixel that realizes a second exposure different from the first exposure are arranged on the imaging surface, In a specific direction, a first line in which the first pixels having spectral sensitivity that is the total color matching are arranged in a two-pixel cycle, and the first pixel is in the specific direction from the first line.
  • Second lines arranged with a shift of one pixel are alternately arranged in a direction orthogonal to the specific direction, Pixels having spectral sensitivities different from the spectral sensitivities of the first pixels are arranged for each of the same spectral sensitivities in two or four pixel cycles in a specific direction, and the first spectral sensitivity pixels are checked in two dimensions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Nonlinear Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Power Engineering (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)

Abstract

　本技術は、４種類の分光感度の画素に対して、露光時間を変えた制御を行えるようにする撮像素子、撮像方法、並びにプログラムに関する。 全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、４種類の分光感度のそれぞれに、第１の露光を実現する画素と、第１の露光とは異なる第２の露光を実現する画素とが撮像面上に配置されている。そして特定方向において、全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、第1の画素が、第１のラインとは特定方向に１画素ずれて配置される第２のラインとが、特定方向に直交する方向において交互に配置され、第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、特定方向に２画素もしくは４画素周期で配置され、２次元的に、第１の分光感度画素が市松配列となる、４×４画素の周期的な配置を構成する。本技術は、撮像素子に適用できる。

Description

撮像素子、撮像方法、並びにプログラム
　本技術は、撮像素子、撮像方法、並びにプログラムに関する。詳しくは、複数の画素について複数の露光タイミングで読み出しを行うことで、ダイナミックレンジを拡大するのに好適な撮像素子、撮像方法、並びにプログラムに関する。
　近年、人物等の被写体を撮像して画像（画像データ）を生成し、この生成された画像（画像データ）を画像コンテンツ（画像ファイル）として記録する電子機器、例えば、デジタルスチルカメラ等の撮像装置が普及している。これらの電子機器に用いられる撮像素子として、ＣＣＤ（Charge Coupled Device）センサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等が普及している。
　イメージセンサの性能軸の１つとしてダイナミックレンジがある。ダイナミックレンジとは有効な画像信号として変換できる入射光の明るさの幅であり、ダイナミックレンジが大きいほど、暗い光から明るい光まで画像信号に変換でき、性能が良いということになる。
　イメージセンサのダイナミックレンジを拡大するための提案として、例えば特許文献１では、SVE(Spatially Varying Exposure)と称される方式が提案されている。
　通常のイメージセンサの画素は、フォトダイオード(PD：Photo Diode)を有し、そのフォトダイオードで、入射された光が光電変換によって電荷に変換される。画素は、蓄積できる電荷量が決まっているので、強すぎる入射光に対しては電荷あふれが生じ、それ以上の信号を取り出すことができない。また、画素および読み出しのための回路で発生するノイズのため、弱すぎる入射光に対しては、生じた電荷がノイズに埋もれて信号を取り出すことができない。
　そこで、SVE方式では、異なる感度の画素を所定の配置パターンで配置するようにして、シーン中の暗いところは高感度の画素で、明るいところは低感度の画素で信号が取得できるようにする方式である。画素毎に感度を変える方法としては、画素開口率を変えたり、光透過率の異なるオンチップフィルタを用いたりする方法の他、イメージセンサの電子シャッター制御機構を利用する方法がある。特許文献１では、CCDイメージセンサにおける電子シャッター制御機構を利用した方法が提案されている。
　輝度信号を得るための分光感度を持つ画素と、色信号を得るための３種類の分光感度を持つ画素と合わせて４種類の画素を配置するイメージセンサが、特許文献２で提案されている。そのような色配列の例として、特許文献２では、輝度信号を得るための画素が市松状に配置されて、色信号を得るためのR,G,Bの分光感度を持つ画素が残りの市松状の配置位置となっているものが記載されている。
　特許文献３には、特許文献２に記載の画素配列で、SVE方式の撮像を行う場合の露光パターンの例が開示されている。
特開2007-135200号公報 特開2007-243334号公報 特開2012-257193号公報
　特許文献１では、ＲＧＢ（赤、緑、青）の３色からなる色配置を持つイメージセンサにおいて、SVE方式での撮影を行うための画素制御方法についての記載はある。特許文献２では、輝度信号を得るための１画素と色信号を得るための３画素を組み合わせて用いることについての記載はある。特許文献３では、特許文献２に記載の画素配列で、SVE方式の撮像を行う場合の露光パターンについての記載はある。
　しかしながら、輝度信号を得るための１画素と色信号を得るための３画素を組み合わせて用いるイメージセンサにおいて、SVE方式の撮像を実現する画素制御方法や構成についての記載はない。４画素を用いたときでも、SVE方式での撮像を実現する画素制御が望まれている。４画素を用いたSVE方式での撮像が行えるようになることで、ダイナミックレンジを拡大し、より性能を向上させることが望まれている。
　本技術は、このような状況に鑑みてなされたものであり、ダイナミックレンジを拡大することができ、より性能を向上させることができるようにするものである。
　本技術の一側面の撮像素子は、全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光とは異なる第２の露光を実現する画素とが前記撮像面上に配置されている。
　特定方向において、前記全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、前記第1の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、特定方向に２画素もしくは４画素周期で配置され、２次元的に、前記第１の分光感度画素が市松配列となる、４×４画素の周期的な配置を構成するようにすることができる。
　前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線を前記１ライン毎に３本備え、前記第１のラインにおける前記画素転送制御信号線のうち第１の画素転送制御信号線が、前記第１のラインの２画素周期の同じ分光感度の画素に対して転送制御信号を送り、前記第１のラインにおける前記画素転送制御信号線のうち第２の画素転送制御信号線が、前記第１のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、前記第１のラインにおける前記画素転送制御信号線のうち第３の画素転送制御信号線が、前記第１のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、前記第２のラインにおける前記画素転送制御信号線のうち第１の画素転送制御信号線が、前記第２のラインの２画素周期の同じ分光感度の画素に対して転送制御信号を送り、前記第２のラインにおける前記画素転送制御信号線のうち第２の画素転送制御信号線が、前記第２のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、前記第２のラインにおける前記画素転送制御信号線のうち第３の画素転送制御信号線が、前記第２のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、前記画素転送制御信号線のそれぞれが、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送るようにすることができる。
　前記特定方向において隣接する２つの画素間で１つのＡ／Ｄ変換器を共有し、前記画素転送制御信号線のうちの少なくとも２本の画素転送制御信号線を用いて前記隣接する２つの画素の露光タイミングをずらすようにすることができる。
　複数の画素により構成される画素群で１つのフローティングディフュージョンを共有するようにすることができる。
　前記４×４画素の周期的な配置は、前記特定方向において、前記第１の画素と、第２の分光感度の第２の画素が交互に配置される第１のラインと、前記特定方向において、前記第１の画素が２画素周期で配置され、第３の分光感度の第３の画素と、第４の分光感度の第４の画素が、残りの画素位置に４画素周期で配置される第２のラインとが、前記特定方向に直交する方向において交互に配置されるようにすることができる。
　前記第１のラインの前記第１の画素転送制御信号線と、前記第２のラインの前記第１の画素転送制御信号線は、それぞれに異なるタイミングで制御信号を送るように制御され、前記第１のラインの前記第２の画素転送制御信号線と前記第３の画素転送制御信号線は、それぞれに異なるタイミングで制御信号を送るように制御され、前記第２のラインの前記第２の画素転送制御信号線と、第４のラインの前記第３の画素に対する前記画素転送制御信号線とは、それぞれに異なるタイミングで制御信号を送るように制御され、前記第２のラインの前記第４の画素に対する前記画素転送制御信号線と、前記第４のラインの前記第４の画素に対する前記画素転送制御信号線とは、それぞれに異なるタイミングで制御信号を送るように制御されるようにすることができる。
　画素位置毎に、前記第１の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第１の処理部と、前記第１の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第２の処理部と、第２の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第３の処理部と、前記第２の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第４の処理部と、第３の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第５の処理部と、前記第３の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第６の処理部と、第４の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第7の処理部と、前記第４の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第８の処理部とをさらに備えるようにすることができる。
　前記第１乃至８の処理部により算出された前記第１乃至４の分光感度の前記第１の露光または前記第２の露光の信号の前記画素位置における補間値から、合成した前記第２の分光感度、前記第３の分光感度、および前記第４の分光感度の補間値をそれぞれ算出する第９の処理部とをさらに備えるようにすることができる。
　前記第９の処理部からの出力される前記補間値を、ベイヤー配列に変換する変換部をさらに備えるようにすることができる。
　前記第９の処理部は、各画素より読み出された信号を非線形階調に変換する処理を含むようにすることができる。
　前記非線形階調に変換する処理は、上に凸のべき乗関数特性に基づいて変換する処理を含むようにすることができる。
　前記非線形階調に変換する処理は、対数階調特性に基づいて変換する処理を含むようにすることができる。
　前記撮像面上に配置されている画素からの信号を対数変換する対数変換処理部と、前記第９の処理部からの出力される前記補間値を対数逆変換する対数逆変換処理部とをさらに備え、前記第１乃至８の処理部は、それぞれ前記対数変換処理部で変換された値を用いて処理を行うようにすることができる。
　前記撮像面上に配置されている画素からの信号を対数変換する対数変換処理部と、前記変換部から出力される前記補間値を対数逆変換する対数逆変換処理部とをさらに備え、前記第１乃至８の処理部は、それぞれ前記対数変換処理部で変換された値を用いて処理を行うようにすることができる。
　本技術の一側面の撮像方法は、全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光とは異なる第２の露光を実現する画素とが前記撮像面上に配置され、特定方向において、前記全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、前記第1の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、特定方向に２画素もしくは４画素周期で配置され、２次元的に、前記第１の分光感度画素が市松配列となる、４×４画素の周期的な配置を構成している撮像素子の撮像方法であり、前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線であり、前記１ライン毎に３本備えられている前記画素転送制御信号線に、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送るステップを含む。
　本技術の一側面のプログラムは、全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光とは異なる第２の露光を実現する画素とが前記撮像面上に配置され、特定方向において、前記全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、前記第1の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、特定方向に２画素もしくは４画素周期で配置され、２次元的に、前記第１の分光感度画素が市松配列となる、４×４画素の周期的な配置を構成している撮像素子を制御するコンピュータに行わせるプログラムにおいて、前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線であり、前記１ライン毎に３本備えられている前記画素転送制御信号線に、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送るステップを含む処理を含む。
　本技術の一側面の撮像素子、撮像方法、並びにプログラムにおいては、全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、４種類の分光感度のそれぞれに、第１の露光を実現する画素と、第１の露光とは異なる第２の露光を実現する画素とが撮像面上に配置され、第１の露光と第２の露光を実現するための構成と制御がされる。
　本技術の一側面によれば、ダイナミックレンジを拡大することができ、より性能を向上させることができるようになる。
撮像素子の受光部に装着されるカラーフィルタの配列の一例を示す図である。 本技術を適用した一実施の形態における撮像素子の受光部に装着されるカラーフィルタと露光時間の画素配列を示す図である。 撮像素子の露光時間制御を実現する制御信号線の配線を示す図である。 撮影素子の受光部に装着されるカラーフィルタと露光時間の画素配列の一例を示す図である。 撮影素子の受光部に装着されるカラーフィルタと露光時間の画素配列の一例を示す図である。 撮影素子の受光部に装着されるカラーフィルタと露光時間の画素配列の一例を示す図である。 第１の実施の形態における撮影素子に備えられている画素の基本回路の構成例を示す図である。 第１の実施の形態における撮影素子の画素制御回路および画素配線の構成例を示す図である。 第１の実施の形態における撮影素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。 第１の実施の形態における撮影素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。 第１の実施の形態における撮影素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。 第１の実施の形態における撮影素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。 第２の実施の形態における撮影素子の画素制御回路および画素配線の構成例を示す図である。 第２の実施の形態における撮影素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。 第３の実施の形態における撮影素子に備えられている画素の基本回路の構成例を示す図である。 第３の実施の形態における撮影素子の画素制御回路および画素配線の構成例を示す図である。 第３の実施の形態における撮影素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。 第４の実施の形態における撮影素子に備えられている画素の基本回路の構成例を示す図である。 第４の実施の形態における撮影素子の画素制御回路および画素配線の構成例を示す図である。 第４の実施の形態における撮影素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。 第５の実施の形態における撮像装置の機能構成例を示すブロック図である。 第５の実施の形態における画像処理部の機能構成例を示すブロック図である。 第５の実施の形態におけるＷＬ高周波補間部、ＷＳ高周波補間部で利用する補間フィルタ係数の一例を示す図である。 第５の実施の形態におけるＷＬ低周波補間部、ＷＳ低周波補間部、ＧＬ低周波補間部、ＧＳ低周波補間部、ＲＬ低周波補間部、ＲＳ低周波補間部、ＢＬ低周波補間部、ＢＳ低周波補間部で利用する補間フィルタ係数の一例を示す図である。 第５の実施の形態におけるHDR合成部の機能構成例を示すブロック図である。 第５の実施の形態におけるHDR合成部の動作を模式的に説明する図である。 第５の実施の形態におけるHDR合成部の重み値特性の一例を示す図である。 他の適用例における撮影素子内でRGBのBayerデータに変換する処理の機能構成例を示すブロック図である。 第５の実施の形態における画像処理部において対数変換の処理位置を変えた機能構成例を示すブロック図である。 他の適用例における撮影素子内でRGBのBayerデータに変換する処理において対数変換の処理位置を変えた機能構成例を示すブロック図である。 対応可能な撮影素子の受光部に装着されるカラーフィルタの配列の他の例を示す図である。 対応可能な撮影素子の受光部に装着されるカラーフィルタの配列の他の例を示す図である。 対応可能な撮影素子の露光制御パターンの例を示す図である。 対応可能な撮影素子の露光制御パターンの例を示す図である。 対応可能な撮影素子の露光制御パターンの例を示す図である。 対応可能な撮影素子の露光制御パターンの例を示す図である。 対応可能な撮影素子の露光制御パターンの例を示す図である。 対応可能な撮影素子の露光制御パターンの例を示す図である。 対応可能な撮影素子の露光制御パターンの例を示す図である。 対応可能な撮影素子の露光制御パターンの例を示す図である。
　以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
　１．第１の実施の形態（水平方向の１ライン上に画素転送制御信号線を３本設ける例）
　２．第２の実施の形態（水平方向の２画素が１つのＡ／Ｄ変換器を共有する撮像素子の例）
　３．第３の実施の形態（垂直方向の４画素が１つのＦＤを共有する撮像素子の例）
　４．第４の実施の形態（８画素がＦＤを共有する撮像素子の例）
　５．第５の実施の形態（撮像装置の例）
　６．他の適用例
　本技術は、撮像素子に適用できる。撮像素子として、ＣＣＤ（Charge Coupled Deviceセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどがある。また本技術は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｗ（白）の各色光を出力する４個の画素が配列されているイメージセンサに適用できる。
　Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｗ（白）の各色光を出力する４個の画素は、例えば、図１に示すように、表示領域にマトリクス状に配置される。図１において、各矩形は画素を模式的に表す。また、各矩形の内部には、カラーフィルタの種類（各画素が出力する色光）を示す記号を示す。例えば、Ｇ画素には「Ｇ」を付し、Ｒ画素には「Ｒ」を付し、Ｂ画素には「Ｂ」を付し、Ｗ画素には「Ｗ」を付す。以下の説明においても、同様に記載する。
　Ｗ画素は、全整色性である分光感度の画素として機能し、Ｒ画素、Ｇ画素、Ｂ画素は、それぞれの色に特性のある分光感度の画素として機能する。本技術は、このように、全整色性である分光感度を含む４種類の分光感度の画素が、撮像面上に配置されている撮像素子（イメージセンサ）に適用できる。
　図１に示したイメージセンサは、１乃至８行、１乃至８列に配列されたＲ画素、Ｇ画素、Ｂ画素、およびＷ画素の配置を示す。図１に示したのは、イメージセンサの一部分であり、１乃至８行、１乃至８列に配列されたＲ画素、Ｇ画素、Ｂ画素、およびＷ画素以外の他の行、他の列に配列されたＲ画素、Ｇ画素、Ｂ画素、およびＷ画素についての構成も同様である。
　以下の説明において、例えば、画素１０（ｍ，ｎ）との記載を行うが、ｍは行を表し、ｎは列を表すとする。また行とは、水平信号線（不図示）が配置される水平方向とし、列とは、垂直信号線（不図示）が配置される垂直方向とする。例えば、画素１０（２，１）とは、２行目の１列目に位置する画素であることを表す。また、ここで、左上の画素を、画素１０（１，１）とし、この画素１０（１，１）を基準として、各画素の位置を表す。他の図面においても、同様の記載を行う。
　イメージセンサの水平方向（図１の左右方向であり、行方向）の構成を説明する。１行目には、Ｗ画素１０（１，１）、Ｇ画素１０（１，２）、Ｗ画素１０（１，３）、Ｇ画素１０（１，４）、Ｗ画素１０（１，５）、Ｇ画素１０（１，６）、Ｗ画素１０（１，７）、Ｇ画素１０（１，８）が配置されている。この場合、１行目には、Ｗ画素とＧ画素が、配置されている。
　２行目には、Ｒ画素１０（２，１）、Ｗ画素１０（２，２）、Ｂ画素１０（２，３）、Ｗ画素１０（２，４）、Ｒ画素１０（２，５）、Ｗ画素１０（２，６）、Ｂ画素１０（２，７）、Ｗ画素１０（２，８）が配置されている。この場合、２行目には、Ｒ画素、Ｗ画素、Ｂ画素が、配置されている。
　３行目には、１行目と同じく、Ｗ画素とＧ画素が交互に配置されている。
　４行目は、２行目と同じく、Ｒ画素、Ｗ画素、Ｂ画素が配置されているが、開始の画素がＲ画素ではなく、Ｂ画素である点が異なる。すなわち、４行目は、Ｂ画素１０（４，１）、Ｗ画素１０（４，２）、Ｒ画素１０（４，３）、Ｗ画素１０（４，４）、Ｂ画素１０（４，５）、Ｗ画素１０（４，６）、Ｒ画素１０（４，７）、Ｗ画素１０（４，８）が配置されている。
　５行目、７行目は、それぞれ１行目と同じく、Ｗ画素とＧ画素が交互に配置されている。６行目は、２行目と同じく、Ｒ画素、Ｗ画素、Ｂ画素が、配置されている。また８行目は、４行目と同じく、Ｂ画素、Ｗ画素、Ｒ画素が、配置されている。
　図１に示した色配置は、行方向を特定方向とした場合、その特定方向において、全整色性である分光感度のＷ画素に注目すると、Ｗ画素が２画素周期で配置される第１のラインと、Ｗ画素が、第１のラインとは特定方向に１画素ずれて配置される第２のラインとがある。そして、第１のラインと第２のラインは、特定方向に直交する方向（列方向）において交互に配置されている。
　また、Ｗ画素とは異なる分光感度を有するＲ画素、Ｇ画素、およびＢ画素は、同じ分光感度毎に、特定方向に２画素もしくは４画素周期で配置される。例えば、Ｇ画素は、第１のラインにおいて、２画素周期で配置され、Ｒ画素とＢ画素は、第２のラインにおいて、それぞれ４画素周期で配置されている。
　このように、２次元的に、Ｗ画素が市松配列となる、４×４画素の周期的な配置を構成するように、色配置が行われている。
　このように、ＲＧＢＷの４色のカラーフィルタ（ＣＦ：Color Filter）が配置され、各カラーフィルタを透過した光を受光し、各色光を出力する画素が配列されているイメージセンサにおいて、ＳＶＥ（Spatially Varying Exposure）方式を適用した場合、感度が異なる画素が配置されるため、図２に示すような画素配置となる。
　＜第１の実施の形態＞
　＜カラーフィルタと露光時間の画素配列例＞
図２は、本技術の第１の実施の形態における撮像素子の受光部に装着されるカラーフィルタの画素配列の一例を示す図である。図２に示した画素配列は、図１に示した画素配置と基本的に同様であるが、感度が異なる画素が配列されている点が異なる。
　図２において、矩形内部に斜線が付されていない矩形は長時間露光画素を示し、矩形内部に斜線を付された矩形は短時間露光画素を示す。また、各矩形の内部には、カラーフィルタの種類を示す記号を、長時間露光または短時間露光を表す記号とともに示す。
　例えば、Ｇ画素のうちの長時間露光画素には「ＧＬ」を付し、ＧＬ画素と記述し、短時間露光画素には「ＧＳ」を付し、ＧＳ画素と記述する。同様に、Ｒ画素のうちの長時間露光画素には「ＲＬ」を付し、ＲＬ画素と記述し、短時間露光画素には「ＲＳ」を付し、ＲＳ画素と記述する。
　またＢ画素のうちの長時間露光画素には「ＢＬ」を付し、ＢＬ画素と記述し、短時間露光画素には「ＢＳ」を付し、ＢＳ画素と記述する。さらに、Ｗ画素のうちの長時間露光画素には「ＷＬ」を付し、ＷＬ画素と記述し、短時間露光画素には「ＷＳ」を付し、ＷＳ画素と記述する。
　長時間露光画素は、一定の露光期間内に連続して露光（長時間露光）して読み出す画素である。また、短時間露光画素は、一定の露光期間内の所定の露光時間より短い期間の露光で得られる信号のみの読み出しを行う画素である。
　なお、本実施の形態としては、長時間露光と短時間露光の２種類の露光をそれぞれ実現する画素が、撮像面上に配置されている場合を例にあげて説明を続けるが、２種類の露光を実現する場合にのみ、本技術が適用できることを意味する記載ではない。２種類以上の露光を実現する場合にも、本技術を適用できる。
　また、長時間露光と短時間露光の２種類の露光ではなく、第１の露光と第２の露光といった異なる露光、例えば、第１の露光と第２の露光のどちらも、時間的には長時間露光に分類される露光であっても、露光の時間が異なる２種類の露光であれば、本技術を適用できる。
　図２に示すように、本技術の第１の実施の形態におけるカラーフィルタの色配列は、図１に示した４色配列と同じである。この色配列に対して、本技術では、長時間と短時間の２種類の露光時間で制御される画素を色毎に形成する。
　イメージセンサの水平方向（図２の左右方向であり、行方向）の構成を説明する。１行目には、ＷＬ画素２０（１，１）、ＧＬ画素２０（１，２）、ＷＬ画素２０（１，３）、ＧＳ画素２０（１，４）、ＷＬ画素２０（１，５）、ＧＬ画素２０（１，６）、ＷＬ画素２０（１，７）、ＧＳ画素２０（１，８）が配置されている。この場合、１行目には、長時間露光画素のＷＬ画素、長時間露光画素のＧＬ画素、および短時間露光画素のＧＳ画素が配置されている。
　２行目には、ＲＬ画素２０（２，１）、ＷＳ画素２０（２，２）、ＢＬ画素２０（２，３）、ＷＳ画素２０（２，４）、ＲＬ画素２０（２，５）、ＷＳ画素２０（２，６）、ＢＬ画素２０（２，７）、ＷＳ画素２０（２，８）が配置されている。この場合、２行目には、短時間露光画素のＷＳ画素、長時間露光画素のＲＬ画素、および長時間露光画素のＢＬ画素が配置されている。
　３行目は、１行目と同じく、Ｗ画素とＧ画素が交互に配置されているが、１行目で長時間露光画素のＧＬ画素とされていた画素が、短時間露光画素のＧＳ画素とされ、短時間露光画素のＧＳ画素とされていた画素が、長時間露光画素のＧＬ画素とされている点が異なる。すなわち、３行目には、ＷＬ画素２０（３，１）、ＧＳ画素２０（３，２）、ＷＬ画素２０（３，３）、ＧＬ画素２０（３，４）、ＷＬ画素２０（３，５）、ＧＳ画素２０（３，６）、ＷＬ画素２０（３，７）、ＧＬ画素２０（３，８）が配置されている。
　このように、同列に位置するＧ画素、例えば、1列目に配列されているＧＬ画素２０（１，２）とＧＳ画素２０（３，２）は、互いに異なる露光時間とされている。このように、長時間露光画素と短時間露光の画素は、比較的均等に分散して配置されるように構成されている。
　４行目は、２行目と同じく、Ｒ画素、Ｗ画素、Ｂ画素が配置されているが、開始の画素がＲ画素ではなく、Ｂ画素であり、全ての画素が短時間露光画素に設定されている点が異なる。すなわち、４行目は、ＢＳ画素２０（４，１）、ＷＳ画素２０（４，２）、ＲＳ画素２０（４，３）、ＷＳ画素２０（４，４）、ＢＳ画素２０（４，５）、ＷＳ画素２０（４，６）、ＲＳ画素２０（４，７）、ＷＳ画素２０（４，８）が配置されている。
　Ｒ画素とＢ画素も、Ｇ画素と同じく、同列に位置し、近傍に位置するＲ画素とＧ画素は、互いに異なる露光時間とされている。このように、長時間露光画素と短時間露光の画素は、比較的均等に分散して配置されるように構成されている。
　５乃至８行目は、１行目乃至４行目の画素配置と同様の画素配置とされている。このように、４行毎に繰り返される配置とされる。
　このような画素配置についてさらに説明する。図２に示した画素配置において、上から数えて奇数番目の行（１、３、５行目）においては、Ｗ画素とＧ画素が交互に配置され、そのうちのＷ画素は、全て長時間露光となるＷＬ画素とされ、Ｇ画素は、長時間露光となるＧＬ画素と短時間露光となるＧＳ画素が交互に配置される。
　偶数番目の行においては、Ｗ画素が１画素おきに配置され、残りの画素位置にＲ画素とＢ画素が交互に配置される。さらに偶数番目の行のＷ画素は、全て短時間露光となるＷＳ画素である。Ｒ画素とＢ画素は、同一行においてどちらも長時間露光のＲＬ画素、ＢＬ画素か、どちらも短時間露光のＲＳ画素、ＢＳ画素とされ、２行おきに交互に配置される。
　図２に示したような画素の配置は、一見すると露光の空間パターンが複雑であるように見えるが、各色かつ各露光で画素の配置を見たときには、どれも等方的な配置となっており、後述するように補間フィルタ等の信号処理がやりやすいという効果を期待できる配置である。
　＜露光制御の配線例＞
図３に、図２の露光時間制御を実現する制御信号線の配線を模式的に示す。図３において水平方向（図中左右方向）にのびる実線は、それぞれが画素の露光を制御するための画素転送制御信号線を示す。また画素転送制御信号線上の黒はその位置の画素との接続を示す。
　図３には記載していないが、画素の配置は図２に示した画素の配置であり、斜線を付した部分は、短時間露光画素であることを表している。画素の配置については、適宜図２を参照しながら説明を続ける。
　図３に示すように、１行あたり３本の画素転送制御信号線が配置される。１行目には、画素転送制御信号線２１－１乃至２１－３が配置され、２行目には、画素転送制御信号線２２－１乃至２２－３が配置され、３行目には、画素転送制御信号線２３－１乃至２３－３が配置され、４行目には、画素転送制御信号線２４－１乃至２４－３が配置され、５行目には、画素転送制御信号線２５－１乃至２５－３が配置され、６行目には、画素転送制御信号線２６－１乃至２６－３が配置され、７行目には、画素転送制御信号線２７－１乃至２７－３が配置され、８行目には、画素転送制御信号線２８－１乃至２８－３が配置されている。
　１行目に配置されている画素２０と画素転送制御信号線２１に注目する。画素転送制御信号線２１－１は、ＷＬ画素２０（１，１）、ＷＬ画素２０（１，３）、ＷＬ画素２０（１，５）、ＷＬ画素２０（１，７）に接続されている。すなわち、画素転送制御信号線２１－１は、長時間露光画素のＷＬ画素に接続され、それらの露光を制御する。
　画素転送制御信号線２１－２は、ＧＬ画素２０（１，２）とＧＬ画素２０（１，６）に接続されている。すなわち画素転送制御信号線２１－２は、長時間露光画素のＧＬ画素に接続され、それらの露光を制御する。画素転送制御信号線２１－３は、ＧＳ画素２０（１，４）とＧＳ画素２０（１，８）に接続されている。すなわち、画素転送制御信号線２１－３は、短時間露光画素のＧＳ画素に接続され、それらの露光を制御する。
　次に、２行目に配置されている画素２０と画素転送制御信号線２２に注目する。画素転送制御信号線２２－１は、ＷＳ画素２０（２，２）、ＷＳ画素２０（２，４）、ＷＳ画素２０（２，６）、ＷＳ画素２０（２，８）に接続されている。すなわち、画素転送制御信号線２２－１は、短時間露光画素のＷＳ画素に接続され、それらの露光を制御する。
　画素転送制御信号線２２－２は、ＲＬ画素２０（２，１）とＲＬ画素２０（２，５）に接続されている。すなわち画素転送制御信号線２２－２は、長時間露光画素のＲＬ画素に接続され、それらの露光を制御する。画素転送制御信号線２２－３は、ＢＬ画素２０（２，３）とＢＬ画素２０（２，７）に接続されている。すなわち、画素転送制御信号線２２－３は、長時間露光画素のＢＬ画素に接続され、それらの露光を制御する。
　次に、３行目に配置されている画素２０と画素転送制御信号線２３に注目する。画素転送制御信号線２３－１は、ＷＬ画素２０（３，１）、ＷＬ画素２０（３，３）、ＷＬ画素２０（３，５）、ＷＬ画素２０（３，７）に接続されている。すなわち、画素転送制御信号線２３－１は、長時間露光画素のＷＬ画素に接続され、それらの露光を制御する。
　画素転送制御信号線２３－２は、ＧＬ画素２０（３，４）とＧＬ画素２０（３，８）に接続されている。すなわち画素転送制御信号線２３－２は、長時間露光画素のＧＬ画素に接続され、それらの露光を制御する。画素転送制御信号線２３－３は、ＧＳ画素２０（３，２）とＧＳ画素２０（３，６）に接続されている。すなわち、画素転送制御信号線２３－３は、短時間露光画素のＧＳ画素に接続され、それらの露光を制御する。
　次に、４行目に配置されている画素２０と画素転送制御信号線２４に注目する。画素転送制御信号線２４－１は、ＷＳ画素２０（４，２）、ＷＳ画素２０（４，４）、ＷＳ画素２０（４，６）、ＷＳ画素２０（４，８）に接続されている。すなわち、画素転送制御信号線２４－１は、短時間露光画素のＷＳ画素に接続され、それらの露光を制御する。
　画素転送制御信号線２４－２は、ＲＳ画素２０（４，３）とＲＳ画素２０（４，７）に接続されている。すなわち画素転送制御信号線２４－２は、短時間露光画素のＲＳ画素に接続され、それらの露光を制御する。画素転送制御信号線２４－３は、ＢＳ画素２０（４，１）とＢＳ画素２０（４，５）に接続されている。すなわち、画素転送制御信号線２４－３は、短時間露光画素のＢＳ画素に接続され、それらの露光を制御する。
　５行目乃至８行目は、１行目乃至４行目と画素の配置や画素転送制御信号線の接続の仕方は同じであるため、その説明は省略する。
　このように１行あたり複数（この場合、３本）の画素転送制御信号線を配置することによって、同一行中に長時間露光の画素と短時間露光の画素が混在しても、制御し分けることが可能となる。また、１行あたり３本の画素転送制御信号線を配置すると、長時間露光と短時間露光の制御に加えて、色毎の独立制御も可能になる。
　Ｗ画素は可視光の全波長帯にわたって感度を持つためにＲ，Ｇ，Ｂ画素と比べて２倍近い感度を持つ場合がある。そのためＷ画素だけ飽和しやすい。本技術によれば、色毎の露光制御ができるようになる。このことにより、例えば、Ｗ画素だけ、Ｒ，Ｇ，Ｂ画素よりも露光時間を短くするといったような制御を行うことが可能となり、Ｗ画素が飽和しないように制御することが可能となる。
　図１に示した画素の配列（色の配置）に対して、図３に示した画素転送制御信号線の配線を適用した場合の長時間露光画素と短時間露光画素との配置（露光パターン）は、図２に示した露光パターンに限定されるものではない。図４乃至６に、他の露光パターンの例を示す。なお、図２、図４乃至６以外にも、図示はしないが、位相違い、長時間露光と短時間露光の判定などのパターンなどにも、図３に示した画素転送制御信号線の配線を適用することができる。
　図４乃至図６の各図に示した色の配列は、図１（図２）と同じ配列である。また図１に示した場合と同じく、１行目乃至４行目の繰り返しで構成されるため、以下の説明では、１行目乃至４行目の画素の配列について説明を加える。
　図４を参照するに、１行目には、ＷＬ画素４０（１，１）、ＧＬ画素４０（１，２）、ＷＬ画素４０（１，３）、ＧＳ画素４０（１，４）、ＷＬ画素４０（１，５）、ＧＬ画素４０（１，６）、ＷＬ画素４０（１，７）、ＧＳ画素４０（１，８）が配置されている。この場合、１行目には、長時間露光画素のＷＬ画素、長時間露光画素のＧＬ画素、および短時間露光画素のＧＳ画素が配置されている。
　２行目には、ＲＬ画素４０（２，１）、ＷＳ画素４０（２，２）、ＢＳ画素４０（２，３）、ＷＳ画素４０（２，４）、ＲＬ画素４０（２，５）、ＷＳ画素４０（２，６）、ＢＳ画素４０（２，７）、ＷＳ画素４０（２，８）が配置されている。この場合、２行目には、短時間露光画素のＷＳ画素、長時間露光画素のＲＬ画素、および短時間露光画素のＢＳ画素が配置されている。
　３行目には、ＷＬ画素４０（３，１）、ＧＳ画素４０（３，２）、ＷＬ画素４０（３，３）、ＧＬ画素４０（３，４）、ＷＬ画素４０（３，５）、ＧＳ画素４０（３，６）、ＷＬ画素４０（３，７）、ＧＬ画素４０（３，８）が配置されている。この場合、３行目には、長時間露光画素のＷＬ画素、長時間露光画素のＧＬ画素、および短時間露光画素のＧＳ画素が配置されている。
　４行目は、ＢＬ画素４０（４，１）、ＷＳ画素４０（４，２）、ＲＳ画素４０（４，３）、ＷＳ画素４０（４，４）、ＢＬ画素４０（４，５）、ＷＳ画素４０（４，６）、ＲＳ画素４０（４，７）、ＷＳ画素４０（４，８）が配置されている。この場合、４行目には、短時間露光画素のＷＳ画素、長時間露光画素のＢＬ画素、および短時間露光画素のＲＳ画素が配置されている。
　図４に示した露光パターンも、図２に示した露光パターンと同じく、同一行中に長時間露光の画素と短時間露光の画素が混在している。図４に示した露光パターンにおいても、図３に示したように、１行に３本の画素転送制御信号線を設けることで、制御し分けることが可能となる。また、長時間露光と短時間露光の制御に加えて、色毎の独立制御も可能になる。
　図５を参照するに、１行目には、ＷＬ画素５０（１，１）、ＧＬ画素５０（１，２）、ＷＬ画素５０（１，３）、ＧＬ画素５０（１，４）、ＷＬ画素５０（１，５）、ＧＬ画素５０（１，６）、ＷＬ画素５０（１，７）、ＧＬ画素５０（１，８）が配置されている。この場合、１行目には、長時間露光画素のＷＬ画素とＧＬ画素が配置されている。
　２行目には、ＲＬ画素５０（２，１）、ＷＳ画素５０（２，２）、ＢＬ画素５０（２，３）、ＷＳ画素５０（２，４）、ＲＬ画素５０（２，５）、ＷＳ画素５０（２，６）、ＢＬ画素５０（２，７）、ＷＳ画素５０（２，８）が配置されている。この場合、２行目には、短時間露光画素のＷＳ画素、長時間露光画素のＲＬ画素、および長時間露光画素のＢＬ画素が配置されている。
　３行目には、ＷＬ画素５０（３，１）、ＧＳ画素５０（３，２）、ＷＬ画素５０（３，３）、ＧＳ画素５０（３，４）、ＷＬ画素５０（３，５）、ＧＳ画素５０（３，６）、ＷＬ画素５０（３，７）、ＧＳ画素５０（３，８）が配置されている。この場合、３行目には、長時間露光画素のＷＬ画素と、短時間露光画素のＧＳ画素が配置されている。
　４行目は、ＢＳ画素５０（４，１）、ＷＳ画素５０（４，２）、ＲＳ画素５０（４，３）、ＷＳ画素５０（４，４）、ＢＳ画素５０（４，５）、ＷＳ画素５０（４，６）、ＲＳ画素５０（４，７）、ＷＳ画素５０（４，８）が配置されている。この場合、４行目には、短時間露光画素のＷＳ画素、ＢＳ画素、およびＲＳ画素が配置されている。
　図５に示した露光パターンも、図２に示した露光パターンと同じく、同一行中に長時間露光の画素と短時間露光の画素が混在している行がある。図５に示した露光パターンにおいても、図３に示したように、１行に３本の画素転送制御信号線を設けることで、制御し分けることが可能となる。また、長時間露光と短時間露光の制御に加えて、色毎の独立制御も可能になる。
　図６を参照するに、１行目には、ＷＬ画素６０（１，１）、ＧＬ画素６０（１，２）、ＷＬ画素６０（１，３）、ＧＬ画素６０（１，４）、ＷＬ画素６０（１，５）、ＧＬ画素６０（１，６）、ＷＬ画素６０（１，７）、ＧＬ画素６０（１，８）が配置されている。この場合、１行目には、長時間露光画素のＷＬ画素とＧＬ画素が配置されている。
　２行目には、ＲＬ画素６０（２，１）、ＷＳ画素６０（２，２）、ＢＳ画素６０（２，３）、ＷＳ画素６０（２，４）、ＲＬ画素６０（２，５）、ＷＳ画素６０（２，６）、ＢＳ画素６０（２，７）、ＷＳ画素６０（２，８）が配置されている。この場合、２行目には、短時間露光画素のＷＳ画素、長時間露光画素のＲＬ画素、および短時間露光画素のＢＳ画素が配置されている。
　３行目には、ＷＬ画素６０（３，１）、ＧＳ画素６０（３，２）、ＷＬ画素６０（３，３）、ＧＳ画素６０（３，４）、ＷＬ画素６０（３，５）、ＧＳ画素６０（３，６）、ＷＬ画素６０（３，７）、ＧＳ画素６０（３，８）が配置されている。この場合、３行目には、長時間露光画素のＷＬ画素と、短時間露光画素のＧＳ画素が配置されている。
　４行目は、ＢＬ画素６０（４，１）、ＷＳ画素６０（４，２）、ＲＳ画素６０（４，３）、ＷＳ画素６０（４，４）、ＢＬ画素６０（４，５）、ＷＳ画素６０（４，６）、ＲＳ画素６０（４，７）、ＷＳ画素６０（４，８）が配置されている。この場合、４行目には、短時間露光画素のＷＳ画素、長時間露光画素のＢＬ画素、および短時間露光画素のＲＳ画素が配置されている。
　図６に示した露光パターンも、図２に示した露光パターンと同じく、同一行中に長時間露光の画素と短時間露光の画素が混在している。図６に示した露光パターンにおいても、図３に示したように、１行に３本の画素転送制御信号線を設けることで、制御し分けることが可能となる。また、長時間露光と短時間露光の制御に加えて、色毎の独立制御も可能になる。
　＜画素の基本回路の構成例＞
図７は、本技術の第１の実施の形態における撮像素子に備えられている画素の基本回路の構成例を示す図である。図7では、画素共有を行っていない４Ｔｒ（トランジスタ）構成のＣＩＳ（CMOSイメージセンサ）の画素回路の構成例を示す。
　図７中、破線の矩形で囲った等価回路が１つの画素の構成要素を表す。画素は、受光部であるフォトダイオードＰＤ７１、フローティングディフュージョンＦＤ７２、および４つのＭＯＳ－ＦＥＴ７３－１乃至７３－４により構成されている。また、画素は、画素転送制御信号線（画素転送ゲート制御信号線）ＴＲＧ７４、画素読み出し選択制御信号線ＳＥＬ７５、垂直信号線（読み出し線）ＶＳＬ７６、および画素リセット制御信号線ＲＳＴ７７に接続されている。
　画素に照射された光は、ＰＤ７１において電子に変換され、光量に応じた電荷がＰＤ７１に蓄積される。ＭＯＳ－ＦＥＴ７３－１は、ＰＤ７１とＦＤ７２との間の電荷転送を制御する。ＭＯＳ－ＦＥＴ７３－１のゲート電極に画素転送制御信号線ＴＲＧ７４の信号が印加されることにより、ＰＤ７１に蓄積された電荷が、ＦＤ７２に転送される。
　ＦＤ７２は、ＭＯＳ－ＦＥＴ７３－３のゲート電極と繋がっている。ＭＯＳ－ＦＥＴ７３－４のゲート電極に画素読み出し選択制御信号線ＳＥＬ７５の制御信号が印加されると、垂直信号線ＶＳＬ７６からＦＤ７２に蓄積された電荷に応じた電圧を信号として読み出すことができる。ＭＯＳ－ＦＥＴ７３－２のゲート電極に画素リセット制御信号線ＲＳＴ７７のリセット信号が印加されると、ＦＤ７２に蓄積された電荷は、ＭＯＳ－ＦＥＴ７３－２を通じて流れるため、電荷蓄積状態がリセットされる。
　１画素は、このような基本構成を有し、受光された光量に応じた信号が取り出される。
　＜画素制御回路および画素配線の構成例＞
図８は、本技術の第１の実施の形態における撮像素子の画素制御回路および画素配線の構成例を示す図である。
　図８に示した撮像素子は、図２に示した撮像素子の１行目乃至４行目を例に挙げて図示してある。よって、その配列は、図２を参照して説明したので、ここではその説明を省略する。例えば、左上に位置するＷＬ画素は、ＷＬ画素２０（１，１）である。他の画素も、図２に示した画素と同様の符号が付してあるとして説明を続ける。図７に示すように、複数の画素は、２次元正方格子状に配置されている。
　また、各画素は、図７に示したような回路構成を有している。図７において、画素転送制御信号線ＴＲＧ７４は、図３における画素転送制御信号線に対応している。図３を参照して説明したように、１行に３本の画素転送制御信号線が配線されているため、図３と同じ符号を付してある。
　撮像素子は、さらに、垂直走査制御回路（V SCAN CIRCUIT）８１、水平転送回路（H TRANSFER CIRCUIT）８２、列毎のＡ／Ｄ（Analog/Digital）変換器（ＡＤＣ）８３、およびメモリ（ＭＥＭ）８４を備える。
　垂直操作制御回路８１は、行方向に配線されている各信号線（ＲＳＴ７７、ＴＲＧ２１乃至２４、ＳＥＬ７５）を制御することにより、各画素２０と、垂直信号線ＶＳＬ７６との間のスイッチをオン／オフするものである。なお、各信号線の制御については後述する。
　水平転送回路８２は、列毎のメモリ８４に保持されているデジタルデータを水平転送するための回路である。列毎のＡ／Ｄ変換器８３は、アナログ値である各画素からの画像データをデジタルデータ（デジタル値）に変換する。列毎のメモリ８４は、列毎のＡ／Ｄ変換器８３により変換されたデジタルデータを順次保存するメモリである。
　垂直方向には垂直信号線ＶＳＬ７６が配線されており、同じ列上にある画素が１つの垂直信号線ＶＳＬ７６を共有する。また、垂直信号線ＶＳＬ７６は、水平転送回路８２により排他的に出力端（ＯＵＴ）と接続される。
　このように、垂直走査制御回路８１の選択制御により、ある１つの画素を出力端（ＯＵＴ）と接続させることができる。このため、各画素２０を順次選択しながら時分割で全画素の信号を読み出すことができる。また、撮像素子には、水平方向の各行において、３本の画素転送制御信号線ＴＲＧ２１乃至２４と、画素読み出し選択制御信号線ＳＥＬ７５と、画素リセット制御信号線ＲＳＴ７７とが配線されている。３本の画素転送制御信号線ＴＲＧ２１乃至２４は、それぞれ図３に示したパターンで各画素に接続されている。
　＜制御信号のタイミングチャート例＞
図９は、本技術の第１の実施の形態における撮像素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。図９では、図８に示した４行分の画素への制御信号線のタイミングチャートを示す。横軸は時間軸である。
　図上部に両矢印線ＥｘｐＬ１乃至４、ＥｘｐＳ１乃至４で示された期間は露光期間を示し、ＥｘｐＬ１乃至４は長時間露光画素の露光期間、ＥｘｐＳ１乃至４は短時間露光画素の露光期間であり、数字は行番号と対応する。
　画素電子シャッターは、画素リセット制御信号線ＲＳＴ７７をＯＮ（リセットトランジスタ７３－２はＮＭＯＳであるため、Ｈレベル）するとともに、画素転送制御信号線ＴＲＧ７７を活性化することを同時に行うことを意味する。この画素電子シャッターにより、対象となるＰＤ（フォトダイオード）７１の蓄積電荷がリセットされる。このため、画素リセット制御信号線ＲＳＴ７７がＯＮであっても、画素転送制御信号線ＴＲＧ２１乃至２４がＯＦＦであれば、対象のＰＤ７１はリセットされない。
　例えば、時刻ｔ１において、画素リセット制御信号線ＲＳＴ７７－１と、画素転送制御信号線ＴＲＧ２１－１，２１－２がＯＮとなるため、第１行目にあるＷＬ画素２０（１，１）、ＷＬ画素（１，３）、ＷＬ画素２０（１，５）、ＷＬ画素２０（１，７）と、ＧＬ画素２０（１，２）、ＧＬ画素２０（１，６）の画素電子シャッターが切られる。
　さらに、これらの画素は、時刻ｔ９において、画素転送制御信号線ＴＲＧ２１－１，２１－２がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ１から時刻ｔ９までの間（ＥｘｐＬ１）が露光期間となる。
　また、時刻ｔ５において、画素リセット制御信号線ＲＳＴ７５－１と、画素転送制御信号線ＴＲＧ２１－３がＯＮとなるため、第１行目にあるＧＳ画素２０（１，４）とＧＳ画素２０（１，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ９において、画素転送制御信号線ＴＲＧ２１－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ５から時刻ｔ９までの間（ＥｘｐＳ１）が露光期間となる。
　このように、水平方向の１ラインにおける複数の画素について、異なる露光期間で露光されるように各画素を制御することができる。
　第２行目についても同様に制御を行うことができる。例えば、時刻ｔ２において、画素リセット制御信号線ＲＳＴ７７－２と、画素転送制御信号線ＴＲＧ２２－２，２２－３とがＯＮとなるため、第２行目にあるＲＬ画素２０（２，１）、ＲＬ画素２０（２，５）、ＢＬ画素２０（２，３）、ＢＬ画素２０（２，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において、画素転送制御信号線ＴＲＧ２２－２，２２－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ２から時刻ｔ１０までの間（ＥｘｐＬ２）が露光期間となる。
　また、時刻ｔ６において、画素リセット制御信号線ＲＳＴ７７－２と、画素転送制御信号線ＴＲＧ２２－１がＯＮとなるため、第２行目にあるＷＳ画素２０（２，２）、ＷＳ画素２０（２，４）、ＷＳ画素２０（２，６）、ＷＳ画素２０（２，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において、画素転送制御信号線ＴＲＧ２２－１がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ６から時刻ｔ１０までの間（ＥｘｐＳ２）が露光期間となる。
　第３行目についても同様に制御を行うことができる。例えば、時刻ｔ３において、画素リセット制御信号線ＲＳ７７－３と、画素転送制御信号線ＴＲＧ２３－１，２３－２とがＯＮとなるため、第３行目にあるＷＬ画素２０（３，１）、ＷＬ画素２０（３，３）、ＷＬ画素２０（３，５）、ＷＬ画素２０（３，７）と、ＧＬ画素２０（３，４）、ＧＬ画素２０（３，８）の画素電子シャッターが切られる。
　さらにこれらの画素は、時刻ｔ１１において、画素転送制御信号線ＴＲＧ２３－１，２３－２がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ３から時刻ｔ１１までの間（ＥｘｐＬ３）が露光期間となる。
　また、時刻ｔ７において、画素リセット制御信号線ＲＳＴ７７－３と、画素転送制御信号線ＴＲＧ２３－３がＯＮとなるため、第３行目にあるＧＳ画素２０（３，２）、ＧＳ画素２０（３，６）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１１において、画素転送制御信号線ＴＲＧ２３－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ７から時刻ｔ１１までの間（ＥｘｐＳ３）が露光期間となる。
　第４行目についても同様に制御を行うことができる。ただし、第４行目においては、時刻ｔ４において、画素リセット制御信号線ＲＳＴ７７－４がＯＮとなるが、同時にＯＮとなる画素転送制御信号線２４がないため、時刻ｔ４で画素電子シャッターが切られる画素はない。
　時刻ｔ８において、画素リセット制御信号線ＲＳＴ７７－４と、画素転送制御信号線ＴＲＧ２４－１，２４－２，２４－３がＯＮとなるため、第４行目にある全ての画素の画素電子シャッターが切られる。すなわち、ＢＳ画素２０（４，１）、ＷＳ画素２０（４，２）、ＲＳ画素２０（４，３）、ＷＳ画素２０（４，４）、ＢＳ画素２０（４，５）、ＷＳ画素２０（４，６）、ＲＳ画素２０（４，７）、ＷＳ画素２０（４，８）の画素電子シャッターが切られる。
　さらにこれらの画素は、時刻ｔ１２において、画素転送制御信号線ＴＲＧ２４－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ８から時刻ｔ１２までの間（ＥｘｐＳ４）が露光期間となる。
　なお、時刻ｔ１、時刻ｔ２、時刻ｔ３、時刻ｔ４の間隔、時刻ｔ５、時刻ｔ６、時刻ｔ７、時刻ｔ８の間隔、時刻ｔ９、時刻ｔ１０、時刻ｔ１１、時刻ｔ１２の間隔は、全て１Ｈ（１行分の画素データ読み出しにかかる時間）に設定されるため、各行の長時間露光時間ＥｘｐＬ１乃至４および各行の短時間露光時間ＥｘｐＳ１乃至４は同じとなる。
　このように、画素リセットのタイミングで、水平方向の１行における画素転送制御信号線ＴＲＧの３本を適宜ＯＮ／ＯＦＦする制御を行うことにより所望の感度パターンを生成することができる。
　また、時刻ｔ１乃至ｔ８における画素転送制御信号線ＴＲＧのＯＮ／ＯＦＦを入れ替えることにより、長時間露光画素および短時間露光画素の配列を入れ替えることができる。この例として、図４、図５、図６のそれぞれに示した露光制御パターンを実現するためのタイミングチャートを、図１０、図１１、図１２にそれぞれ示す。
　図４に示した露光制御パターンを実現するためのタイミングチャートを図１０に示す。図４に示した露光制御パターンのうち、１行目と３行目は、図２に示した露光制御パターンと同様であり、図１０に示したタイミングチャートにおける１行目と３行目に対するタイミングも同様であるため、その説明は省略する。
　なお、画素転送制御信号線ＴＲＧ２１乃至２４と、各画素との配線は、図８に示した場合と同様であるとして説明を続ける。
　第２行目に対する制御について説明する。例えば、時刻ｔ２において、画素リセット制御信号線ＲＳＴ７７－２と、画素転送制御信号線ＴＲＧ２２－２とがＯＮとなるため、第２行目にあるＲＬ画素４０（２，１）、ＲＬ画素４０（２，５）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において、画素転送制御信号線ＴＲＧ２２－２がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ２から時刻ｔ１０までの間（ＥｘｐＬ２）が露光期間となる。
　また、時刻ｔ６において、画素リセット制御信号線ＲＳＴ７７－２と、画素転送制御信号線ＴＲＧ２２－１，２２－３がＯＮとなるため、第２行目にあるＷＳ画素４０（２，２）、ＷＳ画素４０（２，４）、ＷＳ画素４０（２，６）、ＷＳ画素４０（２，８）と、ＢＳ画素４０（２，３）、ＢＳ画素４０（２，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において、画素転送制御信号線ＴＲＧ２２－１，２２－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ６から時刻ｔ１０までの間（ＥｘｐＳ２）が露光期間となる。
　第４行目に対する制御について説明する。時刻ｔ４において、画素リセット制御信号線ＲＳＴ７７－４と、画素転送制御信号線ＴＲＧ２４－３とがＯＮとなるため、第４行目にあるＢＬ画素４０（４，１）、ＢＬ画素４０（４，５）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１２において、画素転送制御信号線ＴＲＧ２４－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ４から時刻ｔ１２までの間（ＥｘｐＬ４）が露光期間となる。
　また、時刻ｔ８において、画素リセット制御信号線ＲＳＴ７７－４と、画素転送制御信号線ＴＲＧ２４－１，２４－３がＯＮとなるため、第２行目にあるＷＳ画素４０（４，２）、ＷＳ画素４０（４，４）、ＷＳ画素４０（４，６）、ＷＳ画素４０（４，８）と、ＲＳ画素４０（４，３）、ＲＳ画素４０（４，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１２において、画素転送制御信号線ＴＲＧ２４－１，２４－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ８から時刻ｔ１２までの間（ＥｘｐＳ４）が露光期間となる。
　このように、画素リセットのタイミングで、水平方向の１行における画素転送制御信号線ＴＲＧの３本を適宜ＯＮ／ＯＦＦする制御を行うことにより所望の感度パターンを生成することができる。
　図５に示した露光制御パターンを実現するためのタイミングチャートを図１１に示す。図５に示した露光制御パターンのうち、２行目と４行目は、図２に示した露光制御パターンと同様であり、図１１に示したタイミングチャートにおける２行目と４行目に対するタイミングと同様であるため、その説明は省略する。
　なお、画素転送制御信号線ＴＲＧ２１乃至２４と、各画素との配線は、図８に示した場合と同様であるとして説明を続ける。
　第１行目に対する制御について説明する。例えば、時刻ｔ１において、画素リセット制御信号線ＲＳＴ７７－１と、画素転送制御信号線ＴＲＧ２１－１，２１－２，２１－３とがＯＮとなるため、第１行目にある全ての画素の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ９において、画素転送制御信号線ＴＲＧ２１－１，２１－２，２１－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ１から時刻ｔ９までの間（ＥｘｐＬ１）が露光期間となる。
　第３行目に対する制御について説明する。時刻ｔ２において、画素リセット制御信号線ＲＳＴ７７－３と、画素転送制御信号線ＴＲＧ２３－１とがＯＮとなるため、第３行目にあるＷＬ画素５０（３，１）、ＷＬ画素５０（３，３）、ＷＬ画素５０（３，５）、ＷＬ画素５０（３，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１１において、画素転送制御信号線ＴＲＧ２３－１がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ３から時刻ｔ１１までの間（ＥｘｐＬ３）が露光期間となる。
　また、時刻ｔ７において、画素リセット制御信号線ＲＳＴ７７－３と、画素転送制御信号線ＴＲＧ２３－２，２３－３がＯＮとなるため、第３行目にあるＧＳ画素５０（３，２）、ＧＳ画素５０（３，４）、ＧＳ画素５０（３，６）、ＧＳ画素５０（４，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１１において、画素転送制御信号線ＴＲＧ２３－２，２３－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ７から時刻ｔ１１までの間（ＥｘｐＳ３）が露光期間となる。
　このように、画素リセットのタイミングで、水平方向の１行における画素転送制御信号線ＴＲＧの３本を適宜ＯＮ／ＯＦＦする制御を行うことにより所望の感度パターンを生成することができる。
　図６に示した露光制御パターンを実現するためのタイミングチャートを図１２に示す。なお、画素転送制御信号線ＴＲＧ２１乃至２４と、各画素との配線は、図８に示した場合と同様であるとして説明を続ける。
　第１行目に対する制御について説明する。例えば、時刻ｔ１において、画素リセット制御信号線ＲＳＴ７７－１と、画素転送制御信号線ＴＲＧ２１－１，２１－２，２１－３とがＯＮとなるため、第１行目にある全ての画素の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ９において、画素転送制御信号線ＴＲＧ２１－１，２１－２，２１－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ１から時刻ｔ９までの間（ＥｘｐＬ１）が露光期間となる。
　第２行目に対する制御について説明する。例えば、時刻ｔ２において、画素リセット制御信号線ＲＳＴ７７－２と、画素転送制御信号線ＴＲＧ２２－２とがＯＮとなるため、第２行目にあるＲＬ画素６０（２，１）、ＲＬ画素６０（２，５）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において、画素転送制御信号線ＴＲＧ２２－２がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ２から時刻ｔ１０までの間（ＥｘｐＬ２）が露光期間となる。
　また、時刻ｔ６において、画素リセット制御信号線ＲＳＴ７７－２と、画素転送制御信号線ＴＲＧ２２－１，２２－３がＯＮとなるため、第２行目にあるＷＳ画素６０（２，２）、ＷＳ画素６０（２，４）、ＷＳ画素６０（２，６）、ＷＳ画素６０（２，８）と、ＢＳ画素６０（２，３）、ＢＳ画素６０（２，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において、画素転送制御信号線ＴＲＧ２２－１，２２－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ６から時刻ｔ１０までの間（ＥｘｐＳ２）が露光期間となる。
　第３行目に対する制御について説明する。時刻ｔ３において、画素リセット制御信号線ＲＳＴ７７－３と、画素転送制御信号線ＴＲＧ２３－１とがＯＮとなるため、第３行目にあるＷＬ画素６０（３，１）、ＷＬ画素６０（３，３）、ＷＬ画素６０（３，５）、ＷＬ画素６０（３，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１１において、画素転送制御信号線ＴＲＧ２３－１がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ３から時刻ｔ１１までの間（ＥｘｐＬ３）が露光期間となる。
　また、時刻ｔ７において、画素リセット制御信号線ＲＳＴ７７－３と、画素転送制御信号線ＴＲＧ２３－２，２３－３がＯＮとなるため、第３行目にあるＧＳ画素６０（３，２）、ＧＳ画素６０（３，４）、ＧＳ画素６０（３，６）、ＧＳ画素６０（３，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１１において、画素転送制御信号線ＴＲＧ２３－２，２３－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ７から時刻ｔ１１までの間（ＥｘｐＳ３）が露光期間となる。
　第４行目に対する制御について説明する。時刻ｔ４において、画素リセット制御信号線ＲＳＴ７７－４と、画素転送制御信号線ＴＲＧ２４－３とがＯＮとなるため、第４行目にあるＢＬ画素６０（４，１）、ＢＬ画素６０（４，５）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１２において、画素転送制御信号線ＴＲＧ２４－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ４から時刻ｔ１２までの間（ＥｘｐＬ４）が露光期間となる。
　また、時刻ｔ８において、画素リセット制御信号線ＲＳＴ７７－４と、画素転送制御信号線ＴＲＧ２４－１，２４－３がＯＮとなるため、第２行目にあるＷＳ画素６０（４，２）、ＷＳ画素６０（４，４）、ＷＳ画素６０（４，６）、ＷＳ画素６０（４，８）と、ＲＳ画素６０（４，３）、ＲＳ画素６０（４，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１２において、画素転送制御信号線ＴＲＧ２４－１，２４－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ８から時刻ｔ１２までの間（ＥｘｐＳ４）が露光期間となる。
　このように、画素リセットのタイミングで、水平方向の１行における画素転送制御信号線ＴＲＧの３本を適宜ＯＮ／ＯＦＦする制御を行うことにより所望の感度パターンを生成することができる。
　以上のように、本技術の第１の実施の形態では、Ｗ画素を含むカラーフィルタ配列を持つＣＩＳに対して、水平方向の１行上に画素転送制御信号線ＴＲＧを３本設け、これらの各画素転送制御信号線ＴＲＧを制御することにより、同一行に異なる露光時間の画素を混在させて高ダイナミックレンジの撮像を実現することができる。また、カラーフィルタ感度差を補償するための色別シャッターとも両立することができる。
　＜第２の実施の形態＞
本技術の第２の実施の形態では、水平方向の２画素について１つのＡ／Ｄ変換器を実装する回路構成について説明する。なお、以降、第１の実施の形態の撮像素子を共通する部分については説明の一部を省略する。
　＜画素制御回路および画素配線の構成例＞
図１３は、本技術の第２の実施の形態における撮像素子の画素制御回路および画素配線の構成例を示す図である。撮像素子は、垂直走査制御回路（V SCAN CIRCUIT）８１、水平転送回路（H TRANSFER CIRCUIT）８２、２行毎のカラムスイッチ（ＳＷ）１０１、２行毎のＡ／Ｄ変換器（ＡＤＣ）８３、２行毎のメモリ（ＭＥＭ）８４、複数の画素２０を備える。
　なお、図８に示した撮像素子の画素制御回路および画素配線の構成例と同一の箇所には同一の符号を付し説明をする。すなわち、図１３に示した撮像素子の画素制御回路および画素配線の構成例は、図８に示した撮像素子の画素制御回路および画素配線の構成例に対して、２行毎の処理を行うためのカラムスイッチ１０１が追加され、２行毎に処理を行う構成のために、Ａ／Ｄ変換器８３とメモリ８４の数が、半分の数に削減されている点が異なる。また各画素は、図８と同じく、図２に示した画素と同じ色、配置とされているため、図２と同じ符号で説明を続ける。
　カラムスイッチ１０１は、制御部（図示せず）からの信号に基づいて、２つの画素からの信号のうちの一方を選択して、Ａ／Ｄ変換器８３に出力するものである。Ａ／Ｄ変換器８３は、カラムスイッチ１０１からの画像データ（アナログ値）をデジタルデータ（デジタル値）に変換する。メモリ８４は、Ａ／Ｄ変換器８３により変換されたデジタルデータを順次保存するメモリである。
　図８に示したように、画素のピッチに合わせてＡ／Ｄ変換器８３を実装することも可能であるが、画素の微細化による影響などにより、Ａ／Ｄ変換器８３の縮小が設計制約上、画素のピッチで収まらなくなりつつある。このため、図１３に示すように、２画素のピッチで１つのＡ／Ｄ変換器８３を実装する撮像素子とすることで画素の微細化に対応することができる。
　ただし、１つのＡ／Ｄ変換器８３は、１度に１画素しか読み出せないため、同一行にある２画素を１つのＡ／Ｄ変換器８３で読み出すときには、２画素の読み出し時刻をずらして２回に分けて行う必要がある。この場合には、１行分の画素のＡ／Ｄ変換にかかる時間が２倍となる。
　＜制御信号のタイミングチャート例＞
図１４は、本技術の第２の実施の形態における撮像素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。図１４では、図１３に示す４行分の画素への制御信号線のタイミングチャートを示す。横軸は時間軸である。図上部の両矢印線ＥｘｐＬ１乃至４、ＥｘｐＳ１乃至４で示された期間は露光期間を示し、ＥｘｐＬ１乃至４は長時間露光画素の露光期間、ＥｘｐＳ１乃至４は短時間露光画素の露光期間であり、数字は行番号と対応する。
　図９で示した第１の実施の形態との違いは、Ａ／Ｄ変換器８３を共有する同一行の隣接画素の制御タイミングを所定時間ずらすという点である。図１４では、その所定時間ずらしたタイミングに’をつけて図示している。例えば、時刻ｔ１に対して所定時間ずらした時刻はｔ１’である。制御タイミングのずらし方は、例えば、Ａ／Ｄ変換器８３に対して左側に隣接する列の画素を時刻ｔ１で制御し、同じＡ／Ｄ変換器８３に対して右側に隣接する列の画素を時刻ｔ１’で制御するようにする。
　例えば、時刻ｔ１において、画素リセット制御信号線ＲＳＴ７７－１と、画素転送制御信号線ＴＲＧ２１－１とがＯＮとなるため、第１行目にあるＷＬ画素２０（１，１）、ＷＬ画素２０（１，３）、ＷＬ画素２０（１，５）、ＷＬ画素２０（１，７）の画素電子シャッターが切られる。
　続いて、時刻ｔ１’において、画素リセット制御信号線ＲＳＴ７７－１と、画素転送制御信号線ＴＲＧ２１－２とがＯＮとなるため、第１行目にあるＧＬ画素２０（１，２）とＧＬ画素２０（１，６）の画素電子シャッターが切られる。
　さらにこれらの画素は、時刻ｔ９において画素転送制御信号線ＴＲＧ２１－１が、時刻ｔ９’において画素転送制御信号線ＴＲＧ２１－２がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、露光期間ＥｘｐＬ１だけ露光される。
　また、時刻ｔ５’において、画素リセット制御信号線ＲＳＴ７７－１と、画素転送制御信号線ＴＲＧ２１－３がＯＮとなるため、第１行目にあるＧＳ画素２０（１，４）とＧＳ画素２０（１，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ９’において、画素転送制御信号線ＴＲＧ２１－３がＯＮとなり、ＰＤに蓄積された電荷が転送されるため、露光期間ＥｘｐＳ１だけ露光される。
　このように、水平方向の１ラインにおける複数の画素について、Ａ／Ｄ変換器８３を時分割で共有し、かつ、異なる露光期間で露光されるように各画素を制御することができる。
　第２行目についても同様に制御を行うことができる。例えば、時刻ｔ２において、画素リセット制御信号線ＲＳＴ７７－２と、画素転送制御信号線ＴＲＧ２２－２、２２－３とがＯＮとなるため、第２行目にあるＲＬ画素２０（２，１）、ＢＬ画素２０（２，３）、ＲＬ画素２０（２，５）、ＢＬ画素２０（２，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において画素転送制御信号線ＴＲＧ２２－２，２２－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、露光期間ＥｘｐＬ２だけ露光される。
　また、時刻ｔ６’において、画素リセット制御信号線ＲＳＴ７７－２と、画素転送制御信号線ＴＲＧ２２－１がＯＮとなるため、第２行目にあるＷＳ画素２０（２，２）、ＷＳ画素２０（２，４）、ＷＳ画素２０（２，６）、ＷＳ画素２０（２，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０’において、画素転送制御信号線ＴＲＧ２２－１がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、露光期間ＥｘｐＳ２だけ露光される。
　第３行目についても同様に制御を行うことができる。例えば、時刻ｔ３において、画素リセット制御信号線ＲＳＴ７７－３と、画素転送制御信号線ＴＲＧ２３－１とがＯＮとなるため、第３行目にあるＷＬ画素２０（３，１）、ＷＬ画素２０（３，３）、ＷＬ画素２０（３，５）、ＷＬ画素２０（３，７）の画素電子シャッターが切られる。
　続いて、時刻ｔ３’において、画素リセット制御信号線ＲＳＴ７７－３と、画素転送制御信号線ＴＲＧ２３－２とがＯＮとなるため、第３行目にあるＧＬ画素２０（３，４）とＧＬ画素２０（３，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１１において画素転送制御信号線ＴＲＧ２３－１が、時刻ｔ１１’において画素転送制御信号線ＴＲＧ２３－２がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、露光期間ＥｘｐＬ３だけ露光される。
　また、時刻ｔ７’において、画素リセット制御信号線ＲＳＴ７７－３と、画素転送制御信号線ＴＲＧ２３－３がＯＮとなるため、第３行目にあるＧＳ画素２０（３，２）とＧＳ画素２０（３，６）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１１’において、画素転送制御信号線ＴＲＧ２３－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、露光期間ＥｘｐＳ３だけ露光される。
　第４行目についても同様に制御を行うことができる。ただし、第４行目においては、時刻ｔ４および時刻ｔ４’において、画素リセット制御信号線ＲＳＴ７７－４がＯＮとなるが、同時にＯＮとなる画素転送制御信号線ＴＲＧがないため、時刻ｔ４および時刻ｔ４’で画素電子シャッターが切られる画素はない。
　一方、時刻ｔ８において、画素リセット制御信号線ＲＳＴ７７－４と、画素転送制御信号線ＴＲＧ２４－２，２４－３がＯＮとなるため、第４行目にあるＢＳ画素２０（４，１）、ＲＳ画素２０（４，３）、ＢＳ画素２０（４，５）、ＲＳ画素２０（４，７）の画素電子シャッターが切られる。
　続いて、時刻ｔ８’において、画素リセット制御信号線ＲＳＴ７７－４と、画素転送制御信号線ＴＲＧ２４－１とがＯＮとなるため、第４行目にあるＷＳ画素２０（４，２）、ＷＳ画素２０（４，４）、ＷＳ画素２０（４，６）、ＷＳ画素２０（４，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１２において画素転送制御信号線ＴＲＧ２４－２，２４－３が、時刻ｔ１２’において画素転送制御信号線ＴＲＧ２４－１がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、露光期間ＥｘｐＳ４だけ露光される。
　以上のように、本技術の第２の実施の形態では、Ｗ画素を含むカラーフィルタ配列を持ち、隣接する２列でＡ／Ｄ変換器を共有する構成のＣＩＳに対して、水平方向の１行上に画素転送制御信号線ＴＲＧを３本設け、これらの各画素転送制御信号線ＴＲＧを制御することにより、同一行に異なる露光時間の画素を混在させて高ダイナミックレンジの撮像を実現することができる。また、カラーフィルタ感度差を補償するための色別シャッターとも両立することができる。
　なお、以上は図２の露光制御パターンを例で説明したが、第１の実施の形態と同様に、第２の実施の形態においても、図４、図５、図６の露光制御パターンを実現することは、画素転送制御信号線ＴＲＧのＯＮ／ＯＦＦを入れ替えることにより、長時間露光画素および短時間露光画素の配列を入れ替えることによって可能となる。その方法は、第１の実施の形態において説明したところと本質的な違いはないため説明は省略する。
　＜第３の実施の形態＞
本技術の第３の実施の形態では、垂直方向の４画素で１つのＦＤ（フローティングディフュージョン）を共有する回路構成について説明する。なお、以降、第１の実施の形態の撮像素子を共通する部分については説明の一部を省略する。
　＜垂直方向４画素共有画素回路の構成例＞
図１５は、本技術の第３の実施の形態における撮像素子に備えられている画素の基本回路の構成例を示す図である。図１５では、垂直方向に連続して配置されている４画素が、１つのＦＤ７２に、画素転送トランジスタ７３－１１乃至１４を介して接続され、ＦＤ７２以降の回路構成ＣＭＮ１３１を共有する垂直方向４画素共有画素回路を示す。
　各画素は、画素転送制御信号線ＴＲＧ２１乃至２４、画素読み出し選択制御信号線ＳＥＬ７５、垂直信号線（読み出し線）ＶＳＬ７６と、画素リセット制御信号線ＲＳＴ７７とに接続されている。なお、垂直方向において４画素共有を行う点以外の構成および動作については、図７に示した画素回路と略同様であるため、ここでの詳細な説明を省略する。
　＜画素制御回路および画素配線の構成例＞
図１６は、本技術の第３の実施の形態における撮像素子の画素制御回路および画素配線の構成例を示す図である。図１６に示した撮像素子の画素制御回路および画素配線の基本的な構成は、図８に示した第１の実施の形態における撮像素子の画素制御回路および画素配線の構成と同様であるため、同一の部分には同一の符号を付し、説明を省略する。
　図８で説明した第１の実施の形態では、垂直方向に並ぶ４画素は、それぞれ独立した回路構成であったが、図１６では、ＦＤ７２以降の構成ＣＭＮ１３１を共有する構成のため、画素読み出し選択制御信号線ＳＥＬ７５と、画素リセット制御信号線ＲＳＴ７７は、４行毎に１本配置される。また、垂直信号線（読み出し線）ＶＳＬ７６への接続も垂直４画素で、ＣＭＮ１３１介した１つの接続とされる。
　＜制御信号のタイミングチャート例＞
図１７は、本技術の第３の実施の形態における撮像素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。図１７では、図１６に示す４行分の画素への制御信号線のタイミングチャートを示す。横軸は時間軸である。図上部に両矢印線ＥｘｐＬ１乃至４、ＥｘｐＳ１乃至４で示された期間は露光期間を示し、ＥｘｐＬ１乃至４は、長時間露光画素の露光期間、ＥｘｐＳ１乃至４は、短時間露光画素の露光期間であり、数字は行番号と対応する。
　図９で説明した第１の実施の形態におけるタイミングチャートとの違いは、行毎の画素リセット制御信号線ＲＳＴ７７―１乃至４および行毎の画素読み出し選択制御信号線ＳＥＬ７５－１乃至４を介して与えられていた画素リセット制御信号と画素読み出し選択制御信号が、それぞれ１つの画素リセット制御信号線ＲＳＴ７７および画素読み出し選択制御信号線ＳＥＬ７５から与えられるようになったことである。
　これらを共有したことによって、信号を重畳するようなタイミングで与えることができないという制約が発生するが、その制約の範囲においては、第１の実施の形態と同様に第３の実施の形態においても、画素リセットのタイミングで、水平方向の１行における画素転送制御信号線ＴＲＧの３本を適宜ＯＮ／ＯＦＦする制御を行うことにより所望の感度パターンを生成することができる。
　図１７に示したタイミングチャートを参照して、第３の実施の形態における撮像素子を構成する各画素への制御信号と各画素の読み出しのタイミングについて説明する。
　図１６に示した１行目の画素に対する制御について説明する。例えば、時刻ｔ１において、画素リセット制御信号線ＲＳＴ７７と、画素転送制御信号線ＴＲＧ２１－１，２１－２がＯＮとなるため、第１行目にあるＷＬ画素２０（１，１）、ＷＬ画素（１，３）、ＷＬ画素２０（１，５）、ＷＬ画素２０（１，７）と、ＧＬ画素２０（１，２）、ＧＬ画素２０（１，６）の画素電子シャッターが切られる。
　これらの画素は、時刻ｔ９において、画素転送制御信号線ＴＲＧ２１－１，２１－２がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ１から時刻ｔ９までの間（ＥｘｐＬ１）が露光期間となる。
　また、時刻ｔ５において、画素リセット制御信号線ＲＳＴ７５と、画素転送制御信号線ＴＲＧ２１－３がＯＮとなるため、第１行目にあるＧＳ画素２０（１，４）とＧＳ画素２０（１，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ９において、画素転送制御信号線ＴＲＧ２１－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ５から時刻ｔ９までの間（ＥｘｐＳ１）が露光期間となる。
　第２行目についても同様に制御を行うことができる。例えば、時刻ｔ２において、画素リセット制御信号線ＲＳＴ７７と、画素転送制御信号線ＴＲＧ２２－２，２２－３とがＯＮとなるため、第２行目にあるＲＬ画素２０（２，１）、ＲＬ画素２０（２，５）、ＢＬ画素２０（２，３）、ＢＬ画素２０（２，７）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において、画素転送制御信号線ＴＲＧ２２－２，２２－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ２から時刻ｔ１０までの間（ＥｘｐＬ２）が露光期間となる。
　また、時刻ｔ６において、画素リセット制御信号線ＲＳＴ７７と、画素転送制御信号線ＴＲＧ２２－１がＯＮとなるため、第２行目にあるＷＳ画素２０（２，２）、ＷＳ画素２０（２，４）、ＷＳ画素２０（２，６）、ＷＳ画素２０（２，８）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１０において、画素転送制御信号線ＴＲＧ２２－１がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ６から時刻ｔ１０までの間（ＥｘｐＳ２）が露光期間となる。
　第３行目についても同様に制御を行うことができる。例えば、時刻ｔ３において、画素リセット制御信号線ＲＳ７７と、画素転送制御信号線ＴＲＧ２３－１，２３－２とがＯＮとなるため、第３行目にあるＷＬ画素２０（３，１）、ＷＬ画素２０（３，３）、ＷＬ画素２０（３，５）、ＷＬ画素２０（３，７）と、ＧＬ画素２０（３，４）、ＧＬ画素２０（３，８）の画素電子シャッターが切られる。
　さらにこれらの画素は、時刻ｔ１１において、画素転送制御信号線ＴＲＧ２３－１，２３－２がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ３から時刻ｔ１１までの間（ＥｘｐＬ３）が露光期間となる。
　また、時刻ｔ７において、画素リセット制御信号線ＲＳＴ７７と、画素転送制御信号線ＴＲＧ２３－３がＯＮとなるため、第３行目にあるＧＳ画素２０（３，２）、ＧＳ画素２０（３，６）の画素電子シャッターが切られる。さらにこれらの画素は、時刻ｔ１１において、画素転送制御信号線ＴＲＧ２３－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ７から時刻ｔ１１までの間（ＥｘｐＳ３）が露光期間となる。
　第４行目についても同様に制御を行うことができる。ただし、第４行目においては、時刻ｔ４において、画素リセット制御信号線ＲＳＴ７７がＯＮとなるが、同時にＯＮとなる画素転送制御信号線２４がないため、時刻ｔ４で画素電子シャッターが切られる画素はない。
　時刻ｔ８において、画素リセット制御信号線ＲＳＴ７７と、画素転送制御信号線ＴＲＧ２４－１，２４－２，２４－３がＯＮとなるため、第４行目にある全ての画素の画素電子シャッターが切られる。すなわち、ＢＳ画素２０（４，１）、ＷＳ画素２０（４，２）、ＲＳ画素２０（４，３）、ＷＳ画素２０（４，４）、ＢＳ画素２０（４，５）、ＷＳ画素２０（４，６）、ＲＳ画素２０（４，７）、ＷＳ画素２０（４，８）の画素電子シャッターが切られる。
　さらにこれらの画素は、時刻ｔ１２において、画素転送制御信号線ＴＲＧ２４－１，２４－２，２４－３がＯＮとなり、ＰＤ７１に蓄積された電荷が転送されるため、時刻ｔ８から時刻ｔ１２までの間（ＥｘｐＳ４）が露光期間となる。
　このように、画素リセットのタイミングで、水平方向の１行における画素転送制御信号線ＴＲＧの３本を適宜ＯＮ／ＯＦＦする制御を行うことにより所望の感度パターンを生成することができる。
　なお、以上は図２の露光制御パターンの例で説明したが、第１の実施の形態と同様に、第３の実施の形態においても、図４、図５、図６の露光制御パターンを実現することは、画素転送制御信号線ＴＲＧのＯＮ／ＯＦＦを入れ替えることにより、長時間露光画素および短時間露光画素の配列を入れ替えることによって可能となる。その方法は第１の実施の形態において説明したところと本質的な違いはないため説明は省略する。
　＜第４の実施の形態＞
本技術の第４の実施の形態では、垂直方向×水平方向の４×２＝８画素で、１つのＦＤ７２を共有する回路構成について説明する。なお、以降、第１の実施の形態の撮像素子を共通する部分については説明の一部を省略する。
　＜８画素共有画素回路の構成例＞
図１８は、本技術の第４の実施の形態における撮像素子に備えられている画素の基本回路の構成例を示す図である。図１８では、垂直方向×水平方向の連続して配置されている４×２＝８画素が、１つのＦＤ７２に、画素転送トランジスタ７３－１１乃至７３－１８を介して接続され、ＦＤ７２以降の回路構成ＣＭＮ１３１を共有する８画素共有画素回路を示す。
　各画素は、画素転送制御信号線ＴＲＧ２１乃至２４、画素読み出し選択制御信号線ＳＥＬ７５、垂直信号線（読み出し線）ＶＳＬ７６、画素リセット制御信号線ＲＳＴ７７に接続されている。なお、８画素共有を行う点以外の構成および動作については、図７に示した画素回路と略同様であるため、ここでの詳細な説明を省略する。
　＜画素制御回路および画素配線の構成例＞
図１９は、本技術の第４の実施の形態における撮像素子の画素制御回路および画素配線の構成例を示す図である。図８で説明した第１の実施の形態では、垂直方向×水平方向の連続して配置されている４×２＝８画素は、それぞれ独立した回路構成であったが、図１９では、ＦＤ７２以降の構成ＣＭＮ１３１を共有するため、画素読み出し選択制御信号線ＳＥＬ７５、画素リセット制御信号線ＲＳＴ７７が４行毎に１本配置される。また、垂直信号線（読み出し線）ＶＳＬ７６は、２列毎に１本となり、垂直信号線（読み出し線）ＶＳＬ７６への接続も４×２画素で１つとなる。
　＜制御信号のタイミングチャート例＞
図２０は、本技術の第４の実施の形態における撮像素子を構成する各画素への制御信号を模式的に表すタイミングチャートである。図２０では、図１９に示した４行分の画素への制御信号線のタイミングチャートを示す。横軸は時間軸である。図上部に両矢印線ＥｘｐＬ１乃至４、ＥｘｐＳ１乃至４で示された期間は露光期間を示し、ＥｘｐＬ１乃至４は長時間露光画素の露光期間、ＥｘｐＳ１乃至４は短時間露光画素の露光期間であり、数字は行番号と対応する。
　第４の実施の形態においては、垂直信号線（読み出し線）ＶＳＬ７６を隣接する２列で共有するため、Ａ／Ｄ変換器８３も隣接２列で共有する構成となる。したがってその動作は、隣接２列でＡ／Ｄ変換器８３を共有する第２の実施の形態と同様に、水平方向に隣接する２画素を、タイミングを変えて時分割で読み出すような制御が必要となる。その時分割読み出しを実現するために、第２の実施の形態においては、図１４に示した場合と同じく、隣接する列への画素転送制御信号を所定時間ずらすようにする。
　第４の実施の形態は、第２の実施の形態と同様に、隣接する列への画素転送制御信号を所定時間ずらして供給する。
　例えば、時刻ｔ１において、画素転送制御信号線ＴＲＧ２１－１から第１行目のＷＬ画素２０（１，１）、ＷＬ画素２０（１，３）、ＷＬ画素２０（１，５）、ＷＬ画素２０（１，７）へ画素転送制御信号を供給し、時刻ｔ１’において、画素転送制御信号線ＴＲＧ２１－２から第１行目のＧＬ画素２０（１，２）とＧＬ画素２０（１，６）へ画素転送制御信号を供給する。
　さらに、時刻ｔ９において、画素読み出し選択制御信号線ＳＥＬ７５に画素読み出し選択制御信号が供給されていると同時に、画素転送制御信号線ＴＲＧ２１－１から第１行目のＷＬ画素２０（１，１）、ＷＬ画素２０（１，３）、ＷＬ画素２０（１，５）、ＷＬ画素２０（１，７）へ画素転送制御信号を供給することによって、ＷＬ画素２０の信号が読み出される。また時刻ｔ９’において、画素転送制御信号線ＴＲＧ２１－２から第１行目のＧＬ画素へ画素転送制御信号を供給することによってＧＬ画素２０（１，２）とＧＬ画素２０（１，６）の信号が読み出される。
　時刻ｔ１と時刻ｔ１’および時刻ｔ９と時刻ｔ９’は同じ所定時間だけずれているので、第１行目のＷＬ画素２０とＧＬ画素２０は等しい露光期間ＥｘｐＬ１だけ露光される。さらに、第４の実施の形態においては、４行にわたる画素が画素読み出し選択制御信号線ＳＥＬ７５と、画素リセット制御信号線ＲＳＴ７７を共有するので、図１７で示した第３の実施の形態の制御と同様に、４行分の画素リセット制御信号と画素読み出し選択制御信号を、それぞれ１本の画素読み出し選択制御信号線ＳＥＬ７５と、画素リセット制御信号線ＲＳＴ７７から供給する。
　なお、以上は図２の露光制御パターンの例で説明したが、第１の実施の形態と同様に、第４の実施の形態においても、図４、図５、図６の露光制御パターンを実現することは、画素転送制御信号線ＴＲＧのＯＮ／ＯＦＦを入れ替えることにより、長時間露光画素および短時間露光画素の配列を入れ替えることによって可能となる。その方法は第１の実施の形態において説明したところと本質的な違いはないため説明は省略する。
　＜第５の実施の形態＞
本技術の第１乃至第４の実施の形態では、１ラインを構成する複数の画素であって露光タイミングが異なる複数の画素に接続される画素転送制御信号線を少なくとも３本とする撮像素子の例を示した。以下では、これらの撮像素子を備える撮像装置の例を示す。
　＜撮像装置の機能構成例＞
図２１は、本技術の実施の形態における撮像装置の機能構成例を示すブロック図である。撮像装置３００は、撮像素子３１０、画像処理部３１１、記録制御部３１２、コンテンツ記憶部３１３、表示制御部３１４、表示部３１５、制御部３１６、および操作受付部３１７を備える。
　撮像素子３１０は、制御部３１６の指示に基づいて、画像信号を生成するものであり、生成された画像信号を画像処理部３１１に出力する。具体的には、撮像素子３１０は、光学系（図示せず）を介して入射された被写体の光を電気信号に変換する。なお、撮像素子３１０は、本技術の第１乃至第４の実施の形態に示す各撮像素子に対応する。また、光学系は、被写体からの入射光を集光するレンズ群や絞りにより構成され、このレンズ群により集光された光が絞りを介して撮像素子３１０に入射される。
　画像処理部３１１は、制御部３１６の指示に基づいて、撮像素子３１０から出力された画像信号（デジタル信号）について各種画像処理を施すものである。そして、画像処理部３１１は、各種画像処理が施された画像信号（画像データ）を記録制御部３１２および表示制御部３１４に出力する。記録制御部３１２は、制御部３１６の指示に基づいて、コンテンツ記憶部３１３に対する記録制御を行うものである。例えば、記録制御部３１２は、画像処理部３１１から出力された画像（画像データ）を画像コンテンツ（静止画ファイルまたは動画ファイル）としてコンテンツ記憶部３１３に記録させる。
　コンテンツ記憶部３１３は、記録制御部３１２の制御に基づいて、各種情報（画像コンテンツ等）を記憶する記録媒体である。なお、コンテンツ記憶部３１３は、撮像装置３００に内蔵するようにしてもよく、撮像装置３００から着脱可能とするようにしてもよい。
　表示制御部３１４は、制御部３１６の指示に基づいて、画像処理部３１１から出力された画像を表示部３１５に表示させるものである。例えば、表示制御部３１４は、撮像動作に関する各種操作を行うための表示画面や、撮像素子３１０により生成された画像（いわゆる、スルー画像）を表示部３１５に表示させる。
　表示部３１５は、表示制御部３１４の制御に基づいて各画像を表示する表示パネルである。制御部３１６は、メモリ（図示せず）に格納されている制御プログラムに基づいて撮像装置３００における各部を制御するものである。例えば、制御部３１６は、画像処理部３１１により画像処理が施された画像信号（画像データ）の出力制御（表示制御）または記録制御を行う。操作受付部３１７は、ユーザにより行われた操作を受け付ける操作受付部であり、受け付けられた操作内容に応じた制御信号（操作信号）を制御部３１６に出力する。
　＜画像処理部の動作＞
以降に画像処理部３１１の動作を説明する。本技術の撮像素子は、Ｗ画素を含む４行の色配列にて長時間および短時間の２種類の露光を行った画素を混在させたＲＡＷデータを出力する。画像処理部３１１では、そのＲＡＷデータからＲＧＢ画像データを生成する処理を行う。
　図２２は、本技術の第５の実施の形態における画像処理部３１１の機能構成例を示すブロック図である。画像処理部３１１は、Ｗ画素を含む４行の色配列にて長時間および短時間の２種類の露光を行った画素を混在させたＲＡＷデータを入力し、ＲＧＢ画像データ、すなわち全画素にＲ，Ｇ，Ｂをそろえた画像を出力する。
　なお、Ｗ画素を含む４行とはＲＧＢ＋Ｗであり、その色配列と露光制御パターンは図２に示したものとする。画像処理部３１１は、ＷＬ高周波補間部３５１、ＷＳ高周波補間部３５２、ＷＬ低周波補間部３５３、ＷＳ低周波補間部３５４、ＧＬ低周波補間部３５５、ＧＳ低周波補間部３５６、ＲＬ低周波補間部３５７、ＲＳ低周波補間部３５８、ＢＬ低周波補間部３５９、ＢＳ低周波補間部３６０、Ｗ高周波ＨＤＲ合成部３６１、Ｗ低周波ＨＤＲ合成部３６２、Ｇ低周波ＨＤＲ合成部３６３、Ｒ低周波ＨＤＲ合成部３６４、Ｂ低周波ＨＤＲ合成部３６４、Ｗ－ＧＣｈ間相関処理部３６６、Ｗ－ＲＣｈ間相関処理部３６７、Ｗ－ＢＣｈ間相関処理部３６８から構成される。
　ＷＬ高周波補間部３５１は、１画素おきの正方格子に配置されているＷＬ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２３に示すような係数の２次元FIR（Finite Impulse Response）フィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＷＬ画素が存在する画素位置に対して該当する係数を用いて、ＷＬ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。なお、図２３に示した係数は、一例であり、限定を示すものではない。
　ＷＳ高周波補間部３５２は、２画素ピッチの正方格子に配置されているＷＳ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２３に示すような係数の２次元FIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＷＳ画素が存在する画素位置に対して該当する係数を用いて、ＷＳ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。
　ＷＬ低周波補間部３５３は、２画素ピッチの正方格子に配置されているＷＬ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２４に示すような係数の２次元FIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＷＬ画素が存在する画素位置に対して該当する係数を用いて、ＷＬ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。なお、図２４に示した係数は、一例であり、限定を示すものではない。
　ＷＳ低周波補間部３５４は、２画素ピッチの正方格子に配置されているＷＳ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２４に示すような係数の２次元FIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＷＳ画素が存在する画素位置に対して該当する係数を用いて、ＷＳ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。
　ＧＬ低周波補間部３５５は、４画素ピッチの市松格子に配置されているＧＬ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２４に示すような係数の２次元のFIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＧＬ画素が存在する画素位置に対して該当する係数を用いて、ＧＬ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。
　ＧＳ低周波補間部３５６は、４画素ピッチの市松格子に配置されているＧＳ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２４に示すような係数の２次元のFIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＧＳ画素が存在する画素位置に対して該当する係数を用いて、ＧＳ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。
　ＲＬ低周波補間部３５７は、４画素ピッチの正方格子に配置されているＲＬ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２４に示すような係数の２次元のFIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＲＬ画素が存在する画素位置に対して該当する係数を用いて、ＲＬ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。
　ＲＳ低周波補間部３５８は、４画素ピッチの正方格子に配置されているＲＳ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２４に示すような係数の２次元のFIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＲＳ画素が存在する画素位置に対して該当する係数を用いて、ＲＳ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。
　ＢＬ低周波補間部３５９は、４画素ピッチの正方格子に配置されているＢＬ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２４に示すような係数の２次元のFIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＢＬ画素が存在する画素位置に対して該当する係数を用いて、ＢＬ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。
　ＢＳ低周波補間部３６０は、４画素ピッチの正方格子に配置されているＢＳ画素２０の信号を補間フィルタで全画素に補間する。例えば、図２４に示すような係数の２次元のFIRフィルタを全画素位置に適用する。ここで、９×９の係数の中心位置が補間値を算出する画素位置（補間画素位置）に相当するようにし、補間画素位置の周囲９×９画素の範囲でＢＳ画素が存在する画素位置に対して該当する係数を用いて、ＢＳ画素以外の画素位置では係数を０にしてフィルタ計算を行うようにする。
　Ｗ高周波ＨＤＲ合成部３６１は、ＷＬ高周波補間部３５１からの出力である全画素に補間されたＷＬ高周波画素値と、ＷＳ高周波補間部３５２からの出力であるＷＳ高周波画素値を合成して高ダイナミックレンジの画素値を全画素で生成する処理を行う。
　Ｗ低周波ＨＤＲ合成部３６２は、ＷＬ低周波補間部３５３からの出力である全画素に補間されたＷＬ低周波画素値と、ＷＳ低周波補間部３５４からの出力であるＷＳ低周波画素値を合成して高ダイナミックレンジの画素値を全画素で生成する処理を行う。
　Ｇ低周波ＨＤＲ合成部３６３は、ＧＬ低周波補間部３５５からの出力である全画素に補間されたＧＬ低周波画素値と、ＧＳ低周波補間部３５６からの出力であるＧＳ低周波画素値を合成して高ダイナミックレンジの画素値を全画素で生成する処理を行う。
　Ｒ低周波ＨＤＲ合成部３６４は、ＲＬ低周波補間部３５７からの出力である全画素に補間されたＲＬ低周波画素値と、ＲＳ低周波補間部３５８からの出力であるＲＳ低周波画素値を合成して高ダイナミックレンジの画素値を全画素で生成する処理を行う。
　Ｂ低周波ＨＤＲ合成部３６５は、ＢＬ低周波補間部３５９からの出力である全画素に補間されたＢＬ低周波画素値と、ＢＳ低周波補間部３６０からの出力であるＢＳ低周波画素値を合成して高ダイナミックレンジの画素値を全画素で生成する処理を行う。
　これらは入力の信号が異なるだけで処理の動作は同じなので、以下に、Ｇ低周波ＨＤＲ合成部３６３を例にしてまとめて動作を説明する。
　図２５は、本技術の第５の実施の形態におけるＧ低周波ＨＤＲ合成部３６３の機能構成例を示すブロック図である。Ｇ低周波ＨＤＲ合成部は全画素位置に補間されたＧＬ画素値の信号と全画素位置に補間されたＧＳ画素値の信号を入力として、それらを合成した高ダイナミックレンジのＧ画素値を全画素位置に出力する。
　Ｇ低周波ＨＤＲ合成部３６３は、２つの対数変換処理部３８１と対数変換処理部３８２、重み値決定処理部３８３、露出補正処理部３８４、ブレンド処理部３８５、対数逆変換処理部３８６から構成される。
　２つの対数変換処理部３８１と対数変換処理部３８２は、それぞれ画素毎のＧＬ画素値とＧＳ画素値を対数変換した値を出力する。露出補正処理部３８４は、対数変換処理部３８２から出力された対数変換されたＧＳ画素値に対して、長時間露光と短時間露光の露出比率に相当する分の対数値を加算することによって、対数変換されたＧＳ画素値のレベルと対数変換されたＧＬ画素値のレベルを合わせる。
　重み値決定処理部３８３は、対数変換処理部３８１から出力された対数変換されたＧＬ画素値に応じて、対数変換されたＧＬ画素値と露出補正後の対数変換されたＧＳ画素値のブレンド係数を決定する。
　ブレンド処理部３８５は、重み値決定処理部３８３により決定されたブレンド係数に基づき、対数変換処理部３８１から出力された対数変換されたＧＬ画素値と、露出補正処理部３８４から出力された露出補正後の対数変換されたＧＳ画素値をブレンド合成する。
　対数逆変換処理部３８６は、ブレンド処理部３８５でブレンド合成されたＧ画素値を元のリニア特性に戻す。
　図２６は、Ｇ低周波ＨＤＲ合成部３６３などのＨＤＲ合成部の一連の動作を模式的に説明する図である。横軸は被写体の輝度、縦軸はＧ画素値階調であり、いずれも対数階調とする。実線Ｌ１は、ＧＬ画素の特性を示し、実線Ｌ２は、ＧＳ画素の特性を示す。ＧＬ画素の方が、露光時間が長いので、同じ被写体輝度に対してＧＬ画素のほうがＧＳ画素よりも大きい値を示す。
　この２つの隔たりは、対数階調では、ちょうど露光の比率分となる。高ダイナミックレンジの輝度特性を得るということは、広い範囲の被写体輝度に対してリニアな画素特性を得るということなので、ＨＤＲ合成部の目的は、ＧＬ画素の特性とＧＳ画素の特性を連結して１つの長いリニアな特性を作ることである。そこで、露出補正処理部がＧＳ画素特性に露光比率分のバイアスを加算して、ＧＬ画素特性と一直線上に並ぶ特性を作る。
　露光比率分だけバイアスされたＧＳ画素特性を破線Ｌ３で示す。実線Ｌ１で表したＧＬ画素特性と露出補正された実線Ｌ２で表したＧＳ画素特性を合成して高ダイナミックレンジのＧ画素特性を得る処理をブレンド処理部３８５は行う。
　ここで、暗い被写体輝度の領域では、ＧＳ画素は、ノイズに埋もれるため、ＧＬ画素の特性だけを用いたい。逆に、明るい被写体輝度の領域では、ＧＬ画素は、飽和するために、露出補正したＧＳ画素の特性だけを用いたい。そこで、２つの輝度特性が重なる領域において寄与が徐々に移り変わるようにブレンドの重みを制御する。
　重み値決定処理部３８３は、入力されたＧＬ画素値（対数変換後）から被写体輝度を推測し、上記のような要求に応じて予め設定されている特性に従った重み値を算出する。例えば、図２７に示すような重み値特性を用いることができる。図２７に示した重み値特性は、ｌｏｇＧの値が、第１の値まで１をとり、第１の値より大きくなると、徐々に小さくなり、第２の値よりも大きくなると、０をとる特性である。
　上記したＨＤＲ合成部の処理を、式で表すと、次式（１）のようになる。
Figure JPOXMLDOC01-appb-M000001
　このように、ＨＤＲ合成部は、各画素より読み出された信号を非線形階調に変換する処理を含み、その非線形階調に変換する処理には、上に凸のべき乗関数特性に基づいて変換する処理が含まれる。
　図２２の画像処理部３１１の構成の説明に戻る。Ｗ－ＧＣｈ間相関処理部３６６は、Ｗ高周波ＨＤＲ合成部３６１からの出力であるＨＤＲ合成後のＷ高周波輝度値、Ｗ低周波ＨＤＲ合成部３６２の出力であるＨＤＲ合成後のＷ低周波輝度値、Ｇ低周波ＨＤＲ合成部３６３からの出力であるＧ低周波輝度値を入力とし、高周波成分が補正されたＧ輝度値を算出して出力する。
　Ｗ－ＲＣｈ間相関処理部３６７は、Ｗ高周波ＨＤＲ合成部３６１からの出力であるＨＤＲ合成後のＷ高周波輝度値、Ｗ低周波ＨＤＲ合成部３６２の出力であるＨＤＲ合成後のＷ低周波輝度値、Ｒ低周波ＨＤＲ合成部３６４からの出力であるＲ低周波輝度値を入力とし、高周波成分が補正されたＲ輝度値を算出して出力する。
　Ｗ－ＢＣｈ間相関処理部３６８は、Ｗ高周波ＨＤＲ合成部３６１からの出力であるＨＤＲ合成後のＷ高周波輝度値、Ｗ低周波ＨＤＲ合成部３６２の出力であるＨＤＲ合成後のＷ低周波輝度値、Ｂ低周波ＨＤＲ合成部３６５からの出力であるＢ低周波輝度値を入力とし、高周波成分が補正されたＢ輝度値を算出して出力する。
　ここでＷ－ＧＣｈ間相関処理部３６６の動作を説明する。Ｗ－ＲＣｈ間相関処理部３６７とＷ－ＢＣｈ間相関処理部３６８の動作も、それぞれ、Ｗ－ＧＣｈ間相関処理部３６６の動作と同様であるため、ここでは、Ｗ－ＧＣｈ間相関処理部３６６の動作を例に挙げて説明をする。
　本技術が対象とするＲＧＢ＋Ｗのような４行配列では、Ｗ画素は比較的細かいピッチでサンプリングができるので細かい模様なども補間処理で再現できるが、Ｒ画素、Ｇ画素、Ｂ画素は、画素ピッチが粗いために細かい模様を再現することができない。しかしながら、自然画像においては、異なる可視光の分光感度で得られる画像信号は互いに強い相関をもつことが経験的に知られている。
　そこで、そのような性質を利用して、Ｗ画素で得られる高周波成分を利用してＲ画素、Ｇ画素、Ｂ画素の高周波成分を推測する。具体的には、高周波まで再現できているＷ高周波ＨＤＲ合成部３６１の出力と、フィルタの平滑化効果により高周波成分を持っていないＷ低周波ＨＤＲ合成部３６２の出力との差分により、Ｗ画素の高周波成分が算出されるようにする。
　さらに、Ｃｈ間相関の性質に基づいてＧ画素の高周波成分はＷ画素の高周波成分とほぼ等しいと仮定して、Ｒ、Ｇ、Ｂのそれぞれの低周波ＨＤＲ合成部の出力に、Ｗ画素の高周波成分が加算される。
　これを数式で示すと次式（２）のようになる。
Figure JPOXMLDOC01-appb-M000002
 　式（２）において、左辺が出力値、右辺の３項はそれぞれ入力値である。
　以上のように、本技術の第５の実施の形態においては、ＲＧＢにＷを加えた４行の色配列を持ち、色毎に長時間露光、短時間露光の制御を行う撮像素子の出力ＲＡＷデータから、高ダイナミックレンジのＲＧＢ画像データを生成することができる画像処理を備えた撮像装置の構成について説明した。
　＜他の適用例＞
本技術の第５の実施の形態においては、撮像素子からはＲＧＢ＋Ｗの４行を含むＲＡＷデータを出力した後に画像処理部でＲＧＢデータに変換する構成を説明したが、撮像素子内でＲＧＢのベイヤー（Bayer）配列に変換したデータを撮像素子から出力するような構成も可能である。その場合の画像処理部の動作は通常のカメラシステムで実施されるＲＧＢBayer配列をＲＧＢデータに変換する信号処理部が備えられる。
　図２８は、画像処理部３１１（図２１）の他の構成を示す図である。図２８に示した画像処理部３１１’（図２２に示した画像処理部３１１と区別するために’を付して記述する）は、図２２に示した画像処理部３１１に、ダウンサンプリング部４０１を追加した構成である。このような構成によれば、撮像素子内でＲＧＢのBayer配列に変換する処理を行うことができる。
　図２８に示した画像処理部３１１’は、ＷＬ高周波補間部３５１乃至Ｗ－ＢＣｈ間相関処理部３６８による処理によりＨＤＲ合成されたＲＧＢ画素値が各画素で得られた後に、それらをBayer配列になるようにサンプリングし直すダウンサンプリング部４０１を備える。ダウンサンプリング部４０１により、サンプリングし直されることで、撮像素子内でＲＧＢのBayer配列に変換したデータを出力することができる。
　また、図２２に示した画像処理部３１１または図２８に示した画像処理部３１１’のいずれについても、ＨＤＲ合成部３６１乃至３６５が備える対数変換処理部３８１，３８２および対数逆変換処理部３８６（いずれも図２５）の位置を変えて、各補間手段の前に対数変換処理を行い、Ｃｈ相関処理部３６６乃至３６８の後（もしくはダウンサンプリング部４０１の後）に対数逆変換処理を行うようにしてもよい。
　図２９は、ＨＤＲ合成部３６１乃至３６５が備える対数変換処理部３８１，３８２および対数逆変換処理部３８６の位置を変えて、各補間手段の前に対数変換処理を行い、Ｃｈ相関処理部３６６乃至３６８の後に対数逆変換処理を行うようにした場合の画像処理部３１１の構成を示す図である。
　図２２に示した画像処理部３１１と図２９に示した画像処理部３１１”（他の画像処理部３１１と区別するために”を付して記述する）を比較する。画像処理部３１１”には、入力されたＷ画素を含む４行の色配列にて長時間および短時間の２種類の露光を行った画素を混在させたＲＡＷデータを、対数変換処理する対数変換処理部４２１が、ＷＬ高周波補間部３５１乃至ＢＳ低周波補間部３６０の前段に設けられている。
　よって、ＷＬ高周波補間部３５１乃至ＢＳ低周波補間部３６０の各補間部は、対数変換処理が施されたデータを用いて、補間処理を行う。対数変換処理部４２１が、各補間部の前段に設けられたことにより、Ｗ高周波ＨＤＲ合成部３６１乃至Ｂ低周波ＨＤＲ合成部３６５は、図示はしないが、対数変換処理部３８１と対数変換処理部３８２を備えない構成とされる。また、対数逆変換処理部３８６も備えない構成とされる。
　Ｗ高周波ＨＤＲ合成部３６１乃至Ｂ低周波ＨＤＲ合成部３６５の各合成部に設けられていた対数逆変換処理部３８６は、図２９に示した画像処理部３１１”においては、Ｗ－ＧＣｈ間相関処理部３６６乃至Ｗ－ＢＣｈ間相関処理部３６８の各相関処理部の後段に設けられている。
　すなわち、Ｗ－ＧＣｈ間相関処理部３６６の後段に、対数逆変換処理部４２２が設けられ、Ｗ－ＲＣｈ間相関処理部３６７の後段に、対数逆変換処理部４２３が設けられ、Ｗ－ＢＣｈ間相関処理部３６８の後段に、対数逆変換処理部４２４が設けられた構成とされる。
　このような構成として、Ｒ、Ｇ、Ｂのそれぞれのデータが生成され、出力される構成とすることも可能である。
　図３０は、ＨＤＲ合成部３６１乃至３６５が備える対数変換処理部３８１，３８２および対数逆変換処理部３８６の位置を変えて、各補間手段の前に対数変換処理を行い、ダウンサンプリング部４０１の後に対数逆変換処理を行うようにした場合の画像処理部３１１の構成を示す図である。
　図２２に示した画像処理部３１１と図３０に示した画像処理部３１１”’（他の画像処理部３１１と区別するために”’を付して記述する）を比較する。画像処理部３１１”’には、入力されたＷ画素を含む４行の色配列にて長時間および短時間の２種類の露光を行った画素を混在させたＲＡＷデータを、対数変換処理する対数変換処理部４５１が、ＷＬ高周波補間部３５１乃至ＢＳ低周波補間部３６０の前段に設けられている。この点は、図２９に示した画像処理部３１１”と同様である。
　画像処理部３１１”’には、Ｗ－ＧＣｈ間相関処理部３６６乃至Ｗ－ＢＣｈ間相関処理部３６８の後段に、ダウンサンプリング部５２１が設けられている。このダウンサンプリング部４５２は、図２８に示した画像処理部３１１’のダウンサンプリング部４０１と同じく、Ｗ－ＧＣｈ間相関処理部３６６乃至Ｗ－ＢＣｈ間相関処理部３６８からの出力をダウンサンプリングすることで、撮像素子内でＲＧＢのBayer配列に変換したデータを生成し、出力する。
　ダウンサンプリング部４５２からの出力は、対数逆変換処理部４５３に供給され、対数逆変換処理が施される。
　このような構成として、撮像素子内でＲＧＢのBayer配列に変換したデータが生成され、出力される構成とすることも可能である。
　なお、図３０に示した画像処理部３１１”’の構成において、撮像素子内では対数逆変換を行わず、撮像素子からBayerデータを出力した後に画像処理部において対数逆変換を行うような構成も可能である（図示せず）。
　また、本技術の第５の実施の形態においては、撮像装置を例にして説明したが、撮像素子を備える撮像部を有する電子機器（例えば、撮像部を内蔵する携帯電話装置）に本技術の実施の形態を適用することができる。
　また、本技術の実施の形態では、図１に示したＲＧＢ＋Ｗの色配列を前提に、１ラインあたり３本の制御配線とその動作を説明したが、図１に示した色配列に限らなくても同じ仕組みで同様の効果を出す色配列は他にもあり、本技術は図１の色配列に限定されるものではない。以下に、図１の色配置以外でも本技術を適用できる色配置の例を示す。
　図３１は、本技術が適用される色配置の他の例を示す図である。イメージセンサの水平方向（図３１の左右方向であり、行方向）の構成を説明する。１行目には、Ｗ画素６００（１，１）、Ｇ画素６００（１，２）、Ｗ画素６００（１，３）、Ｒ画素６００（１，４）、Ｗ画素６００（１，５）、Ｇ画素６００（１，６）、Ｗ画素６００（１，７）、Ｒ画素６００（１，８）が配置されている。この場合、１行目には、Ｗ画素、Ｇ画素、Ｒ画素が配置されている。
　２行目には、Ｇ画素６００（２，１）、Ｗ画素６００（２，２）、Ｒ画素６００（２，３）、Ｗ画素６００（２，４）、Ｇ画素６００（２，５）、Ｗ画素６００（２，６）、Ｒ画素６００（２，７）、Ｗ画素６００（２，８）が配置されている。この場合、２行目にも、Ｗ画素、Ｇ画素、Ｒ画素が配置されている。
　３行目には、Ｗ画素６００（３，１）、Ｂ画素６００（３，２）、Ｗ画素６００（３，３）、Ｇ画素６００（３，４）、Ｗ画素６００（３，５）、Ｂ画素６００（３，６）、Ｗ画素６００（３，７）、Ｇ画素６００（３，８）が配置されている。この場合、３行目には、Ｗ画素、Ｇ画素、Ｂ画素が配置されている。
　４行目には、Ｂ画素６００（４，１）、Ｗ画素６００（４，２）、Ｇ画素６００（４，３）、Ｗ画素６００（４，４）、Ｂ画素６００（４，５）、Ｗ画素６００（４，６）、Ｇ画素６００（４，７）、Ｗ画素６００（４，８）が配置されている。この場合、４行目にも、Ｗ画素、Ｇ画素、Ｂ画素が配置されている。
　５乃至８行目は、１乃至４行目と同じ配列とされている。このような色配列に対しても、上記した本技術を適用することができる。
　図３２は、本技術が適用される色配置の他の例を示す図である。イメージセンサの水平方向（図３２の左右方向であり、行方向）の構成を説明する。１行目には、Ｗ画素６１０（１，１）、Ｒ画素６１０（１，２）、Ｗ画素６１０（１，３）、Ｇ画素６１０（１，４）、Ｗ画素６１０（１，５）、Ｒ画素６１０（１，６）、Ｗ画素６１０（１，７）、Ｇ画素６１０（１，８）が配置されている。この場合、１行目には、Ｗ画素、Ｇ画素、Ｒ画素が配置されている。
　２行目には、Ｂ画素６１０（２，１）、Ｗ画素６１０（２，２）、Ｇ画素６１０（２，３）、Ｗ画素６１０（２，４）、Ｂ画素６１０（２，５）、Ｗ画素６１０（２，６）、Ｇ画素６１０（２，７）、Ｗ画素６１０（２，８）が配置されている。この場合、２行目には、Ｗ画素、Ｇ画素、Ｂ画素が配置されている。
　３行目には、Ｗ画素６１０（３，１）、Ｇ画素６１０（３，２）、Ｗ画素６１０（３，３）、Ｒ画素６１０（３，４）、Ｗ画素６１０（３，５）、Ｇ画素６１０（３，６）、Ｗ画素６１０（３，７）、Ｒ画素６１０（３，８）が配置されている。この場合、３行目には、Ｗ画素、Ｇ画素、Ｒ画素が配置されている。
　４行目には、Ｇ画素６１０（４，１）、Ｗ画素６１０（４，２）、Ｂ画素６１０（４，３）、Ｗ画素６１０（４，４）、Ｇ画素６１０（４，５）、Ｗ画素６１０（４，６）、Ｂ画素６１０（４，７）、Ｗ画素６１０（４，８）が配置されている。この場合、４行目には、Ｗ画素、Ｇ画素、Ｂ画素が配置されている。
　５乃至８行目は、１乃至４行目と同じ配列とされている。このような色配列に対しても、上記した本技術を適用することができる。
　図３１や図３２に示した色配置に対しても、上記した実施の形態で説明した１ラインあたり３本の制御配線とその動作を適用することが可能である。
　さらに、本技術は、図２、図４、図５、図６にそれぞれ示した露光パターン以外の露光パターンにも適用できる。以下に、本技術の実施の形態で説明した１ラインあたり３本の制御配線によって実現できる露光制御のパターンの例を図３３乃至図４０に示す。
　図３３乃至図４０に示す露光パターンと、図１、図３１、図３２で示した色配置との組み合わせで実現できる露光パターンと色配置の組み合わせは、全て本技術の適用範囲である。また、ここでは示していない露光パターンと色配置の組み合わせであっても、本技術を適用できる露光パターンと色配置の組み合わせはあり、そのような組み合わせも、本技術の適用範囲内である。
　図３３は、露光パターンの他の例を示す図である。図３３乃至図４０においては、露光パターンのみを図示し、色配置に関しては図示していない。そのため、図３３乃至図４０においては、長時間露光画素は、“Ｌ”で示し、Ｌ画素と記述し、短時間露光画素は、“Ｓ”で示し、Ｓ画素と記述する。
　図３３に示した露光パターンは、行毎に長時間露光画素または短時間露光画素が配置されている例である。換言すれば、行単位で長時間露光画素と短時間露光画素が交互に配置されている例である。すなわち、１行目、３行目、５行目、７行目は、長時間露光画素であり、２行目、４行目、６行目、８行目は、短時間露光画素であるような露光パターンである。このような露光パターンに対しても、上記した本技術を適用することができる。
　図３４は、露光パターンの他の例を示す図である。図３４に示した露光パターンは、列毎に長時間露光画素または短時間露光画素が配置されている例である。換言すれば、列単位で長時間露光画素と短時間露光画素が交互に配置されている例である。すなわち、１列目、３列目、５列目、７列目は、長時間露光画素であり、２列目、４列目、６列目、８列目は、短時間露光画素であるような露光パターンである。このような露光パターンに対しても、上記した本技術を適用することができる。
　図３５は、露光パターンの他の例を示す図である。図３５に示した露光パターンは、１行目には、Ｌ画素６４０（１，１）、Ｌ画素６４０（１，２）、Ｌ画素６４０（１，３）、Ｓ画素６４０（１，４）、Ｌ画素６４０（１，５）、Ｌ画素６４０（１，６）、Ｌ画素６４０（１，７）、Ｓ画素６４０（１，８）が配置されている。
　２行目には、Ｓ画素６４０（２，１）、Ｓ画素６４０（２，２）、Ｌ画素６４０（２，３）、Ｓ画素６４０（２，４）、Ｓ画素６４０（２，５）、Ｓ画素６４０（２，６）、Ｌ画素６４０（２，７）、Ｓ画素６４０（２，８）が配置されている。
　３行目には、Ｌ画素６４０（３，１）、Ｓ画素６４０（３，２）、Ｌ画素６４０（３，３）、Ｌ画素６４０（３，４）、Ｌ画素６４０（３，５）、Ｓ画素６４０（３，６）、Ｌ画素６４０（３，７）、Ｌ画素６４０（３，８）が配置されている。
　４行目には、Ｌ画素６４０（４，１）、Ｓ画素６４０（４，２）、Ｓ画素６４０（４，３）、Ｓ画素６４０（４，４）、Ｌ画素６４０（４，５）、Ｓ画素６４０（４，６）、Ｓ画素６４０（４，７）、Ｓ画素６４０（４，８）が配置されている。
　５乃至８行目は、１乃至４行目と同じ配列とされている。このような露光パターンに対しても、上記した本技術を適用することができる。
　図３６は、露光パターンの他の例を示す図である。図３６に示した露光パターンは、１行目に、Ｌ画素６５０（１，１）、Ｓ画素６５０（１，２）、Ｌ画素６５０（１，３）、Ｌ画素６５０（１，４）、Ｌ画素６５０（１，５）、Ｓ画素６５０（１，６）、Ｌ画素６５０（１，７）、Ｌ画素６５０（１，８）が配置されている。
　２行目には、Ｌ画素６５０（２，１）、Ｓ画素６５０（２，２）、Ｓ画素６５０（２，３）、Ｓ画素６５０（２，４）、Ｌ画素６５０（２，５）、Ｓ画素６５０（２，６）、Ｓ画素６５０（２，７）、Ｓ画素６５０（２，８）が配置されている。
　３行目は、全てＬ画素とされている。４行目は、全てＳ画素とされている。
　５乃至８行目は、１乃至４行目と同じ配列とされている。このような露光パターンに対しても、上記した本技術を適用することができる。
　図３７は、露光パターンの他の例を示す図である。図３７に示した露光パターンは、１行目に、Ｌ画素６６０（１，１）、Ｌ画素６６０（１，２）、Ｌ画素６６０（１，３）、Ｓ画素６６０（１，４）、Ｌ画素６６０（１，５）、Ｌ画素６６０（１，６）、Ｌ画素６６０（１，７）、Ｓ画素６６０（１，８）が配置されている。
　２行目には、Ｓ画素６６０（２，１）、Ｓ画素６６０（２，２）、Ｌ画素６６０（２，３）、Ｓ画素６６０（２，４）、Ｓ画素６６０（２，５）、Ｓ画素６６０（２，６）、Ｌ画素６６０（２，７）、Ｓ画素６６０（２，８）が配置されている。
　３行目には、Ｌ画素６６０（３，１）、Ｓ画素６６０（３，２）、Ｌ画素６６０（３，３）、Ｌ画素６６０（３，４）、Ｌ画素６６０（３，５）、Ｓ画素６６０（３，６）、Ｌ画素６６０（３，７）、Ｌ画素６６０（３，８）が配置されている。
　４行目には、Ｓ画素６６０（４，１）、Ｓ画素６６０（４，２）、Ｌ画素６６０（４，３）、Ｓ画素６６０（４，４）、Ｓ画素６６０（４，５）、Ｓ画素６６０（４，６）、Ｌ画素６６０（４，７）、Ｓ画素６６０（４，８）が配置されている。
　５乃至８行目は、１乃至４行目と同じ配列とされている。このような露光パターンに対しても、上記した本技術を適用することができる。
　図３８は、露光パターンの他の例を示す図である。図３８に示した露光パターンは、１行目に、Ｌ画素６７０（１，１）、Ｌ画素６７０（１，２）、Ｌ画素６７０（１，３）、Ｓ画素６７０（１，４）、Ｌ画素６７０（１，５）、Ｌ画素６７０（１，６）、Ｌ画素６７０（１，７）、Ｓ画素６７０（１，８）が配置されている。
　２行目には、Ｌ画素６７０（２，１）、Ｓ画素６７０（２，２）、Ｌ画素６７０（２，３）、Ｓ画素６７０（２，４）、Ｌ画素６７０（２，５）、Ｓ画素６７０（２，６）、Ｌ画素６７０（２，７）、Ｓ画素６７０（２，８）が配置されている。
　３行目には、Ｌ画素６７０（３，１）、Ｓ画素６７０（３，２）、Ｌ画素６７０（３，３）、Ｌ画素６７０（３，４）、Ｌ画素６７０（３，５）、Ｓ画素６７０（３，６）、Ｌ画素６７０（３，７）、Ｌ画素６７０（３，８）が配置されている。
　４行目は、全てＳ画素が配置されている。５乃至８行目は、１乃至４行目と同じ配列とされている。このような露光パターンに対しても、上記した本技術を適用することができる。
　図３９は、露光パターンの他の例を示す図である。図３９に示した露光パターンは、１行目には、全てＬ画素が配置されている。
　２行目には、Ｌ画素６８０（２，１）、Ｓ画素６８０（２，２）、Ｓ画素６８０（２，３）、Ｓ画素６８０（２，４）、Ｌ画素６８０（２，５）、Ｓ画素６８０（２，６）、Ｓ画素６８０（２，７）、Ｓ画素６８０（２，８）が配置されている。
　３行目には、Ｌ画素６８０（３，１）、Ｓ画素６８０（３，２）、Ｌ画素６８０（３，３）、Ｓ画素６８０（３，４）、Ｌ画素６８０（３，５）、Ｓ画素６８０（３，６）、Ｌ画素６８０（３，７）、Ｓ画素６８０（３，８）が配置されている。
　４行目には、Ｌ画素６８０（４，１）、Ｓ画素６８０（４，２）、Ｓ画素６８０（４，３）、Ｓ画素６８０（４，４）、Ｌ画素６８０（４，５）、Ｓ画素６８０（４，６）、Ｓ画素６８０（４，７）、Ｓ画素６８０（４，８）が配置されている。
　５乃至８行目は、１乃至４行目と同じ配列とされている。このような露光パターンに対しても、上記した本技術を適用することができる。
　図４０は、露光パターンの他の例を示す図である。図４０に示した露光パターンは、１行目には、Ｌ画素６９０（１，１）、Ｓ画素６９０（１，２）、Ｌ画素６９０（１，３）、Ｓ画素６９０（１，４）、Ｌ画素６９０（１，５）、Ｓ画素６９０（１，６）、Ｌ画素６９０（１，７）、Ｓ画素６９０（１，８）が配置されている。
　２行目には、全てＳ画素が配置されている。３行目には、全てＬ画素が配置されている。４行目は、１行目と同じく、Ｌ画素６９０（４，１）、Ｓ画素６９０（４，２）、Ｌ画素６９０（４，３）、Ｓ画素６９０（４，４）、Ｌ画素６９０（４，５）、Ｓ画素６９０（４，６）、Ｌ画素６９０（４，７）、Ｓ画素６９０（４，８）が配置されている。
　５乃至８行目は、１乃至４行目と同じ配列とされている。このような露光パターンに対しても、上記した本技術を適用することができる。
　なお、上記した実施の形態においては、撮像素子の画素の分光感度をＲＧＢ＋Ｗとする場合における例について説明したが、その分光感度がどうであるかは本技術を用いるうえで制約とならない。すなわち、ＲＧＢ＋Ｗ以外の分光感度を有する画素を用いるようにしてもよい。例えば、Ｙ（イエロー）、Ｃ（シアン）、Ｍ（マゼンタ）等の補色系にＧを加えた４行の組み合わせでもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本技術は以下のような構成も取ることができる。
（１）
　全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、
　前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光とは異なる第２の露光を実現する画素とが前記撮像面上に配置されている
　撮像素子。
（２）
　特定方向において、前記全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、前記第1の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、
　前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、特定方向に２画素もしくは４画素周期で配置され、２次元的に、前記第１の分光感度画素が市松配列となる、４×４画素の周期的な配置を構成する
　前記（１）に記載の撮像素子。
（３）
　前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線を前記１ライン毎に３本備え、
　前記第１のラインにおける前記画素転送制御信号線のうち第１の画素転送制御信号線が、前記第１のラインの２画素周期の同じ分光感度の画素に対して転送制御信号を送り、
　前記第１のラインにおける前記画素転送制御信号線のうち第２の画素転送制御信号線が、前記第１のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、
　前記第１のラインにおける前記画素転送制御信号線のうち第３の画素転送制御信号線が、前記第１のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、
　前記第２のラインにおける前記画素転送制御信号線のうち第１の画素転送制御信号線が、前記第２のラインの２画素周期の同じ分光感度の画素に対して転送制御信号を送り、
　前記第２のラインにおける前記画素転送制御信号線のうち第２の画素転送制御信号線が、前記第２のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、
　前記第２のラインにおける前記画素転送制御信号線のうち第３の画素転送制御信号線が、前記第２のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、
　前記画素転送制御信号線のそれぞれが、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送る
　前記（２）に記載の撮像素子。
（４）
　前記特定方向において隣接する２つの画素間で１つのＡ／Ｄ変換器を共有し、
　前記画素転送制御信号線のうちの少なくとも２本の画素転送制御信号線を用いて前記隣接する２つの画素の露光タイミングをずらす
　前記（３）に記載の撮像素子。
（５）
　複数の画素により構成される画素群で１つのフローティングディフュージョンを共有する
　前記（１）乃至（４）のいずれかに記載の撮像素子。
（６）
　前記４×４画素の周期的な配置は、
　前記特定方向において、前記第１の画素と、第２の分光感度の第２の画素が交互に配置される第１のラインと、
　前記特定方向において、前記第１の画素が２画素周期で配置され、第３の分光感度の第３の画素と、第４の分光感度の第４の画素が、残りの画素位置に４画素周期で配置される第２のラインとが、前記特定方向に直交する方向において交互に配置される
　前記（３）に記載の撮像素子。
（７）
　前記第１のラインの前記第１の画素転送制御信号線と、前記第２のラインの前記第１の画素転送制御信号線は、それぞれに異なるタイミングで制御信号を送るように制御され、
　前記第１のラインの前記第２の画素転送制御信号線と前記第３の画素転送制御信号線は、それぞれに異なるタイミングで制御信号を送るように制御され、
　前記第２のラインの前記第２の画素転送制御信号線と、第４のラインの前記第３の画素に対する前記画素転送制御信号線とは、それぞれに異なるタイミングで制御信号を送るように制御され、
　前記第２のラインの前記第４の画素に対する前記画素転送制御信号線と、前記第４のラインの前記第４の画素に対する前記画素転送制御信号線とは、それぞれに異なるタイミングで制御信号を送るように制御される
　前記（６）に記載の撮像素子。
（８）
　画素位置毎に、
　前記第１の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第１の処理部と、
　前記第１の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第２の処理部と、
　第２の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第３の処理部と、
　前記第２の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第４の処理部と、
　第３の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第５の処理部と、
　前記第３の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第６の処理部と、
　第４の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第7の処理部と、
　前記第４の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第８の処理部と
　をさらに備える前記（１）乃至（７）のいずれかに記載の撮像素子。
（９）
　前記第１乃至８の処理部により算出された前記第１乃至４の分光感度の前記第１の露光または前記第２の露光の信号の前記画素位置における補間値から、合成した前記第２の分光感度、前記第３の分光感度、および前記第４の分光感度の補間値をそれぞれ算出する第９の処理部と
　をさらに備える前記（８）に記載の撮像素子。
（１０）
　前記第９の処理部からの出力される前記補間値を、ベイヤー配列に変換する変換部を
　さらに備える前記（９）に記載の撮像素子。
（１１）
　前記第９の処理部は、各画素より読み出された信号を非線形階調に変換する処理を含む
　前記（９）に記載の撮像素子。
（１２）
　前記非線形階調に変換する処理は、上に凸のべき乗関数特性に基づいて変換する処理を含む
　前記（１１）に記載の撮像素子。
（１３）
　前記非線形階調に変換する処理は、対数階調特性に基づいて変換する処理を含む
　前記（１１）に記載の撮像素子。
（１４）
　前記撮像面上に配置されている画素からの信号を対数変換する対数変換処理部と、
　前記第９の処理部からの出力される前記補間値を対数逆変換する対数逆変換処理部と
　をさらに備え、
　前記第１乃至８の処理部は、それぞれ前記対数変換処理部で変換された値を用いて処理を行う
　前記（９）に記載の撮像素子。
（１５）
　前記撮像面上に配置されている画素からの信号を対数変換する対数変換処理部と、
　前記変換部から出力される前記補間値を対数逆変換する対数逆変換処理部と
　をさらに備え、
　前記第１乃至８の処理部は、それぞれ前記対数変換処理部で変換された値を用いて処理を行う
　前記（１０）に記載の撮像素子。
（１６）
　全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、
　前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光とは異なる第２の露光を実現する画素とが前記撮像面上に配置され、
　特定方向において、前記全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、前記第1の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、
　前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、特定方向に２画素もしくは４画素周期で配置され、２次元的に、前記第１の分光感度画素が市松配列となる、４×４画素の周期的な配置を構成している撮像素子の撮像方法であり、
　前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線であり、前記１ライン毎に３本備えられている前記画素転送制御信号線に、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送る
　ステップを含む撮像方法。
（１７）
　全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、
　前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光とは異なる第２の露光を実現する画素とが前記撮像面上に配置され、
　特定方向において、前記全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、前記第1の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、
　前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、特定方向に２画素もしくは４画素周期で配置され、２次元的に、前記第１の分光感度画素が市松配列となる、４×４画素の周期的な配置を構成している撮像素子を制御するコンピュータに行わせるプログラムにおいて、
　前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線であり、前記１ライン毎に３本備えられている前記画素転送制御信号線に、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送る
　ステップを含む処理を含むプログラム。
　２０　画素，　２１乃至２４　画素転送制御信号線，　３００　撮像装置，　３１０　撮像素子，　３１１　画像処理部，　３１２　記録制御部，　３１３　コンテンツ記憶部，　３１４　表示制御部，　３１５　表示部，　３１６　制御部，　３１７　操作受付部，　３５１　ＷＬ高周波補間部，　３５２　ＷＳ高周波補間部，　３５３　ＷＬ低周波補間部，　３５４　ＷＳ低周波補間部，　３５５　ＧＬ低周波補間部，　３５６　ＧＳ低周波補間部，　３５７　ＲＬ低周波補間部，　３５８　ＲＳ低周波補間部，　３５９　ＢＬ低周波補間部，　３６０　ＢＳ低周波補間部，　３６１　Ｗ高周波ＨＤＲ合成部，３６２　Ｗ低周波ＨＤＲ合成部，　３６３　Ｇ低周波ＨＤＲ合成部，　３６４　Ｒ低周波ＨＤＲ合成部，　３６４　Ｂ低周波ＨＤＲ合成部，　３６６　Ｗ－ＧＣｈ間相関処理部，　３６７　Ｗ－ＲＣｈ間相関処理部，　３６８　Ｗ－ＢＣｈ間相関処理部

Claims (17)

  1. 　全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、
    　前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光とは異なる第２の露光を実現する画素とが前記撮像面上に配置されている
    　撮像素子。
  2. 　特定方向において、前記全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、前記第1の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、
    　前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、特定方向に２画素もしくは４画素周期で配置され、２次元的に、前記第１の分光感度画素が市松配列となる、４×４画素の周期的な配置を構成する
    　請求項１に記載の撮像素子。
  3. 　前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線を前記１ライン毎に３本備え、
    　前記第１のラインにおける前記画素転送制御信号線のうち第１の画素転送制御信号線が、前記第１のラインの２画素周期の同じ分光感度の画素に対して転送制御信号を送り、
    　前記第１のラインにおける前記画素転送制御信号線のうち第２の画素転送制御信号線が、前記第１のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、
    　前記第１のラインにおける前記画素転送制御信号線のうち第３の画素転送制御信号線が、前記第１のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、
    　前記第２のラインにおける前記画素転送制御信号線のうち第１の画素転送制御信号線が、前記第２のラインの２画素周期の同じ分光感度の画素に対して転送制御信号を送り、
    　前記第２のラインにおける前記画素転送制御信号線のうち第２の画素転送制御信号線が、前記第２のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、
    　前記第２のラインにおける前記画素転送制御信号線のうち第３の画素転送制御信号線が、前記第２のラインの４画素周期の同じ分光感度の画素に対して転送制御信号を送り、
    　前記画素転送制御信号線のそれぞれが、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送る
    　請求項２に記載の撮像素子。
  4. 　前記特定方向において隣接する２つの画素間で１つのＡ／Ｄ変換器を共有し、
    　前記画素転送制御信号線のうちの少なくとも２本の画素転送制御信号線を用いて前記隣接する２つの画素の露光タイミングをずらす
    　請求項３に記載の撮像素子。
  5. 　複数の画素により構成される画素群で１つのフローティングディフュージョンを共有する
    　請求項１に記載の撮像素子。
  6. 　前記４×４画素の周期的な配置は、
    　前記特定方向において、前記第１の画素と、第２の分光感度の第２の画素が交互に配置される第１のラインと、
    　前記特定方向において、前記第１の画素が２画素周期で配置され、第３の分光感度の第３の画素と、第４の分光感度の第４の画素が、残りの画素位置に４画素周期で配置される第２のラインとが、前記特定方向に直交する方向において交互に配置される
    　請求項３に記載の撮像素子。
  7. 　前記第１のラインの前記第１の画素転送制御信号線と、前記第２のラインの前記第１の画素転送制御信号線は、それぞれに異なるタイミングで制御信号を送るように制御され、
    　前記第１のラインの前記第２の画素転送制御信号線と前記第３の画素転送制御信号線は、それぞれに異なるタイミングで制御信号を送るように制御され、
    　前記第２のラインの前記第２の画素転送制御信号線と、第４のラインの前記第３の画素に対する前記画素転送制御信号線とは、それぞれに異なるタイミングで制御信号を送るように制御され、
    　前記第２のラインの前記第４の画素に対する前記画素転送制御信号線と、前記第４のラインの前記第４の画素に対する前記画素転送制御信号線とは、それぞれに異なるタイミングで制御信号を送るように制御される
    　請求項６に記載の撮像素子。
  8. 　画素位置毎に、
    　前記第１の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第１の処理部と、
    　前記第１の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第２の処理部と、
    　第２の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第３の処理部と、
    　前記第２の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第４の処理部と、
    　第３の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第５の処理部と、
    　前記第３の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第６の処理部と、
    　第４の分光感度の前記第１の露光の信号の前記画素位置における補間値を算出する第7の処理部と、
    　前記第４の分光感度の前記第２の露光の信号の前記画素位置における補間値を算出する第８の処理部と
    　をさらに備える請求項１に記載の撮像素子。
  9. 　前記第１乃至８の処理部により算出された前記第１乃至４の分光感度の前記第１の露光または前記第２の露光の信号の前記画素位置における補間値から、合成した前記第２の分光感度、前記第３の分光感度、および前記第４の分光感度の補間値をそれぞれ算出する第９の処理部と
    　をさらに備える請求項８に記載の撮像素子。
  10. 　前記第９の処理部からの出力される前記補間値を、ベイヤー配列に変換する変換部を
    　さらに備える請求項９に記載の撮像素子。
  11. 　前記第９の処理部は、各画素より読み出された信号を非線形階調に変換する処理を含む
    　請求項９に記載の撮像素子。
  12. 　前記非線形階調に変換する処理は、上に凸のべき乗関数特性に基づいて変換する処理を含む
    　請求項１１に記載の撮像素子。
  13. 　前記非線形階調に変換する処理は、対数階調特性に基づいて変換する処理を含む
    　請求項１１に記載の撮像素子。
  14. 　前記撮像面上に配置されている画素からの信号を対数変換する対数変換処理部と、
    　前記第９の処理部からの出力される前記補間値を対数逆変換する対数逆変換処理部と
    　をさらに備え、
    　前記第１乃至８の処理部は、それぞれ前記対数変換処理部で変換された値を用いて処理を行う
    　請求項９に記載の撮像素子。
  15. 　前記撮像面上に配置されている画素からの信号を対数変換する対数変換処理部と、
    　前記変換部から出力される前記補間値を対数逆変換する対数逆変換処理部と
    　をさらに備え、
    　前記第１乃至８の処理部は、それぞれ前記対数変換処理部で変換された値を用いて処理を行う
    　請求項１０に記載の撮像素子。
  16. 　全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、
    　前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光とは異なる第２の露光を実現する画素とが前記撮像面上に配置され、
    　特定方向において、前記全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、前記第1の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、
    　前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、特定方向に２画素もしくは４画素周期で配置され、２次元的に、前記第１の分光感度画素が市松配列となる、４×４画素の周期的な配置を構成している撮像素子の撮像方法であり、
    　前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線であり、前記１ライン毎に３本備えられている前記画素転送制御信号線に、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送る
    　ステップを含む撮像方法。
  17. 　全整色性である分光感度の画素を含む４種類の分光感度の画素が撮像面上に配置され、
    　前記４種類の分光感度のそれぞれに、第１の露光を実現する画素と、前記第１の露光とは異なる第２の露光を実現する画素とが前記撮像面上に配置され、
    　特定方向において、前記全整色性である分光感度の第１の画素が２画素周期で配置される第１のラインと、前記第1の画素が、前記第１のラインとは前記特定方向に１画素ずれて配置される第２のラインとが、前記特定方向に直交する方向において交互に配置され、
    　前記第１の画素の分光感度とは異なる分光感度の画素が、同じ分光感度毎に、特定方向に２画素もしくは４画素周期で配置され、２次元的に、前記第１の分光感度画素が市松配列となる、４×４画素の周期的な配置を構成している撮像素子を制御するコンピュータに行わせるプログラムにおいて、
    　前記特定方向における１ラインを構成する複数の画素の露光開始および終了タイミングを制御するための画素転送制御信号線であり、前記１ライン毎に３本備えられている前記画素転送制御信号線に、前記第１の露光を実現する第１のタイミング、または前記第２の露光を実現する第２のタイミングのどちらかで画素転送制御信号を送る
    　ステップを含む処理を含むプログラム。
PCT/JP2014/068543 2013-07-23 2014-07-11 撮像素子、撮像方法、並びにプログラム WO2015012121A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP14830150.0A EP3026891A4 (en) 2013-07-23 2014-07-11 Imaging element, imaging method, and program
KR1020167001069A KR102221341B1 (ko) 2013-07-23 2014-07-11 촬상 소자, 촬상 방법, 및 프로그램
JP2015528226A JP6528974B2 (ja) 2013-07-23 2014-07-11 撮像素子、撮像方法、並びにプログラム
US14/905,794 US10015417B2 (en) 2013-07-23 2014-07-11 Image pickup device and method enabling control of spectral sensitivity and exposure time
CN201480040407.5A CN105409205B (zh) 2013-07-23 2014-07-11 摄像装置、摄像方法及存储器
US15/885,701 US10200639B2 (en) 2013-07-23 2018-01-31 Image pickup device and method enabling control of spectral sensitivity and exposure time
US16/226,567 US10638065B2 (en) 2013-07-23 2018-12-19 Image pickup device and method enabling control of spectral sensitivity and exposure time

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013152898 2013-07-23
JP2013-152898 2013-07-23

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/905,794 A-371-Of-International US10015417B2 (en) 2013-07-23 2014-07-11 Image pickup device and method enabling control of spectral sensitivity and exposure time
US15/885,701 Continuation US10200639B2 (en) 2013-07-23 2018-01-31 Image pickup device and method enabling control of spectral sensitivity and exposure time

Publications (1)

Publication Number Publication Date
WO2015012121A1 true WO2015012121A1 (ja) 2015-01-29

Family

ID=52393167

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/068543 WO2015012121A1 (ja) 2013-07-23 2014-07-11 撮像素子、撮像方法、並びにプログラム

Country Status (7)

Country Link
US (3) US10015417B2 (ja)
EP (1) EP3026891A4 (ja)
JP (1) JP6528974B2 (ja)
KR (1) KR102221341B1 (ja)
CN (1) CN105409205B (ja)
TW (1) TWI644568B (ja)
WO (1) WO2015012121A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019106574A (ja) * 2017-12-08 2019-06-27 キヤノン株式会社 撮像装置及び撮像システム
JP7478201B2 (ja) 2019-09-09 2024-05-02 オッポ広東移動通信有限公司 画像センサ、カメラモジュール、モバイル端末及び画像収集方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013066140A (ja) 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
TWI644568B (zh) 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
JP2016072863A (ja) * 2014-09-30 2016-05-09 株式会社ニコン 電子機器、再生装置、記録媒体、記録プログラム、再生プログラム、記録方法および再生方法
JP6541324B2 (ja) * 2014-10-17 2019-07-10 キヤノン株式会社 固体撮像装置及びその駆動方法、並びに、撮像システム
JP6516446B2 (ja) * 2014-11-14 2019-05-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US9866764B2 (en) * 2014-11-21 2018-01-09 Motorola Mobility Llc Method and apparatus for synchronizing auto exposure between chromatic pixels and panchromatic pixels in a camera system
US9286502B1 (en) * 2015-04-28 2016-03-15 The Code Corporation Barcode reader
KR102407036B1 (ko) * 2015-11-03 2022-06-10 삼성전자주식회사 이미지 센서 및 이미지 센서의 동작 방법
CN105516697B (zh) * 2015-12-18 2018-04-17 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
JP6724982B2 (ja) * 2016-04-13 2020-07-15 ソニー株式会社 信号処理装置および撮像装置
US20170332000A1 (en) * 2016-05-10 2017-11-16 Lytro, Inc. High dynamic range light-field imaging
US20180188427A1 (en) * 2016-12-29 2018-07-05 Uber Technologies, Inc. Color Filter Array for Image Capture Device
JP7198507B2 (ja) * 2017-08-08 2023-01-04 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
CN109640009B (zh) * 2017-10-09 2021-01-19 比亚迪股份有限公司 像素电路、像素阵列、图像传感器及其曝光控制方法
US11470286B2 (en) * 2019-07-16 2022-10-11 Mritunjay Singh Image sensors with color, panchromatic and infrared pixels
CN110740272B (zh) * 2019-10-31 2021-05-14 Oppo广东移动通信有限公司 图像采集方法、摄像头组件及移动终端
CN114631310B (zh) * 2019-11-20 2024-04-23 Oppo广东移动通信有限公司 图像传感器、控制方法、摄像头组件及移动终端
CN111405204B (zh) * 2020-03-11 2022-07-26 Oppo广东移动通信有限公司 图像获取方法、成像装置、电子设备及可读存储介质
CN111432099B (zh) * 2020-03-30 2021-04-30 Oppo广东移动通信有限公司 图像传感器、处理系统及方法、电子设备和存储介质
CN111491110B (zh) * 2020-04-17 2021-09-17 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和存储介质
CN111491111B (zh) * 2020-04-20 2021-03-26 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
KR20220111770A (ko) * 2021-02-01 2022-08-10 삼성전자주식회사 이미지 센서 및 그를 포함하는 전자 장치
JP2022122682A (ja) * 2021-02-10 2022-08-23 キヤノン株式会社 画像符号化装置及びその制御方法及びプログラム
JP2023042081A (ja) * 2021-09-14 2023-03-27 キヤノン株式会社 光電変換装置
US20240089618A1 (en) * 2022-09-08 2024-03-14 Arriver Software Ab Image sensor with red-clear-clear-green (rccg) color filter array (cfa) for vehicle sensing applications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007135200A (ja) 2005-10-14 2007-05-31 Sony Corp 撮像方法および撮像装置並びに駆動装置
JP2007243334A (ja) 2006-03-06 2007-09-20 Fujifilm Corp 撮像装置
JP2012257193A (ja) 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013143729A (ja) * 2012-01-12 2013-07-22 Sony Corp 撮像素子、撮像装置、電子機器および撮像方法

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7880785B2 (en) * 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
JP4187004B2 (ja) * 2006-04-17 2008-11-26 ソニー株式会社 撮像装置および撮像装置の露光制御方法
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US7777804B2 (en) * 2007-10-26 2010-08-17 Omnivision Technologies, Inc. High dynamic range sensor with reduced line memory for color interpolation
JP5002421B2 (ja) * 2007-11-14 2012-08-15 富士フイルム株式会社 撮像装置及び撮像方法
US8542315B2 (en) * 2007-11-27 2013-09-24 Broadcom Corporation Method and apparatus for expanded dynamic range imaging
KR101391432B1 (ko) * 2008-01-22 2014-05-07 삼성전기주식회사 영상 획득 장치 및 그 방법과 영상 처리 장치 및 그 방법
US8174603B2 (en) * 2008-05-01 2012-05-08 Alexander Krymski Image sensors and methods with antiblooming channels and two side driving of control signals
US20090290052A1 (en) * 2008-05-23 2009-11-26 Panavision Imaging, Llc Color Pixel Pattern Scheme for High Dynamic Range Optical Sensor
CN101656259A (zh) * 2008-08-20 2010-02-24 鸿富锦精密工业（深圳）有限公司 影像感测器封装结构、封装方法及相机模组
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
JP5304410B2 (ja) * 2009-04-17 2013-10-02 ソニー株式会社 Ａｄ変換装置、固体撮像素子、およびカメラシステム
JP2011114558A (ja) * 2009-11-26 2011-06-09 Fujifilm Corp 撮像装置及び撮像方法
JP5552858B2 (ja) * 2010-03-26 2014-07-16 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP5585208B2 (ja) * 2010-05-20 2014-09-10 ソニー株式会社 固体撮像装置及び電子機器
JP2011250554A (ja) * 2010-05-26 2011-12-08 Sony Corp 電源回路、集積回路装置、固体撮像装置および電子機器
US8514322B2 (en) * 2010-06-16 2013-08-20 Aptina Imaging Corporation Systems and methods for adaptive control and dynamic range extension of image sensors
US20130308021A1 (en) * 2010-06-16 2013-11-21 Aptina Imaging Corporation Systems and methods for adaptive control and dynamic range extension of image sensors
JP5442571B2 (ja) * 2010-09-27 2014-03-12 パナソニック株式会社 固体撮像装置及び撮像装置
CN103053164B (zh) * 2010-12-16 2015-06-17 松下电器产业株式会社 摄像装置及图像处理装置
JP2012175234A (ja) 2011-02-18 2012-09-10 Sony Corp 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
JP5655626B2 (ja) * 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012182657A (ja) 2011-03-01 2012-09-20 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
WO2012127772A1 (ja) * 2011-03-24 2012-09-27 パナソニック株式会社 固体撮像素子および当該素子を備える撮像装置
JP2012234393A (ja) 2011-05-02 2012-11-29 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013005017A (ja) 2011-06-13 2013-01-07 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP2013021660A (ja) 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013038504A (ja) * 2011-08-04 2013-02-21 Sony Corp 撮像装置、および画像処理方法、並びにプログラム
JP2013066140A (ja) * 2011-08-31 2013-04-11 Sony Corp 撮像装置、および信号処理方法、並びにプログラム
JP2013066145A (ja) 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9137432B2 (en) * 2011-09-16 2015-09-15 Samsung Electronics Co., Ltd. Backside illumination image sensor, operating method thereof, image processing system and method of processing image using the same
US8599284B2 (en) * 2011-10-11 2013-12-03 Omnivision Technologies, Inc. High dynamic range sub-sampling architecture
EP2833635B1 (en) * 2012-03-27 2018-11-07 Sony Corporation Image processing device, image-capturing element, image processing method, and program
US9040892B2 (en) * 2012-07-27 2015-05-26 Apple Inc. High dynamic range image sensor having symmetric interleaved long and short exposure pixels
JP2014175832A (ja) * 2013-03-08 2014-09-22 Toshiba Corp 固体撮像装置
JP2015019293A (ja) * 2013-07-11 2015-01-29 ソニー株式会社 固体撮像装置および方法、並びに、電子機器
TWI644568B (zh) 2013-07-23 2018-12-11 新力股份有限公司 攝像元件、攝像方法及攝像程式
JP2015033107A (ja) * 2013-08-07 2015-02-16 ソニー株式会社 画像処理装置および画像処理方法、並びに、電子機器
TWI690209B (zh) * 2013-09-25 2020-04-01 新力股份有限公司 固體攝像裝置、攝像裝置及電子機器
KR102159256B1 (ko) * 2013-11-25 2020-09-23 삼성전자 주식회사 픽셀 어레이 및 이를 포함하는 이미지 센서
KR102149453B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 이미지를 획득하기 위한 전자 장치 및 방법
KR102149187B1 (ko) * 2014-02-21 2020-08-28 삼성전자주식회사 전자 장치와, 그의 제어 방법
KR102184714B1 (ko) * 2014-04-11 2020-12-02 에스케이하이닉스 주식회사 이미지 센싱 장치
JP2016053849A (ja) * 2014-09-03 2016-04-14 ソニー株式会社 画像処理装置および画像処理方法、並びに固体撮像装置
US9883128B2 (en) * 2016-05-20 2018-01-30 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
KR20180031288A (ko) * 2016-09-19 2018-03-28 삼성전자주식회사 이미지 센서 및 이를 포함하는 촬상 장치
KR102354991B1 (ko) * 2017-05-24 2022-01-24 삼성전자주식회사 픽셀 회로 및 이를 포함하는 이미지 센서

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007135200A (ja) 2005-10-14 2007-05-31 Sony Corp 撮像方法および撮像装置並びに駆動装置
JP2007243334A (ja) 2006-03-06 2007-09-20 Fujifilm Corp 撮像装置
JP2012257193A (ja) 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013143729A (ja) * 2012-01-12 2013-07-22 Sony Corp 撮像素子、撮像装置、電子機器および撮像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3026891A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019106574A (ja) * 2017-12-08 2019-06-27 キヤノン株式会社 撮像装置及び撮像システム
JP7478201B2 (ja) 2019-09-09 2024-05-02 オッポ広東移動通信有限公司 画像センサ、カメラモジュール、モバイル端末及び画像収集方法

Also Published As

Publication number Publication date
TWI644568B (zh) 2018-12-11
CN105409205A (zh) 2016-03-16
US20180160060A1 (en) 2018-06-07
US20190124281A1 (en) 2019-04-25
EP3026891A1 (en) 2016-06-01
US10015417B2 (en) 2018-07-03
US10200639B2 (en) 2019-02-05
US20160173793A1 (en) 2016-06-16
EP3026891A4 (en) 2017-04-19
US20170034460A9 (en) 2017-02-02
US10638065B2 (en) 2020-04-28
KR102221341B1 (ko) 2021-02-26
KR20160034897A (ko) 2016-03-30
JPWO2015012121A1 (ja) 2017-03-02
CN105409205B (zh) 2019-08-09
TW201505440A (zh) 2015-02-01
JP6528974B2 (ja) 2019-06-12

Similar Documents

Publication Publication Date Title
JP6528974B2 (ja) 撮像素子、撮像方法、並びにプログラム
JP4689620B2 (ja) イメージセンサ
JP5663580B2 (ja) 撮像素子、撮像素子のダイナミックレンジを増大させる方法、及び撮像装置
JP4971323B2 (ja) カラー画素とパンクロ画素の処理
US20180176444A1 (en) Image sensor with transfer gate control signal lines
KR100827238B1 (ko) 고화질 영상을 위한 영상 표시 방법 및 장치
KR101136222B1 (ko) 촬상소자, 촬상소자의 구동장치, 촬상소자의 구동방법, 화상처리장치, 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 및 촬상장치
WO2013031368A1 (ja) 撮像装置、および信号処理方法、並びにプログラム
WO2013008596A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2013081222A (ja) 光感度が改善されたイメージ・センサー
KR20100066396A (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 방법 및 촬상 장치
WO2010114594A1 (en) Exposing pixel groups in producing digital images
JP2013066145A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2007329721A (ja) 固体撮像装置
JP2007174277A (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP2009194604A (ja) 撮像装置及び撮像装置の駆動方法
US20090021597A1 (en) Imaging circuit and image pickup device
JP5526673B2 (ja) 固体撮像装置及び電子機器
JP2006014117A (ja) 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置
JP2003179819A (ja) 撮像装置
JP2017011347A (ja) 画像形成方法、画像形成装置、および画像形成プログラム
WO2016203966A1 (ja) 撮像装置、撮像方法、並びにプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480040407.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14830150

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015528226

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20167001069

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2014830150

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14905794

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE