WO2023021871A1 - 撮像装置、センサ及び撮像制御装置 - Google Patents

撮像装置、センサ及び撮像制御装置 Download PDF

Info

Publication number
WO2023021871A1
WO2023021871A1 PCT/JP2022/026817 JP2022026817W WO2023021871A1 WO 2023021871 A1 WO2023021871 A1 WO 2023021871A1 JP 2022026817 W JP2022026817 W JP 2022026817W WO 2023021871 A1 WO2023021871 A1 WO 2023021871A1
Authority
WO
WIPO (PCT)
Prior art keywords
resolution
imaging
image
pixels
pixel
Prior art date
Application number
PCT/JP2022/026817
Other languages
English (en)
French (fr)
Inventor
秀太 湯舟
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to KR1020247003314A priority Critical patent/KR20240050322A/ko
Priority to CN202280055956.4A priority patent/CN117859341A/zh
Priority to JP2023542256A priority patent/JPWO2023021871A1/ja
Publication of WO2023021871A1 publication Critical patent/WO2023021871A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode

Definitions

  • the present disclosure relates to imaging devices, sensors, and imaging control devices.
  • a device that generates an image of a subject by including an imaging device in which photoelectric conversion elements that perform photoelectric conversion of incident light are arranged in a two-dimensional matrix is used (see, for example, Patent Document 1).
  • the conventional technology described above has the problem that the resolution of the image of the subject cannot be adjusted, resulting in a decrease in convenience.
  • this disclosure proposes an imaging device that adjusts the resolution of the image of the subject.
  • An imaging device includes an imaging device, a resolution selection section, and an image signal addition section.
  • the imaging device includes a plurality of pixels that perform photoelectric conversion of incident light from an object to generate image signals, and an on-chip lens that is arranged in common with the plurality of pixels and converges the incident light onto the plurality of pixels.
  • the provided pixel blocks are arranged in a two-dimensional matrix.
  • the resolution selection unit selects a pixel block unit composed of a first resolution corresponding to the size of the pixel, a second resolution corresponding to the size of the pixel block, and a plurality of adjacent pixel blocks. select a third resolution that is a resolution that depends on the size of the .
  • the image signal adder adds the generated image signals according to the selected resolution to generate a second image signal.
  • FIG. 1 is a diagram illustrating a configuration example of an imaging device according to a first embodiment of the present disclosure
  • FIG. It is a figure showing an example of composition of an image sensor concerning an embodiment of this indication.
  • FIG. 3 is a diagram showing a configuration example of a pixel according to the first embodiment of the present disclosure
  • FIG. 4 is a cross-sectional view showing a configuration example of a pixel according to the embodiment of the present disclosure
  • FIG. 3 is a diagram illustrating a configuration example of a signal processing unit according to the first embodiment of the present disclosure
  • FIG. FIG. 2 illustrates an example of remosaic processing according to an embodiment of the present disclosure
  • FIG. 2 illustrates an example of remosaic processing according to an embodiment of the present disclosure
  • FIG. 2 illustrates an example of remosaic processing according to an embodiment of the present disclosure
  • FIG. 2 illustrates an example of remosaic processing according to an embodiment of the present disclosure
  • FIG. 1 is a diagram illustrating a configuration example
  • FIG. 2 illustrates an example of remosaic processing according to an embodiment of the present disclosure
  • 1 is a diagram showing an example of an image generated by an imaging device according to an embodiment of the present disclosure
  • FIG. 1 is a diagram showing an example of an image generated by an imaging device according to an embodiment of the present disclosure
  • FIG. FIG. 4 is a diagram showing an example of imaging processing according to the first embodiment of the present disclosure
  • FIG. It is a figure showing an example of composition of an imaging device concerning a 2nd embodiment of this indication.
  • FIG. 11 is a diagram illustrating an example of imaging processing according to the second embodiment of the present disclosure;
  • FIG. It is a figure showing the example of composition of the imaging device concerning a 3rd embodiment of this indication.
  • FIG. 11 is a diagram illustrating a configuration example of a signal processing unit according to a third embodiment of the present disclosure.
  • FIG. It is a figure which shows the structural example of the phase difference pixel which concerns on 3rd Embodiment of this indication. It is a figure which shows the structural example of the phase difference pixel which concerns on 3rd Embodiment of this indication. It is a figure which shows the structural example of the phase difference pixel which concerns on 3rd Embodiment of this indication. It is a figure which shows the structural example of the phase difference pixel which concerns on 3rd Embodiment of this indication. It is a figure which shows the structural example of the image pick-up element of a prior art.
  • FIG. 13 is a diagram illustrating a configuration example of an imaging device according to a fifth embodiment of the present disclosure
  • FIG. FIG. 21 is a diagram illustrating an example of a processing procedure of imaging processing according to the fifth embodiment of the present disclosure
  • FIG. 11 is a diagram illustrating a configuration example of an imaging device according to a sixth embodiment of the present disclosure
  • FIG. FIG. 21 is a diagram illustrating an example of a processing procedure of imaging processing according to the sixth embodiment of the present disclosure
  • FIG. 11 is a diagram showing an example of an image generated by an imaging device according to a seventh embodiment of the present disclosure
  • FIG. FIG. 10 is a diagram showing a configuration example of a pixel according to a first modified example of the embodiment of the present disclosure
  • FIG. FIG. 10 is a diagram illustrating a configuration example of a pixel according to a second modified example of the embodiment of the present disclosure
  • FIG. 2 is a diagram showing an example of a circuit configuration of a pixel block according to an embodiment of the present disclosure
  • FIG. 3 is a diagram illustrating a configuration example of a pixel block according to an embodiment of the present disclosure
  • FIG. 1 is a diagram illustrating a configuration example of an imaging device according to the first embodiment of the present disclosure.
  • FIG. 1 is a block diagram showing a configuration example of the imaging device 1.
  • the imaging device 1 is a device that generates an image signal forming an image of a subject.
  • the imaging device 1 includes an imaging device 10 , an image signal addition section 20 , a signal processing section 30 , an imaging control section 40 , a target area detection section 50 , a storage section 60 and an imaging lens 70 .
  • the image pickup device 10 takes an image of a subject and generates an image signal.
  • the imaging device 10 includes a pixel array section (pixel array section 11 described later) in which pixels (pixels 100 described later) that perform photoelectric conversion of incident light from a subject are arranged in a two-dimensional matrix.
  • the image pickup device 10 in FIG. 1 generates an image signal based on a control signal from the image pickup control section 40 .
  • the generated image signal is output to the image signal adder 20 . Details of the configuration of the imaging device 10 will be described later.
  • the imaging control unit 40 controls imaging by the imaging device 10 .
  • the imaging control unit 40 controls the imaging element 10 by outputting control signals.
  • the image capturing control unit 40 controls the image sensor 10 to capture a still image or a moving image.
  • the imaging control unit 40 also performs processing for selecting the resolution of the image. As will be described later, the imaging control unit 40 can select a first resolution, a second resolution, and a third resolution.
  • the first resolution is a resolution equal to the density of the plurality of pixels 100 arranged on the image sensor 10 .
  • the second resolution is 1 ⁇ 4 of the first resolution.
  • the third resolution is 1 ⁇ 4 of the second resolution.
  • These selected resolutions are output to the image signal adder 20 .
  • the imaging control unit 40 can select a resolution according to a target area, which is an area of an image including an object to be imaged among subjects. As this target area, a target area input from a target area detection unit 50, which will be described later, can be used. On the other hand, the imaging control section 40 outputs an image signal to the target area detection section 50 .
  • imaging modes in which the first resolution, second resolution, and third resolution are selected are referred to as first imaging mode, second imaging mode, and third imaging mode, respectively.
  • the details of the resolution selection by the imaging control unit 40 will be described later.
  • the imaging control unit 40 is an example of the resolution selection unit described in the claims.
  • the image signal addition unit 20 adds image signals according to the resolution selected by the imaging control unit 40 to generate a new image signal (second image signal).
  • the image signal adder 20 adds image signals generated by four adjacent pixels 100 to generate an image signal corresponding to the second resolution. Further, the image signal addition unit 20 adds the image signals generated by the 16 adjacent pixels 100 to generate an image signal corresponding to the third resolution. In order to prevent overflow, the image signal adder 20 can adjust the number of digits during addition.
  • the image signal adder 20 outputs the generated image signal to the signal processor 30 . The details of addition of image signals in the image signal addition section 20 will be described later.
  • the signal processing section 30 processes the image signal output from the image signal adding section 20 .
  • the details of the configuration of the signal processing unit 30 will be described later.
  • the target area detection section 50 detects the target area from the image based on the image signal input from the imaging control section 40 . As described above, this target area is the area that contains the object to be imaged. For example, a specific person corresponds to this object.
  • the target area detection unit 50 searches the input image to determine whether or not the target object is included. Then, when an object is included in the image, the target area detection unit 50 detects the area including the target object as the target area and outputs it to the imaging control unit 40 .
  • the storage unit 60 holds the data of the target object. For example, the object input by the user of the imaging device 1 can be applied to this object.
  • the storage unit 60 stores data for identifying the target object and information of the target object such as the minimum size when the target object is tracked.
  • the storage unit 60 also outputs object data, which is information about the object, to the target area detection unit 50 based on the control signal from the target area detection unit 50 .
  • detection of the target area by the target area detection unit 50 is not limited to this example.
  • AI Artificial Intelligence
  • AI recognizes a person using an image generated in advance, and AI detects a target area including the recognized person.
  • the photographing lens 70 is a lens that forms an image of the subject on the surface of the image sensor 10 on which the pixels 100 are arranged.
  • the imaging control unit 40, the target area detection unit 50, and the storage unit 60 constitute an imaging control device.
  • the imaging device 10 and the image signal adding section 20 constitute a sensor.
  • FIG. 2 is a diagram illustrating a configuration example of an imaging element according to an embodiment of the present disclosure
  • FIG. 1 is a block diagram showing a configuration example of the imaging device 10.
  • the imaging device 10 is a semiconductor device that generates image data of a subject.
  • the imaging device 10 includes a pixel array section 11 , a vertical driving section 12 , a column signal processing section 13 and a control section 14 .
  • the pixel array section 11 is configured by arranging a plurality of pixels 100 .
  • a pixel array section 11 in the figure represents an example in which a plurality of pixels 100 are arranged in a two-dimensional matrix.
  • the pixel 100 includes a photoelectric conversion unit that photoelectrically converts incident light, and generates an image signal of a subject based on the irradiated incident light.
  • a photodiode for example, can be used for this photoelectric conversion unit.
  • Signal lines 15 and 16 are wired to each pixel 100 .
  • the pixels 100 are controlled by control signals transmitted through the signal lines 15 to generate image signals, and output the generated image signals through the signal lines 16 .
  • the signal line 15 is arranged for each row in a two-dimensional matrix and is commonly wired to the plurality of pixels 100 arranged in one row.
  • the signal line 16 is arranged for each column in a two-dimensional matrix and is commonly wired to the plurality of pixels 100 arranged in one column.
  • the vertical driving section 12 generates control signals for the pixels 100 described above.
  • a vertical drive unit 12 in the figure generates a control signal for each row of the two-dimensional matrix of the pixel array unit 11 and sequentially outputs the control signal via a signal line 15 .
  • the column signal processing unit 13 processes image signals generated by the pixels 100 .
  • a column signal processing unit 13 shown in the figure simultaneously processes image signals from a plurality of pixels 100 arranged in one row of the pixel array unit 11 and transmitted via a signal line 16 .
  • this processing for example, analog-to-digital conversion for converting analog image signals generated by the pixels 100 into digital image signals and correlated double sampling (CDS) for removing offset errors in image signals may be performed. can be done.
  • the processed image signal is output to a circuit or the like outside the imaging device 10 .
  • the control unit 14 controls the vertical driving unit 12 and the column signal processing unit 13.
  • a control unit 14 in the figure generates control signals for controlling the vertical driving unit 12 and the column signal processing unit 13 based on a clock input from an external circuit or the like and data instructing an operation mode.
  • the control section 14 outputs control signals through the signal lines 17 and 18 to control the vertical driving section 12 and the column signal processing section 13 .
  • FIG. 3 is a diagram illustrating a configuration example of a pixel according to the first embodiment of the present disclosure;
  • This figure is a plan view showing a configuration example of the pixel 100 .
  • the pixels 100 are arranged in the pixel array section 11 .
  • This figure shows an example in which pixels 100 are arranged in a two-dimensional matrix.
  • "R", "G", and "B" attached to the pixels 100 in FIG. 'R', 'G' and 'B' in the figure represent the arrangement of the color filters 150 corresponding to red light, green light and blue light, respectively.
  • the white rectangles in the figure represent the pixels 100 in which the color filters 150 corresponding to green light are arranged.
  • a rectangle hatched with oblique lines slanted downward to the right in FIG.
  • an on-chip lens 170 is arranged in the pixel 100 .
  • the on-chip lens 170 converges incident light onto the photoelectric conversion units (photoelectric conversion units 101 ) of the pixels 100 , and is arranged commonly to the plurality of pixels 100 .
  • the on-chip lens 170 in the figure represents an example in which the on-chip lens 170 is commonly arranged for four pixels 100 arranged in two rows and two columns.
  • the on-chip lens 170 shown in the figure is arranged in common for the four pixels 100 in which the color filters 150 of the same color are arranged.
  • the on-chip lens 170 and the plurality of pixels 100 sharing the on-chip lens 170 constitute a pixel block 200 .
  • a plurality of adjacent pixel blocks 200 constitute a pixel block unit 300 .
  • a pixel block unit 300 in the figure represents an example composed of four pixel blocks 200 arranged in two rows and two columns.
  • color filters 150 of the same color are arranged in the pixel blocks 200 included in the pixel block unit 300 .
  • This figure shows an example in which pixel block units 300 corresponding to red light, green light, and blue light are arranged in a Bayer arrangement. In this manner, the image sensor 10 has a plurality of pixel block units 300 arranged in a two-dimensional matrix.
  • the on-chip lens 170 in the figure represents an example of a circular configuration in plan view. Note that the on-chip lens 170 can also be configured to have a rectangular shape in plan view.
  • the first resolution mentioned above corresponds to the resolution according to the density of the plurality of pixels 100 in the figure.
  • This first resolution is the maximum resolution of the imaging device 10 .
  • the first resolution can be applied, for example, to capturing still images. So-called RAW data can be generated from the image signal to which the first resolution is applied.
  • the image signal adding unit 20 selects the first resolution, the image signal adding unit 20 outputs the image signal output from the imaging element 10 to the signal processing unit 30 and the like without performing addition. .
  • the second resolution mentioned above corresponds to the resolution according to the density of the pixel block 200 in the figure. As shown in the figure, this second resolution is a quarter of the first resolution.
  • the second resolution can be applied, for example, to imaging a moving image equivalent to 8K.
  • the imaging control unit 40 described above selects the second resolution
  • the image signal addition unit 20 adds the four image signals included in the pixel block 200, and outputs the image signal after the addition to the signal processing unit 30. etc.
  • the above-mentioned third resolution corresponds to the resolution according to the density of the pixel block unit 300 in the figure. As shown in the figure, the third resolution is 1/4 of the second resolution and 1/16 of the first resolution. The third resolution can be applied, for example, to shooting a moving image equivalent to 4K.
  • the image signal addition unit 20 selects the third resolution, performs addition of the 16 image signals included in the pixel block unit 300, and outputs the image signal after the addition to the signal processing unit. 30 and so on.
  • An operation mode in which an image signal is generated for each pixel 100 in the sensor including the image sensor 10 and the image signal adder 20 is referred to as a first mode.
  • An operation mode in which an image signal is generated for each pixel block 200 is called a second mode.
  • An operation mode in which an image signal is generated for each pixel block unit 300 is called a third mode.
  • the resolution can be changed by adding image signals.
  • Resolution change processing can be simplified.
  • FIG. 4 is a cross-sectional view showing a configuration example of a pixel according to an embodiment of the present disclosure.
  • This figure is a cross-sectional view showing a configuration example of the pixel 100 .
  • Pixels 100 in the figure are pixels 100 included in the pixel block 200 in which the on-chip lens 170 is commonly arranged.
  • the pixel 100 includes a semiconductor substrate 120 , an insulating film 130 , a wiring region 140 , an isolation portion 135 , a protective film 136 and a color filter 150 .
  • the semiconductor substrate 120 is a semiconductor substrate on which the diffusion layer of the semiconductor element of the pixel 100 is arranged.
  • the semiconductor substrate 120 can be made of silicon (Si), for example.
  • a semiconductor element or the like is arranged in a well region formed in the semiconductor substrate 120 .
  • the semiconductor substrate 120 in FIG. 1 shows the photoelectric conversion unit 101 as an example.
  • This photoelectric conversion unit 101 is configured by an n-type semiconductor region 121 .
  • the photoelectric conversion unit 101 corresponds to a photodiode composed of a pn junction at the interface between the n-type semiconductor region 121 and the surrounding p-type well region.
  • the insulating film 130 insulates the surface side of the semiconductor substrate 120 .
  • a silicon oxide (SiO 2 ) film for example, can be applied to the insulating film 130 .
  • the wiring region 140 is a region that is arranged on the surface side of the semiconductor substrate 120 and in which the wiring of the elements is formed.
  • This wiring region 140 includes a wiring 141 , a via plug 142 and an insulating layer 143 .
  • the wiring 141 is a conductor that transmits a signal to elements or the like on the semiconductor substrate 120 .
  • This wiring 141 can be made of, for example, a metal such as copper (Cu) or tungsten (W).
  • the via plugs 142 connect the wirings 141 arranged in different layers.
  • This via plug 142 can be made of, for example, a columnar metal.
  • the insulating layer 143 insulates the wiring 141 and the like.
  • This insulating layer 143 can be made of, for example, SiO 2 .
  • the isolation part 135 is arranged at the boundary of the pixels 100 on the semiconductor substrate 120 to electrically and optically isolate the pixels 100 .
  • the isolation part 135 can be composed of an insulator embedded in the semiconductor substrate 120 .
  • the separation portion 135 can be formed by, for example, placing an insulator such as SiO 2 in a groove penetrating the semiconductor substrate 120 formed at the boundary of the pixels 100 .
  • the protective film 136 is a film that protects the back side of the semiconductor substrate 120 .
  • This protective film 136 can be composed of an insulator such as SiO 2 .
  • the protective film 136 in the figure can be formed at the same time as the separating portion 135 .
  • the color filter 150 is an optical filter that transmits incident light of a predetermined wavelength out of incident light.
  • a color filter that transmits red light, green light and blue light can be used.
  • one color filter 150 corresponding to any one of red light, green light, and blue light is arranged in the pixel 100 .
  • the pixels 100 generate image signals of incident light of wavelengths corresponding to the color filters 150 .
  • the same kind of color filters 150 are arranged in the plurality of pixels 100 arranged in the pixel block 200 .
  • the color filter 150 shown in the figure is arranged on the back side of the semiconductor substrate 120 .
  • a light shielding film 159 is arranged in the area of the color filter 150 on the boundary of the pixel block 200 .
  • the light shielding film 159 shields incident light.
  • the light shielding film 159 it is possible to shield the incident light obliquely incident from the adjacent pixels 100 . Since the light-shielding film 159 shields incident light that has passed through different types of color filters 150 of the pixels 100 of the adjacent pixel blocks 200, it is possible to prevent color mixture and prevent deterioration of image quality.
  • the on-chip lens 170 is a lens that is commonly arranged for the plurality of pixels 100 forming the pixel block 200 as described above.
  • the on-chip lens 170 in FIG. 1 is configured to have a hemispherical cross section and converges incident light onto the photoelectric conversion unit 101 .
  • the on-chip lens 170 can be made of an organic material such as acrylic resin or an inorganic material such as silicon nitride (SiN).
  • FIG. 5 is a diagram illustrating a configuration example of a signal processing unit according to the first embodiment of the present disclosure; This figure is a block diagram showing a configuration example of the signal processing unit 30. As shown in FIG. A signal processing unit 30 shown in FIG.
  • the sensitivity correction unit 31 corrects the sensitivity difference of the pixels 100 .
  • the sensitivity difference of the pixel 100 is generated according to the incident angle of incident light.
  • the sensitivity corrector 31 corrects such a sensitivity difference.
  • the corrected image signal is output to the pixel defect correction section 32 .
  • the pixel defect correction unit 32 corrects image signals from defective pixels 100 .
  • the corrected image signal is output to the re-mosaic processing unit 33 .
  • the re-mosaic processing unit 33 performs re-mosaic processing on image signals.
  • This re-mosaic processing is a process of converting into an image signal corresponding to an arrangement of a plurality of color filters in a different order from the arrangement of the pixels 100 of the pixel array section 11 .
  • the image signal after re-mosaic processing is output to an external device. Remosaic processing will be described using FIGS. 6A to 6C.
  • FIGS. 6A-6C are diagrams illustrating an example of remosaic processing according to embodiments of the present disclosure.
  • the figure shows the wavelength of incident light to which the image signal for each pixel 100 corresponds.
  • a rectangle hatched with dots in the figure represents an area of an image signal corresponding to green light.
  • a rectangle hatched with horizontal lines represents the region of the image signal corresponding to red light.
  • a rectangle hatched with vertical lines represents the area of the image signal corresponding to blue light.
  • FIG. 6A shows an example of remosaic processing at the first resolution.
  • This figure shows an example in which re-mosaic processing is performed so that four pixels 100 form a Bayer array for each pixel block 200 .
  • the pixel block 200 on the upper left of the figure will be described as an example. It is assumed that the pixels 100 of this pixel block 200 are arranged with color filters 150 corresponding to green light, like the pixel block 200 on the upper left in FIG. In this case, the re-mosaic process generates an image signal corresponding to red light and an image signal corresponding to blue light to replace the image signals corresponding to green light in the upper right and lower left of pixel block 200, respectively.
  • FIG. 6B shows an example of remosaic processing at the second resolution. This figure shows an example in which remosaic processing is performed so that four pixel blocks 200 form a Bayer array for each pixel block unit 300 . Pixels 100 of image signals corresponding to wavelengths different from those of the color filters 150 in the array of FIG. 3 are replaced by generating image signals corresponding to the wavelengths.
  • FIG. 6C shows an example of remosaic processing at the third resolution.
  • This figure shows an example of performing remosaic processing so as to form a Bayer array for each of four pixel block units 300 .
  • Pixels 100 of image signals corresponding to wavelengths different from those of the color filters 150 in the array of FIG. 3 are replaced by generating image signals corresponding to the wavelengths. Note that a known method can be applied to generate an image signal associated with remosaic processing.
  • [Image example] 7A and 7B are diagrams showing examples of images generated by the imaging device according to the embodiment of the present disclosure. This figure shows an example of changing the resolution and configuration of an image for each scene captured by the imaging device 1 .
  • FIG. 7A shows an example of capturing a moving image following an object specified from among a plurality of subjects and changing the resolution.
  • An image 400 on the left side of the figure represents an image of the subject at the start of imaging.
  • the target area detection unit 50 searches for the target object and detects the target area.
  • a dashed rectangle represents the detected region of interest 401 .
  • the target area detection unit 50 continuously detects the target area 401 according to the movement of the target object, and outputs the detected target area 401 to the imaging control unit 40 .
  • the imaging control unit 40 can change the resolution according to the size of the target area 401, as in the image 400 on the right side of the figure.
  • the imaging control unit 40 can use the first resolution as an initial value and select the second resolution when the size of the target region 401 is equal to or smaller than a predetermined threshold (first size). Furthermore, the imaging control unit 40 can select the third resolution when the size of the target area 401 is equal to or less than a predetermined threshold (second size).
  • FIG. 7B shows an example in which a moving image is captured and an image of a target area set to a different resolution is superimposed on the generated image.
  • An image 400 in the figure is generated, for example, at the third resolution.
  • the imaging control unit 40 performs control to generate an image in which an image 402 enlarged by applying the first resolution to the target region 401 is superimposed. conduct.
  • the imaging control unit 40 generates an image based on the image signal of the first resolution output from the imaging device 10 and an image based on the image signal of the third resolution generated by the image signal adding unit 20.
  • the target area detection unit 50 detects the target area 401 in the image of the first resolution. By combining these images, an image containing regions of different resolutions can be generated.
  • the first resolution can be applied only to the target area 401 as shown in FIG. As a result, it is possible to image the object with high image quality and reduce the amount of data for the entire image.
  • FIG. 8 is a diagram illustrating an example of imaging processing according to the first embodiment of the present disclosure. This figure is a flow chart showing an example of imaging processing in the imaging apparatus 1 .
  • the imaging control unit 40 selects the first resolution (step S100).
  • the target area detection unit 50 selects a subject based on the subject data in the storage unit 60 (step S101).
  • the target area detection unit 50 detects the target area based on the selected subject (step S102).
  • the imaging control unit 40 controls the imaging element 10 to start imaging (step S103).
  • the target area detection unit 50 tracks the subject (step S104). This can be done by having the target area detection unit 50 continuously detect the target area according to the movement of the subject.
  • the imaging control unit 40 determines whether the size of the target area is equal to or smaller than a predetermined first size (step S105). If the size of the target area is equal to or smaller than the first size (step S105, Yes), the imaging control unit 40 selects the second resolution (step S106), and proceeds to the process of step S107. On the other hand, if the size of the target area is larger than the first size (step S105, No), the imaging control unit 40 proceeds to the process of step S107.
  • step S107 the imaging control unit 40 determines whether or not the size of the target area is equal to or smaller than a predetermined second size (step S107). If the size of the target area is equal to or smaller than the second size (step S107, Yes), the imaging control unit 40 selects the third resolution (step S108), and proceeds to the process of step S109. On the other hand, if the size of the target area is larger than the second size (step S107, No), the imaging control unit 40 proceeds to the process of step S109.
  • step S109 the imaging control unit 40 determines whether or not to stop imaging (step S109). This can be determined, for example, based on the user's operation of the imaging apparatus 1 to stop imaging. If the imaging is not stopped (step S109, No), the process proceeds to step S104. In the case of stopping imaging (step S109, Yes), the imaging control unit 40 controls the imaging device 10 to stop imaging (step S110), and ends the imaging process.
  • the imaging process in the imaging apparatus 1 can be performed by the above procedure.
  • the method of selecting the resolution by the imaging control unit 40 is not limited to this example, and other embodiments may be applied.
  • the imaging control unit 40 can select the resolution according to the image quality of the generated image. Specifically, the imaging control unit 40 can select a lower resolution when detecting degradation of image quality such as crushed highlights.
  • the imaging control unit 40 can select the resolution according to the luminance. Specifically, the imaging control unit 40 can select a low resolution when imaging in a low illuminance environment. Thereby, the image signal is added by the image signal adder 20, and the signal level of the image signal can be increased.
  • the imaging control unit 40 can also select the resolution according to the generation rate (frame rate) when capturing a moving image.
  • the imaging control unit 40 can select a low resolution when the frame rate is high.
  • the first resolution, the second resolution, and the third resolution can be applied to different values of the first frame rate, the second frame rate, and the third frame rate, respectively.
  • This first frame rate may be approximately one quarter of the value of the second frame rate.
  • the third frame rate can be set to approximately 1/4 the value of the second frame rate.
  • frame rates of 7.5 fps, 30 fps and 120 fps for example, can be applied as the first frame rate, the second frame rate and the third frame rate. This makes it possible to reduce an increase in the data amount of moving images.
  • the imaging device 1 includes the imaging device 10 in which the plurality of pixel block units 300 are arranged, and generates an image signal having a resolution selected by the imaging control unit 40. can be done. As a result, imaging can be performed at a resolution suitable for the subject, and convenience can be improved.
  • the imaging apparatus 1 of the first embodiment described above captures an image of the target area detected by the target area detection unit 50 .
  • the imaging device 1 of the second embodiment of the present disclosure differs from the above-described first embodiment in that another sensor is used to recognize an object.
  • FIG. 9 is a diagram illustrating a configuration example of an imaging device according to the second embodiment of the present disclosure. This figure, like FIG. 1, is a block diagram showing a configuration example of the imaging device 1. As shown in FIG. The image pickup apparatus 1 shown in FIG. 1 is different from the image pickup apparatus 1 shown in FIG.
  • the distance measuring unit 80 measures the distance to the object.
  • a ToF (Time of Flight) sensor for example, can be used for this distance measuring unit 80 .
  • This ToF sensor irradiates a subject with light from a light source (not shown), detects the reflected light reflected from the subject, and measures the flight time of the light, thereby measuring the distance to the subject.
  • the distance measuring unit 80 is an example of the sensor described in the claims.
  • the imaging control unit 40 in the same figure reads subject data from the storage unit 60 and outputs it to the distance measuring unit 80 .
  • the distance measuring unit 80 recognizes the subject based on this subject data and measures the distance. After that, the distance measurement section 80 outputs the measured distance to the imaging control section 40 .
  • the imaging control unit 40 can select the resolution according to the distance to the subject. For example, the imaging control unit 40 can use the first resolution as an initial value and select the second resolution when the distance to the subject is equal to or less than a predetermined threshold (first distance). Furthermore, the imaging control unit 40 can select the third resolution when the distance to the subject is equal to or less than a predetermined threshold (second distance).
  • FIG. 10 is a diagram illustrating an example of imaging processing according to the second embodiment of the present disclosure. This figure is a flow chart showing an example of imaging processing in the imaging apparatus 1 .
  • the imaging control unit 40 selects the first resolution (step S150).
  • the target area detection unit 50 selects a subject based on the subject data in the storage unit 60 (step S151).
  • the selected object data is output to the distance measuring section 80 .
  • the imaging control unit 40 controls the imaging device 10 to start imaging (step S153).
  • the distance measuring unit 80 measures the distance to the subject (step S154).
  • the imaging control unit 40 determines whether or not the distance to the subject is equal to or less than a predetermined first distance (step S155). If the distance to the subject is equal to or less than the first distance (step S155, Yes), the imaging control unit 40 selects the second resolution (step S156), and proceeds to the process of step S157. On the other hand, if the distance to the subject is greater than the first distance (step S155, No), the process proceeds to step S157.
  • step S157 the imaging control unit 40 determines whether or not the distance to the subject is equal to or less than a predetermined second distance (step S157). If the distance to the subject is equal to or less than the second distance (step S157, Yes), the imaging control unit 40 selects the third resolution (step S158), and proceeds to the process of step S159. On the other hand, if the distance to the subject is greater than the second distance (step S157, No), the process proceeds to step S159.
  • step S159 the imaging control unit 40 determines whether or not to stop imaging (step S159). This can be determined, for example, based on the user's operation of the imaging apparatus 1 to stop imaging. If the imaging is not stopped (step S159, No), the process proceeds to step S154. In the case of stopping imaging (step S159, Yes), the imaging control unit 40 controls the imaging element 10 to stop imaging (step S160), and ends the imaging process.
  • the imaging process in the imaging apparatus 1 can be performed by the above procedure.
  • the configuration of the imaging device 1 other than this is the same as the configuration of the imaging device 1 according to the first embodiment of the present disclosure, description thereof will be omitted.
  • the imaging device 1 detects the distance to the subject by the distance measurement unit 80. Thereby, the resolution can be selected according to the distance of the subject.
  • the imaging apparatus 1 of the first embodiment described above generates an image signal of the subject.
  • the imaging device 1 of the third embodiment of the present disclosure differs from the above-described first embodiment in that the focal position of the subject is further detected.
  • FIG. 11 is a diagram illustrating a configuration example of an imaging device according to the third embodiment of the present disclosure.
  • This figure like FIG. 1, is a block diagram showing a configuration example of the imaging device 1.
  • the image pickup apparatus 1 shown in FIG. 1 is different from the image pickup apparatus 1 shown in FIG. 1 in that it further includes a focus position detection section 90 and the signal processing section 30 outputs a phase difference signal.
  • a signal processing unit 30 in the figure outputs a phase difference signal in addition to the image signal.
  • This phase difference signal is a signal for detecting the focal position of the photographing lens 70 .
  • Autofocus can be performed by adjusting the position of the taking lens 70 based on the focal position detected by this phase difference signal.
  • the pixels 100 of the imaging device 10 can be used as phase difference pixels that generate phase difference signals.
  • the four pixels 100 forming the pixel block 200 receive light from a subject that is collected by a common on-chip lens 170 . Therefore, the four pixels 100 arranged in the pixel block 200 can pupil-divide the subject.
  • Light transmitted through the left side of the imaging lens 70 enters the right pixel 100 of the four pixels 100 , and light transmitted through the right side of the imaging lens 70 enters the left pixel 100 .
  • the focus position can be detected.
  • the focus position can be detected.
  • the four pixels 100 arranged in the pixel block 200 can pupil-divide the object in the horizontal direction and the vertical direction.
  • the imaging device 10 can detect the focal position from two directions, the horizontal direction and the vertical direction. Further, the imaging device 10 can use all the pixels 100 as phase difference pixels. Therefore, the imaging device 1 including the imaging element 10 can improve the detection accuracy of the focal position.
  • the signal processing section 30 in the figure generates this phase difference signal and outputs it to the focus position detection section 90 .
  • the focus position detection section 90 detects the focus position based on the phase difference signal from the signal processing section 30 . Further, the focal position detection section 90 adjusts the position of the photographing lens 70 based on the detected focal position.
  • FIG. 12 is a diagram illustrating a configuration example of a signal processing unit according to the third embodiment of the present disclosure; This figure, like FIG. 5, is a block diagram showing a configuration example of the signal processing unit 30. As shown in FIG. The signal processing unit 30 in FIG. 5 is different from the signal processing unit 30 in FIG. 5 in that it further includes a luminance signal generation unit 34 .
  • the luminance signal generator 34 generates a luminance signal from the color image signal output from the sensitivity corrector 31 .
  • the generated luminance signal is output to the focus position detection section 90 as a phase difference signal.
  • FIG. 13 is a diagram illustrating a configuration example of a phase difference pixel according to the third embodiment of the present disclosure; This figure is a diagram showing an arrangement example of phase difference pixels when the first resolution is applied.
  • "TL”, “TR”, “BL” and “BR” represent upper left, upper right, lower left and lower right phase difference pixels, respectively.
  • Pupil division can be performed in the left and right direction of the figure by phase difference pixels of “TL” and “TR” and “BL” and “BR”.
  • pupil division can be performed in the up-down direction in the figure by phase difference pixels of “TL” and “BL” and “TR” and “BR”.
  • FIGS. 14A and 14B are diagrams showing configuration examples of phase difference pixels according to the third embodiment of the present disclosure.
  • This figure is a diagram showing an arrangement example of phase difference pixels when the second resolution is applied. Further, this figure is a diagram showing an example in which the pixels 100 of the pixel block 200 corresponding to green light are used as phase difference pixels.
  • the image signals of two adjacent pixels 100 of the pixel block 200 are added, and the image signal after addition is used as a phase difference signal (second phase difference signal). can do.
  • the dashed rectangles in the figure represent pairs of pixels 100 to which image signals are added. Note that the addition of image signals can be performed by the image signal addition unit 20 .
  • T, “B”, “L” and “R” in the figure represent upper, lower, left and right phase difference pixels, respectively.
  • the 100 pairs of pixels “T” in FIG. 14A and “B” in FIG. 14B can perform pupil division in the vertical direction of the figure.
  • the 100 pairs of pixels of "L” in FIG. 14A and “R” in FIG. 14B can perform pupil division in the horizontal direction of the figure.
  • FIG. 15 is a diagram showing a configuration example of a phase difference pixel according to the third embodiment of the present disclosure.
  • This figure is a diagram showing an arrangement example of phase difference pixels when the third resolution is applied.
  • This figure is a diagram showing an example in which the pixels 100 of the pixel block 200 corresponding to green light are used as phase difference pixels.
  • image signals of eight pixels 100 of two adjacent pixel blocks 200 are added, and the image signal after addition can be used as a phase difference signal.
  • the dashed rectangles in the figure represent a plurality of pixels 100 to which the image signals are added. Note that the addition of image signals can be performed by the image signal addition unit 20 .
  • "T" and "L” in the figure represent phase difference pixels as in FIGS. 14A and 14B. Note that the description of the “B” and “R” phase difference pixels is omitted.
  • the image sensor 10 can generate phase difference signals in all the pixels 100 arranged in the pixel array section 11 .
  • FIG. 16A and 16B are diagrams showing configuration examples of conventional imaging devices.
  • FIG. 1 is a diagram showing an arrangement example of pixels in a pixel array section of an imaging device that is a comparative example of the technique of the present disclosure.
  • FIG. 16A is a diagram showing an example of a pixel array section configured by arranging rectangular pixels 500.
  • FIG. An on-chip lens 570 is arranged commonly to two pixels 500 . These two pixels 500 constitute a phase difference pixel.
  • phase difference signals can be generated in all the pixels.
  • the pupil can be divided only in one direction (horizontal direction in the figure).
  • FIG. 16B is a diagram showing an example of a pixel array section configured by arranging pixels 501 having on-chip lenses 571.
  • FIG. 16B In the pixel array portion of the figure, two pixels 502 having an on-chip lens 571 arranged in common constitute a phase difference pixel.
  • the phase difference pixels are dispersedly arranged in a part of the area.
  • the pupil can be divided only in one direction (horizontal direction in the figure).
  • the image sensor of the comparative example supports pupil division in only one direction, it is not possible to detect the phase difference of a subject image having contrast in a direction different from the pupil division direction, and the phase difference detection accuracy is decreases.
  • the number of phase difference pixels is limited in the imaging device having the pixel array portion of FIG. 16B, it becomes difficult to detect the phase difference in high-resolution imaging.
  • the imaging element 10 of the present disclosure generates phase difference signals in all the pixels 100 arranged in the pixel array unit 11, and divides the pupil in two directions of left and right and up and down to generate phase difference signals. can be generated. Thereby, the phase difference detection accuracy can be improved.
  • the configuration of the imaging device 1 other than this is the same as the configuration of the imaging device 1 according to the first embodiment of the present disclosure, description thereof will be omitted.
  • the imaging device 1 generates a phase signal based on the image signal added according to the resolution of the target area, and detects the focal position.
  • autofocus can be performed on the subject in the target area imaged at the selected resolution. Convenience can be further improved.
  • the imaging apparatus 1 of the first embodiment described above selects a resolution according to the target area detected by the target area detection unit 50 .
  • the imaging device 1 of the fourth embodiment of the present disclosure differs from the above-described first embodiment in that the resolution selected by the user of the imaging device 1 is applied.
  • FIG. 17 is a diagram illustrating a configuration example of an imaging device according to the fourth embodiment of the present disclosure; This figure, like FIG. 1, is a block diagram showing a configuration example of the imaging device 1. As shown in FIG. The imaging apparatus 1 in FIG. 1 is different from the imaging apparatus 1 in FIG. 1 in that the target area detection unit 50 and the storage unit 60 are omitted.
  • the user of the imaging device 1 inputs the resolution to the imaging control unit 40 in the figure.
  • the imaging control unit 40 shown in the figure outputs the input resolution to the image signal adding unit 20 as the selected resolution.
  • the configuration of the imaging device 1 other than this is the same as the configuration of the imaging device 1 according to the first embodiment of the present disclosure, description thereof will be omitted.
  • the imaging device 1 can perform imaging at the resolution selected by the user of the imaging device 1.
  • FIG. 18 is a diagram illustrating a configuration example of an imaging device according to the fifth embodiment of the present disclosure; This figure, like FIG. 1, is a block diagram showing a configuration example of the imaging device 1. As shown in FIG. The image pickup apparatus 1 in FIG. 1 is different from the image pickup apparatus 1 in FIG. 1 in that the target area detection section 50 is omitted and an illuminance sensor 89 is provided. Note that, in FIG. 1, the imaging control unit 40 and the storage unit 60 constitute an imaging control device.
  • the illuminance sensor 89 detects illuminance.
  • the illuminance sensor 89 outputs the detected illuminance data to the imaging control section 40 .
  • the imaging control unit 40 in the figure selects the resolution according to the illuminance input from the illuminance sensor 89 .
  • the imaging control unit 40 can select the resolution based on, for example, a threshold value of illuminance.
  • the imaging control unit 40 sets the first illuminance and the second illuminance as thresholds.
  • the second illuminance is a threshold lower than the first illuminance.
  • the imaging control unit 40 performs the second illuminance, respectively.
  • One resolution, a second resolution and a third resolution can be selected.
  • the imaging control section 40 outputs the illuminance to the storage section 60 . Then, the storage unit 60 outputs the resolution according to the illuminance to the imaging control unit 40 . The imaging control unit 40 can select the output resolution.
  • the storage unit 60 in the figure holds the information on the correspondence relationship between the above-mentioned illuminance threshold and resolution.
  • the storage unit 60 can hold, for example, information on the correspondence relationship between the illuminance threshold and the resolution in the form of a table (LUT: Look-up Table) for referring to the relationship between the illuminance threshold and the resolution.
  • LUT Look-up Table
  • the image signal addition unit 20 adds four image signals, so the level of the image signal can be made higher than in the first resolution. Further, in the third resolution, the image signal adder 20 adds 16 image signals, so that the level of the image signal can be further increased.
  • FIG. 19 is a diagram illustrating an example of a processing procedure of imaging processing according to the fifth embodiment of the present disclosure.
  • This figure is a flow chart showing an example of the processing procedure of the imaging process in the imaging apparatus 1 .
  • the illuminance sensor 89 measures illuminance (step S180).
  • the imaging control unit 40 determines whether the illuminance of the measurement result is greater than or equal to the first illuminance (step S182). As a result, if the illuminance is equal to or higher than the first illuminance (step S182, Yes), the imaging control unit 40 selects the first resolution (step S183), and proceeds to the process of step S187.
  • the imaging control unit 40 determines whether the illuminance is equal to or higher than the second illuminance (step S184). As a result, if the illuminance is equal to or higher than the second illuminance (step S184, Yes), the imaging control unit 40 selects the second resolution (step S185), and proceeds to the process of step S187. On the other hand, if the illuminance is not equal to or higher than the second illuminance (step S184, No), the imaging control unit 40 selects the third resolution (step S186), and proceeds to the process of step S187.
  • step S187 the imaging control unit 40 outputs a control signal to the imaging element 10 to perform imaging (step S187).
  • the imaging process can be performed by the above process.
  • the configuration of the imaging device 1 other than this is the same as the configuration of the imaging device 1 according to the first embodiment of the present disclosure, description thereof will be omitted.
  • the imaging device 1 of the fifth embodiment of the present disclosure selects the resolution according to the illuminance and performs imaging. As a result, it is possible to perform imaging with improved sensitivity even in a low-illuminance environment.
  • FIG. 20 is a diagram illustrating a configuration example of an imaging device according to the sixth embodiment of the present disclosure. This figure is a block diagram showing a configuration example of the imaging device 1, like FIG.
  • the imaging apparatus 1 in FIG. 18 differs from the imaging apparatus 1 in FIG. 18 in that it includes an exposure control section 88 instead of the illuminance sensor 89 and storage section 60 .
  • the exposure control unit 88 controls exposure.
  • the exposure control unit 88 controls exposure by detecting exposure (hereinafter referred to as an EV value) corresponding to the set gain and shutter speed and outputting it to the imaging control unit 40 .
  • the imaging control unit 40 in the same figure selects the resolution according to the EV value input from the exposure control unit 88. At this time, the imaging control unit 40 can select the resolution based on, for example, the threshold of the EV value. Specifically, the imaging control unit 40 sets the first EV value and the second EV value as threshold values. Here, the second EV value is a threshold lower than the first EV value. Then, when the EV value detected by the exposure control unit 88 is greater than or equal to the first EV value, less than the first EV value and greater than or equal to the second EV value, and less than the second EV value , a first resolution, a second resolution and a third resolution can be selected respectively.
  • FIG. 21 is a diagram illustrating an example of a processing procedure of imaging processing according to the sixth embodiment of the present disclosure. This figure is a flow chart showing an example of the processing procedure of the imaging process in the imaging apparatus 1 .
  • the imaging control unit 40 determines the gain and shutter speed based on the level of the image signal (step S190).
  • the exposure controller 88 detects the EV value based on the determined gain and shutter speed (step S191).
  • the imaging control unit 40 determines whether the detected EV value is greater than or equal to the first EV value (step S192). As a result, if the detected EV value is greater than or equal to the first EV value (step S192, Yes), the imaging control unit 40 selects the first resolution (step S193), and proceeds to the process of step S197. .
  • the imaging control unit 40 determines whether the EV value is equal to or greater than the second EV value (step S194). As a result, if the EV value is greater than or equal to the second EV value (step S194, Yes), the imaging control unit 40 selects the second resolution (step S195), and proceeds to the process of step S197. On the other hand, if the EV value is not equal to or greater than the second EV value (step S194, No), the imaging control unit 40 selects the third resolution (step S196), and proceeds to the process of step S197.
  • step S197 the imaging control unit 40 outputs a control signal to the imaging element 10 to perform imaging (step S197).
  • the imaging process can be performed by the above process.
  • the configuration of the imaging device 1 other than this is the same as the configuration of the imaging device 1 according to the fifth embodiment of the present disclosure, so the description is omitted.
  • the imaging device 1 of the sixth embodiment of the present disclosure selects resolution according to the EV value and performs imaging. As a result, it is possible to perform imaging according to the exposure.
  • the imaging control unit 40 selects the resolution corresponding to the target area detected by the target area detection unit 50 .
  • the imaging apparatus 1 of the seventh embodiment of the present disclosure differs from the above-described first embodiment in that multiple target areas are detected.
  • the imaging device 1 of the seventh embodiment of the present disclosure can adopt the same configuration as the imaging device 1 of FIG. Also, the target area detection unit 50 of the seventh embodiment of the present disclosure can detect a plurality of target areas. Also, the imaging control unit 40 of the seventh embodiment of the present disclosure can select the resolution for each detected target area.
  • FIG. 22 is a diagram illustrating an example of an image generated by an imaging device according to the seventh embodiment of the present disclosure; Similar to FIG. 7B, this figure shows an example in which an image of a target region set to a different resolution is superimposed on a generated image.
  • An image 410 in FIG. 4 is generated, for example, at the second resolution.
  • This image 410 represents an example of photographing a person from inside a building with the scenery outside as a background. Since the image is backlit, the image of the person is dark.
  • target regions 411 and 413 are detected by the target region detection unit 50 and output to the imaging control unit 40 .
  • the imaging control unit 40 can generate an image 412 that is enlarged by applying the first resolution to the target area 411 and an image 414 that is increased in luminance by applying the third resolution to the target area 413 .
  • the configuration of the imaging device 1 other than this is the same as the configuration of the imaging device 1 according to the first embodiment of the present disclosure, description thereof will be omitted.
  • the imaging device 1 of the seventh embodiment of the present disclosure selects the resolution for each of multiple target areas. Thereby, convenience can be improved.
  • FIG. 23 is a diagram illustrating a configuration example of pixels according to the first modification of the embodiment of the present disclosure.
  • This figure like FIG. 3, is a plan view showing a configuration example of the pixel 100 arranged in the pixel array section 11.
  • the pixels 100 in FIG. 3 are different from the pixels 100 in FIG. 3 in that they each include an on-chip lens 170 except for the pixels 100 forming the phase difference pixels.
  • a pixel 100 having a common on-chip lens 170 forming a phase difference pixel is arranged on one side of the pixel block unit 300 corresponding to green light arranged in a Bayer array.
  • the pixels 100 forming the phase difference pixels are arranged in one pixel block 200 of the four pixel blocks 200 forming the pixel block unit 300 .
  • FIG. 24 is a diagram showing a configuration example of pixels according to the second modification of the embodiment of the present disclosure.
  • This figure like FIG. 3, is a plan view showing a configuration example of the pixel 100 arranged in the pixel array section 11.
  • a pixel block 200 in FIG. 3 is different from the pixel block 200 in FIG. 3 in that it is composed of pixels 100 forming phase difference pixels.
  • the pixel array section 11 of FIGS. 23 and 24 can also generate image signals corresponding to the first resolution, the second resolution, and the third resolution in the same manner as the pixel array section 11 of FIG. .
  • FIG. 1 The figure is a diagram showing an example of a circuit configuration of a pixel block according to an embodiment of the present disclosure.
  • This figure is a diagram showing an example of a circuit configuration in which an image signal generator 110 is arranged for every two pixel blocks 200 .
  • a pixel block 200a in the figure includes photoelectric conversion units 101a, 101b, 101c, 101d, 101e, 101f, 101g and 101h, and charge transfer units 102a, 102b, 102c, 102d, 102e, 102f, 102g and 102h.
  • the pixel block 200 a further includes a charge holding portion 103 , a resetting portion 104 , an image signal generating portion 110 , an auxiliary charge holding portion 108 , a combining portion 107 and an image signal generating portion 110 .
  • the image signal generation unit 110 includes an amplification transistor 111 and a selection transistor 112 .
  • the photoelectric conversion unit 101a and the charge transfer unit 102a and the photoelectric conversion unit 101b and the charge transfer unit 102b configure the pixel 100a and the pixel 100b (not shown), respectively.
  • the photoelectric conversion unit 101c and the charge transfer unit 102c, and the photoelectric conversion unit 101d and the charge transfer unit 102d configure a pixel 100c and a pixel 100d (not shown), respectively.
  • These pixels 100a-100d constitute a pixel block.
  • the photoelectric conversion unit 101e and the charge transfer unit 102e, and the photoelectric conversion unit 101f and the charge transfer unit 102f constitute a pixel 100e and a pixel 100f (not shown), respectively.
  • the photoelectric conversion unit 101g and the charge transfer unit 102g, and the photoelectric conversion unit 101h and the charge transfer unit 102h configure a pixel 100g and a pixel 100h (not shown), respectively.
  • These pixels 100e to 100h constitute a pixel block.
  • the charge transfer units 102a to 102h, the reset unit 104, the amplification transistor 111 and the selection transistor 112, and the coupling unit 107 can be configured by n-channel MOS transistors.
  • the signal lines 15 and 16 described in FIG. 2 are wired to the pixel block 200a.
  • the signal lines 15 in the figure include a signal line TG1, a signal line TG2, a signal line TG3, a signal line TG4, a signal line TG5, a signal line TG6, a signal line TG7, a signal line TG8, a signal line FDG, a signal line RST, and a signal line.
  • Line SEL is included.
  • the signal line 16 also includes a signal line VSL.
  • a signal line 19 is further arranged in the pixel block 200a.
  • the signal line 19 is a signal line that connects the pixel block 200a and other pixel blocks 200 (pixel blocks 200b, 200c and 200d, which will be described later).
  • a power line Vdd is wired to the pixel block 200a.
  • the power line Vdd is a wiring for supplying power to the pixel block 200a.
  • the anode of the photoelectric conversion unit 101a is grounded, and the cathode is connected to the source of the charge transfer unit 102a.
  • the photoelectric conversion unit 101b has an anode grounded and a cathode connected to the source of the charge transfer unit 102b.
  • the photoelectric conversion unit 101c has an anode grounded and a cathode connected to the source of the charge transfer unit 102c.
  • the photoelectric conversion unit 101d has an anode grounded and a cathode connected to the source of the charge transfer unit 102d.
  • the photoelectric conversion unit 101e has an anode grounded and a cathode connected to the source of the charge transfer unit 102e.
  • the photoelectric conversion unit 101f has an anode grounded and a cathode connected to the source of the charge transfer unit 102f.
  • the photoelectric conversion section 101g has an anode grounded and a cathode connected to the source of the charge transfer section 102g.
  • the photoelectric conversion unit 101h has an anode grounded and a cathode connected to the source of the charge transfer unit 102h.
  • the drains of the charge transfer portions 102 a , 102 b , 102 c , 102 d , 102 e , 102 f , 102 g , and 102 h of the charge transfer portions are connected to the charge holding portion 103 . Commonly connected to one end. Further, the gate of the amplification transistor 111 , the source of the reset section 104 and the drain of the coupling section 107 are further connected to one end of the charge holding section 103 . Another end of the charge holding unit 103 is grounded. The drain of the reset unit 104 and the drain of the amplification transistor 111 are connected to the power supply line Vdd. The source of the amplification transistor 111 is connected to the drain of the selection transistor 112, and the source of the selection transistor 112 is connected to the signal line VSL.
  • the gate of the charge transfer section 102a is connected to the signal line TG1.
  • a gate of the charge transfer unit 102b is connected to the signal line TG2.
  • a gate of the charge transfer unit 102c is connected to the signal line TG3.
  • a gate of the charge transfer unit 102d is connected to the signal line TG4.
  • a gate of the charge transfer unit 102e is connected to the signal line TG5.
  • a gate of the charge transfer unit 102f is connected to the signal line TG6.
  • a gate of the charge transfer section 102g is connected to the signal line TG7.
  • a gate of the charge transfer section 102h is connected to the signal line TG8.
  • a gate of the reset unit 104 is connected to the signal line RST.
  • a gate of the coupling unit 107 is connected to the signal line FDG.
  • One end of the auxiliary charge holding portion 108 is grounded, and the other end is connected to the source of the coupling portion 107 and the signal line 19 .
  • the photoelectric conversion unit 101a and the like perform photoelectric conversion of incident light.
  • the photoelectric conversion units 101a and the like can be configured by photodiodes.
  • the charge holding unit 103 holds charges generated by photoelectric conversion of the photoelectric conversion unit 101a and the like.
  • the charge holding portion 103 can be configured by a semiconductor region formed on a semiconductor substrate.
  • the charge transfer unit 102 a and the like transfer the charge of the photoelectric conversion unit 101 a and the like to the charge holding unit 103 .
  • a control signal for the charge transfer unit 102a and the like is transmitted through the signal line TG1 and the like.
  • the reset unit 104 resets the charge holding unit 103 . This reset can be performed by discharging the charge in the charge holding portion 103 by electrically connecting the charge holding portion 103 and the power supply line Vdd. A control signal for the reset unit 104 is transmitted through a signal line RST.
  • the amplification transistor 111 amplifies the voltage of the charge holding section 103 .
  • a gate of the amplification transistor 111 is connected to the charge holding unit 103 . Therefore, at the source of the amplifying transistor 111, an image signal having a voltage corresponding to the charge held in the charge holding portion 103 is generated. By turning on the select transistor 112, the image signal can be output to the signal line VSL.
  • a control signal for the select transistor 112 is transmitted by a signal line SEL.
  • the auxiliary charge holding section 108 is a capacitor coupled to the charge holding section 103 .
  • the charge holding capacity of the pixel block 200a can be adjusted. Specifically, coupling the auxiliary charge holding portion 108 to the charge holding portion 103 increases the charge holding capacity of the pixel block 200a. This can reduce the sensitivity of the pixel block 200a.
  • the charge storage capacity of the pixel block 200a becomes relatively high, but charge saturation is likely to occur.
  • the operation mode in which the auxiliary charge storage unit 108 is not coupled to the charge storage unit 103 and the operation mode in which the auxiliary charge storage unit 108 is coupled to the charge storage unit 103 are referred to as a high sensitivity mode and a low sensitivity mode, respectively.
  • a coupling portion 107 couples the auxiliary charge holding portion 108 to the charge holding portion 103 .
  • the coupling portion 107 is composed of a MOS transistor, and can couple the auxiliary charge holding portion 108 to the charge holding portion 103 by conducting between the charge holding portion 103 and the auxiliary charge holding portion 108 .
  • the pixel block 200a in FIG. 1 and the pixel block 200b, pixel block 200c, and pixel block 200d, which will be described later, are connected to each other by signal lines 19 at the auxiliary charge holding portions 108 thereof.
  • the charge transfer section 102, the reset section 104, the selection transistor 112 and the coupling section 107 can be configured with n-channel MOS transistors.
  • the drain-source can be made conductive by applying a voltage exceeding the threshold of the gate-source voltage Vgs to the gate.
  • a voltage exceeding the threshold of the gate-source voltage Vgs is hereinafter referred to as an on-voltage.
  • a voltage that makes a MOS transistor non-conductive is called an off voltage.
  • a control signal including this on-voltage and off-voltage is transmitted by the signal line TG1 or the like.
  • the photoelectric conversion unit 101 can also be reset by making the charge transfer unit 102 conductive.
  • the auxiliary charge holding unit 108 can be reset by making the coupling unit 107 conductive. This resetting of the auxiliary charge holding unit 108 is performed during the self-pixel block charge holding period, which is the period during which the charge is held in the charge holding unit 103 of the pixel block 200, and when the charge is not held in the charge holding unit 103 of any pixel block 200. It can be performed during the charge non-holding period.
  • FIG. 26 is a diagram illustrating a configuration example of a pixel block according to an embodiment of the present disclosure; This figure is a diagram showing a configuration example of pixel blocks 200a, 200b, 200c and 200d.
  • Pixel blocks 200b, 200c, and 200d in the figure are configured in a circuit common to the pixel block 200a.
  • Two sets of pixel blocks 200a, 200b, 200c and 200d are commonly connected to the signal line 16 (signal line VSL) described in FIG.
  • the configuration of the second embodiment of the present disclosure can be applied to other embodiments.
  • the distance measuring unit 80 of FIG. 9 can be applied to the third embodiment of the present disclosure.
  • the imaging device 1 has an imaging element 10 , a resolution selection section (imaging control section 40 ), and an image signal addition section 20 .
  • the image pickup device 10 includes a plurality of pixels 100 that perform photoelectric conversion of incident light from a subject to generate image signals, and an on-chip device that is arranged in common to the plurality of pixels 100 and collects the incident light to the plurality of pixels 100.
  • Pixel blocks 200 with lenses 170 are arranged in a two-dimensional matrix.
  • the resolution selection unit (imaging control unit 40) selects a first resolution corresponding to the size of the pixel 100, a second resolution corresponding to the size of the pixel block 200, and a plurality of adjacent pixel blocks 200.
  • a third resolution is selected which is a resolution dependent on the size of the pixel block unit 300 to be constructed.
  • the image signal adder 20 generates a second image signal by adding the generated image signals according to the selected resolution. This has the effect of generating image signals with different resolutions.
  • the pixel 100 may be provided with one of a plurality of color filters that transmit incident light of different wavelengths. Thereby, a color image signal can be generated.
  • the pixel block unit 300 may have color filters that transmit incident light of the same wavelength in each of the pixels 100 of the plurality of pixel blocks 200 thereof. Accordingly, the wavelengths of incident light corresponding to the pixels 100 of the pixel block 200 can be aligned.
  • the plurality of color filters may be arranged in a predetermined arrangement order in the plurality of pixels 100 .
  • it may further include a signal processing unit that performs a remosaic process, which is a process of converting an image signal into an image signal corresponding to an arrangement of a plurality of color filters in a different order than the arrangement. This makes it possible to generate an image signal corresponding to a desired arrangement of color filters.
  • a remosaic process which is a process of converting an image signal into an image signal corresponding to an arrangement of a plurality of color filters in a different order than the arrangement. This makes it possible to generate an image signal corresponding to a desired arrangement of color filters.
  • the signal processing unit may perform re-mosaic processing according to the selected resolution. This makes it possible to select remosaic processing according to resolution.
  • a target area detection unit 50 for detecting a target area, which is an image area including an object to be imaged among subjects in an image formed by the generated image signal
  • a resolution selection unit may select the resolution according to the detected target area. Thereby, it is possible to adjust the resolution of the desired object to be imaged.
  • the target area detection unit 50 may detect the target area based on the user's instruction.
  • the target area detection unit 50 may detect the target area from an image generated in advance.
  • a sensor that measures the distance to the subject may be further provided, and the resolution selection unit (imaging control unit 40) may select the resolution according to the measured distance. This makes it possible to automate enlargement and reduction processing according to the distance to the subject.
  • the resolution selection unit (imaging control unit 40) may select the resolution according to the frame rate of the images when generating a moving image, which is a plurality of images generated in time series. Thereby, the resolution can be selected according to the data amount of the moving image.
  • the pixel 100 further generates a phase difference signal for detecting the image plane phase difference by splitting the subject, and the image signal addition unit 20 converts the generated phase difference signal according to the selected resolution.
  • a second phase difference signal may be generated by summing. Thereby, a phase difference signal can be generated according to the resolution.
  • the image signal addition unit 20 adds the phase difference signals generated by two adjacent pixels 100 in the pixel block 200 when the second resolution is selected, and adds the phase difference signals when the third resolution is selected. In some cases, phase difference signals generated by a plurality of pixels 100 arranged in two adjacent pixel blocks 200 may be added.
  • the pixel block 200 may include four pixels 100 arranged in two rows and two columns.
  • the imaging device 1 has multiple pixels 100 and multiple on-chip lenses 170 .
  • a plurality of pixels 100 are arranged in a two-dimensional matrix that performs photoelectric conversion of incident light to generate image signals.
  • a plurality of on-chip lenses 170 are arranged for each pixel block 200 consisting of four pixels 100 arranged in two rows and two columns.
  • One of a plurality of color filters 150 that transmit incident light of different wavelengths is arranged in each pixel block unit 300 consisting of four pixel blocks 200 arranged in two rows and two columns, and an image signal is generated for each pixel 100.
  • the first resolution in the first imaging mode is four times the second resolution in the second imaging mode in which an image signal is generated for each pixel block 200
  • the second resolution is four times the second resolution for each pixel block unit 300.
  • the first frame rate in the first imaging mode is approximately 1/4 of the second frame rate in the second imaging mode
  • the third frame rate in the third imaging mode is the second frame rate. It may be approximately 1/4 of the frame rate. Thereby, the resolution according to the frame rate can be applied.
  • the sensor has an image pickup device 10 in which a plurality of pixels 100 for generating image signals by performing photoelectric conversion of incident light from a subject are arranged in a two-dimensional matrix.
  • One of a plurality of color filters 150 that transmit the incident light of different wavelengths is arranged in each pixel block unit 300 in which pixel blocks 200 each including pixels 100 are arranged in two rows and two columns.
  • any one of a first imaging mode for generating an image signal for each pixel block unit 200, a second imaging mode for generating an image signal for each pixel block unit 200, and a third imaging mode for generating an image signal for each pixel block unit 300 It is a sensor that operates in the mode of This has the effect of generating image signals with different resolutions.
  • the imaging control device that outputs a control signal for switching the mode to the sensor has a first mode that generates an image signal for each pixel 100 that photoelectrically converts incident light from a subject, and a first mode that is arranged in two rows and two columns.
  • a second mode in which an image signal is generated for each pixel block 200 consisting of the above four pixels, and a second mode in which an image signal is generated for each pixel block unit 300 consisting of the above four pixel blocks 200 arranged in two rows and two columns.
  • a pixel block comprising a plurality of pixels for photoelectrically converting incident light from an object to generate an image signal and an on-chip lens disposed in common with the plurality of pixels for condensing the incident light onto the plurality of pixels.
  • an imaging element arranged in a two-dimensional matrix; a first resolution corresponding to the pixel size; a second resolution corresponding to the size of the pixel block; and a pixel block unit size corresponding to a plurality of adjacent pixel blocks.
  • a resolution selection unit that selects a third resolution that is a resolution
  • an image signal adder that generates a second image signal by adding the generated image signals in accordance with the selected resolution.
  • the imaging device according to (1) wherein the pixels each include one of a plurality of color filters that transmit the incident light of different wavelengths.
  • the pixel block unit includes the color filters that transmit incident light of the same wavelength to the pixels of the plurality of pixel blocks of the pixel block unit.
  • the plurality of color filters are arranged in a predetermined arrangement order in the plurality of pixels.
  • the imaging device according to (4) further comprising a signal processing unit that performs remosaic processing, which is processing for converting the image signal into an image signal corresponding to an arrangement of the plurality of color filters in a different order from the arrangement.
  • the imaging device according to (5), wherein the signal processing unit performs the re-mosaic processing according to the selected resolution.
  • (7) further comprising a target area detection unit for detecting a target area, which is an image area including an object to be imaged among the subjects, in the image formed by the generated image signal;
  • the imaging apparatus according to any one of (1) to (6), wherein the resolution selection unit selects the resolution according to the detected target area.
  • the target area detection unit detects the target area based on a user's instruction.
  • the imaging apparatus according to (7), wherein the target area detection unit detects the target area from the image generated in advance.
  • (10) further comprising a sensor for measuring the distance to the subject;
  • the imaging apparatus according to any one of (1) to (9), wherein the resolution selection section selects the resolution according to the measured distance.
  • Imaging device (12) The pixels further generate a phase difference signal for pupil-dividing the subject and detecting an image plane phase difference, The imaging according to any one of (1) to (11), wherein the image signal addition unit adds the generated phase difference signals according to the selected resolution to generate a second phase difference signal.
  • the image signal addition unit adds the generated phase difference signals according to the selected resolution to generate a second phase difference signal.
  • the image signal adder adds the phase difference signals generated by two adjacent pixels in the pixel block when the second resolution is selected, and adds the phase difference signals generated by the two adjacent pixels in the pixel block when the third resolution is selected.
  • the image pickup apparatus according to (12) wherein the phase difference signals generated by a plurality of pixels arranged in two adjacent pixel blocks are added.
  • the first frame rate in the first imaging mode is approximately 1/4 of the second frame rate in the second imaging mode
  • the imaging apparatus according to (15), wherein the third frame rate in the third imaging mode is approximately 1 ⁇ 4 of the second frame rate.
  • any of a first imaging mode for generating an image signal for each pixel, a second imaging mode for generating an image signal for each pixel block, and a third imaging mode for generating an image signal for each pixel block unit A sensor that operates in the mode of (18) A first mode in which an image signal is generated for each pixel that photoelectrically converts incident light from an object, and a second mode in which an image signal is generated for each pixel block composed of the four pixels arranged in two rows and two columns. and a third mode for generating an image signal for each pixel block unit consisting of the four pixel blocks arranged in two rows and two columns.
  • An imaging control device that outputs a control signal for switching between the first mode, the second mode, and the third mode to the sensor based on a second image signal generated in any one of the third modes. .
  • imaging device 10 imaging element 20 image signal addition unit 30 signal processing unit 33 re-mosaic processing unit 34 luminance signal generation unit 40 imaging control unit 50 target area detection unit 60 storage unit 70 photographing lens 80 distance measurement unit 90 focus position detection unit 100 pixels 150 color filter 170 on-chip lens 200 pixel block 300 pixel block unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

被写体の画像の解像度を調整する。撮像装置は、撮像素子と、解像度選択部と、画像信号加算部とを有する。撮像素子は、被写体からの入射光の光電変換を行って画像信号を生成する複数の画素及び当該複数の画素に共通に配置されて入射光を複数の画素に集光するオンチップレンズを備える画素ブロックが２次元行列状に配置される。解像度選択部は、画素のサイズに応じた解像度である第１の解像度、画素ブロックのサイズに応じた解像度である第２の解像度及び隣接する複数の画素ブロックにより構成される画素ブロックユニットのサイズに応じた解像度である第３の解像度を選択する。画像信号加算部は、生成された画像信号を選択された解像度に応じて加算することにより第２の画像信号を生成する。

Description

撮像装置、センサ及び撮像制御装置
　本開示は、撮像装置、センサ及び撮像制御装置に関する。
　入射光の光電変換を行う光電変換素子が２次元行列状に配置されて構成された撮像素子を備え、被写体の画像を生成する装置が使用されている（例えば、特許文献１参照）。
特開２０１４－２２８６７１号公報
　しかしながら、上記の従来技術では、被写体の画像の解像度を調整することができず、利便性が低下するという問題がある。
　そこで、本開示では、被写体の画像の解像度を調整する撮像装置を提案する。
　本開示に係る撮像装置は、撮像素子と、解像度選択部と、画像信号加算部とを有する。撮像素子は、被写体からの入射光の光電変換を行って画像信号を生成する複数の画素及び当該複数の画素に共通に配置されて上記入射光を上記複数の画素に集光するオンチップレンズを備える画素ブロックが２次元行列状に配置される。解像度選択部は、上記画素のサイズに応じた解像度である第１の解像度、上記画素ブロックのサイズに応じた解像度である第２の解像度及び隣接する複数の上記画素ブロックにより構成される画素ブロックユニットのサイズに応じた解像度である第３の解像度を選択する。画像信号加算部は、上記生成された画像信号を上記選択された解像度に応じて加算することにより第２の画像信号を生成する。
本開示の第１の実施形態に係る撮像装置の構成例を示す図である。 本開示の実施形態に係る撮像素子の構成例を示す図である。 本開示の第１の実施形態に係る画素の構成例を示す図である。 本開示の実施形態に係る画素の構成例を示す断面図である。 本開示の第１の実施形態に係る信号処理部の構成例を示す図である。 本開示の実施形態に係るリモザイク処理の一例を示す図である。 本開示の実施形態に係るリモザイク処理の一例を示す図である。 本開示の実施形態に係るリモザイク処理の一例を示す図である。 本開示の実施形態に係る撮像装置が生成する画像の一例を示す図である。 本開示の実施形態に係る撮像装置が生成する画像の一例を示す図である。 本開示の第１の実施形態に係る撮像処理の一例を示す図である。 本開示の第２の実施形態に係る撮像装置の構成例を示す図である。 本開示の第２の実施形態に係る撮像処理の一例を示す図である。 本開示の第３の実施形態に係る撮像装置の構成例を示す図である。 本開示の第３の実施形態に係る信号処理部の構成例を示す図である。 本開示の第３の実施形態に係る位相差画素の構成例を示す図である。 本開示の第３の実施形態に係る位相差画素の構成例を示す図である。 本開示の第３の実施形態に係る位相差画素の構成例を示す図である。 本開示の第３の実施形態に係る位相差画素の構成例を示す図である。 従来の技術の撮像素子の構成例を示す図である。 従来の技術の撮像素子の構成例を示す図である。 本開示の第４の実施形態に係る撮像装置の構成例を示す図である。 本開示の第５の実施形態に係る撮像装置の構成例を示す図である。 本開示の第５の実施形態に係る撮像処理の処理手順の一例を示す図である。 本開示の第６の実施形態に係る撮像装置の構成例を示す図である。 本開示の第６の実施形態に係る撮像処理の処理手順の一例を示す図である。 本開示の第７の実施形態に係る撮像装置が生成する画像の一例を示す図である。 本開示の実施形態の第１の変形例に係る画素の構成例を示す図である。 本開示の実施形態の第２の変形例に係る画素の構成例を示す図である。 本開示の実施形態に係る画素ブロックの回路構成の一例を示す図である。 本開示の実施形態に係る画素ブロックの構成例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
１．第１の実施形態
２．第２の実施形態
３．第３の実施形態
４．第４の実施形態
５．第５の実施形態
６．第６の実施形態
７．第７の実施形態
８．変形例
９．画素ブロックの構成例
　（１．第１の実施形態）
　［撮像装置の構成］
　図１は、本開示の第１の実施形態に係る撮像装置の構成例を示す図である。同図は、撮像装置１の構成例を表すブロック図である。撮像装置１は、被写体の画像を構成する画像信号を生成する装置である。撮像装置１は、撮像素子１０と、画像信号加算部２０と、信号処理部３０と、撮像制御部４０と、対象領域検出部５０と、記憶部６０と、撮影レンズ７０とを備える。
　撮像素子１０は、被写体の撮像を行って画像信号を生成するものである。この撮像素子１０は、被写体からの入射光の光電変換を行う画素（後述する画素１００）が２次元行列状に配置された画素アレイ部（後述する画素アレイ部１１）を備える。同図の撮像素子１０は、撮像制御部４０からの制御信号に基づいて画像信号を生成する。この生成された画像信号は、画像信号加算部２０に対して出力される。なお、撮像素子１０の構成の詳細については後述する。
　撮像制御部４０は、撮像素子１０における撮像を制御するものである。この撮像制御部４０は、制御信号を出力することにより撮像素子１０を制御する。例えば、撮像制御部４０は、静止画の撮像や動画の撮像を撮像素子１０に行わせる制御を行う。
　また、撮像制御部４０は、画像の解像度を選択する処理を行う。後述するように、撮像制御部４０は、第１の解像度、第２の解像度及び第３の解像度を選択することができる。第１の解像度は、撮像素子１０に配列された複数の画素１００の密度と等しい解像度である。第２の解像度は、第１の解像度の１／４の解像度である。第３の解像度は、第２の解像度の１／４の解像度である。これら選択された解像度は、画像信号加算部２０に対して出力される。また、撮像制御部４０は、被写体のうちの撮像の対象となる対象物を含む画像の領域である対象領域に応じた解像度を選択することができる。この対象領域として後述する対象領域検出部５０から入力される対象領域を使用することができる。一方、撮像制御部４０は、対象領域検出部５０に対して画像信号を出力する。
　なお、第１の解像度、第２の解像度及び第３の解像度が選択される撮像モードをそれぞれ第１の撮像モード、第２の撮像モード及び第３の撮像モードと称する。撮像制御部４０による解像度の選択の詳細については後述する。なお、撮像制御部４０は、請求の範囲に記載の解像度選択部の一例である。
　画像信号加算部２０は、撮像制御部４０により選択された解像度に応じて画像信号を加算して新たな画像信号（第２の画像信号）を生成するものである。この画像信号加算部２０は、隣接する４個の画素１００が生成したそれぞれの画像信号を加算することにより、第２の解像度に応じた画像信号を生成する。また、画像信号加算部２０は、隣接する１６個の画素１００が生成したそれぞれの画像信号を加算することにより、第３の解像度に応じた画像信号を生成する。なお、桁あふれを防ぐため、画像信号加算部２０は、加算の際の桁数を調整することができる。画像信号加算部２０は、生成した画像信号を信号処理部３０に対して出力する。画像信号加算部２０における画像信号の加算の詳細については後述する。
　信号処理部３０は、画像信号加算部２０から出力された画像信号の処理を行うものである。信号処理部３０の構成の詳細については後述する。
　対象領域検出部５０は、撮像制御部４０から入力された画像信号に基づく画像から対象領域を検出するものである。上述のように、この対象領域は、撮像の対象物が含まれる領域である。この対象物には、例えば、特定の人物が該当する。対象領域検出部５０は、入力された画像を検索して対象物が含まれているか否かを判断する。そして、対象領域検出部５０は、画像に対象物が含まれている場合に、当該対象物が含まれる領域を対象領域として検出し、撮像制御部４０に対して出力する。同図の対象領域検出部５０は、記憶部６０から出力された被写体データに基づいて対象物を特定する。
　記憶部６０は、対象物のデータを保持するものである。この対象物には、例えば、撮像装置１の使用者により入力された対象物を適用することができる。記憶部６０は、対象物を識別するためのデータや対象物を追尾する際の最小サイズ等の対象物の情報を記憶する。また、記憶部６０は、対象領域検出部５０からの制御信号に基づいて対象物の情報である被写体データを対象領域検出部５０に対して出力する。
　なお、対象領域検出部５０における対象領域の検出は、この例に限定されない。例えば、事前に生成された画像を使用してＡＩ（Artificial　Intelligence）により人物等の認識を行い、当該認識した人物等を含む対象領域をＡＩが検出する方式を採ることもできる。
　撮影レンズ７０は、被写体を撮像素子１０の画素１００が配置された面に結像するレンズである。なお、撮像制御部４０、対象領域検出部５０及び記憶部６０は、撮像制御装置を構成する。また、撮像素子１０及び画像信号加算部２０は、センサを構成する。
　［撮像素子の構成］
　図２は、本開示の実施形態に係る撮像素子の構成例を示す図である。同図は、撮像素子１０の構成例を表すブロック図である。撮像素子１０は、被写体の画像データを生成する半導体素子である。撮像素子１０は、画素アレイ部１１と、垂直駆動部１２と、カラム信号処理部１３と、制御部１４とを備える。
　画素アレイ部１１は、複数の画素１００が配置されて構成されたものである。同図の画素アレイ部１１は、複数の画素１００が２次元行列の形状に配列される例を表したものである。ここで、画素１００は、入射光の光電変換を行う光電変換部を備え、照射された入射光に基づいて被写体の画像信号を生成するものである。この光電変換部には、例えば、フォトダイオードを使用することができる。それぞれの画素１００には、信号線１５及び１６が配線される。画素１００は、信号線１５により伝達される制御信号により制御されて画像信号を生成し、信号線１６を介して生成した画像信号を出力する。なお、信号線１５は、２次元行列の形状の行毎に配置され、１行に配置された複数の画素１００に共通に配線される。信号線１６は、２次元行列の形状の列毎に配置され、１列に配置された複数の画素１００に共通に配線される。
　垂直駆動部１２は、上述の画素１００の制御信号を生成するものである。同図の垂直駆動部１２は、画素アレイ部１１の２次元行列の行毎に制御信号を生成し、信号線１５を介して順次出力する。
　カラム信号処理部１３は、画素１００により生成された画像信号の処理を行うものである。同図のカラム信号処理部１３は、信号線１６を介して伝達される画素アレイ部１１の１行に配置された複数の画素１００からの画像信号の処理を同時に行う。この処理として、例えば、画素１００により生成されたアナログの画像信号をデジタルの画像信号に変換するアナログデジタル変換や画像信号のオフセット誤差を除去する相関二重サンプリング（ＣＤＳ：Correlated　Double　Sampling）を行うことができる。処理後の画像信号は、撮像素子１０の外部の回路等に対して出力される。
　制御部１４は、垂直駆動部１２及びカラム信号処理部１３を制御するものである。同図の制御部１４は、外部の回路等から入力されたクロックや動作モードなどを指令するデータに基づいて、垂直駆動部１２及びカラム信号処理部１３を制御する制御信号を生成する。次に制御部１４は、信号線１７及び１８を介して制御信号をそれぞれ出力して垂直駆動部１２及びカラム信号処理部１３を制御する。
　［撮像素子の平面の構成］
　図３は、本開示の第１の実施形態に係る画素の構成例を示す図である。同図は、画素１００の構成例を表す平面図である。前述のように、画素１００は画素アレイ部１１に配列される。同図は、画素１００が２次元行列状に配列される例を表したものである。なお、同図の画素１００に付された「Ｒ」、「Ｇ」及び「Ｂ」は、後述するカラーフィルタ１５０の種類を表す。同図の「Ｒ」、「Ｇ」及び「Ｂ」は、それぞれ赤色光、緑色光及び青色光に対応するカラーフィルタ１５０の配置を表す。また、同図の白抜きの矩形は、緑色光に対応するカラーフィルタ１５０が配置される画素１００を表す。また、同図の右下がりの斜線ハッチングの矩形は、赤色光に対応するカラーフィルタ１５０が配置される画素１００を表す。また、同図の右上がりの斜線ハッチングの矩形は、青色光に対応するカラーフィルタ１５０が配置される画素１００を表す。
　また、画素１００には、オンチップレンズ１７０が配置される。このオンチップレンズ１７０は、入射光を画素１００の光電変換部（光電変換部１０１）に集光するものであり、複数の画素１００に共通に配置される。同図のオンチップレンズ１７０は、２行２列に配置される４つの画素１００に共通に配置される例を表したものである。また、同図のオンチップレンズ１７０は、同色のカラーフィルタ１５０が配置された４つの画素１００に共通に配置される。このオンチップレンズ１７０及びオンチップレンズ１７０を共有する複数の画素１００は、画素ブロック２００を構成する。
　また、隣接する複数の画素ブロック２００は画素ブロックユニット３００を構成する。同図の画素ブロックユニット３００は、２行２列に配置された４つの画素ブロック２００により構成される例を表したものである。また、画素ブロックユニット３００に含まれる画素ブロック２００には、同色のカラーフィルタ１５０が配置される。同図は、赤色光、緑色光及び青色光に対応する画素ブロックユニット３００がベイヤー配列に配置される例を表したものである。このように、撮像素子１０には、複数の画素ブロックユニット３００が２次元行列状に配置される。
　同図のオンチップレンズ１７０は、平面視において円形状に構成される例を表したものである。なお、オンチップレンズ１７０は、平面視において矩形形状に構成することもできる。
　前述の第１の解像度は、同図の複数の画素１００の密度に応じた解像度に該当する。この第１の解像度は、撮像素子１０における最大の解像度となる。第１の解像度は、例えば、静止画の撮像に適用することができる。この第１の解像度を適用した画像信号により、いわゆるＲＡＷデータを生成することができる。前述の撮像制御部４０が第１の解像度を選択した場合には、画像信号加算部２０は、加算を行うことなく撮像素子１０から出力される画像信号を信号処理部３０等に対して出力する。
　前述の第２の解像度は、同図の画素ブロック２００の密度に応じた解像度に該当する。同図に表したように、この第２の解像度は、第１の解像度の１／４の解像度となる。第２の解像度は、例えば、８Ｋ相当の動画像の撮像に適用することができる。前述の撮像制御部４０が第２の解像度を選択した場合には、画像信号加算部２０は、画素ブロック２００に含まれる４つの画像信号の加算を行い、加算後の画像信号を信号処理部３０等に対して出力する。
　前述の第３の解像度は、同図の画素ブロックユニット３００の密度に応じた解像度に該当する。同図に表したように、この第３の解像度は、第２の解像度の１／４の解像度となり、第１の解像度の１／１６の解像度となる。第３の解像度は、例えば、４Ｋ相当の動画像の撮像に適用することができる。前述の撮像制御部４０が第３の解像度を選択した場合には、画像信号加算部２０は、画素ブロックユニット３００に含まれる１６の画像信号の加算を行い、加算後の画像信号を信号処理部３０等に対して出力する。なお、撮像素子１０及び画像信号加算部２０からなるセンサにおいて、画素１００毎に画像信号を生成する動作モードを第１のモードと称する。また、画素ブロック２００毎に画像信号を生成する動作モードを第２のモードと称する。また、画素ブロックユニット３００毎に画像信号を生成する動作モードを第３のモードと称する。
　画素ブロック２００及び画素ブロックユニット３００に含まれる画素１００には同じ種類のカラーフィルタ１５０が配置されているため、画像信号の加算により解像度の変更を行うことができる。解像度の変更処理を簡略化することができる。
　［撮像素子の断面の構成］
　図４は、本開示の実施形態に係る画素の構成例を示す断面図である。同図は、画素１００の構成例を表す断面図である。また、同図の画素１００は、オンチップレンズ１７０が共通に配置される画素ブロック２００に含まれる画素１００である。画素１００は、半導体基板１２０と、絶縁膜１３０と、配線領域１４０と、分離部１３５と、保護膜１３６と、カラーフィルタ１５０とを備える。
　半導体基板１２０は、画素１００の半導体素子の拡散層が配置される半導体の基板である。半導体基板１２０は、例えば、シリコン（Ｓｉ）により構成することができる。半導体素子等は、半導体基板１２０に形成されたウェル領域に配置される。便宜上、同図の半導体基板１２０は、ｐ型のウェル領域に構成されるものと想定する。このｐ型のウェル領域にｎ型又はｐ型の半導体領域を配置することにより半導体素子を形成することができる。同図の半導体基板１２０には、光電変換部１０１を例として記載した。この光電変換部１０１は、ｎ型の半導体領域１２１により構成される。具体的には、ｎ型の半導体領域１２１及び周囲のｐ型のウェル領域の界面のｐｎ接合からなるフォトダイオードが光電変換部１０１に該当する。
　絶縁膜１３０は、半導体基板１２０の表面側を絶縁するものである。この絶縁膜１３０には、例えば、酸化シリコン（ＳｉＯ２）の膜を適用することができる。
　配線領域１４０は、半導体基板１２０の表面側に配置されて素子の配線が形成される領域である。この配線領域１４０は、配線１４１と、ビアプラグ１４２と、絶縁層１４３とを備える。配線１４１は、半導体基板１２０の素子等に信号を伝達する導体である。この配線１４１は、例えば、銅（Ｃｕ）やタングステン（Ｗ）等の金属により構成することができる。ビアプラグ１４２は、異なる層に配置された配線１４１同士を接続するものである。このビアプラグ１４２は、例えば、柱状の金属により構成することができる。絶縁層１４３は、配線１４１等を絶縁するものである。この絶縁層１４３は、例えば、ＳｉＯ２により構成することができる。
　分離部１３５は、半導体基板１２０における画素１００の境界に配置されて画素１００を電気的及び光学的に分離するものである。この分離部１３５は、半導体基板１２０に埋め込まれた絶縁物により構成することができる。分離部１３５は、例えば、画素１００の境界に形成される半導体基板１２０を貫通する溝部にＳｉＯ２等の絶縁物を配置することにより形成することができる。
　保護膜１３６は、半導体基板１２０の裏面側を保護する膜である。この保護膜１３６は、ＳｉＯ２等の絶縁物により構成することができる。同図の保護膜１３６は、分離部１３５と同時に形成することができる。
　カラーフィルタ１５０は、入射光のうちの所定の波長の入射光を透過する光学的なフィルタである。このカラーフィルタ１５０には、例えば、赤色光、緑色光及び青色光を透過するカラーフィルタを使用することができる。この場合、画素１００には、赤色光、緑色光及び青色光の何れかに対応するカラーフィルタ１５０が１つ配置される。この画素１００は、カラーフィルタ１５０が対応する波長の入射光の画像信号を生成する。前述のように、画素ブロック２００に配置される複数の画素１００には、同じ種類のカラーフィルタ１５０が配置される。また、同図のカラーフィルタ１５０は、半導体基板１２０の裏面側に配置される。
　なお、同図の画素１００には、画素ブロック２００の境界のカラーフィルタ１５０の領域に遮光膜１５９が配置される。この遮光膜１５９は、入射光を遮光するものである。遮光膜１５９を配置することにより、隣接する画素１００から斜めに入射する入射光を遮光することができる。遮光膜１５９が隣接する画素ブロック２００の画素１００の異なる種類のカラーフィルタ１５０を透過した入射光を遮光するため、混色を防ぐことができ、画質の低下を防ぐことができる。
　オンチップレンズ１７０は、前述のように画素ブロック２００を構成する複数の画素１００に共通に配置されるレンズである。同図のオンチップレンズ１７０は、半球形状の断面に構成されて入射光を光電変換部１０１に集光する。オンチップレンズ１７０は、アクリル樹脂等の有機材料や窒化シリコン（ＳｉＮ）等の無機材料により構成することができる。
　［信号処理部の構成］
　図５は、本開示の第１の実施形態に係る信号処理部の構成例を示す図である。同図は、信号処理部３０の構成例を表すブロック図である。同図の信号処理部３０は、感度補正部３１と、画素欠陥補正部３２と、リモザイク処理部３３とを備える。
　感度補正部３１は、画素１００の感度差を補正するものである。例えば、入射光の入射角度に応じて画素１００の感度差を生じる。感度補正部３１は、このような感度差の補正を行う。補正後の画像信号は、画素欠陥補正部３２に対して出力される。
　画素欠陥補正部３２は、欠陥のある画素１００からの画像信号を補正するものである。補正後の画像信号は、リモザイク処理部３３に対して出力される。
　リモザイク処理部３３は、画像信号に対してリモザイク処理を行うものである。このリモザイク処理は、画素アレイ部１１の画素１００の配列とは異なる複数のカラーフィルタの並び順の配列に対応する画像信号に変換する処理である。リモザイク処理後の画像信号は、外部の装置に対して出力される。リモザイク処理について図６Ａ乃至６Ｃを使用して説明する。
　［リモザイク処理］
　図６Ａ乃至６Ｃは、本開示の実施形態に係るリモザイク処理の一例を示す図である。同図は、画素１００毎の画像信号が対応する入射光の波長を表す。同図においてドットハッチングが付された矩形は、緑色光に対応する画像信号の領域を表す。横線ハッチングが付された矩形は、赤色光に対応する画像信号の領域を表す。縦線ハッチングが付された矩形は、青色光に対応する画像信号の領域を表す。
　図６Ａは、第１の解像度におけるリモザイク処理の例を表したものである。同図は、画素ブロック２００毎に４つの画素１００がベイヤー配列になるようにリモザイク処理を行う例を表したものである。同図の左上の画素ブロック２００を例に挙げて説明する。この画素ブロック２００の画素１００が図３の左上の画素ブロック２００と同様に緑色光に対応するカラーフィルタ１５０が配置される場合を想定する。この場合、リモザイク処理により、赤色光に対応する画像信号および青色光に対応する画像信号が生成され、それぞれ画素ブロック２００の右上及び左下の緑色光に対応する画像信号と置き換えられる。
　図６Ｂは、第２の解像度におけるリモザイク処理の例を表したものである。同図は、画素ブロックユニット３００毎に４つの画素ブロック２００がベイヤー配列になるようにリモザイク処理を行う例を表したものである。図３の配列におけるカラーフィルタ１５０とは異なる波長に対応する画像信号の画素１００には、当該波長に対応する画像信号が生成されて、置き換えられる。
　図６Ｃは、第３の解像度におけるリモザイク処理の例を表したものである。同図は、４つの画素ブロックユニット３００毎のベイヤー配列になるようにリモザイク処理を行う例を表したものである。図３の配列におけるカラーフィルタ１５０とは異なる波長に対応する画像信号の画素１００には、当該波長に対応する画像信号が生成されて、置き換えられる。なお、リモザイク処理に伴う画像信号の生成には、公知の方法を適用することができる。
　このようなリモザイク処理を行うことにより、第１の解像度、第２の解像度及び第３の解像度のそれぞれにおいて、ベイヤー配列に対応する画像信号を出力することができる。
　［画像の例］
　図７Ａ及び７Ｂは、本開示の実施形態に係る撮像装置が生成する画像の一例を示す図である。同図は、撮像装置１における撮像の場面毎に画像の解像度や構成を変更する例を表したものである。
　図７Ａは、複数の被写体の中から指定した対象物に追従して動画像を撮像するとともに解像度を変更する例を表したものである。同図の左側の画像４００は、撮像開始時の被写体の画像を表す。この画像において対象領域検出部５０により対象物が検索され、対象領域が検出される。破線の矩形が検出された対象領域４０１を表す。対象領域検出部５０は、対象物の動きに応じて対象領域４０１の検出を連続して行い、検出した対象領域４０１を撮像制御部４０に出力する。また、撮像制御部４０は、同図の右側の画像４００のように、対象領域４０１の大きさに応じて解像度を変更することができる。例えば、撮像制御部４０は、第１の解像度を初期値として使用し、対象領域４０１のサイズが所定の閾値（第１のサイズ）以下の場合に第２の解像度を選択することができる。更に、撮像制御部４０は、対象領域４０１のサイズが所定の閾値（第２のサイズ）以下の場合に第３の解像度を選択することができる。
　図７Ｂは、動画像の撮像を行い、生成した画像に異なる解像度に設定した対象領域の画像を重ね合わせる例を表したものである。同図の画像４００は、例えば、第３の解像度に生成される。この画像４００において対象領域検出部５０が対象領域４０１を検出すると、撮像制御部４０は、対象領域４０１に第１の解像度を適用して拡大した画像４０２を重ねた形状の画像を生成させる制御を行う。具体的には、撮像制御部４０は、撮像素子１０から出力された第１の解像度の画像信号による画像と画像信号加算部２０により生成された第３の解像度の画像信号による画像とを生成する。このうち第１の解像度の画像において対象領域検出部５０が対象領域４０１の検出を行う。これらの画像を合成することにより、異なる解像度の領域を含む画像を生成することができる。
　なお、同図に表したように第１の解像度は、対象領域４０１のみに適用することができる。これにより、対象物を高画質にて撮像するとともに画像全体のデータ量を削減することができる。
　［撮像処理］
　図８は、本開示の第１の実施形態に係る撮像処理の一例を示す図である。同図は、撮像装置１における撮像処理の一例を表す流れ図である。まず、撮像制御部４０が第１の解像度を選択する（ステップＳ１００）。次に、対象領域検出部５０が記憶部６０の被写体データに基づいて被写体を選択する（ステップＳ１０１）。次に、選択した被写体に基づいて、対象領域検出部５０が対象領域を検出する（ステップＳ１０２）。次に、撮像制御部４０が撮像素子１０を制御して撮像を開始させる（ステップＳ１０３）。次に、対象領域検出部５０が被写体を追尾する（ステップＳ１０４）。これは、対象領域検出部５０が被写体の動きに応じて対象領域を連続して検出することにより行うことができる。
　次に、撮像制御部４０は、対象領域のサイズが所定の第１のサイズ以下か否かを判断する（ステップＳ１０５）。対象領域のサイズが第１のサイズ以下の場合（ステップＳ１０５，Ｙｅｓ）、撮像制御部４０は、第２の解像度を選択し（ステップＳ１０６）、ステップＳ１０７の処理に移行する。一方、対象領域のサイズが第１のサイズより大きい場合（ステップＳ１０５，Ｎｏ）、撮像制御部４０は、ステップＳ１０７の処理に移行する。
　ステップＳ１０７において、撮像制御部４０は、対象領域のサイズが所定の第２のサイズ以下か否かを判断する（ステップＳ１０７）。対象領域のサイズが第２のサイズ以下の場合（ステップＳ１０７，Ｙｅｓ）、撮像制御部４０は、第３の解像度を選択し（ステップＳ１０８）、ステップＳ１０９の処理に移行する。一方、対象領域のサイズが第２のサイズより大きい場合（ステップＳ１０７，Ｎｏ）、撮像制御部４０は、ステップＳ１０９の処理に移行する。
　ステップＳ１０９において、撮像制御部４０は、撮像停止か否かを判断する（ステップＳ１０９）。これは、例えば、撮像装置１の使用者による撮像停止の操作等に基づいて判断することができる。撮像停止でない場合は（ステップＳ１０９，Ｎｏ）、ステップＳ１０４の処理に移行する。撮像停止の場合には（ステップＳ１０９，Ｙｅｓ）、撮像制御部４０は、撮像素子１０を制御して撮像を停止させ（ステップＳ１１０）、撮像処理を終了する。以上の手順により、撮像装置１における撮像処理を行うことができる。
　なお、撮像制御部４０による解像度の選択方法は、この例に限定されず、他の実施例を適用してもよい。例えば、撮像制御部４０は、生成される画像の画質に応じて解像度を選択することもできる。具体的には、撮像制御部４０は、白つぶれ等の画質の劣化を検出した場合に、より低い解像度を選択することができる。また、例えば、撮像制御部４０は、輝度に応じて解像度を選択することができる。具体的には、撮像制御部４０は、低照度の環境において撮像を行う場合に、低い解像度を選択することができる。これにより、画像信号加算部２０により画像信号が加算され、画像信号の信号レベルを高くすることができる。
　また、撮像制御部４０は、動画像を撮像する際の生成レート（フレームレート）に応じて解像度を選択することもできる。例えば、撮像制御部４０は、フレームレートが高い場合に低い解像度を選択することができる。具体的には、第１の解像度、第２の解像度及び第３の解像度をそれぞれ異なる値の第１のフレームレート、第２のフレームレート及び第３のフレームレートに適用させることができる。この第１のフレームレートは、第２のフレーレートの略１／４の値にすることができる。また、第３のフレームレートは、第２のフレーレートの略１／４の値にすることができる。具体的には、これら第１のフレームレート、第２のフレームレート及び第３のフレームレートとして、例えば、７．５ｆｐｓ、３０ｆｐｓ及び１２０ｆｐｓのフレームレートを適用することができる。これにより、動画像のデータ量の増加を軽減することができる。
　このように、本開示の第１の実施形態の撮像装置１は、複数の画素ブロックユニット３００が配置された撮像素子１０を備え、撮像制御部４０により選択された解像度の画像信号を生成することができる。これにより、被写体に応じた解像度において撮像を行うことができ、利便性を向上させることができる。
　（２．第２の実施形態）
　上述の第１の実施形態の撮像装置１は、対象領域検出部５０により検出された対象領域の撮像を行っていた。これに対し、本開示の第２の実施形態の撮像装置１は、他のセンサを使用して対象物を認識する点で、上述の第１の実施形態と異なる。
　［撮像装置の構成］
　図９は、本開示の第２の実施形態に係る撮像装置の構成例を示す図である。同図は、図１と同様に、撮像装置１の構成例を表すブロック図である。同図の撮像装置１は、対象領域検出部５０の代わりに測距部８０を備える点で、図１の撮像装置１と異なる。
　測距部８０は、対象物との間の距離を測定するものである。この測距部８０には、例えば、ＴｏＦ（Time　of　Flight）センサを使用することができる。このＴｏＦセンサは、不図示の光源により被写体に光を照射し、被写体から反射された反射光を検出して光の飛行時間を計時することにより、対象物までの距離を測定するものである。なお、測距部８０は、請求の範囲に記載のセンサの一例である。
　同図の撮像制御部４０は、記憶部６０から被写体データを読み出して測距部８０に出力する。測距部８０は、この被写体データに基づいて被写体を認識し、距離を測定する。その後、測距部８０は、測定した距離を撮像制御部４０に対して出力する。撮像制御部４０は、被写体との距離に応じた解像度を選択することができる。例えば、撮像制御部４０は、第１の解像度を初期値として使用し、被写体までの距離が所定の閾値（第１の距離）以下の場合に第２の解像度を選択することができる。更に、撮像制御部４０は、被写体までの距離が所定の閾値（第２の距離）以下の場合に第３の解像度を選択することができる。
　［撮像処理］
　図１０は、本開示の第２の実施形態に係る撮像処理の一例を示す図である。同図は、撮像装置１における撮像処理の一例を表す流れ図である。まず、撮像制御部４０が第１の解像度を選択する（ステップＳ１５０）。次に、対象領域検出部５０が記憶部６０の被写体データに基づいて被写体を選択する（ステップＳ１５１）。この選択された被写体のデータは、測距部８０に対して出力される。次に、撮像制御部４０が撮像素子１０を制御して撮像を開始させる（ステップＳ１５３）。次に、測距部８０が被写体までの距離を測定する（ステップＳ１５４）。
　次に、撮像制御部４０は、被写体までの距離が所定の第１の距離以下か否かを判断する（ステップＳ１５５）。被写体までの距離が第１の距離以下の場合（ステップＳ１５５，Ｙｅｓ）、撮像制御部４０は、第２の解像度を選択し（ステップＳ１５６）、ステップＳ１５７の処理に移行する。一方、被写体までの距離が第１の距離より大きい場合（ステップＳ１５５，Ｎｏ）、ステップＳ１５７の処理に移行する。
　ステップＳ１５７において、撮像制御部４０は、被写体までの距離が所定の第２の距離以下か否かを判断する（ステップＳ１５７）。被写体までの距離が第２の距離以下の場合（ステップＳ１５７，Ｙｅｓ）、撮像制御部４０は、第３の解像度を選択し（ステップＳ１５８）、ステップＳ１５９の処理に移行する。一方、被写体までの距離が第２の距離より大きい場合（ステップＳ１５７，Ｎｏ）、ステップＳ１５９の処理に移行する。
　ステップＳ１５９において、撮像制御部４０は、撮像停止か否かを判断する（ステップＳ１５９）。これは、例えば、撮像装置１の使用者による撮像停止の操作等に基づいて判断することができる。撮像停止でない場合は（ステップＳ１５９，Ｎｏ）、ステップＳ１５４の処理に移行する。撮像停止の場合には（ステップＳ１５９，Ｙｅｓ）、撮像制御部４０は、撮像素子１０を制御して撮像を停止させ（ステップＳ１６０）、撮像処理を終了する。以上の手順により、撮像装置１における撮像処理を行うことができる。
　これ以外の撮像装置１の構成は本開示の第１の実施形態における撮像装置１の構成と同様であるため、説明を省略する。
　このように、本開示の第２の実施形態の撮像装置１は、測距部８０により被写体までの距離を検出する。これにより、被写体の距離に応じた解像度を選択することができる。
　（３．第３の実施形態）
　上述の第１の実施形態の撮像装置１は、被写体の画像信号を生成していた。これに対し、本開示の第３の実施形態の撮像装置１は、被写体の焦点位置を更に検出する点で、上述の第１の実施形態と異なる。
　［撮像装置の構成］
　図１１は、本開示の第３の実施形態に係る撮像装置の構成例を示す図である。同図は、図１と同様に、撮像装置１の構成例を表すブロック図である。同図の撮像装置１は、焦点位置検出部９０を更に備え、信号処理部３０が位相差信号を出力する点で、図１の撮像装置１と異なる。
　同図の信号処理部３０は、画像信号に加えて位相差信号を出力する。この位相差信号は、撮影レンズ７０の焦点位置を検出するための信号である。この位相差信号により検出した焦点位置に基づいて撮影レンズ７０の位置を調整することにより、オートフォーカスを行うことができる。
　撮像素子１０の画素１００は、位相差信号を生成する位相差画素として使用することができる。図３において説明した様に、画素ブロック２００を構成する４つの画素１００には、共通のオンチップレンズ１７０により集光された被写体からの光が入射する。このため、画素ブロック２００に配置される４つの画素１００は、被写体を瞳分割することができる。４つの画素１００のうちの右側の画素１００には撮影レンズ７０の左側を透過した光が入射し、左側の画素１００には撮影レンズ７０の右側を透過した光が入射する。複数の画素ブロック２００における右側の画素１００の画像信号により生成される画像と左側の画素１００の画像信号により生成される画像との位相差を検出することにより、焦点位置を検出することができる。
　同様に、４つの画素１００のうちの上側の画素１００には撮影レンズ７０の下側を透過した光が入射し、下側の画素１００には撮影レンズ７０の上側を透過した光が入射する。複数の画素ブロック２００における上側の画素１００の画像信号により生成される画像と下側の画素１００の画像信号により生成される画像との位相差を検出することにより、焦点位置を検出することができる。このように、画素ブロック２００に配置される４つの画素１００により被写体を左右方向及び上下方向に瞳分割することができる。撮像素子１０は、左右方向及び上下方向の２つの方向から焦点位置を検出することができる。また、撮像素子１０は、全ての画素１００を位相差画素として使用することができる。このため、撮像素子１０を備える撮像装置１は、焦点位置の検出精度を向上させることができる。
　同図の信号処理部３０は、この位相差信号を生成し、焦点位置検出部９０に対して出力する。
　焦点位置検出部９０は、信号処理部３０からの位相差信号に基づいて焦点位置を検出するものである。また、焦点位置検出部９０は、検出した焦点位置に基づいて撮影レンズ７０の位置を調整する。
　［信号処理部の構成］
　図１２は、本開示の第３の実施形態に係る信号処理部の構成例を示す図である。同図は、図５と同様に、信号処理部３０の構成例を表すブロック図である。同図の信号処理部３０は、輝度信号生成部３４を更に備える点で、図５の信号処理部３０と異なる。
　輝度信号生成部３４は、感度補正部３１から出力されるカラーの画像信号から輝度信号を生成するものである。この生成された輝度信号が位相差信号として焦点位置検出部９０に対して出力される。
　［位相差画素の構成］
　図１３は、本開示の第３の実施形態に係る位相差画素の構成例を示す図である。同図は、第１の解像度が適用される場合の位相差画素の配置例を表した図である。同図において、「ＴＬ」、「ＴＲ」、「ＢＬ」及び「ＢＲ」は、それぞれ左上、右上、左下及び右下の位相差画素を表す。「ＴＬ」及び「ＴＲ」並びに「ＢＬ」及び「ＢＲ」の位相差画素により同図の左右方向に瞳分割することができる。また、「ＴＬ」及び「ＢＬ」並びに「ＴＲ」及び「ＢＲ」の位相差画素により同図の上下方向に瞳分割することができる。
　図１４Ａ及び１４Ｂは、本開示の第３の実施形態に係る位相差画素の構成例を示す図である。同図は、第２の解像度が適用される場合の位相差画素の配置例を表した図である。また、同図は、緑色光に対応する画素ブロック２００の画素１００を位相差画素として使用する例を表した図である。第２の解像度が適用される場合には、画素ブロック２００の隣接する２個の画素１００の画像信号の加算を行い、加算後の画像信号を位相差信号（第２の位相差信号）として使用することができる。同図の破線の矩形は、画像信号を加算する画素１００の対を表したものである。なお、画像信号の加算は、画像信号加算部２０により行うことができる。同図の「Ｔ」、「Ｂ」、「Ｌ」及び「Ｒ」は、それぞれ上、下、左及び右の位相差画素を表す。図１４Ａの「Ｔ」及び図１４Ｂの「Ｂ」の画素１００対により同図の上下方向に瞳分割することができる。また、図１４Ａ「Ｌ」及び図１４Ｂの「Ｒ」の画素１００対により同図の左右方向に瞳分割することができる。
　図１５は、本開示の第３の実施形態に係る位相差画素の構成例を示す図である。同図は、第３の解像度が適用される場合の位相差画素の配置例を表した図である。同図は、緑色光に対応する画素ブロック２００の画素１００を位相差画素として使用する例を表した図である。第３の解像度が適用される場合には、隣接する２つの画素ブロック２００の８個の画素１００の画像信号の加算を行い、加算後の画像信号を位相差信号として使用することができる。同図の破線の矩形は、画像信号を加算する複数の画素１００を表したものである。なお、画像信号の加算は、画像信号加算部２０により行うことができる。同図の「Ｔ」及び「Ｌ」は、図１４Ａ及び図１４Ｂと同様に、位相差画素を表す。なお、「Ｂ」及び「Ｒ」の位相差画素については、記載を省略した。
　このように、撮像素子１０は、画素アレイ部１１に配置された全ての画素１００において位相差信号の生成を行うことができる。また、左右及び上下の２つの方向に瞳分割した位相差信号を生成することができる。
　図１６Ａ及び１６Ｂは、従来の技術の撮像素子の構成例を示す図である。同図は、本開示の技術の比較例である撮像素子の画素アレイ部における画素の配置例を表した図である。
　図１６Ａは、長方形の形状の画素５００が配置されて構成される画素アレイ部の例を表した図である。２つの画素５００に共通にオンチップレンズ５７０が配置される。この２つの画素５００が位相差画素を構成する。同図の画素アレイ部では、全ての画素において位相差信号を生成することができる。しかし、同図の画素アレイ部では、１方向（同図の左右方向）にしか瞳分割できない。
　図１６Ｂは、オンチップレンズ５７１を備える画素５０１が配置されて構成される画素アレイ部の例を表した図である。同図の画素アレイ部には、共通にオンチップレンズ５７１が配置される２つの画素５０２が位相差画素を構成する。同図の画素アレイ部では、一部の領域に位相差画素が分散して配置される。また、同図の画素アレイ部においても、１方向（同図の左右方向）にしか瞳分割できない。
　このように、比較例の撮像素子は１方向のみの瞳分割に対応するため、当該瞳分割の方向とは異なる方向にコントラストを有する被写体画像の位相差の検出ができず、位相差の検出精度が低下する。また、図１６Ｂの画素アレイ部を有する撮像素子では、位相差画素数に制限があるため、高い解像度の撮像における位相差の検出が困難になる。これに対し、本開示の撮像素子１０は、画素アレイ部１１に配置された全ての画素１００において位相差信号の生成を行うとともに、左右及び上下の２つの方向に瞳分割して位相差信号を生成することができる。これにより、位相差の検出精度を向上させることができる。殊に、被写体画像のコントラストが低い低照度環境における撮像において、従来の技術の撮像素子より高い位相差の検出が可能となる。
　これ以外の撮像装置１の構成は本開示の第１の実施形態における撮像装置１の構成と同様であるため、説明を省略する。
　このように、本開示の第３の実施形態の撮像装置１は、対象領域の解像度に応じて加算した画像信号による位相信号を生成し、焦点位置を検出する。これにより、選択された解像度にて撮像される対象領域の被写体においてオートフォーカスを行うことができる。利便性を更に向上させることができる。
　（４．第４の実施形態）
　上述の第１の実施形態の撮像装置１は、対象領域検出部５０が検出した対象領域に応じた解像度を選択していた。これに対し、本開示の第４の実施形態の撮像装置１は、撮像装置１の使用者が選択した解像度を適用する点で、上述の第１の実施形態と異なる。
　［撮像装置の構成］
　図１７は、本開示の第４の実施形態に係る撮像装置の構成例を示す図である。同図は、図１と同様に、撮像装置１の構成例を表すブロック図である。同図の撮像装置１は、対象領域検出部５０及び記憶部６０が省略される点で、図１の撮像装置１と異なる。
　同図の撮像制御部４０には、撮像装置１の使用者から解像度が入力される。同図の撮像制御部４０は、入力された解像度を選択した解像度として画像信号加算部２０に対して出力する。
　これ以外の撮像装置１の構成は本開示の第１の実施形態における撮像装置１の構成と同様であるため、説明を省略する。
　このように、本開示の第４の実施形態の撮像装置１は、当該撮像装置１の使用者により選択された解像度にて撮像を行うことができる。
　（５．第５の実施形態）
　照度に応じて解像度を選択し、撮像を行う例について説明する。
　［撮像装置の構成］
　図１８は、本開示の第５の実施形態に係る撮像装置の構成例を示す図である。同図は、図１と同様に、撮像装置１の構成例を表すブロック図である。同図の撮像装置１は、対象領域検出部５０が省略され、照度センサ８９を備える点で、図１の撮像装置１と異なる。なお、同図において、撮像制御部４０及び記憶部６０が撮像制御装置を構成する。
　照度センサ８９は、照度を検出するものである。この照度センサ８９は、検出した照度のデータを撮像制御部４０に出力する。
　同図の撮像制御部４０は、照度センサ８９から入力される照度に応じて解像度を選択する。この際、撮像制御部４０は、例えば、照度の閾値に基づいて解像度を選択することができる。具体的には、撮像制御部４０は、第１の照度及び第２の照度を閾値として設定する。ここで、第２の照度は第１の照度より低い値の閾値である。そして、撮像制御部４０は、照度センサ８９により検出された照度が第１の照度以上の場合、第１の照度未満かつ第２の照度以上の場合及び第２の照度未満の場合に、それぞれ第１の解像度、第２の解像度及び第３の解像度を選択することができる。
　この照度の閾値及び解像度の対応関係の情報は、同図の記憶部６０に保持される。撮像制御部４０は、記憶部６０に照度を出力する。すると、記憶部６０は、照度に応じた解像度を撮像制御部４０に対して出力する。撮像制御部４０は、この出力された解像度を選択することができる。
　同図の記憶部６０は、上述の照度の閾値及び解像度の対応関係の情報を保持する。記憶部６０は、例えば、照度の閾値及び解像度の対応関係の情報を照度の閾値及び解像度の関係を参照するための表（ＬＵＴ：Look-up　Table）の形式にて保持することができる。
　前述のように、第２の解像度においては、画像信号加算部２０が４つの画像信号の加算を行うため、第１の解像度と比較して画像信号のレベルを高くすることができる。また、第３の解像度においては、画像信号加算部２０が１６の画像信号の加算を行うため、画像信号のレベルを更に高くすることができる。
　［解像度の撮像処理］
　図１９は、本開示の第５の実施形態に係る撮像処理の処理手順の一例を示す図である。同図は、撮像装置１における撮像処理の処理手順の一例を表す流れ図である。まず、照度センサ８９が照度を測定する（ステップＳ１８０）。次に、撮像制御部４０は、測定結果の照度が第１の照度以上かを判断する（ステップＳ１８２）。その結果、照度が第１の照度以上の場合は（ステップＳ１８２、Ｙｅｓ）、撮像制御部４０は、第１の解像度を選択し（ステップＳ１８３）、ステップＳ１８７の処理に移行する。
　一方、照度が第１の照度以上でない場合は（ステップＳ１８２，Ｎｏ）、撮像制御部４０は、照度が第２の照度以上かを判断する（ステップＳ１８４）。その結果、照度が第２の照度以上の場合は（ステップＳ１８４，Ｙｅｓ）、撮像制御部４０は、第２の解像度を選択し（ステップＳ１８５）、ステップＳ１８７の処理に移行する。一方、照度が第２の照度以上でない場合は（ステップＳ１８４，Ｎｏ）、撮像制御部４０は、第３の解像度を選択し（ステップＳ１８６）、ステップＳ１８７の処理に移行する。
　ステップＳ１８７において、撮像制御部４０は、撮像素子１０に制御信号を出力して撮像を行わせる（ステップＳ１８７）。以上の処理により撮像処理を行うことができる。
　これ以外の撮像装置１の構成は本開示の第１の実施形態における撮像装置１の構成と同様であるため、説明を省略する。
　このように、本開示の第５の実施形態の撮像装置１は、照度に応じて解像度を選択し、撮像を行う。これにより、低照度の環境であっても感度を向上させた撮像を行うことができる。
　（６．第６の実施形態）
　露出に応じて解像度を選択し、撮像を行う例について説明する。
　［撮像装置の構成］
　図２０は、本開示の第６の実施形態に係る撮像装置の構成例を示す図である。同図は、図１８と同様に、撮像装置１の構成例を表すブロック図である。同図の撮像装置１は、照度センサ８９及び記憶部６０の代わりに露光制御部８８を備える点で、図１８の撮像装置１と異なる。
　露光制御部８８は、露光を制御するものである。この露光制御部８８は、設定されたゲインやシャッタ速度に応じた露出（以下ＥＶ値と記載する）を検出して撮像制御部４０に出力することにより露光を制御する。
　同図の撮像制御部４０は、露光制御部８８から入力されるＥＶ値に応じて解像度を選択する。この際、撮像制御部４０は、例えば、ＥＶ値の閾値に基づいて解像度を選択することができる。具体的には、撮像制御部４０は、第１のＥＶ値及び第２のＥＶ値を閾値として設定する。ここで、第２のＥＶ値は第１のＥＶ値より低い値の閾値である。そして、撮像制御部４０は、露光制御部８８により検出されたＥＶ値が第１のＥＶ値以上の場合、第１のＥＶ値未満かつ第２のＥＶ値以上の場合及び第２のＥＶ値未満の場合に、それぞれ第１の解像度、第２の解像度及び第３の解像度を選択することができる。
　［解像度の撮像処理］
　図２１は、本開示の第６の実施形態に係る撮像処理の処理手順の一例を示す図である。同図は、撮像装置１における撮像処理の処理手順の一例を表す流れ図である。まず、撮像制御部４０が画像信号のレベルに基づいてゲイン及びシャッタ速度を決定する（ステップＳ１９０）。次に、決定されたゲイン及びシャッタ速度に基づいて露光制御部８８がＥＶ値を検出する（ステップＳ１９１）。次に、撮像制御部４０は、検出されたＥＶ値が第１のＥＶ値以上かを判断する（ステップＳ１９２）。その結果、検出されたＥＶ値が第１のＥＶ値以上の場合は（ステップＳ１９２、Ｙｅｓ）、撮像制御部４０は、第１の解像度を選択し（ステップＳ１９３）、ステップＳ１９７の処理に移行する。
　一方、検出されたＥＶ値が第１のＥＶ値以上でない場合は（ステップＳ１９２，Ｎｏ）、撮像制御部４０は、ＥＶ値が第２のＥＶ値以上かを判断する（ステップＳ１９４）。その結果、ＥＶ値が第２のＥＶ値以上の場合は（ステップＳ１９４，Ｙｅｓ）、撮像制御部４０は、第２の解像度を選択し（ステップＳ１９５）、ステップＳ１９７の処理に移行する。一方、ＥＶ値が第２のＥＶ値以上でない場合は（ステップＳ１９４，Ｎｏ）、撮像制御部４０は、第３の解像度を選択し（ステップＳ１９６）、ステップＳ１９７の処理に移行する。
　ステップＳ１９７において、撮像制御部４０は、撮像素子１０に制御信号を出力して撮像を行わせる（ステップＳ１９７）。以上の処理により撮像処理を行うことができる。
　これ以外の撮像装置１の構成は本開示の第５の実施形態における撮像装置１の構成と同様であるため、説明を省略する。
　このように、本開示の第６の実施形態の撮像装置１は、ＥＶ値に応じて解像度を選択し、撮像を行う。これにより、露出に応じた撮像を行うことができる。
　（７．第７の実施形態）
　上述の第１の実施形態の撮像装置１は、撮像制御部４０は、対象領域検出部５０が検出した対象領域に応じた解像度を選択していた。これに対し、本開示の第７の実施形態の撮像装置１は、複数の対象領域が検出される点で、上述の第１の実施形態と異なる。
　本開示の第７の実施形態の撮像装置１は、図１の撮像装置１と同様の構成を採ることができる。また、本開示の第７の実施形態の対象領域検出部５０は、複数の対象領域を検出することができる。また、本開示の第７の実施形態の撮像制御部４０は、検出された対象領域毎に解像度を選択することができる。
　［画像の例］
　図２２は、本開示の第７の実施形態に係る撮像装置が生成する画像の一例を示す図である。同図は、図７Ｂと同様に、生成した画像に異なる解像度に設定した対象領域の画像を重ね合わせる例を表したものである。同図の画像４１０は、例えば、第２の解像度にて生成される。この画像４１０は、建物内から外の景色を背景にして人物の撮影を行う場合の例を表したものである。逆光となるため、人物が暗い画像となる。この画像において、対象領域検出部５０により対象領域４１１及び４１３が検出され、撮像制御部４０に出力される。撮像制御部４０は、対象領域４１１に第１の解像度を適用して拡大した画像４１２及び対象領域４１３に第３の解像度を適用して輝度を向上させた画像４１４を生成することができる。
　画像４１２の生成により、遠方の被写体の確認が可能となる。また、画像４１４の生成により、逆光のため暗くなった被写体の視認性を向上させることができる。
　これ以外の撮像装置１の構成は本開示の第１の実施形態における撮像装置１の構成と同様であるため、説明を省略する。
　このように、本開示の第７の実施形態の撮像装置１は、複数の対象領域毎に解像度を選択する。これにより、利便性を向上させることができる。
　（８．変形例）
　本開示の実施形態の変形例について説明する。
　［撮像素子の平面の構成］
　図２３は、本開示の実施形態の第１の変形例に係る画素の構成例を示す図である。同図は、図３と同様に、画素アレイ部１１に配置される画素１００の構成例を表す平面図である。同図の画素１００は、位相差画素を構成する画素１００を除いてオンチップレンズ１７０をそれぞれ備える点で、図３の画素１００と異なる。ベイヤー配列に配置される緑色光に対応する画素ブロックユニット３００の一方に、位相差画素を構成する共通のオンチップレンズ１７０を有する画素１００が配置される。また、この位相差画素を構成する画素１００は、画素ブロックユニット３００を構成する４つの画素ブロック２００の内の１つの画素ブロック２００に配置される。
　図２４は、本開示の実施形態の第２の変形例に係る画素の構成例を示す図である。同図は、図３と同様に、画素アレイ部１１に配置される画素１００の構成例を表す平面図である。同図の画素ブロック２００は、位相差画素を構成する画素１００により構成される点で、図３の画素ブロック２００と異なる。
　図２３及び２４の画素アレイ部１１においても、図３の画素アレイ部１１と同様に第１の解像度、第２の解像度及び第３の解像度に対応する画像信号を生成することができる。。
　（９．画素ブロックの構成例）
　本開示の実施形態の画素ブロック２００の回路例について説明する。
　［画素ブロックの回路構成］
　図は、本開示の実施形態に係る画素ブロックの回路構成の一例を示す図である。同図は、２つの画素ブロック２００毎に画像信号生成部１１０が配置される回路構成の一例を表す図である。同図の画素ブロック２００ａは、光電変換部１０１ａ、１０１ｂ、１０１ｃ、１０１ｄ、１０１ｅ、１０１ｆ、１０１ｇ及び１０１ｈ並びに電荷転送部１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ、１０２ｅ、１０２ｆ、１０２ｇ及び１０２ｈを備える。また、画素ブロック２００ａは、電荷保持部１０３、リセット部１０４、画像信号生成部１１０、補助電荷保持部１０８、結合部１０７及び画像信号生成部１１０を更に備える。なお、画像信号生成部１１０は、増幅トランジスタ１１１及び選択トランジスタ１１２を備える。
　なお、光電変換部１０１ａ及び電荷転送部１０２ａ並びに光電変換部１０１ｂ及び電荷転送部１０２ｂは、それぞれ不図示の画素１００ａ及び画素１００ｂを構成する。また、光電変換部１０１ｃ及び電荷転送部１０２ｃ並びに光電変換部１０１ｄ及び電荷転送部１０２ｄは、それぞれ不図示の画素１００ｃ及び画素１００ｄを構成する。これらの画素１００ａ－１００ｄが画素ブロックを構成する。
　同様に、光電変換部１０１ｅ及び電荷転送部１０２ｅ並びに光電変換部１０１ｆ及び電荷転送部１０２ｆは、それぞれ不図示の画素１００ｅ及び画素１００ｆを構成する。また、光電変換部１０１ｇ及び電荷転送部１０２ｇ並びに光電変換部１０１ｈ及び電荷転送部１０２ｈは、それぞれ不図示の画素１００ｇ及び画素１００ｈを構成する。これらの画素１００ｅ乃至１００ｈが画素ブロックを構成する。
　電荷転送部１０２ａ乃至１０２ｈ、リセット部１０４、増幅トランジスタ１１１及び選択トランジスタ１１２、並びに結合部１０７は、ｎチャネルＭＯＳトランジスタにより構成することができる。
　画素ブロック２００ａには、図２において説明した信号線１５及び１６が配線される。同図の信号線１５には、信号線ＴＧ１、信号線ＴＧ２、信号線ＴＧ３、信号線ＴＧ４、信号線ＴＧ５、信号線ＴＧ６、信号線ＴＧ７、信号線ＴＧ８、信号線ＦＤＧ、信号線ＲＳＴ及び信号線ＳＥＬが含まれる。また、信号線１６には、信号線ＶＳＬが含まれる。また、画素ブロック２００ａには、信号線１９が更に配置される。この信号線１９は、画素ブロック２００ａと他の画素ブロック２００（後述する画素ブロック２００ｂ、２００ｃ及び２００ｄ）とを接続する信号線である。この他、画素ブロック２００ａには、電源線Ｖｄｄが配線される。この電源線Ｖｄｄは、画素ブロック２００ａに電源を供給する配線である。
　光電変換部１０１ａのアノードは接地され、カソードは電荷転送部１０２ａのソースに接続される。光電変換部１０１ｂのアノードは接地され、カソードは電荷転送部１０２ｂのソースに接続される。光電変換部１０１ｃのアノードは接地され、カソードは電荷転送部１０２ｃのソースに接続される。光電変換部１０１ｄのアノードは接地され、カソードは電荷転送部１０２ｄのソースに接続される。光電変換部１０１ｅのアノードは接地され、カソードは電荷転送部１０２ｅのソースに接続される。光電変換部１０１ｆのアノードは接地され、カソードは電荷転送部１０２ｆのソースに接続される。光電変換部１０１ｇのアノードは接地され、カソードは電荷転送部１０２ｇのソースに接続される。光電変換部１０１ｈのアノードは接地され、カソードは電荷転送部１０２ｈのソースに接続される。
　電荷転送部１０２ａ、電荷転送部１０２ｂ、電荷転送部１０２ｃ、電荷転送部１０２ｄ、電荷転送部１０２ｅ、電荷転送部１０２ｆ、電荷転送部１０２ｇ、電荷転送部１０２ｈのそれぞれのドレインは、電荷保持部１０３の一端に共通に接続される。また、この電荷保持部１０３の一端には、増幅トランジスタ１１１のゲート、リセット部１０４のソース及び結合部１０７のドレインが更に接続される。電荷保持部１０３の他の一端は、接地される。リセット部１０４のドレイン及び増幅トランジスタ１１１のドレインは、電源線Ｖｄｄに接続される。増幅トランジスタ１１１のソースは選択トランジスタ１１２のドレインに接続され、選択トランジスタ１１２のソースは信号線ＶＳＬに接続される。
　電荷転送部１０２ａのゲートは、信号線ＴＧ１に接続される。電荷転送部１０２ｂのゲートは、信号線ＴＧ２に接続される。電荷転送部１０２ｃのゲートは、信号線ＴＧ３に接続される。電荷転送部１０２ｄのゲートは、信号線ＴＧ４に接続される。電荷転送部１０２ｅのゲートは、信号線ＴＧ５に接続される。電荷転送部１０２ｆのゲートは、信号線ＴＧ６に接続される。電荷転送部１０２ｇのゲートは、信号線ＴＧ７に接続される。電荷転送部１０２ｈのゲートは、信号線ＴＧ８に接続される。リセット部１０４のゲートは信号線ＲＳＴに接続される。結合部１０７のゲートは、信号線ＦＤＧに接続される。補助電荷保持部１０８の一端は接地され、他の一端は結合部１０７のソース及び信号線１９に接続される。
　光電変換部１０１ａ等は、入射光の光電変換を行うものである。この光電変換部１０１ａ等は、フォトダイオードにより構成することかできる。
　電荷保持部１０３は、光電変換部１０１ａ等の光電変換により生成される電荷を保持するものである。この電荷保持部１０３は、半導体基板に形成された半導体領域により構成することができる。
　電荷転送部１０２ａ等は、光電変換部１０１ａ等の電荷を電荷保持部１０３に転送するものである。電荷転送部１０２ａ等の制御信号は、信号線ＴＧ１等により伝達される。
　リセット部１０４は、電荷保持部１０３をリセットするものである。このリセットは、電荷保持部１０３と電源線Ｖｄｄとの間を導通して電荷保持部１０３の電荷を排出することにより行うことができる。リセット部１０４の制御信号は、信号線ＲＳＴにより伝達される。
　増幅トランジスタ１１１は、電荷保持部１０３の電圧を増幅するものである。増幅トランジスタ１１１のゲートは、電荷保持部１０３に接続されている。このため、増幅トランジスタ１１１のソースには、電荷保持部１０３に保持された電荷に応じた電圧の画像信号が生成される。また、選択トランジスタ１１２を導通させることにより、この画像信号を信号線ＶＳＬに出力させることができる。選択トランジスタ１１２の制御信号は、信号線ＳＥＬにより伝達される。
　補助電荷保持部１０８は、電荷保持部１０３に結合するキャパシタである。この補助電荷保持部１０８を電荷保持部１０３に結合をすることにより、画素ブロック２００ａの電荷の保持容量を調整することができる。具体的には、補助電荷保持部１０８を電荷保持部１０３に結合させると、画素ブロック２００ａの電荷の保持容量が増加する。これにより、画素ブロック２００ａの感度を低下させることができる。補助電荷保持部１０８を電荷保持部１０３に結合しない場合には、画素ブロック２００ａの電荷保持容量が比較的高くなる一方、電荷の飽和を生じ易くなる。補助電荷保持部１０８を電荷保持部１０３に結合しない動作モード及び補助電荷保持部１０８を電荷保持部１０３に結合する動作モードをそれぞれ高感度モード及び低感度モードと称する。
　結合部１０７は、補助電荷保持部１０８を電荷保持部１０３に結合するものである。この結合部１０７は、ＭＯＳトランジスタにより構成され、電荷保持部１０３及び補助電荷保持部１０８の間を導通させることにより、補助電荷保持部１０８を電荷保持部１０３に結合することができる。
　なお、同図の画素ブロック２００ａと、後述する画素ブロック２００ｂ、画素ブロック２００ｃ及び画素ブロック２００ｄとは、補助電荷保持部１０８同士が信号線１９により接続される。
　前述のように、電荷転送部１０２、リセット部１０４、選択トランジスタ１１２及び結合部１０７は、ｎチャネルＭＯＳトランジスタにより構成することができる。このｎチャネルＭＯＳトランジスタでは、ゲート－ソース間電圧Ｖｇｓの閾値を超える電圧をゲートに印加することにより、ドレイン－ソース間を導通させることができる。以下、このゲート－ソース間電圧Ｖｇｓの閾値を超える電圧をオン電圧と称する。一方、ＭＯＳトランジスタを非導通の状態にする電圧をオフ電圧と称する。このオン電圧及びオフ電圧を含む制御信号は、信号線ＴＧ１等により伝達される。
　また、リセット部１０４による電荷保持部１０３のリセットの際、電荷転送部１０２を導通させることにより、光電変換部１０１のリセットも行うことができる。また、結合部１０７を導通させることにより、補助電荷保持部１０８のリセットを行うことができる。この補助電荷保持部１０８のリセットは、画素ブロック２００の電荷保持部１０３に電荷が保持される期間である自画素ブロック電荷保持期間及び何れの画素ブロック２００の電荷保持部１０３にも電荷が保持されない期間である電荷不保持期間に行うことができる。
　［画素ブロックの構成］
　図２６は、本開示の実施形態に係る画素ブロックの構成例を示す図である。同図は、画素ブロック２００ａ、２００ｂ、２００ｃ及び２００ｄの構成例を表す図である。同図の画素ブロック２００ａ等は、オンチップレンズ１７０が共通に配置される２行２列に配列された４つの画素１００が２組配置される。同図の画素ブロック２００ｂ、２００ｃ及び２００ｄは、画素ブロック２００ａと共通の回路に構成される。また、２組の画素ブロック２００ａ、２００ｂ、２００ｃ及び２００ｄが図２において説明した信号線１６（信号線ＶＳＬ）に共通に接続される。
　なお、本開示の第２の実施形態の構成は、他の実施形態に適用することができる。具体的には、図９の測距部８０は、本開示の第３の実施形態に適用することができる。
　（効果）
　撮像装置１は、撮像素子１０と、解像度選択部（撮像制御部４０）と、画像信号加算部２０とを有する。撮像素子１０は、被写体からの入射光の光電変換を行って画像信号を生成する複数の画素１００及び当該複数の画素１００に共通に配置されて入射光を複数の画素１００に集光するオンチップレンズ１７０を備える画素ブロック２００が２次元行列状に配置される。解像度選択部（撮像制御部４０）は、画素１００のサイズに応じた解像度である第１の解像度、画素ブロック２００のサイズに応じた解像度である第２の解像度及び隣接する複数の画素ブロック２００により構成される画素ブロックユニット３００のサイズに応じた解像度である第３の解像度を選択する。画像信号加算部２０は、生成された画像信号を選択された解像度に応じて加算することにより第２の画像信号を生成する。これにより、異なる解像度の画像信号を生成するという作用をもたらす。
　また、画素１００は、異なる波長の入射光を透過する複数のカラーフィルタうちの１つが配置されてもよい。これにより、カラーの画像信号を生成することができる。
　また、画素ブロックユニット３００は、自身の複数の画素ブロック２００のそれぞれの画素１００に同じ波長の入射光を透過するカラーフィルタが配置されてもよい。これにより、画素ブロック２００の画素１００が対応する入射光の波長を揃えることができる。
　また、複数のカラーフィルタは、複数の画素１００において所定の並び順の配列に配置されてもよい。
　また、画像信号を配列とは異なる複数のカラーフィルタの並び順の配列に対応する画像信号に変換する処理であるリモザイク処理を行う信号処理部を更に有してもよい。これにより、所望のカラーフィルタの配列に応じた画像信号を生成することができる。
　また、信号処理部は、選択された解像度に応じたリモザイク処理を行ってもよい。これにより、解像度に応じてリモザイク処理を選択することができる。
　また、生成された画像信号により構成される画像において被写体のうちの撮像の対象となる対象物を含む画像の領域である対象領域を検出する対象領域検出部５０を更に有し、解像度選択部（撮像制御部４０）は、検出された対象領域に応じて解像度を選択してもよい。これにより、所望の撮像対象物の解像度を調整することができる。
　また、対象領域検出部５０は、使用者の指示に基づいて対象領域を検出してもよい。
　また、対象領域検出部５０は、事前に生成された画像から対象領域を検出してもよい。
　また、被写体までの距離を測定するセンサを更に有し、解像度選択部（撮像制御部４０）は、測定された距離に応じて解像度を選択してもよい。これにより、被写体までの距離に応じて拡大や縮小の処理を自動化することができる。
　また、解像度選択部（撮像制御部４０）は、時系列に生成される複数の画像である動画像を生成する際の画像のフレームレートに応じて解像度を選択してもよい。これにより、動画像のデータ量に応じて解像度を選択することができる。
　また、画素１００は、被写体を瞳分割して像面位相差を検出するための位相差信号を更に生成し、画像信号加算部２０は、生成された位相差信号を選択された解像度に応じて加算して第２の位相差信号を生成してもよい。これにより、解像度に応じた位相差信号を生成することができる。
　また、画像信号加算部２０は、第２の解像度が選択された場合に画素ブロック２００のうちの隣接する２つの画素１００により生成される位相差信号を加算し、第３の解像度が選択された場合に隣接する２つの画素ブロック２００に配置される複数の画素１００により生成される位相差信号を加算してもよい。
　また、画素ブロック２００は、２行２列に配置される４つの画素１００を備えてもよい。
　撮像装置１は、複数の画素１００と、複数のオンチップレンズ１７０とを有する。複数の画素１００は、入射光の光電変換を行って画像信号を生成する２次元行列状に配置される。複数のオンチップレンズ１７０は、２行２列に配置された４つの画素１００からなる画素ブロック２００毎に配置される。２行２列に配置された４つの画素ブロック２００からなる画素ブロックユニット３００毎に異なる波長の入射光を透過する複数のカラーフィルタ１５０のうちの１つが配置され、画素１００毎に画像信号を生成する第１の撮像モードにおける第１の解像度は、画素ブロック２００毎に画像信号を生成する第２の撮像モードにおける第２の解像度の４倍であり、第２の解像度は、画素ブロックユニット３００毎に画像信号を生成する第３の撮像モードにおける第３の解像度の４倍である。これにより、異なる解像度の画像信号を生成するという作用をもたらす。
　また、第１の撮像モードにおける第１のフレームレートは、第２の撮像モードにおける第２のフレームレートの略１／４であり、第３の撮像モードにおける第３のフレームレートは、第２のフレームレートの略１／４であってもよい。これにより、フレームレートに応じた解像度を適用することができる。
　センサは、被写体からの入射光の光電変換を行って画像信号を生成する複数の画素１００が２次元行列状に配置される撮像素子１０を有し、２行２列に配置された４つの上記画素１００からなる画素ブロック２００が２行２列に配置されて構成された画素ブロックユニット３００毎に異なる波長の上記入射光を透過する複数のカラーフィルタ１５０のうちの１つが配置され、上記画素１００毎の画像信号を生成する第１の撮像モード、上記画素ブロック２００毎の画像信号を生成する第２の撮像モード及び上記画素ブロックユニット３００毎の画像信号を生成する第３の撮像モードの何れかのモードにて動作するセンサである。これにより、異なる解像度の画像信号を生成するという作用をもたらす。
　センサにより上記第１のモード、上記第２のモード及び上記第３のモードの何れかにおいて生成された第２の画像信号に基づいて、上記第１のモード、上記第２のモード及び上記第３のモードを切り替える制御信号を上記センサに出力する撮像制御装置は、被写体からの入射光の光電変換を行う画素１００毎に画像信号を生成する第１のモードと、２行２列に配置された４つの上記画素からなる画素ブロック２００毎に画像信号を生成する第２のモードと、２行２列に配置された４つの上記画素ブロック２００からなる画素ブロックユニット３００毎に画像信号を生成する第３のモードとを備えるセンサにより上記第１のモード、上記第２のモード及び上記第３のモードの何れかにおいて生成された第２の画像信号に基づいて、上記第１のモード、上記第２のモード及び上記第３のモードを切り替える制御信号を上記センサに出力する撮像制御装置である。これにより、異なる解像度の画像信号を生成するという作用をもたらす。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　被写体からの入射光の光電変換を行って画像信号を生成する複数の画素及び当該複数の画素に共通に配置されて前記入射光を前記複数の画素に集光するオンチップレンズを備える画素ブロックが２次元行列状に配置される撮像素子と、
　前記画素のサイズに応じた解像度である第１の解像度、前記画素ブロックのサイズに応じた解像度である第２の解像度及び隣接する複数の前記画素ブロックにより構成される画素ブロックユニットのサイズに応じた解像度である第３の解像度を選択する解像度選択部と、
　前記生成された画像信号を前記選択された解像度に応じて加算することにより第２の画像信号を生成する画像信号加算部と
を有する撮像装置。
（２）
　前記画素は、異なる波長の前記入射光を透過する複数のカラーフィルタのうちの１つが配置される
前記（１）に記載の撮像装置。
（３）
　前記画素ブロックユニットは、自身の複数の前記画素ブロックのそれぞれの前記画素に同じ波長の入射光を透過する前記カラーフィルタが配置される
前記（２）に記載の撮像装置。
（４）
　前記複数のカラーフィルタは、複数の前記画素において所定の並び順の配列に配置される
前記（２）に記載の撮像装置。
（５）
　前記画像信号を前記配列とは異なる前記複数のカラーフィルタの並び順の配列に対応する画像信号に変換する処理であるリモザイク処理を行う信号処理部
を更に有する前記（４）に記載の撮像装置。
（６）
　前記信号処理部は、前記選択された解像度に応じた前記リモザイク処理を行う
前記（５）に記載の撮像装置。
（７）
　前記生成された画像信号により構成される画像において前記被写体のうちの撮像の対象となる対象物を含む画像の領域である対象領域を検出する対象領域検出部
を更に有し、
　前記解像度選択部は、前記検出された対象領域に応じて前記解像度を選択する
前記（１）から（６）の何れかに記載の撮像装置。
（８）
　前記対象領域検出部は、使用者の指示に基づいて前記対象領域を検出する
前記（７）に記載の撮像装置。
（９）
　前記対象領域検出部は、事前に生成された前記画像から前記対象領域を検出する
前記（７）に記載の撮像装置。
（１０）
　前記被写体までの距離を測定するセンサを更に有し、
　前記解像度選択部は、前記測定された距離に応じて前記解像度を選択する
前記（１）から（９）の何れかに記載の撮像装置。
（１１）
　前記解像度選択部は、時系列に生成される複数の画像である動画像を生成する際の画像のフレームレートに応じて前記解像度を選択する
前記（１）から（１０）の何れかに記載の撮像装置。
（１２）
　前記画素は、前記被写体を瞳分割して像面位相差を検出するための位相差信号を更に生成し、
　前記画像信号加算部は、前記生成された位相差信号を前記選択された解像度に応じて加算して第２の位相差信号を生成する
前記（１）から（１１）の何れかに記載の撮像装置。
（１３）
　前記画像信号加算部は、前記第２の解像度が選択された場合に前記画素ブロックのうちの隣接する２つの前記画素により生成される前記位相差信号を加算し、前記第３の解像度が選択された場合に隣接する２つの画素ブロックに配置される複数の画素により生成される前記位相差信号を加算する
前記（１２）に記載の撮像装置。
（１４）
　前記画素ブロックは、２行２列に配置される４つの前記画素を備える
前記（１）から（１３）の何れかに記載の撮像装置。
（１５）
　入射光の光電変換を行って画像信号を生成する２次元行列状に配置された複数の画素と、
　２行２列に配置された４つの前記画素からなる画素ブロック毎に配置される複数のオンチップレンズと
を有し、
　２行２列に配置された４つの前記画素ブロックからなる画素ブロックユニット毎に異なる波長の前記入射光を透過する複数のカラーフィルタのうちの１つが配置され、
　前記画素毎に画像信号を生成する第１の撮像モードにおける第１の解像度は、前記画素ブロック毎に画像信号を生成する第２の撮像モードにおける第２の解像度の４倍であり、
　前記第２の解像度は、前記画素ブロックユニット毎に画像信号を生成する第３の撮像モードにおける第３の解像度の４倍である
撮像装置。
（１６）
　前記第１の撮像モードにおける第１のフレームレートは、前記第２の撮像モードにおける第２のフレームレートの略１／４であり、
　前記第３の撮像モードにおける第３のフレームレートは、前記第２のフレームレートの略１／４である
前記（１５）に記載の撮像装置。
（１７）
　被写体からの入射光の光電変換を行って画像信号を生成する複数の画素が２次元行列状に配置される撮像素子を有し、
　２行２列に配置された４つの前記画素からなる画素ブロックが２行２列に配置されて構成された画素ブロックユニット毎に異なる波長の前記入射光を透過する複数のカラーフィルタのうちの１つが配置され、
　前記画素毎の画像信号を生成する第１の撮像モード、前記画素ブロック毎の画像信号を生成する第２の撮像モード及び前記画素ブロックユニット毎の画像信号を生成する第３の撮像モードの何れかのモードにて動作する
　センサ。
（１８）
　被写体からの入射光の光電変換を行う画素毎に画像信号を生成する第１のモードと、２行２列に配置された４つの前記画素からなる画素ブロック毎に画像信号を生成する第２のモードと、２行２列に配置された４つの前記画素ブロックからなる画素ブロックユニット毎に画像信号を生成する第３のモードとを備えるセンサにより前記第１のモード、前記第２のモード及び前記第３のモードの何れかにおいて生成された第２の画像信号に基づいて、前記第１のモード、前記第２のモード及び前記第３のモードを切り替える制御信号を前記センサに出力する撮像制御装置。
　１　撮像装置
　１０　撮像素子
　２０　画像信号加算部
　３０　信号処理部
　３３　リモザイク処理部
　３４　輝度信号生成部
　４０　撮像制御部
　５０　対象領域検出部
　６０　記憶部
　７０　撮影レンズ
　８０　測距部
　９０　焦点位置検出部
　１００　画素
　１５０　カラーフィルタ
　１７０　オンチップレンズ
　２００　画素ブロック
　３００　画素ブロックユニット

Claims (18)

  1. 　被写体からの入射光の光電変換を行って画像信号を生成する複数の画素及び当該複数の画素に共通に配置されて前記入射光を前記複数の画素に集光するオンチップレンズを備える画素ブロックが２次元行列状に配置される撮像素子と、
    　前記画素のサイズに応じた解像度である第１の解像度、前記画素ブロックのサイズに応じた解像度である第２の解像度及び隣接する複数の前記画素ブロックにより構成される画素ブロックユニットのサイズに応じた解像度である第３の解像度を選択する解像度選択部と、
    　前記生成された画像信号を前記選択された解像度に応じて加算することにより第２の画像信号を生成する画像信号加算部と
    を有する撮像装置。
  2. 　前記画素は、異なる波長の前記入射光を透過する複数のカラーフィルタのうちの１つが配置される
    請求項１に記載の撮像装置。
  3. 　前記画素ブロックユニットは、自身の複数の前記画素ブロックのそれぞれの前記画素に同じ波長の入射光を透過する前記カラーフィルタが配置される
    請求項２に記載の撮像装置。
  4. 　前記複数のカラーフィルタは、複数の前記画素において所定の並び順の配列に配置される
    請求項２に記載の撮像装置。
  5. 　前記画像信号を前記配列とは異なる前記複数のカラーフィルタの並び順の配列に対応する画像信号に変換する処理であるリモザイク処理を行う信号処理部
    を更に有する請求項４に記載の撮像装置。
  6. 　前記信号処理部は、前記選択された解像度に応じた前記リモザイク処理を行う
    請求項５に記載の撮像装置。
  7. 　前記生成された画像信号により構成される画像において前記被写体のうちの撮像の対象となる対象物を含む画像の領域である対象領域を検出する対象領域検出部
    を更に有し、
    　前記解像度選択部は、前記検出された対象領域に応じて前記解像度を選択する
    請求項１に記載の撮像装置。
  8. 　前記対象領域検出部は、使用者の指示に基づいて前記対象領域を検出する
    請求項７に記載の撮像装置。
  9. 　前記対象領域検出部は、事前に生成された前記画像から前記対象領域を検出する
    請求項７に記載の撮像装置。
  10. 　前記被写体までの距離を測定するセンサを更に有し、
    　前記解像度選択部は、前記測定された距離に応じて前記解像度を選択する
    請求項１に記載の撮像装置。
  11. 　前記解像度選択部は、時系列に生成される複数の画像である動画像を生成する際の画像のフレームレートに応じて前記解像度を選択する
    請求項１に記載の撮像装置。
  12. 　前記画素は、前記被写体を瞳分割して像面位相差を検出するための位相差信号を更に生成し、
    　前記画像信号加算部は、前記生成された位相差信号を前記選択された解像度に応じて加算して第２の位相差信号を生成する
    請求項１に記載の撮像装置。
  13. 　前記画像信号加算部は、前記第２の解像度が選択された場合に前記画素ブロックのうちの隣接する２つの前記画素により生成される前記位相差信号を加算し、前記第３の解像度が選択された場合に隣接する２つの画素ブロックに配置される複数の画素により生成される前記位相差信号を加算する
    請求項１２に記載の撮像装置。
  14. 　前記画素ブロックは、２行２列に配置される４つの前記画素を備える
    請求項１に記載の撮像装置。
  15. 　入射光の光電変換を行って画像信号を生成する２次元行列状に配置された複数の画素と、
    　２行２列に配置された４つの前記画素からなる画素ブロック毎に配置される複数のオンチップレンズと
    を有し、
    　２行２列に配置された４つの前記画素ブロックからなる画素ブロックユニット毎に異なる波長の前記入射光を透過する複数のカラーフィルタのうちの１つが配置され、
    　前記画素毎に画像信号を生成する第１の撮像モードにおける第１の解像度は、前記画素ブロック毎に画像信号を生成する第２の撮像モードにおける第２の解像度の４倍であり、
    　前記第２の解像度は、前記画素ブロックユニット毎に画像信号を生成する第３の撮像モードにおける第３の解像度の４倍である
    撮像装置。
  16. 　前記第１の撮像モードにおける第１のフレームレートは、前記第２の撮像モードにおける第２のフレームレートの略１／４であり、
    　前記第３の撮像モードにおける第３のフレームレートは、前記第２のフレームレートの略１／４である
    請求項１５に記載の撮像装置。
  17. 　被写体からの入射光の光電変換を行って画像信号を生成する複数の画素が２次元行列状に配置される撮像素子を有し、
    　２行２列に配置された４つの前記画素からなる画素ブロックが２行２列に配置されて構成された画素ブロックユニット毎に異なる波長の前記入射光を透過する複数のカラーフィルタのうちの１つが配置され、
    　前記画素毎の画像信号を生成する第１の撮像モード、前記画素ブロック毎の画像信号を生成する第２の撮像モード及び前記画素ブロックユニット毎の画像信号を生成する第３の撮像モードの何れかのモードにて動作する
    　センサ。
  18. 　被写体からの入射光の光電変換を行う画素毎に画像信号を生成する第１のモードと、２行２列に配置された４つの前記画素からなる画素ブロック毎に画像信号を生成する第２のモードと、２行２列に配置された４つの前記画素ブロックからなる画素ブロックユニット毎に画像信号を生成する第３のモードとを備えるセンサにより前記第１のモード、前記第２のモード及び前記第３のモードの何れかにおいて生成された第２の画像信号に基づいて、前記第１のモード、前記第２のモード及び前記第３のモードを切り替える制御信号を前記センサに出力する撮像制御装置。
PCT/JP2022/026817 2021-08-18 2022-07-06 撮像装置、センサ及び撮像制御装置 WO2023021871A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020247003314A KR20240050322A (ko) 2021-08-18 2022-07-06 촬상 장치, 센서 및 촬상 제어 장치
CN202280055956.4A CN117859341A (zh) 2021-08-18 2022-07-06 成像装置、传感器及成像控制装置
JP2023542256A JPWO2023021871A1 (ja) 2021-08-18 2022-07-06

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-133379 2021-08-18
JP2021133379 2021-08-18

Publications (1)

Publication Number Publication Date
WO2023021871A1 true WO2023021871A1 (ja) 2023-02-23

Family

ID=85240535

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026817 WO2023021871A1 (ja) 2021-08-18 2022-07-06 撮像装置、センサ及び撮像制御装置

Country Status (5)

Country Link
JP (1) JPWO2023021871A1 (ja)
KR (1) KR20240050322A (ja)
CN (1) CN117859341A (ja)
TW (1) TW202315389A (ja)
WO (1) WO2023021871A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010147816A (ja) * 2008-12-18 2010-07-01 Canon Inc 撮像装置及びその制御方法
JP2014007454A (ja) * 2012-06-21 2014-01-16 Nikon Corp 撮像装置および撮像方法
JP2014228671A (ja) 2013-05-22 2014-12-08 ソニー株式会社 信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器
WO2017126326A1 (ja) * 2016-01-20 2017-07-27 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器
WO2018003502A1 (ja) * 2016-06-28 2018-01-04 ソニー株式会社 撮像装置、撮像方法、プログラム
WO2019102887A1 (ja) * 2017-11-22 2019-05-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および電子機器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010147816A (ja) * 2008-12-18 2010-07-01 Canon Inc 撮像装置及びその制御方法
JP2014007454A (ja) * 2012-06-21 2014-01-16 Nikon Corp 撮像装置および撮像方法
JP2014228671A (ja) 2013-05-22 2014-12-08 ソニー株式会社 信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器
WO2017126326A1 (ja) * 2016-01-20 2017-07-27 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器
WO2018003502A1 (ja) * 2016-06-28 2018-01-04 ソニー株式会社 撮像装置、撮像方法、プログラム
WO2019102887A1 (ja) * 2017-11-22 2019-05-31 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および電子機器

Also Published As

Publication number Publication date
TW202315389A (zh) 2023-04-01
KR20240050322A (ko) 2024-04-18
JPWO2023021871A1 (ja) 2023-02-23
CN117859341A (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
US11444115B2 (en) Solid-state imaging device and electronic apparatus
US20190109165A1 (en) Solid-state image sensor, electronic apparatus, and imaging method
JP5132102B2 (ja) 光電変換装置および光電変換装置を用いた撮像システム
US8049293B2 (en) Solid-state image pickup device, electronic apparatus using such solid-state image pickup device and method of manufacturing solid-state image pickup device
JP4839990B2 (ja) 固体撮像素子及びこれを用いた撮像装置
KR101679867B1 (ko) 고체 촬상 장치, 및, 그 제조 방법, 전자 기기
TW201537983A (zh) 固態成像器件及其驅動方法，以及電子裝置
JP2011029835A (ja) 固体撮像装置とその駆動方法、及び電子機器
JP2013145779A (ja) 固体撮像装置及び電子機器
JP2007081142A (ja) Ｍｏｓ型固体撮像装置及びその製造方法
US9461087B2 (en) Solid-state imaging device, imaging apparatus, and method of driving the solid-state imaging device
US10785431B2 (en) Image sensors having dark pixels and imaging pixels with different sensitivities
JP2009016432A (ja) 固体撮像素子および撮像装置
JP2006147816A (ja) 物理量分布検知装置および物理情報取得装置
WO2023021871A1 (ja) 撮像装置、センサ及び撮像制御装置
JP5539458B2 (ja) 光電変換装置および光電変換装置を用いた撮像システム
US20220247950A1 (en) Image capture element and image capture apparatus
TWI806991B (zh) 攝像元件及攝像元件之製造方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023542256

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280055956.4

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022858194

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022858194

Country of ref document: EP

Effective date: 20240318

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22858194

Country of ref document: EP

Kind code of ref document: A1