WO2015125579A1 - 固体撮像装置および撮像システム - Google Patents

固体撮像装置および撮像システム Download PDF

Info

Publication number
WO2015125579A1
WO2015125579A1 PCT/JP2015/052485 JP2015052485W WO2015125579A1 WO 2015125579 A1 WO2015125579 A1 WO 2015125579A1 JP 2015052485 W JP2015052485 W JP 2015052485W WO 2015125579 A1 WO2015125579 A1 WO 2015125579A1
Authority
WO
WIPO (PCT)
Prior art keywords
solid
reduced
digital value
imaging device
unit
Prior art date
Application number
PCT/JP2015/052485
Other languages
English (en)
French (fr)
Inventor
田中　義信
上野　晃
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2015125579A1 publication Critical patent/WO2015125579A1/ja
Priority to US15/229,430 priority Critical patent/US9979919B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors

Definitions

  • the present invention relates to a solid-state imaging device and an imaging system.
  • This application claims priority based on Japanese Patent Application No. 2014-030605 filed in Japan on February 20, 2014, the contents of which are incorporated herein by reference.
  • imaging systems such as video cameras and electronic still cameras have been widely spread. These imaging systems are equipped with a CCD (Charge Coupled Device) type solid-state imaging device and a CMOS (Complementary Metal Oxide Semiconductor: complementary metal oxide semiconductor) type solid-state imaging device.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor: complementary metal oxide semiconductor
  • a photoelectric conversion unit such as a photodiode provided in the pixel on which light is incident
  • the signal is amplified by the unit and output as a pixel signal.
  • CMOS complementary Metal Oxide Semiconductor
  • a CMOS solid-state imaging device can be manufactured using a general semiconductor manufacturing process, whereas a CCD solid-state imaging device is manufactured by a dedicated manufacturing process. For this reason, the CMOS type solid-state imaging device can easily realize multi-functionality by incorporating various functional circuits into the solid-state imaging device, for example, SOC (System On Chip). For this reason, a CMOS type solid-state imaging device (hereinafter also referred to as “solid-state imaging device”) mounted in an imaging system incorporates an analog-to-digital conversion circuit and converts pixel data read from each pixel into analog-digital converted pixel data.
  • An example of using a solid-state imaging device configured to output is increasing.
  • the imaging system has various operation modes. For this reason, the solid-state imaging device performs pixel addition for adding pixel signals read from the respective pixels or thinning readout for reading out the pixel signals of the respective pixels in accordance with the operation mode of the imaging system.
  • a mechanism capable of outputting pixel data of the number of pixels (number of pixels) suitable for the operation mode is provided (see Patent Document 1). Then, the image processing unit included in the imaging system generates an image having a size (size) corresponding to each operation mode of the imaging system, based on the pixel data of various numbers of pixels output from the solid-state imaging device. .
  • the solid-state imaging device has the entire number of pixels (5760 pixels ⁇ 4320 pixels) of pixel data is output. Then, the image processing unit performs image processing on the pixel data of all the pixels output from the solid-state imaging device, and generates and records a still image of 5760 pixels ⁇ 4320 pixels.
  • the solid-state imaging device adds, for example, a pixel to the same number of pixels (1920 pixels ⁇ 1080 pixels) as in the 1080P format, which is mainstream in capturing a current moving image.
  • the thinned pixel data is output.
  • the image processing unit performs image processing on the pixel data output from the solid-state imaging device to generate and record a moving image of 1920 pixels ⁇ 1080 pixels.
  • the solid-state imaging device is, for example, a liquid crystal display (LCD) or the like.
  • Pixel data obtained by adding or thinning pixels to the same number of pixels (1920 pixels ⁇ 1440 pixels) as the number of pixels that can be displayed by the display device is output. Then, the image processing unit performs image processing on the pixel data output from the solid-state imaging device, and generates and outputs a live view image of 1920 pixels ⁇ 1440 pixels.
  • the reason for changing the number of pixels of the pixel data output from the solid-state imaging device in accordance with the operation mode of the imaging system is that the size (size) of the image finally output from the imaging system is updated. This is because the delay (up to real time) varies depending on the operation mode. That is, when the imaging system is in an operation mode for capturing a still image, priority is given to the number of pixels over real-time characteristics in order to ensure the image quality of the generated still image, and pixel data with a large number of pixels is transferred from the solid-state imaging device. I am trying to output.
  • the number of pixels is set so that the motion of the subject included in the generated moving image or the through image is smooth.
  • priority is given to real-time characteristics, and pixel data in which the number of pixels is reduced to a size that meets the standard by pixel addition or decimation is output from the solid-state imaging device with high real-time characteristics.
  • control for performing photographing such as automatic exposure (Auto Exposure: AE), automatic focusing (Auto Focus: AF), auto white balance (Auto White Balance: AWB), and the captured image.
  • processes that are performed according to the overall situation of the image to be captured such as an image recognition process that detects the movement of the subject and the face.
  • These processes can ensure accuracy even when processing is performed using a small-size image. For this reason, these processes do not necessarily require large-size pixel data output from the solid-state imaging device, but rather require higher real-time performance. That is, in these processes, the pixel data is output from the solid-state imaging device with higher real-time characteristics, instead of having fewer pixels than the operation mode for capturing a moving image or the operation mode for outputting a through image. Is required.
  • the image processing unit provided in the imaging system uses pixel data input from a solid-state imaging device for generation of a still image or moving image or output of a through image for each process performed in the imaging system.
  • the size is converted.
  • the image processing unit converts the pixel data output from the solid-state imaging device into a number of pixels of 640 pixels ⁇ 480 pixels for use in control of AE, AF, AWB, etc. and image recognition processing. Yes.
  • each processing unit can perform each process in charge based on the pixel data subjected to size conversion.
  • the size of the pixel data required for each process differs, but the image processing unit converts the pixel data output from the solid-state imaging device into a size suitable for each process. ing.
  • this size conversion process also takes time. For this reason, in the imaging system, due to the time required for the size conversion process, it is difficult to ensure the real-time property of the image generation process, for example, the timing for outputting the through image is delayed by one frame. There is a case.
  • pixel data with a large number of pixels for ensuring image quality and pixel data with a small number of pixels for ensuring real-time performance may be output in parallel from the solid-state imaging device.
  • the amount of pixel data output from the solid-state imaging device increases.
  • the present invention has been made on the basis of the above problem recognition, and is capable of outputting pixel data of various numbers of pixels while suppressing an increase in the amount of data, and an imaging equipped with the solid-state imaging device.
  • the purpose is to provide a system.
  • the solid-state imaging device has a plurality of pixels arranged in a two-dimensional matrix, and each of the pixel signals generated by all of the arranged pixels is all generated.
  • a pixel signal processing unit that outputs each pixel signal generated by the pixel as a reduced pixel signal that has been reduced to a predetermined number of pixels, and a digital signal that represents the magnitude of the total pixel signal
  • a difference calculation unit that outputs a digital value obtained by calculating a difference between the value and a digital value representing the magnitude of the reduced pixel signal, and the digital value from which the difference is calculated by the difference calculation unit, or the magnitude of the all pixel signals
  • the number of bits of one of the digital values representing the length is reduced, and the digital value with the number of bits reduced is output as a digital value corresponding to the all pixel signals.
  • With a Wattage reducing unit and a digital value corresponding to the all pixel signals, and outputs the digital value representing the magnitude of said subsampling pixel signal.
  • the reduced pixel signal is obtained by calculating each pixel signal generated by the corresponding plurality of pixels in the same exposure period. It may be an averaged pixel signal.
  • the reduced pixel signal is a signal of each of the pixel signals generated by the corresponding plurality of pixels in the same exposure period.
  • the pixel signal generated by any one of the predetermined pixels may be used.
  • the bit number reduction unit calculates the number of bits of the digital value from which the difference is calculated by the difference calculation unit.
  • the digital value from which the difference obtained by reducing the number of bits is calculated is output as a digital value corresponding to the all-pixel signal, and the solid-state imaging device determines a digital value corresponding to the all-pixel signal in advance.
  • Each of the digital values corresponding to the number of the pixels is divided, and the divided digital value and the size of the reduced pixel signal corresponding to a predetermined number of the pixels included in the divided digital value are represented. Digital values may be combined and output sequentially.
  • the solid-state imaging device corresponds to the divided digital value and the divided digital value.
  • a digital value representing the size of the reduced pixel signal corresponding to the divided digital value may be output first.
  • an imaging system includes the solid-state imaging device according to any one of the first to fifth aspects, and the reduced pixels output from the solid-state imaging device. Based on the digital value representing the magnitude of the signal, the digital value corresponding to the whole pixel signal is restored to the digital value representing the magnitude of the whole pixel signal.
  • a seventh aspect of the present invention in the imaging system according to the sixth aspect, by adding a digital value representing the magnitude of the reduced pixel signal to a digital value corresponding to the all pixel signals, The digital value representing the magnitude of all pixel signals may be restored.
  • the solid-state imaging device According to the solid-state imaging device according to each of the above aspects and the imaging system equipped with the solid-state imaging device, it is possible to output pixel data having various numbers of pixels while suppressing an increase in data amount.
  • 1 is a block diagram illustrating a schematic configuration of an imaging system equipped with a solid-state imaging device according to an embodiment of the present invention.
  • 1 is a block diagram illustrating a schematic configuration of a solid-state imaging device according to a first embodiment of the present invention. It is the figure which showed the output sequence of the pixel data in the solid-state imaging device of the 1st Embodiment of this invention. It is the figure which showed simply the process at the time of the solid-state imaging device of the 1st Embodiment of this invention outputting each pixel data. It is the figure which showed simply an example of the decompression
  • FIG. 1 is a block diagram illustrating a schematic configuration of an imaging system equipped with a solid-state imaging device according to the present embodiment.
  • the imaging system 1 includes a solid-state imaging device 10, an image processing unit 20, a display device 30, a DRAM (Dynamic Random Access Memory) 40, and a recording medium 50.
  • the image processing unit 20 includes an imaging processing unit 210, an evaluation value generation unit 211, a still image processing unit 221, a moving image processing unit 222, a display processing unit 230, a DRAM controller 240, and an image recognition unit 250.
  • CPU 260 and card interface unit 270 are provided.
  • FIG. 1 also shows an example of an image that schematically represents the size (size) of an image that is output or processed by each component in the imaging system 1.
  • the solid-state imaging device 10 is a solid-state imaging device according to this embodiment that photoelectrically converts an optical image of a subject formed by a lens (not shown).
  • the solid-state imaging device 10 outputs each of a plurality of pixel data having different numbers of pixels based on the pixel signal corresponding to the subject light to the imaging processing unit 210 in the image processing unit 20.
  • the solid-state imaging device 10 has pixel data corresponding to an image P1 having the largest number of pixels, pixel data corresponding to an image P2 having a smaller number of pixels than the image P1, and a number of pixels.
  • Each of the pixel data corresponding to the image P3 that is smaller than the image P2, that is, the image P3 having the smallest number of pixels, is output to the imaging processing unit 210 in the image processing unit 20. That is, the solid-state imaging device 10 includes pixel data used for generating the large-sized image P1, pixel data used for generating the medium-sized image P2, and pixel data used for generating the small-sized image P3. Each type of pixel data is output to the imaging processing unit 210 in the image processing unit 20. The description regarding the solid-state imaging device 10 will be described later.
  • the image processing unit 20 generates an image subjected to various predetermined image processing based on the pixel data of each size input from the solid-state imaging device 10, and generates image data (hereinafter referred to as “image”). Data ”) is transferred (written) to the DRAM 40. Further, the image processing unit 20 reads out image data stored in the DRAM 40 and performs various predetermined image processing.
  • the card interface unit 270 is connected to each other via the data bus 290. For example, data is read from and written to the DRAM 40 connected to the DRAM controller 240 by DMA (Direct Memory Access). .
  • DMA Direct Memory Access
  • the imaging processing unit 210 performs preprocessing such as shading correction and pixel defect correction on the pixel data of each size input from the solid-state imaging device 10, and each image data (hereinafter referred to as “preprocessing”) as a result of the preprocessing. (Referred to as “image data”) is transferred (written) to the DRAM 40.
  • the evaluation value generation unit 211 included in the imaging processing unit 210 performs automatic exposure (Auto Exposure: AE), automatic focus (Auto Focus: AF), and auto white balance based on preprocessed image data obtained as a result of the preprocessing.
  • An evaluation value for performing control such as (Auto White Balance: AWB) is generated, and the generated evaluation value is transferred (written) to the DRAM 40.
  • the evaluation value generation process in the evaluation value generation unit 211 is a process that is strongly required to have higher real-time characteristics than the number of pixels. Therefore, as illustrated in FIG. 1, the preprocessed image data used by the evaluation value generation unit 211 to generate an evaluation value is pixel data (small-size pixel data) corresponding to the image P3 having the smallest number of pixels. On the other hand, it is preprocessed image data that has been preprocessed by the imaging processing unit 210.
  • the still image processing unit 221 acquires (reads) preprocessed image data recorded in the DRAM 40, records a still image such as demosaic processing (noise removal, YC conversion processing, resizing processing), JPEG compression processing, and the like. Various image processing is performed to generate still image data for recording.
  • the still image processing unit 221 acquires (reads out) recording still image data recorded in the DRAM 40, performs various image processing for reproducing a still image such as JPEG expansion processing, and displays the data for display. Still image data is generated. Further, the still image processing unit 221 transfers (writes) the generated still image data for recording and still image data for display to the DRAM 40.
  • the image processing for recording a still image in the still image processing unit 221 is a process that requires a larger number of pixels than real time in order to ensure the image quality of the still image. Therefore, as shown in FIG. 1, the preprocessed image data used for the image processing by the still image processing unit 221 is the pixel data corresponding to the image P1 having the largest number of pixels (pixel data of a large size). This is preprocessed image data preprocessed by the imaging processing unit 210.
  • the moving image processing unit 222 acquires (reads out) preprocessed image data recorded in the DRAM 40, performs demosaic processing (noise removal, YC conversion processing, resizing processing), MPEG compression processing, and H.264.
  • demosaic processing noise removal, YC conversion processing, resizing processing
  • MPEG compression processing and H.264.
  • Various kinds of image processing for recording moving images such as moving image compression processing such as H.264 compression processing are performed to generate moving image data for recording.
  • the moving image processing unit 222 can also generate moving image data for display for reproducing moving images without performing moving image compression processing on the image data subjected to demosaic processing.
  • the moving image processing unit 222 acquires (reads) moving image data for recording recorded in the DRAM 40, and performs MPEG decompression processing or H.264 data.
  • moving image processing unit 222 transfers (writes) the generated moving image data for recording and moving image data for display to the DRAM 40.
  • Image processing for recording a moving image in the moving image processing unit 222 is processing that requires real-time performance higher than the number of pixels in order to ensure real-time performance of the moving image. Therefore, as shown in FIG. 1, the preprocessed image data used for the image processing by the moving image processing unit 222 is pixel data corresponding to an image P2 having a smaller number of pixels than the image P1 (medium size pixels). Data) is preprocessed image data that is preprocessed by the imaging processing unit 210.
  • the display processing unit 230 acquires (reads out) preprocessed image data recorded in the DRAM 40, and generates a so-called live view image (through image) as a confirmation image for confirming the subject to be photographed. Then, the display processing unit 230 performs display processing such as processing for superimposing data for OSD (On-Screen Display) display on the generated live view image, and outputs the display to the display device 30 for display. Further, the display processing unit 230 displays image data for display recorded in the DRAM 40, such as still image data for display generated by the still image processing unit 221 and moving image data for display generated by the moving image processing unit 222. Is obtained (read), and a display process for superimposing the OSD display data on the acquired display image data is performed, and the image data after the display process is output to the display device 30 for display. .
  • the display process in which the live view image is generated and displayed on the display device 30 in the display processing unit 230 is a process that is required to have higher real-time performance than the number of pixels in order to ensure the real-time performance of the live view image to be displayed. . Therefore, as shown in FIG. 1, the pre-processed image data used for the display processing unit 230 to perform the process of generating the live view image is the pixel data corresponding to the image P2 having a smaller number of pixels than the image P1 (medium Pre-processed image data obtained by pre-processing the imaging processing unit 210 with respect to pixel data of a certain size).
  • the display device 30 is a display device such as a TFT (Thin Film Transistor: Liquid Film Display) liquid crystal display (LCD) or EVF (Electronic View Finder: electronic viewfinder), and after the display processing output from the display processing unit 230. An image corresponding to the image data is displayed.
  • the display device 30 may be an organic EL (Electro Luminescence) display or an external display such as a television.
  • the image recognition unit 250 acquires (reads out) the preprocessed image data recorded in the DRAM 40, and detects the amount of movement of the subject and the face included in the captured image based on the acquired preprocessed image data. Then, the image recognition unit 250 generates information on the detected subject and transfers (writes) the information to the DRAM 40. Further, the image recognition unit 250 recognizes a scene of a captured image based on the acquired preprocessed image data. Then, the image recognition unit 250 generates information on the recognized scene and transfers (writes) the information to the DRAM 40.
  • the image recognition unit 250 may be configured to store the generated subject information and scene information in a register in the image recognition unit 250 without transferring the information to the DRAM 40.
  • the preprocessed image data used for processing by the image recognition unit 250 is captured with respect to pixel data (small-size pixel data) corresponding to the image P3 having the smallest number of pixels. This is preprocessed image data that has been preprocessed by the processing unit 210.
  • the card interface unit 270 acquires (reads) recording still image data and recording moving image data recorded in the DRAM 40 and records them in the recording medium 50. Further, the card interface unit 270 reads recording still image data and recording moving image data recorded on the recording medium 50, and transfers (writes) the read image data to the DRAM 40.
  • the recording medium 50 is a recording medium such as an SD memory card (SD Memory Card) and records still image data for recording and moving image data for recording output from the card interface unit 270. In addition, recording still image data and recording moving image data recorded by the card interface unit 270 are read out.
  • the recording medium 50 is also a component of the imaging system 1, but the recording medium 50 is detachable from the imaging system 1.
  • the DRAM controller 240 transfers data to the connected DRAM 40 in response to an access request to the DRAM 40 from a plurality of components in the imaging system 1 connected to the data bus 290, for example, a DMA access request ( Writing) and obtaining (reading) data from the DRAM 40.
  • the DRAM 40 is a memory whose access is controlled by the DRAM controller 240.
  • the DRAM 40 temporarily stores various data in the process of each component in the imaging system 1.
  • the CPU 260 controls the components of the imaging system 1, that is, the entire imaging system 1. For example, the CPU 260 controls the operation of each component in the imaging system 1 according to the shooting operation and the reproduction operation in the imaging system 1. For example, the CPU 260 controls a lens (not shown) when the imaging system 1 performs a shooting operation.
  • FIG. 2 is a block diagram illustrating a schematic configuration of the solid-state imaging device 10 according to the first embodiment.
  • the solid-state imaging device 10 illustrated in FIG. 2 includes a pixel signal processing unit 100, a first readout unit 110, a second readout unit 120, a third readout unit 130, and a transfer unit 140. .
  • the pixel signal processing unit 100 includes a pixel array formed by arranging a plurality of pixels in a two-dimensional matrix.
  • the pixel signal processing unit 100 photoelectrically converts the light incident on each pixel according to the read control signal input from each of the first read unit 110, the second read unit 120, and the third read unit 130.
  • the converted pixel signal is output to the corresponding first readout unit 110, second readout unit 120, or third readout unit 130.
  • the pixel signal processing unit 100 sets the pixel signals of all the pixels arranged in the pixel array as all pixel signals S1, and reduces the pixel signals of the pixels obtained by reducing the number of pixels arranged in the pixel array.
  • Each of the pixel signals of the pixels obtained by further reducing the number of pixels arranged in the pixel array as the pixel signal S2 can be output separately as the reduced pixel signal S3.
  • the pixel signal processing unit 100 includes the entire pixel signal S1 corresponding to the image P1 having the largest number of pixels, the reduced pixel signal S2 corresponding to the image P2 having the smaller number of pixels than the image P1, and the image having the smallest number of pixels.
  • Each of the reduced pixel signals S3 corresponding to P3 can be output separately (see FIG. 1).
  • the pixel signal processing unit 100 outputs each of all the pixel signals S1 to the first reading unit 110 according to the reading control signal input from the first reading unit 110.
  • the pixel signal processing unit 100 outputs each reduced pixel signal S ⁇ b> 2 to the second readout unit 120 in accordance with the readout control signal input from the second readout unit 120.
  • the pixel signal processing unit 100 outputs each reduced pixel signal S3 to the third readout unit 130 in accordance with the readout control signal input from the third readout unit 130.
  • the first reading unit 110 reads each of all the pixel signals S1 from the pixel signal processing unit 100, and outputs each digital value obtained by analog-digital conversion of each of the read all pixel signals S1 to the transfer unit 140. At this time, the first readout unit 110 calculates a difference between each digital value of all the pixel signals S1 subjected to analog-digital conversion and the digital value of the reduced pixel signal S2 subjected to analog-digital conversion by the second readout unit 120. To do. Then, the first reading unit 110 reduces the number of bits of the digital value for which the difference has been calculated, and outputs it to the transfer unit 140.
  • the second reading unit 120 reads each reduced pixel signal S2 from the pixel signal processing unit 100, and outputs each digital value obtained by analog-digital conversion of each read reduced pixel signal S2 to the transfer unit 140. At this time, the second reading unit 120 calculates a difference between each digital value of the reduced pixel signal S2 subjected to analog-digital conversion and the digital value of the reduced pixel signal S3 subjected to analog-digital conversion by the third reading unit 130. To do. Then, the second reading unit 120 reduces the number of bits of the digital value for which the difference has been calculated, and outputs it to the transfer unit 140. In addition, the second readout unit 120 outputs each digital value obtained by analog-digital conversion of each readout reduced pixel signal S ⁇ b> 2 to the first readout unit 110.
  • the third reading unit 130 reads each reduced pixel signal S3 from the pixel signal processing unit 100, and outputs each digital value obtained by analog-digital conversion of each read reduced pixel signal S3 to the transfer unit 140 as it is.
  • the transfer unit 140 transfers each digital value output from each of the first reading unit 110, the second reading unit 120, and the third reading unit 130 to the outside as respective pixel data. That is, the transfer unit 140 transfers (outputs) a plurality of digital values having different numbers of pixels to the imaging processing unit 210 in the image processing unit 20 as respective pixel data.
  • the solid-state imaging device 10 outputs each of the three types of pixel data to the imaging processing unit 210 in the image processing unit 20.
  • the order of transferring (outputting) each pixel data to the imaging processing unit 210 in the image processing unit 20 is not particularly defined.
  • the pixel data based on the all pixel signal S1 output from the first readout unit 110 is pixel data corresponding to the image P1 having the largest number of pixels.
  • the pixel data based on the reduced pixel signal S2 output from the second readout unit 120 is pixel data corresponding to the image P2 having a smaller number of pixels than the image P1.
  • the pixel data based on the reduced pixel signal S3 output from the third readout unit 130 is pixel data corresponding to the image P3 having the smallest number of pixels (see FIG. 1).
  • the pixel data based on the reduced pixel signal S2 can be output earlier than the pixel data based on the whole pixel signal S1.
  • the pixel data based on the reduced pixel signal S3 can be output earlier than the pixel data based on the reduced pixel signal S2. Accordingly, the pixel data based on the reduced pixel signal S3 is output first, the pixel data based on the reduced pixel signal S2 is output next, and the pixel data based on the entire pixel signal S1 is output last. This is advantageous when processing is performed in the processing unit 20.
  • the process of generating an evaluation value by the evaluation value generating unit 211 and the process of subject detection and scene recognition by the image recognizing unit 250 are processes that are strongly required to have high real-time properties. For this reason, it is advantageous to output the pixel data based on the reduced pixel signal S3 used for this processing first.
  • image processing for recording a moving image in the moving image processing unit 222 and display processing for generating a live view image in the display processing unit 230 and displaying the live view image on the display device 30 include the evaluation value generation unit 211 and image recognition. Although not as much as each processing by the unit 250, this processing is required to have high real-time performance. For this reason, it is advantageous to output the pixel data based on the reduced pixel signal S2 used for this processing before the pixel data based on the entire pixel signal S1.
  • the solid-state imaging device 10 includes the pixel data based on the pixel signals (all pixel signals S1) of all the pixels included in the pixel signal processing unit 100, and the pixel signals ( The number of bits with each pixel data based on the reduced pixel signal S2) is reduced and output to the imaging processing unit 210 in the image processing unit 20.
  • the solid-state imaging device 10 outputs each pixel data based on the pixel signal (reduced pixel signal S3) of the pixel further reduced in the number of pixels to the imaging processing unit 210 in the image processing unit 20.
  • the pixel signal processing unit 100 of the solid-state imaging device 10 of the first embodiment shown in FIG. 2 will be described in more detail.
  • the pixel signal processing unit 100 includes a pixel array in which a plurality of pixels are arranged in a two-dimensional matrix as described above.
  • FIG. 2 shows an example in which four pixels a to d are arranged in the pixel signal processing unit 100 provided in the solid-state imaging device 10.
  • the solid-state imaging device 10 includes components such as a vertical scanning circuit and a horizontal scanning circuit, which are omitted in FIG.
  • the vertical scanning circuit and the horizontal scanning circuit are controlled by a control device (for example, the CPU 260 in the image processing unit 20) that controls the solid-state imaging device 10 provided in the imaging system 1 in which the solid-state imaging device 10 is mounted. In response, the components of the respective pixels arranged in the pixel signal processing unit 100 are driven.
  • a control device for example, the CPU 260 in the image processing unit 20
  • the pixel signal processing unit 100 of the solid-state imaging device 10 according to the first embodiment shown in FIG. 2 includes four photoelectric conversion units 101a to 101d, four charge transfer circuits 102a to 102d, It includes four first charge storage circuits 103a to 103d, two second charge storage circuits 104ab and second charge storage circuits 104cd, and a third charge storage circuit 204. .
  • the pixel signal processing unit 100 of the solid-state imaging device 10 of the first embodiment shown in FIG. 2 the pixel a is formed by the constituent elements of the photoelectric conversion unit 101a, the charge transfer circuit 102a, and the first charge storage circuit 103a.
  • the pixel b is configured by the components of the photoelectric conversion unit 101b, the charge transfer circuit 102b, and the first charge storage circuit 103b. Further, in the pixel signal processing unit 100 of the solid-state imaging device 10 according to the first embodiment illustrated in FIG. 2, the pixels include the photoelectric conversion unit 101 c, the charge transfer circuit 102 c, and the first charge storage circuit 103 c. c, and the pixel d is constituted by the components of the photoelectric conversion unit 101d, the charge transfer circuit 102d, and the first charge storage circuit 103d.
  • the second charge accumulation circuit 104ab is a component common to the pixel a and the pixel b
  • the second charge accumulation circuit 104cd is a component common to the pixel c and the pixel d.
  • the third charge accumulation circuit 204 is a component common to the second charge accumulation circuit 104ab and the second charge accumulation circuit 104cd, that is, a component common to the pixels a to d.
  • Each of the photoelectric conversion units 101a to 101d is a photoelectric conversion unit such as a photodiode that photoelectrically converts incident light to generate signal charges and accumulate the generated signal charges.
  • Each of the charge transfer circuit 102a to the charge transfer circuit 102d converts the signal charge generated and accumulated by the corresponding photoelectric conversion unit 101a to photoelectric conversion unit 101d into the corresponding first charge accumulation circuit 103a to first charge.
  • This is a circuit for transferring to each of the storage circuits 103d and the corresponding second charge storage circuit 104ab or second charge storage circuit 104cd.
  • Each of the first charge storage circuit 103a to the first charge storage circuit 103d is respectively transferred to the corresponding photoelectric conversion unit 101a to photoelectric conversion unit 101d transferred from the corresponding charge transfer circuit 102a to charge transfer circuit 102d.
  • This is a circuit that holds (accumulates) signal charges generated.
  • each of the first charge storage circuit 103a to the first charge storage circuit 103d holds in accordance with a read control signal input from the first read control unit 1101 in the corresponding first read unit 110. It is also a circuit that outputs a signal voltage corresponding to the signal charge to the first A / D conversion unit 1102 in the first readout unit 110 as each pixel signal of all the pixel signals S1.
  • Each of the second charge accumulation circuit 104ab and the second charge accumulation circuit 104cd has a corresponding photoelectric conversion unit 101a to photoelectric conversion unit 101d transferred from the corresponding charge transfer circuit 102a to charge transfer circuit 102d, respectively.
  • Each of the second charge storage circuit 104ab and the second charge storage circuit 104cd is used to transfer the signal charge of the averaged charge amount or the signal charge for averaging to the third charge storage circuit 204. It is also a circuit. Further, each of the second charge accumulation circuit 104ab and the second charge accumulation circuit 104cd holds in accordance with the read control signal input from the second read control unit 1201 in the corresponding second read unit 120.
  • the circuit that outputs the signal voltage corresponding to the signal charge to the second A / D conversion unit 1202 in the second readout unit 120 as each pixel signal of the reduced pixel signal S2 in a state where the number of pixels is reduced. is there.
  • the third charge accumulation circuit 204 is a signal charge obtained by averaging the charge amount of each signal charge input from each of the second charge accumulation circuit 104ab and the second charge accumulation circuit 104cd, or each signal charge. This is a circuit (average charge storage circuit) that holds (accumulates) signal charges for averaging the amount of charges. That is, the third charge storage circuit 204 also has the number of pixels (number of pixels) provided in the pixel signal processing unit 100 of the solid-state imaging device 10, similarly to the second charge storage circuit 104ab and the second charge storage circuit 104cd. Is a circuit for holding signal charges in a reduced state.
  • the third charge accumulation circuit 204 the number of pixels (number of pixels) included in the pixel signal processing unit 100 of the solid-state imaging device 10 in each of the second charge accumulation circuit 104ab and the second charge accumulation circuit 104cd. After the signal is reduced, the signal charge in a state where the number of pixels is further reduced is held. In addition, the third charge accumulation circuit 204 generates a signal voltage corresponding to the held signal charge in accordance with the read control signal input from the third read control unit 1301 in the corresponding third read unit 130. It is also a circuit that outputs each pixel signal of the reduced pixel signal S3 in a state in which the number of pixels is further reduced to the third A / D converter 1302 in the third readout unit 130.
  • the second charge storage circuit 104ab includes the charge transfer circuit 102a and the charge transfer circuit 102b, that is, the photoelectric conversion unit 101a and This corresponds to the photoelectric conversion unit 101b.
  • the second charge storage circuit 104cd is the charge transfer circuit 102c and the charge transfer circuit 102d, that is, the photoelectric conversion unit 101c and the photoelectric conversion unit. This corresponds to the conversion unit 101d.
  • the third charge storage circuit 204 is replaced with the second charge storage circuit 104ab and the second charge storage circuit 104cd. That is, all of the photoelectric conversion units 101a to 101d are supported.
  • the configuration in which the signal charges of the respective pixels performed for reducing the number of pixels are added and averaged holds the respective signal charges generated by the photoelectric conversion unit 101a and the photoelectric conversion unit 101b in the second charge storage circuit 104ab.
  • There is a configuration in which addition averaging is performed and a configuration in which addition averaging is performed when a signal voltage corresponding to each signal charge held by the second charge storage circuit 104ab is output. Note that, for example, a configuration may be used in which addition averaging is performed after the signal voltage corresponding to each signal charge held by the second charge storage circuit 104ab is output.
  • the pixel signal processing unit 100 exposes each pixel in the same exposure period, and holds the signal charge generated by the photoelectric conversion unit 101 in each pixel in the first charge accumulation circuit 103. To do. At the same time, the pixel signal processing unit 100 holds the signal charges obtained by averaging the signal charges (signal charges obtained by reducing the number of pixels) in the second charge storage circuit 104, and further adds the averaged signal charges. The averaged signal charge (signal charge obtained by further reducing the number of pixels) is held in the third charge storage circuit 204.
  • the pixel signal processing unit 100 supplies the signal charge generated by the photoelectric conversion unit 101a to the first charge storage circuit 103a and the signal charge generated by the photoelectric conversion unit 101b to the first charge storage circuit 103b.
  • the signal charge generated by the photoelectric conversion unit 101c is held in the first charge storage circuit 103c, and the signal charge generated by the photoelectric conversion unit 101d is held in the first charge storage circuit 103d.
  • the pixel signal processing unit 100 has a signal charge obtained by averaging the signal charge generated by the photoelectric conversion unit 101a and the signal charge generated by the photoelectric conversion unit 101b in the second charge storage circuit 104ab, and the photoelectric conversion unit 101c A signal charge obtained by averaging the generated signal charge and the signal charge generated by the photoelectric conversion unit 101d is held in each of the second charge accumulation circuits 104cd.
  • the pixel signal processing unit 100 holds, in the third charge accumulation circuit 204, signal charges obtained by averaging signal charges generated by the photoelectric conversion units 101a to 101d.
  • the pixel signal processing unit 100 includes each pixel signal corresponding to the signal charge held in each of the first charge storage circuits 103, a pixel signal corresponding to the signal charges held in the second charge storage circuit 104, and The pixel signals corresponding to the signal charges held in the third charge storage circuit 204 are output separately.
  • the pixel signal processing unit 100 determines the pixel signals (all pixel signals S1) of all the pixels included in the pixel signal processing unit 100 based on the signal charges obtained by the same single exposure, Each of the pixel signals (reduced pixel signal S2) obtained by reducing the number of pixels (the number of pixels) provided in the processing unit 100 and a pixel signal (a number of pixels) provided in the pixel signal processing unit 100 (the number of pixels) are further reduced. Each of the reduced pixel signals S3) is output separately.
  • the solid-state imaging device 10 In the solid-state imaging device 10 according to the first embodiment shown in FIG. 2, two predetermined pixels are used as a set, and the charge amount of each signal charge generated by the photoelectric conversion unit 101 provided in each pixel is averaged.
  • the configuration of the pixel signal processing unit 100 including the second charge storage circuit 104 that holds the converted signal charge is shown.
  • the predetermined second charge storage circuit 104 is set as a set, that is, the predetermined four pixels are set as a set, and each pixel is set as a set.
  • the configuration of the pixel signal processing unit 100 including the third charge storage circuit 204 that holds the signal charge obtained by averaging the charge amounts of the signal charges generated by the photoelectric conversion unit 101 provided is shown.
  • a Bayer array color filter is attached to a pixel array in which a plurality of pixels are arranged in a two-dimensional matrix, and the photoelectric conversion unit 101 provided for each pixel is incident.
  • the corresponding color of the attached color filter contained in the light is photoelectrically converted to generate a signal charge. Therefore, in the solid-state imaging device 10 according to the first embodiment, the pixel set is configured so that the center of gravity of the color of the attached color filter does not shift and the signal charges of different colors are not averaged. It is desirable to do.
  • each of the second charge storage circuit 104ab and the second charge storage circuit 104cd has a corresponding photoelectric conversion.
  • a configuration is shown in which the number of pixels is reduced by averaging the signal charges generated by each of the units 101a to 101d.
  • the third charge accumulation circuit 204 includes a second charge accumulation circuit 104ab and a second charge accumulation circuit.
  • each signal charge obtained by averaging 104 cd is further averaged, that is, the number of pixels is further reduced by averaging the signal charges generated by each of the photoelectric conversion units 101 a to 101 d.
  • the method of reducing the number of pixels is not limited to the addition average shown in FIG. 2.
  • a configuration in which the number of pixels is reduced by thinning out the pixels may be used.
  • each of the second charge storage circuit 104ab and the second charge storage circuit 104cd has a corresponding photoelectric.
  • a configuration in which pixels are thinned out by holding (accumulating) one of the signal charges generated by each of the conversion units 101a to 101d can be considered.
  • the third charge accumulation circuit 204 holds (accumulates) any one of the signal charges generated by the photoelectric conversion units 101a to 101d, thereby thinning out pixels. Conceivable.
  • the first readout unit 110 of the solid-state imaging device 10 according to the first embodiment illustrated in FIG. 2 includes a first readout control unit 1101, a first A / D conversion unit 1102, and a first difference calculation. Part 1103 and a first bit number reduction part 1104.
  • the first readout control unit 1101 outputs readout control signals for sequentially reading out all the pixel signals S1 from each of the first charge accumulation circuit 103a to the first charge accumulation circuit 103d in the pixel signal processing unit 100.
  • the signals are sequentially output to each of the first charge accumulation circuit 103a to the first charge accumulation circuit 103d.
  • the first A / D conversion unit 1102 is read by the first read control unit 1101 and all the pixel signals sequentially input from each of the first charge accumulation circuit 103a to the first charge accumulation circuit 103d.
  • An A / D conversion circuit that performs analog-to-digital conversion on S1 (analog signal) and sequentially outputs values (digital values) representing the magnitudes of all the pixel signals S1 (analog signals) to the first difference calculation unit 1103. is there.
  • the first difference calculation unit 1103 includes digital values of all the pixel signals S1 sequentially input from the first A / D conversion unit 1102 and respective reduced pixel signals sequentially input from the second readout unit 120. The difference from the digital value of S2 is calculated. The first difference calculation unit 1103 sequentially outputs each digital value for which the difference has been calculated to the first bit number reduction unit 1104. That is, the first difference calculation unit 1103 outputs each digital value obtained by taking the difference between the all pixel signal S1 and the reduced pixel signal S2 to the first bit number reduction unit 1104.
  • the digital value output from the first difference calculation unit 1103 is a digital value obtained by taking the difference between the total pixel signal S1 and the reduced pixel signal S2, and therefore, a positive digital value and a negative digital value. Both states exist with certain cases. For this reason, the first difference calculation unit 1103 gives a sign representing a positive digital value or a negative digital value to the digital value to be output, and outputs the digital value to the first bit number reduction unit 1104.
  • the reduced pixel signal S2 is a pixel signal obtained by reducing the number of pixels of the total pixel signal S1. Therefore, the digital value obtained by calculating the difference between the digital value of the all pixel signal S1 and the digital value of the reduced pixel signal S2 by the first difference calculation unit 1103 is converted into a digital value obtained by extracting the edge component of the all pixel signal S1. Equivalent to.
  • the first bit number reduction unit 1104 reduces the number of bits of the digital values of all the pixel signals S1 for which the differences sequentially input from the first difference calculation unit 1103 are calculated by a predetermined method. Then, the first bit number reduction unit 1104 outputs the digital values of all the pixel signals S1 with the reduced number of bits to the transfer unit 140. A description will be given later of a method by which the first bit number reduction unit 1104 reduces the number of bits of the digital value of all the pixel signals S1.
  • the first readout unit 110 reads out all the pixel signals S1 held in each of the first charge storage circuits 103 in the pixel signal processing unit 100. Then, the first readout unit 110 outputs each digital value obtained by analog-digital conversion of each readout all pixel signal S ⁇ b> 1 to the transfer unit 140. At this time, the first readout unit 110 performs a difference between each digital value obtained by analog-digital conversion of each readout all pixel signal S1 and the digital value of the reduced pixel signal S2 input from the second readout unit 120. Take. Further, the first reading unit 110 reduces the number of bits of the digital value obtained as a difference and outputs the reduced number to the transfer unit 140.
  • the transfer unit 140 converts each digital value input from the first readout unit 110 based on the total pixel signal S1 to pixel data based on the total pixel signal S1 in which the number of bits is reduced (hereinafter, referred to as “pixel data”). (Also referred to as “all pixel data D1”).
  • the second readout unit 120 of the solid-state imaging device 10 according to the first embodiment illustrated in FIG. 2 includes a second readout control unit 1201, a second A / D conversion unit 1202, and a second difference calculation. Part 1203 and a second bit number reduction part 1204.
  • the second readout control unit 1201 outputs readout control signals for sequentially reading out each of the reduced pixel signal S2 from each of the second charge storage circuit 104ab and the second charge storage circuit 104cd in the pixel signal processing unit 100.
  • the signals are sequentially output to each of the second charge accumulation circuit 104ab and the second charge accumulation circuit 104cd.
  • the second A / D converter 1202 is read by the second read controller 1201, and each reduced pixel signal sequentially input from each of the second charge storage circuit 104ab and the second charge storage circuit 104cd.
  • An A / D conversion circuit that performs analog-to-digital conversion on S2 (analog signal) and sequentially outputs a value (digital value) representing the magnitude of each reduced pixel signal S2 (analog signal) to the second difference calculation unit 1203. is there.
  • the second A / D conversion unit 1202 sequentially outputs the digital value of the reduced pixel signal S ⁇ b> 2 subjected to analog-digital conversion to the first difference calculation unit 1103 in the first reading unit 110.
  • each of the second charge storage circuit 104ab and the second charge storage circuit 104cd in the pixel signal processing unit 100 is configured to output the signal voltage corresponding to each held signal charge as it is without averaging.
  • the second A / D converter 1202 calculates a digital value having a magnitude obtained by averaging the respective signal voltages output from the second charge storage circuit 104ab and the second charge storage circuit 104cd,
  • the configuration may be such that the second difference calculation unit 1203 sequentially outputs the difference.
  • the second A / D converter 1202 receives the signal voltages sequentially read from the second charge storage circuit 104ab and the second charge storage circuit 104cd by the second read control unit 1201, respectively.
  • An analog-to-digital conversion may be performed after the averaging in the analog signal state, or the averaging may be performed in the digital value state after analog-to-digital conversion of each signal voltage.
  • the second difference calculation unit 1203 receives the digital value of each reduced pixel signal S2 sequentially input from the second A / D conversion unit 1202 and each reduced pixel signal sequentially input from the third readout unit 130. The difference from the digital value of S3 is calculated. Then, the second difference calculation unit 1203 sequentially outputs each of the digital values for which the difference has been calculated to the second bit number reduction unit 1204. That is, the second difference calculation unit 1203 outputs each digital value obtained by taking the difference between the reduced pixel signal S2 and the reduced pixel signal S3 to the second bit number reduction unit 1204.
  • the digital value output by the second difference calculation unit 1203 is a digital value obtained by taking the difference between the reduced pixel signal S2 and the reduced pixel signal S3, similarly to the digital value output by the first difference calculation unit 1103. Both the case of a positive digital value and the case of a negative digital value exist. For this reason, the second difference calculation unit 1203 assigns a sign representing a positive digital value or a negative digital value to the output digital value in the same manner as the first difference calculation unit 1103, and the second number of bits. The data is output to the reduction unit 1204.
  • the reduced pixel signal S3 is a pixel signal obtained by reducing the number of pixels of the reduced pixel signal S2. For this reason, the digital value obtained by calculating the difference between the digital value of the reduced pixel signal S2 and the digital value of the reduced pixel signal S3 by the second difference calculation unit 1203 is converted into a digital value obtained by extracting the edge component of the reduced pixel signal S2. Equivalent to.
  • the second bit number reduction unit 1204 reduces the number of bits of the digital value of each reduced pixel signal S2 from which the difference sequentially input from the second difference calculation unit 1203 is calculated by a predetermined method. Then, the second bit number reduction unit 1204 outputs the digital value of each reduced pixel signal S2 with the reduced number of bits to the transfer unit 140. The second bit number reduction unit 1204 reduces the number of bits of the digital value of the reduced pixel signal S2.
  • the first bit number reduction unit 1104 reduces the number of bits of the digital value of all the pixel signals S1. Can be thought of as well. Note that a description will be given later of a method by which the second bit number reduction unit 1204 reduces the number of bits of the digital value of the reduced pixel signal S2.
  • the second readout unit 120 reads out each of the reduced pixel signals S2 held in the second charge storage circuit 104ab and the second charge storage circuit 104cd in the pixel signal processing unit 100, respectively. Then, the second reading unit 120 outputs each digital value obtained by analog-digital conversion of each read reduced pixel signal S2 to the transfer unit 140. At this time, the second readout unit 120 calculates the difference between each digital value obtained by analog-digital conversion of each readout reduced pixel signal S2 and the digital value of the reduced pixel signal S3 input from the third readout unit 130. Take. Further, the second reading unit 120 reduces the number of bits of the digital value obtained from the difference and outputs the reduced number to the transfer unit 140.
  • the transfer unit 140 converts each digital value based on the reduced pixel signal S2 input from the second reading unit 120 to pixel data based on the reduced pixel signal S2 in which the number of bits is reduced (hereinafter, referred to as “reduced pixel signal S2”). (Also referred to as “reduced pixel data D2”).
  • the third readout unit 130 of the solid-state imaging device 10 according to the first embodiment shown in FIG. 2 includes a third readout control unit 1301 and a third A / D conversion unit 1302.
  • the third readout control unit 1301 sequentially outputs readout control signals for sequentially reading out the reduced pixel signals S3 from the third charge accumulation circuit 204 in the pixel signal processing unit 100 to the third charge accumulation circuit 204. To do.
  • the third A / D converter 1302 performs analog-to-digital conversion on each reduced pixel signal S3 (analog signal) read by the third read controller 1301 and sequentially input from the third charge storage circuit 204.
  • the A / D conversion circuit sequentially outputs values (digital values) representing the magnitudes of the respective reduced pixel signals S3 (analog signals) to the transfer unit 140 as they are. That is, the third A / D conversion unit 1302 is an A / D conversion circuit that sequentially outputs to the transfer unit 140 without reducing the number of bits of the digital value of each reduced pixel signal S3.
  • the third A / D conversion unit 1302 sequentially outputs the digital value of the reduced pixel signal S3 subjected to analog-digital conversion to the second difference calculation unit 1203 in the second readout unit 120.
  • the third A / D conversion is performed.
  • the unit 1302 may sequentially output a digital value having a magnitude obtained by adding and averaging the signal voltages output from the third charge storage circuit 204 to the transfer unit 140.
  • the third A / D conversion unit 1302 performs analog averaging after averaging the respective signal voltages sequentially read from the third charge storage circuit 204 by the third read control unit 1301 in the state of analog signals.
  • Digital conversion may be performed, or respective signal voltages may be subjected to analog-digital conversion and then averaged in a digital value state.
  • the third readout unit 130 reads out each of the reduced pixel signals S3 held in the third charge storage circuit 204 in the pixel signal processing unit 100. Then, the third reading unit 130 outputs each digital value obtained by analog-digital conversion of each read reduced pixel signal S3 to the transfer unit 140 as it is. Accordingly, the transfer unit 140 converts each digital value input from the third reading unit 130 based on the reduced pixel signal S3 into pixel data based on the reduced pixel signal S3 (hereinafter, “reduced pixel data D3”). (Also called).
  • the third readout unit 130 reads out each of the reduced pixel signals S3 first. Then, in the solid-state imaging device 10 of the first embodiment, each digital value obtained by analog-digital conversion of each read reduced pixel signal S3 is output to the second reading unit 120 and also output to the transfer unit 140. In the solid-state imaging device 10 according to the first embodiment, the second reading unit 120 next reads each of the reduced pixel signals S2. In the solid-state imaging device 10 according to the first embodiment, each read-out reduced pixel signal S2 is converted from a digital value obtained by analog-digital conversion to the first reading unit 110, and the digital value of the reduced pixel signal S2 is output.
  • the transfer unit 140 first outputs the reduced pixel data D3 based on the reduced pixel signal S3, and the reduced pixel data D2 based on the reduced pixel signal S2 is output next. And all pixel data D1 based on all pixel signals S1 is output last.
  • FIG. 3 is a diagram illustrating an output sequence of pixel data in the solid-state imaging device 10 according to the first embodiment.
  • each of the reduced pixel data D3, the reduced pixel data D2, and the whole pixel data D1 is transferred in a time-sharing manner as in the pixel data output sequence shown in FIG. Output.
  • the third readout control unit 1301 in the third readout unit 130 outputs the reduced pixel signal S3 for one frame.
  • Read control signals for sequentially reading out the signals are sequentially output to the third charge storage circuit 204 in the pixel signal processing unit 100.
  • the reduced pixel signal S3 for one frame is sequentially output from the third charge accumulation circuit 204 and is sequentially input to the third A / D conversion unit 1302.
  • the third A / D conversion unit 1302 sends the digital value of the reduced pixel signal S3 for one frame obtained by analog-digital conversion of each sequentially inputted reduced pixel signal S3 (analog signal) to the transfer unit 140 as it is.
  • Output sequentially.
  • the transfer unit 140 sequentially transfers (outputs) the reduced pixel data D3 for one frame based on the reduced pixel signal S3 for one frame as pixel data.
  • the third A / D conversion unit 1302 sequentially outputs the digital value of the reduced pixel signal S3 for one frame subjected to analog-digital conversion to the second difference calculation unit 1203 in the second reading unit 120.
  • the second readout control unit 1201 in the second readout unit 120 outputs the digital value of each reduced pixel signal S3 output from the third A / D conversion unit 1302 in the third readout unit 130.
  • each of the reduced pixel signals S2 for one frame corresponding to the digital value of each reduced pixel signal S3 is sequentially output from each of the second charge storage circuit 104ab and the second charge storage circuit 104cd,
  • the data are sequentially input to the second A / D converter 1202.
  • the second A / D conversion unit 1202 converts the digital values of the respective reduced pixel signals S2 obtained by performing analog-digital conversion on the respective reduced pixel signals S2 (analog signals) that are sequentially input to the second difference calculation unit.
  • the data is sequentially output to 1203.
  • the second difference calculation unit 1203 and the digital value of each reduced pixel signal S2 sequentially input from the second A / D conversion unit 1202 and the third A / D in the third readout unit 130 are displayed.
  • Each digital value obtained by taking a difference from the digital value of each reduced pixel signal S3 sequentially input from the conversion unit 1302 is sequentially output to the second bit number reduction unit 1204.
  • the second bit number reduction unit 1204 reduces the number of bits of the digital value of the reduced pixel signal S2 from which the difference sequentially input from the second difference calculation unit 1203 is taken by a predetermined method and transfers it. Sequentially output to the unit 140. Accordingly, the transfer unit 140 sequentially transfers (outputs) the reduced pixel data D2 for one frame based on the reduced pixel signal S2 for one frame as pixel data.
  • the second A / D conversion unit 1202 sequentially outputs the digital value of the reduced pixel signal S2 for one frame subjected to analog-digital conversion to the first difference calculation unit 1103 in the first reading unit 110.
  • the first readout control unit 1101 in the first readout unit 110 outputs the digital value of each reduced pixel signal S2 output from the second A / D conversion unit 1202 in the second readout unit 120.
  • each of all the pixel signals S1 for one frame corresponding to the digital value of each reduced pixel signal S2 is sequentially output from each of the first charge accumulation circuit 103a to the first charge accumulation circuit 103d,
  • the data are sequentially input to the first A / D converter 1102.
  • the first A / D conversion unit 1102 converts the digital values of all the pixel signals S1 obtained by analog-digital conversion of all the sequentially input all pixel signals S1 (analog signals) into a first difference calculation unit. 110 are sequentially output.
  • the first difference calculation unit 1103 then outputs the digital values of all the pixel signals S1 sequentially input from the first A / D conversion unit 1102 and the second A / D in the second readout unit 120.
  • the digital values obtained by taking the differences from the digital values of the respective reduced pixel signals S2 sequentially input from the conversion unit 1202 are sequentially output to the first bit number reduction unit 1104.
  • the first bit number reduction unit 1104 reduces the number of bits of the digital value of all the pixel signals S1 from which the differences sequentially input from the first difference calculation unit 1103 are taken by a predetermined method and transfers them. Sequentially output to the unit 140.
  • the transfer unit 140 sequentially transfers (outputs) all the pixel data D1 for one frame based on the all-pixel signal S1 for one frame as pixel data.
  • the reduced pixel signal S2 is a pixel signal obtained by reducing the number of pixels arranged in the pixel array
  • the reduced pixel signal S3 is a pixel signal obtained by further reducing the number of pixels arranged in the pixel array. Therefore, for example, even when reading of each of the all pixel signal S1, the reduced pixel signal S2, and the reduced pixel signal S3 is started simultaneously, the reduced pixel signal S2 with the reduced number of pixels reduces the number of pixels. Reading can be completed earlier than the non-full pixel signal S1. Further, the reduced pixel signal S3 with a further reduced number of pixels can be read out earlier than the reduced pixel signal S2 with a reduced number of pixels. As a result, in the solid-state imaging device 10 of the first embodiment shown in FIG.
  • each pixel data is transferred (output) in a time division manner.
  • the image processing unit 20 uses the pixel data output from the solid-state imaging device 10 in accordance with each process. Can do. That is, in the imaging system 1 equipped with the solid-state imaging device 10 of the first embodiment, processing is performed using pixel data having the number of pixels suitable for processing of each component included in the image processing unit 20. it can.
  • each pixel data output from the solid-state imaging device 10 the number of bits is reduced after taking a difference between the reduced pixel data D2 based on the reduced pixel signal S2 and the all pixel data D1 based on the all pixel signal S1. Pixel data. For this reason, in each process in the image processing unit 20, each pixel data output from the solid-state imaging device 10 is restored and used for each process.
  • FIG. 4A is a diagram simply illustrating processing when the solid-state imaging device 10 according to the first embodiment outputs each pixel data.
  • FIG. 4B is a diagram simply illustrating an example of processing when the image processing unit 20 restores each pixel data output from the solid-state imaging device 10 of the first embodiment.
  • the signal lines of the digital values of all the pixel signals S1, the digital values of the reduced pixel signal S2, and the digital values of the reduced pixel signal S3 are denoted by “S1”, “S2” and “S3” are shown.
  • the pixel signal processing unit 100 of the solid-state imaging device 10 includes the total pixel signal S1 corresponding to the image P1 having the largest number of pixels and the reduced pixel signal S2 corresponding to the image P2 having the smaller number of pixels than the image P1. And the reduced pixel signal S3 corresponding to the image P3 having the smallest number of pixels are output separately. Then, the third reading unit 130 of the solid-state imaging device 10 outputs each digital value obtained by analog-digital conversion of each reduced pixel signal S3 read from the pixel signal processing unit 100 to the transfer unit 140 as it is. The transfer unit 140 of the solid-state imaging device 10 transfers (outputs) the reduced pixel data D3 based on the reduced pixel signal S3 to the imaging processing unit 210 in the image processing unit 20.
  • the second reading unit 120 of the solid-state imaging device 10 has a difference between each digital value obtained by analog-digital conversion of each reduced pixel signal S2 read from the pixel signal processing unit 100 and the digital value of the reduced pixel signal S3. Take.
  • the image based on the digital value from which the difference is taken is an image from which the edge component of the image P2 is extracted, like the image P2e shown in FIG. 4A.
  • the second reading unit 120 reduces the number of bits of the digital value obtained as a difference and outputs the reduced number of bits to the transfer unit 140.
  • the transfer unit 140 performs image processing on the reduced pixel data D2 based on the reduced pixel signal S2. Transfer (output) to the imaging processing unit 210 in the unit 20.
  • the first reading unit 110 of the solid-state imaging device 10 has a difference between each digital value obtained by analog-digital conversion of each pixel signal S1 read from the pixel signal processing unit 100 and the digital value of the reduced pixel signal S2. Take.
  • the image based on the digital value from which the difference is taken is an image obtained by extracting the edge component of the image P1 as in the image P1e illustrated in FIG. 4A.
  • the first reading unit 110 reduces the number of bits of the digital value obtained from the difference and outputs the digital value to the transfer unit 140.
  • the transfer unit 140 performs image processing on all pixel data D1 based on the all pixel signal S1. Transfer (output) to the imaging processing unit 210 in the unit 20.
  • the imaging processing unit 210 in the image processing unit 20 When the image processing unit 20 restores the respective pixel data output from the solid-state imaging device 10, the imaging processing unit 210 in the image processing unit 20 outputs the respective pixel data.
  • the reverse process is performed. More specifically, the reduced pixel data D3 transferred (output) from the solid-state imaging device 10 is processed as it is. This is because the reduced pixel data D3 is a digital value based on the reduced pixel signal S3, that is, pixel data for which no difference has been taken, and therefore, restoration processing is unnecessary.
  • the imaging processing unit 210 in the image processing unit 20 restores the number of bits of the reduced pixel data D2 transferred (output) from the solid-state imaging device 10.
  • the image based on the restored digital value is an image similar to the image P2e shown in FIG. 4A from which the edge component of the image P2 is extracted, like the image P2e shown in FIG. 4B.
  • the imaging processing unit 210 restores the digital value of the reduced pixel signal S2 corresponding to the image P2 by adding the digital value of the reduced pixel signal S3 to the digital value whose number of bits has been restored, and the restored reduced pixel Processing using the digital value of the signal S2 is performed.
  • the imaging processing unit 210 in the image processing unit 20 restores the number of bits of all pixel data D1 transferred (output) from the solid-state imaging device 10.
  • the image based on the restored digital value is an image similar to the image P1e shown in FIG. 4A from which the edge component of the image P1 is extracted, like the image P1e shown in FIG. 4B.
  • the imaging processing unit 210 restores and restores the digital value of all the pixel signals S1 corresponding to the image P1 by adding the restored digital value of the reduced pixel signal S2 to the restored digital value of the number of bits. Processing using the digital values of all pixel signals S1 is performed.
  • the imaging processing unit 210 in the image processing unit 20 performs a process opposite to the process when the solid-state imaging device 10 outputs the respective pixel data, whereby each output from the solid-state imaging device 10 is performed. Pixel data can be restored to pixel data representing the original image.
  • the imaging processing unit 210 in the image processing unit 20 outputs the total pixel signal S1 corresponding to the image P1 having the largest number of pixels and the number of pixels output separately from the pixel signal processing unit 100 of the solid-state imaging device 10.
  • Each of the reduced pixel signal S2 corresponding to the image P2 having fewer than P1 and the reduced pixel signal S3 corresponding to the image P3 having the smallest number of pixels can be restored.
  • each pixel data output from the solid-state imaging device 10 can be used as it is.
  • the processing time required for extracting the edge component can be shortened by using the pixel data output from the solid-state imaging device 10 as it is.
  • the imaging processing unit 210 in the image processing unit 20 does not necessarily need to restore each pixel data output from the solid-state imaging device 10.
  • 5A and 5B are diagrams illustrating a method for reducing the number of bits of pixel data in the solid-state imaging device 10 according to the first embodiment.
  • the first A / D conversion unit 1102 analog-digital converts the input all pixel signal S1 (analog signal) into a 10-bit digital value
  • the first bit number reduction unit 1104 reduces the number of bits of the digital value of the 11-bit all-pixel signal S1 composed of a 1-bit code and a 10-bit value (integer). An example will be described.
  • FIG. 5A shows a reduction example when the number of bits of the digital value of all pixel signals S1 is uniformly reduced
  • FIG. 5B shows the number of bits to be reduced according to the magnitude of the digital value of all pixel signals S1.
  • An example of reduction when changing is shown.
  • the first bit number reduction unit 1104 takes the difference input from the first difference calculation unit 1103 as shown in FIG. 5A.
  • the digital number of the integer part of 10 bits in the digital value is reduced from 10 bits to 8 bits.
  • the first bit number reduction unit 1104 for example, divides the input digital value of the 10-bit integer part by 4 to convert the 1-bit code value into the 8-bit digital value obtained by reducing the lower 2 bits. Is output to the transfer unit 140 as a digital value (all pixel data D1) of the all pixel signal S1 with the number of bits reduced. Since the method for reducing the number of bits as shown in FIG. 5A only divides the integer part of the input digital value by a predetermined value (4 in FIG. 5A), the first bit number reduction unit 1104 The circuit configuration can be simplified.
  • the first bit number reduction unit 1104 is input from the first difference calculation unit 1103 as illustrated in FIG. 5B.
  • the number of bits to be reduced is reduced when the digital value from which the difference is taken is close to 0, and the number of bits to be reduced is increased when the digital value from which the input difference is taken is a value far from 0. That is, when the difference between the digital value of all pixel signals S1 and the digital value of reduced pixel signal S2 is small, the number of bits to be reduced is reduced, and the difference between the digital value of all pixel signals S1 and the digital value of reduced pixel signal S2 is reduced. Increase the number of bits to be reduced when is large.
  • the first bit number reduction unit 1104 for example, reduced the input digital value of the 10-bit integer part from the lower 1 to 4 bits according to the digital value of the 10-bit integer part.
  • the 9-bit digital value obtained by adding the 1-bit code to the 8-bit digital value is output to the transfer unit 140 as the digital value (all pixel data D1) of the all-pixel signal S1 with the number of bits reduced.
  • the method for reducing the number of bits as shown in FIG. 5B prevents the reproducibility of smooth gradation (for example, gradation) in an image generated based on all pixel data D1 with the reduced number of bits. It is effective in the case.
  • the imaging processor 210 restores the number of bits.
  • the information on the reduced number of bits is, for example, based on the digital value of the reduced pixel signal S2 that is output from the solid-state imaging device 10 of the first embodiment and restored. It can be obtained by performing the same processing as the bit number reduction processing performed by the bit number reduction unit 1104.
  • the solid-state imaging device 10 according to the first embodiment outputs all pixel data D1 with a reduced number of bits
  • information on the reduced number of bits may be added.
  • the information of the reduced number of bits may be included in the header and footer information of all pixel data D1 transferred by the LVDS method, and transferred together with all the pixel data D1.
  • the information on the reduced number of bits may be notified using serial communication.
  • the first bit number reduction unit 1104 has a digital value of all pixel signals S1 obtained by the first difference calculation unit 1103, that is, a digital value (all pixels) obtained by extracting the edge components of all pixel signals S1.
  • the number of bits of data D1) is reduced. It is generally known that the reduction in the number of bits with respect to the digital value of the edge component causes little deterioration in image quality, as a similar concept is applied to JPEG compression processing, which is still image compression processing. .
  • JPEG compression processing which is still image compression processing.
  • the solid-state imaging device 10 it is possible to reduce power consumption when outputting all the pixel data D1 in a state where image quality deterioration is suppressed.
  • the data amount of all pixel data D1 transferred between the solid-state imaging device 10 and the image processing unit 20 can be reduced.
  • the method of reducing the number of bits of the digital value (all pixel data D1) of all pixel signals S1 in the first bit number reduction unit 1104 is not limited to the method shown in FIGS. 5A and 5B, and the number of bits can be determined by other methods. May be reduced. Further, the number of bits of the digital value of all pixel signals S1 and the number of bits to be reduced are not limited to the number of bits shown in FIGS. 5A and 5B, and the digital values (all pixel data of all pixel signals S1 of other numbers of bits). The same applies to D1).
  • the method of reducing the number of bits of the digital value (reduced pixel data D2) of the reduced pixel signal S2 in the second bit number reduction unit 1204 is merely that the pixel data for reducing the number of bits is changed to the reduced pixel data D2. It can be considered in the same manner as the method for reducing the number of bits of the digital value (all pixel data D1) of all the pixel signals S1 in the one bit number reducing unit 1104. That is, the second bit number reduction unit 1204 also reduces the number of bits of the reduced pixel data D2 by the same reduction method, so that the imaging system 1 equipped with the solid-state imaging device 10 according to the first embodiment has a solid state.
  • the data amount of the reduced pixel data D2 transferred between the imaging device 10 and the image processing unit 20 can be reduced. Therefore, a detailed description of a method for reducing the number of bits of the digital value (reduced pixel data D2) of the reduced pixel signal S2 in the second bit number reduction unit 1204 is omitted.
  • the method of reducing the number of bits of all pixel data D1 in the first bit number reduction unit 1104 and the bit of the reduced pixel data D2 in the second bit number reduction unit 1204 The number reduction method may be the same bit number reduction method or a different bit number reduction method for each pixel data. Further, in the solid-state imaging device 10 of the first embodiment, the bit number reduction method of the reduced pixel data D2 is provided for each reduced pixel signal S2, that is, the pixel signal processing unit 100 of the solid-state imaging device 10. A different bit number reduction method may be used for each predetermined range (area) of pixel groups for reducing each pixel.
  • the pixel signal processing unit 100 includes the pixel signal processing unit 100 based on the signal charges obtained by the same single exposure. All pixel signals S1 that are pixel signals of all pixels, a reduced pixel signal S2 that is a pixel signal obtained by reducing the number of pixels (number of pixels) included in the pixel signal processing unit 100, and a pixel signal processing unit 100 A reduced pixel signal S3, which is a pixel signal obtained by further reducing the number of pixels (number of pixels), is output separately.
  • the difference between the digital value of the reduced pixel signal S3 (reduced pixel data D3) and the digital value of the reduced pixel signal S2 and the digital value of the reduced pixel signal S3 is obtained.
  • Each of the all pixel data D1 based on it is output.
  • pixel data of various numbers of pixels of the reduced pixel data D3, the reduced pixel data D2, and the total pixel data D1 is obtained while suppressing an increase in the data amount. Can be output.
  • the digital value of the reduced pixel signal S3 is output as it is as the reduced pixel data D3, and the number of bits is reduced after taking the difference of the digital value of the reduced pixel signal S2. Then, the reduced pixel data D2 is output, and the digital value of all the pixel signals S1 is output as the all pixel data D1 with the number of bits reduced after taking the difference. That is, in the solid-state imaging device 10 of the first embodiment, pixel data with a large number of pixels is output with a reduced number of bits, and pixel data with a small number of pixels is output without reducing the number of bits.
  • the data amount of pixel data transferred between the solid-state imaging device 10 and the image processing unit 20 can be reduced. Accordingly, in the imaging system 1 of the present embodiment in which the solid-state imaging device 10 of the first embodiment is mounted, each component included in the image processing unit 20 that performs processing according to the operation mode of the imaging system 1. However, processing can be performed using pixel data having the number of pixels suitable for processing.
  • 6A and 6B are tables summarizing the relationship between the number of pixels and the number of bits of pixel data in the solid-state imaging device 10 of the first embodiment.
  • 6A and 6B in the case where 5760 pixels are arranged in the horizontal direction and 4320 pixels are arranged in the vertical direction of the pixel signal processing unit 100 in the solid-state imaging device 10, all pixel signals S1, reduced pixel signals S2, The relationship between the number of pixels of the reduced pixel signal S3 and the digital value is shown.
  • the ratio between the number of pixel data output from the solid-state imaging device 10 in the horizontal direction and the number in the vertical direction, the so-called aspect ratio, is generally employed in still images.
  • 2 shows an example of the relationship between the number of pixels and the digital value in the case of supporting.
  • FIG. 6B shows the number of pixels and the digital value when the aspect ratio of each pixel data output from the solid-state imaging device 10 corresponds to 16: 9, which is generally adopted in moving images. An example of the relationship is shown.
  • the data amount will be described using one bit of the digital value of one pixel as one pixel data.
  • the pixel data is output without reducing the number of bits.
  • the amount of pixel data transferred between the solid-state imaging device 10 and the image processing unit 20 can be reduced.
  • the total number of output bits is 38.7 Mbit and 33.2 Mbit, respectively. Since the digital value of the reduced pixel signal S3 is output as reduced pixel data D3 with 14 bits without reducing the number of bits, there is no change at 4.3 Mbit.
  • the solid-state imaging device 10 transfers (outputs) each pixel data to the image processing unit 20 by reducing the number of bits of the total pixel data D1 and the reduced pixel data D2.
  • the data amount at the time of transmission is reduced to 286.3 Mbits compared to 391.4 Mbits at the time of transfer (output) without reducing the number of bits, that is, the data amount is reduced to about 73%.
  • the total number of output bits when output is 29.0 Mbit and 24.9 Mbit, respectively.
  • the digital value of the reduced pixel signal S3 is output as reduced pixel data D3 with 14 bits without reducing the number of bits, and therefore remains unchanged at 3.2 Mbit.
  • the solid-state imaging device 10 transfers (outputs) each pixel data to the image processing unit 20 by reducing the number of bits of the total pixel data D1 and the reduced pixel data D2.
  • the data amount is reduced to 214.7 Mbits compared to 293.5 Mbits when transferring (outputting) without reducing the number of bits, that is, the data amount is reduced to about 73%.
  • the respective pixel data in the order of reduced pixel data D3, reduced pixel data D2, and all pixel data D1 are stored in the image processing unit 20.
  • the images were sequentially transferred (output) to the imaging processing unit 210. That is, in the pixel data output sequence shown in FIG. 3, each of the reduced pixel data D3, the reduced pixel data D2, and the entire pixel data D1 is transferred (output) in a time division manner.
  • Whether or not to transfer (output) the pixel data is changed according to, for example, the operation mode of the imaging system 1 in which the solid-state imaging device 10 is mounted. Thereby, in the solid-state imaging device 10 of the first embodiment, transfer is performed between the solid-state imaging device 10 and the image processing unit 20 when any component provided in the image processing unit 20 does not perform processing. The amount of pixel data to be reduced can be further reduced.
  • 7A to 7D are tables summarizing the relationship between the number of pixels and the number of bits of pixel data in the solid-state imaging device 10 of the first embodiment.
  • 7A to 7D show the total pixel signal S1, the reduced pixel signal S2, and the like in the case where 5760 pixels are arranged in the horizontal direction and 4320 pixels are arranged in the vertical direction of the pixel signal processing unit 100 in the solid-state imaging device 10, respectively.
  • the relationship between the number of pixels of the reduced pixel signal S3 and the digital value is shown.
  • FIG. 7A shows an example of the relationship between the number of pixels and the digital value when the operation mode of the imaging system 1 equipped with the solid-state imaging device 10 is an operation mode for capturing a still image.
  • FIG. 7B shows an example of the relationship between the number of pixels and the digital value when the operation mode of the imaging system 1 equipped with the solid-state imaging device 10 is an operation mode for capturing a moving image.
  • FIG. 7C shows an example of the relationship between the number of pixels and the digital value when the operation mode of the imaging system 1 equipped with the solid-state imaging device 10 is an operation mode for outputting a live view image.
  • FIG. 7A shows an example of the relationship between the number of pixels and the digital value when the operation mode of the imaging system 1 equipped with the solid-state imaging device 10 is an operation mode for capturing a still image.
  • FIG. 7B shows an example of the relationship between the number of pixels and the digital value when the operation mode of the imaging system 1 equipped with the solid-state imaging device 10 is an operation mode for capturing a moving image.
  • FIG. 7D shows an example of the relationship between the number of pixels and the digital value when the operation mode of the imaging system 1 equipped with the solid-state imaging device 10 is an operation mode for controlling AE, AF, AWB, or the like. ing.
  • the data amount will be described with one bit of the digital value of one pixel as one pixel data.
  • the moving image processing unit 222 in the image processing unit 20 performs image processing for recording a moving image using the reduced pixel data D2 having an aspect ratio of 16: 9 based on the reduced pixel signal S2.
  • a description will be given as an example of performing the process of generating.
  • the solid-state imaging device 10 and the image processing are changed by changing the pixel data output by the solid-state imaging device 10 according to the operation mode of the imaging system 1 in which the solid-state imaging device 10 is mounted.
  • the amount of pixel data transferred to and from the unit 20 can be reduced.
  • the still image processing unit 221 in the image processing unit 20 does not perform image processing using all the pixel data D1 having the largest number of pixels.
  • the solid-state imaging device 10 does not transfer (output) all the pixel data D1 to the imaging processing unit 210 in the image processing unit 20.
  • the data amount when the solid-state imaging device 10 transfers (outputs) each pixel data to the image processing unit 20 is 28.1 Mbit, and the operation mode for capturing a still image.
  • the amount of data that the solid-state imaging device 10 transfers (outputs) each pixel data to the image processing unit 20 can be reduced.
  • the amount of data when the solid-state imaging device 10 transfers (outputs) each pixel data to the image processing unit 20 is 31.9 Mbit, and an operation for capturing a still image.
  • the amount of data that the solid-state imaging device 10 transfers (outputs) each pixel data to the image processing unit 20 can be reduced.
  • the number of bits of the reduced pixel data D2 to be reduced in the operation mode for outputting a live view image is larger than the number of bits of the reduced pixel data D2 to be reduced in the operation mode for capturing a moving image. This is because the operation mode in which priority is given to reducing the power consumption of the imaging system 1 over the operation mode for capturing moving images.
  • the still image processing unit 221 in the image processing unit 20 does not perform image processing using all the pixel data D1, and the image processing unit
  • the moving image processing unit 222 and the display processing unit 230 in 20 also do not perform image processing or display processing using the reduced pixel data D2.
  • the solid-state imaging device 10 does not transfer (output) all the pixel data D1 and the reduced pixel data D2 to the imaging processing unit 210 in the image processing unit 20.
  • the amount of data when the solid-state imaging device 10 transfers (outputs) the pixel data to the image processing unit 20 is 4.3 Mbit, and a still image is taken.
  • the amount of data that the solid-state imaging device 10 transfers (outputs) the pixel data to the image processing unit 20 can be reduced as compared with the operation mode for performing the operation, the operation mode for capturing a moving image, and the operation mode for outputting a live view image. .
  • each pixel data is transferred (output) to the imaging processing unit 210 in the image processing unit 20, that is, transferred (output) to the outside.
  • the transfer unit 140 is performing time division.
  • the configuration for transferring (outputting) each pixel data to the outside is not limited to the configuration shown in FIG. 2, and each pixel data is similarly sent to the other configurations. Can be transferred (output).
  • FIG. 8 is a block diagram showing a schematic configuration of a first modification of the solid-state imaging device 10 of the first embodiment.
  • the solid-state imaging device 10 according to the first modification of the first embodiment is referred to as a “solid-state imaging device 11”.
  • the solid-state imaging device 11 illustrated in FIG. 8 includes a pixel signal processing unit 100, a first readout unit 110, a second readout unit 120, a third readout unit 130, a first transfer unit 141, The second transfer unit 142 and the third transfer unit 143 are configured.
  • constituent elements of the solid-state imaging device 11 of the first modification include constituent elements similar to those of the solid-state imaging apparatus 10. Therefore, in the constituent elements of the solid-state imaging device 11 of the first modification, the same constituent elements as those of the solid-state imaging apparatus 10 are denoted by the same reference numerals, and detailed description of the constituent elements is omitted. To do.
  • the first reading unit 110 performs analog-digital conversion on each of all the pixel signals S1 read from the pixel signal processing unit 100. Then, the first readout unit 110 outputs each of the digital values of all the pixel signals S1 whose number of bits has been reduced after taking the difference to the first transfer unit 141.
  • the second reading unit 120 converts each reduced pixel signal S2 read from the pixel signal processing unit 100 from analog to digital. Then, the second reading unit 120 outputs each of the digital values of the reduced pixel signal S ⁇ b> 2 whose number of bits has been reduced after taking the difference to the second transfer unit 142.
  • the third reading unit 130 performs analog-digital conversion on each of the reduced pixel signals S3 read from the pixel signal processing unit 100. Then, the third readout unit 130 outputs each of the converted digital values of the reduced pixel signal S3 to the third transfer unit 143.
  • the first transfer unit 141 transfers each digital value of the all-pixel signal S1 output from the first reading unit 110 to the outside as all-pixel data D1.
  • the second transfer unit 142 transfers each digital value of the reduced pixel signal S2 output from the second readout unit 120 to the outside as reduced pixel data D2.
  • the third transfer unit 143 transfers each digital value of the reduced pixel signal S3 output from the third reading unit 130 to the outside as reduced pixel data D3.
  • the solid-state imaging device 11 also outputs each of the three types of pixel data to the imaging processing unit 210 in the image processing unit 20. That is, in the solid-state imaging device 11 of the first modification, the solid-state imaging according to the first embodiment is configured by the configuration of the first transfer unit 141, the second transfer unit 142, and the third transfer unit 143. Similar to the apparatus 10, a plurality of digital values having different numbers of pixels are transferred (output) to the imaging processing unit 210 in the image processing unit 20 as respective pixel data. Thereby, in the image processing unit 20 installed in the imaging system 1 of the present embodiment, the pixel data used for processing that requires real-time property and the pixel data used for processing that requires image quality correspond to each processing. Can be used properly.
  • the first transfer unit 141, the second transfer unit 142, and the third transfer unit 143 are identical to the solid-state imaging device 10 of the first embodiment. And three transfer units. For this reason, in the solid-state imaging device 11 of the first modified example, simultaneous output of pixel data of three types of sizes can be easily performed.
  • Each of the first transfer unit 141, the second transfer unit 142, and the third transfer unit 143 uses the entire pixel data D1, the reduced pixel data D2, and the reduced pixel data D3 as pixel data.
  • the order in which the image data is transferred (output) to the imaging processing unit 210 in the processing unit 20 is not particularly defined. However, as described above, the reduced pixel data D2 can be output earlier than the entire pixel data D1, and the reduced pixel data D3 can be output earlier than the reduced pixel data D2.
  • the reduced pixel data D3 is output first, the reduced pixel data D2 is output next, and all the pixel data D1 is output last, for example, the generation of the live view image and the evaluation by the evaluation value generation unit 211.
  • This is advantageous when the image processing unit 20 performs processing that requires high real-time properties, such as value generation and object recognition by the image recognition unit 250.
  • the first readout unit 110 performs analog-digital conversion on each of all the pixel signals S1 read out from the pixel signal processing unit 100. After that, the difference from the digital value of the reduced pixel signal S2 was taken.
  • the second readout unit 120 takes a difference from the digital value of the reduced pixel signal S3 after analog-digital conversion of each reduced pixel signal S2 read from the pixel signal processing unit 100. That is, in each of the first reading unit 110 and the first reading unit 120, the digital value of the pixel signal read from the pixel signal processing unit 100 and the number of pixels (number of pixels) provided in the pixel signal processing unit 100 are set.
  • the difference from the digital value of the reduced pixel signal reduced by one stage was taken.
  • the digital value of the reduced pixel signal that takes the difference from the digital value of the pixel signal read by each of the first readout unit 110 and the first readout unit 120 is not limited to the digital value of the reduced pixel signal described above.
  • a configuration may be adopted in which a difference is obtained from the digital value of another reduced pixel signal.
  • the structure which takes the difference with the digital value of S3 may be sufficient.
  • each of the first readout unit 110 and the first readout unit 120 is not necessarily limited to a configuration that obtains a difference between the digital value of the readout pixel signal and the digital value of the reduced pixel signal. It may be configured to select whether to take a difference between the digital value and the digital value of the reduced pixel signal.
  • FIG. 9 is a block diagram illustrating a schematic configuration of a second modification of the solid-state imaging device 10 according to the first embodiment.
  • the solid-state imaging device 10 of the second modification of the first embodiment is referred to as “solid-state imaging device 12”.
  • the solid-state imaging device 12 illustrated in FIG. 9 includes a pixel signal processing unit 100, a first readout unit 112, a second readout unit 122, a third readout unit 130, and a transfer unit 140. .
  • constituent elements of the solid-state imaging device 12 according to the second modification include constituent elements similar to the constituent elements of the solid-state imaging device 10. Therefore, in the constituent elements of the solid-state imaging device 12 of the second modification, the same constituent elements as those of the solid-state imaging apparatus 10 are denoted by the same reference numerals, and detailed description of the constituent elements is omitted. To do.
  • the pixel signal processing unit 100 outputs each of all the pixel signals S1 to the first reading unit 112 according to the reading control signal input from the first reading unit 112.
  • the pixel signal processing unit 100 outputs each reduced pixel signal S ⁇ b> 2 to the second readout unit 122 in accordance with the readout control signal input from the second readout unit 122.
  • the pixel signal processing unit 100 outputs each reduced pixel signal S3 to the third readout unit 130 in accordance with the readout control signal input from the third readout unit 130.
  • the first readout unit 112 operates in the same manner as the first readout unit 110 included in the solid-state imaging device 10 and the solid-state imaging device 11 of the first modification. That is, the first reading unit 112 performs analog-digital conversion on each of all the pixel signals S1 read from the pixel signal processing unit 100. Then, the first reading unit 112 takes a difference between each digital value of all the pixel signals S1 subjected to analog-digital conversion and the digital value of the reduced pixel signal S2 subjected to analog-digital conversion by the second reading unit 122. Each digital value of all pixel signals S1 with the number of bits reduced later is output to transfer section 140. The first reading unit 112 can also output the digital values of all the pixel signals S1 subjected to analog-digital conversion to the transfer unit 140 by reducing the number of bits without taking a difference. A detailed description of the first reading unit 112 will be described later.
  • the second readout unit 122 operates in the same manner as the second readout unit 120 included in the solid-state imaging device 10 and the solid-state imaging device 11 of the first modification. That is, the second readout unit 122 performs analog-to-digital conversion on each reduced pixel signal S2 read from the pixel signal processing unit 100. Then, the second readout unit 122 takes the difference between each digital value of the reduced pixel signal S2 subjected to analog-digital conversion and the digital value of the reduced pixel signal S3 subjected to analog-digital conversion by the third readout unit 130. Each of the digital values of the reduced pixel signal S2 whose number of bits has been reduced is output to the transfer unit 140. The second readout unit 122 can also output the digital value of each reduced pixel signal S2 subjected to analog-digital conversion to the transfer unit 140 by reducing the number of bits without taking a difference. A detailed description of the second reading unit 122 will be described later.
  • the transfer unit 140 uses each of a plurality of digital values output from the first reading unit 112, the second reading unit 122, and the third reading unit 130 as different pixel numbers as pixel data. Transfer (output) to the outside (imaging processing unit 210 in the image processing unit 20).
  • the solid-state imaging device 12 when outputting each pixel data, the digital value of the pixel signal read from the pixel signal processing unit 100 and the number of pixels provided in the pixel signal processing unit 100 ( It is possible to select and output pixel data that has undergone a difference process with a digital value of a reduced pixel signal obtained by reducing the number of pixels by one step, or pixel data that has not undergone a difference process.
  • the first readout unit 112 of the solid-state imaging device 12 according to the second modification illustrated in FIG. 9 includes a first readout control unit 1101, a first A / D conversion unit 1102, and a first difference calculation. Section 1103, first bit number reduction section 1104, and first selection section 1125.
  • the constituent elements of the first readout unit 112 include constituent elements similar to the constituent elements of the first readout unit 110 included in the solid-state imaging device 10 and the solid-state imaging device 11 of the first modification. Yes. Therefore, in the constituent elements of the first reading unit 112, the same reference numerals are given to the same constituent elements as the constituent elements of the first reading unit 110, and detailed description of each constituent element is omitted.
  • the first A / D conversion unit 1102 and the first difference calculation unit 1103 convert each digital value obtained by analog-digital conversion of all the pixel signals S1 (analog signal) read by the first read control unit 1101. And sequentially output to each of the first selection units 1125.
  • the first difference calculation unit 1103 sequentially outputs each digital value obtained by calculating the difference between the digital value of the all pixel signal S1 and the digital value of the reduced pixel signal S2 to the first selection unit 1125.
  • the first selection unit 1125 includes digital values of all the pixel signals S1 sequentially input from the first A / D conversion unit 1102 or all the pixel signals S1 and reduced pixels sequentially input from the first difference calculation unit 1103. One of the digital values obtained by taking the difference from the signal S2 is selected. Then, the first selection unit 1125 sequentially outputs one of the selected digital values to the first bit number reduction unit 1104.
  • the digital value selection method in the first selection unit 1125 is not particularly defined.
  • the first selection unit 1125 selects a digital value according to the operation mode of the imaging system 1 set by the CPU 260 in the image processing unit 20 provided in the imaging system 1 equipped with the solid-state imaging device 12. It may be a configuration.
  • the first bit number reduction unit 1104 reduces the number of bits of the selected digital value sequentially input from the first selection unit 1125 by a predetermined method, and converts the digital value obtained by reducing the number of bits into the number of bits. Are output to the transfer unit 140 as digital values of all the pixel signals S1.
  • the first reading unit 112 performs digital-to-analog conversion of all the pixel signals S1 read from the pixel signal processing unit 100, or all the pixel signals S1 read from the pixel signal processing unit 100.
  • the number of bits of one of the digital values obtained by taking the difference between the digital value obtained by analog-digital conversion of the signal and the digital value of the reduced pixel signal S2 input from the second readout unit 122 is reduced,
  • the data is output to the transfer unit 140.
  • the transfer unit 140 inputs each of the digital values with the reduced number of bits based on the total pixel signal S1 input from the first readout unit 112, based on the total pixel signal S1 with the reduced number of bits. All the pixel data D1 is output to the outside.
  • the second readout unit 122 of the solid-state imaging device 12 according to the second modification illustrated in FIG. 9 includes a second readout control unit 1201, a second A / D conversion unit 1202, and a second difference calculation. Section 1203, second bit number reduction section 1204, and second selection section 1225.
  • the constituent elements of the second readout unit 122 include constituent elements similar to the constituent elements of the second readout unit 120 included in the solid-state imaging device 10 and the solid-state imaging device 11 of the first modification. Yes. Therefore, in the constituent elements of the second reading unit 122, the same reference numerals are given to the same constituent elements as the constituent elements of the second reading unit 120, and detailed description of each constituent element is omitted.
  • the second A / D converter 1202 converts the digital value obtained by analog-digital conversion of the reduced pixel signal S2 (analog signal) read by the second read controller 1201 to the second difference calculator 1203. And sequentially output to each of the second selection units 1225.
  • the second difference calculation unit 1203 sequentially outputs each digital value obtained by taking the difference between the digital value of the reduced pixel signal S2 and the digital value of the reduced pixel signal S3 to the second selection unit 1225.
  • the second selection unit 1225 receives the digital value of the reduced pixel signal S2 sequentially input from the second A / D conversion unit 1202 or the reduced pixel signal S2 and the reduced pixel sequentially input from the second difference calculation unit 1203. One of the digital values obtained by taking the difference from the signal S3 is selected. Then, the second selection unit 1225 sequentially outputs one of the selected digital values to the second bit number reduction unit 1204.
  • the digital value selection method in the second selection unit 1225 is not particularly defined.
  • the second selection unit 1225 selects a digital value according to the operation mode of the imaging system 1 in which the solid-state imaging device 12 is mounted, similarly to the first selection unit 1125 provided in the first reading unit 112. It may be configured to.
  • the second bit number reduction unit 1204 reduces the number of bits of the selected digital value sequentially input from the second selection unit 1225 by a predetermined method, and converts the digital value obtained by reducing the number of bits into the number of bits. Are output to the transfer unit 140 as respective digital values of the reduced pixel signal S2.
  • the second readout unit 122 performs analog-digital conversion on each reduced pixel signal S2 read from the pixel signal processing unit 100, or reduced pixel signal S2 read from the pixel signal processing unit 100.
  • the number of bits of one of the digital values obtained by taking the difference between the digital value obtained by analog-digital conversion of the digital value and the digital value of the reduced pixel signal S3 input from the second reading unit 122 is reduced,
  • the data is output to the transfer unit 140.
  • the transfer unit 140 inputs each of the digital values with the reduced number of bits based on the reduced pixel signal S2 input from the second readout unit 122, based on the reduced pixel signal S2 with the reduced number of bits.
  • the reduced pixel data D2 is output to the outside.
  • the solid-state imaging device 12 also outputs each of three types of pixel data to the imaging processing unit 210 in the image processing unit 20.
  • the solid-state imaging device 12 operates differently from the solid-state imaging device 10 and the solid-state imaging device 11 of the first modification. That is, the solid-state imaging device 12 includes the digital value of the pixel signal read from the pixel signal processing unit 100 and the digital value of the reduced pixel signal obtained by reducing the number of pixels (number of pixels) included in the pixel signal processing unit 100 by one stage. It is possible to select whether or not to perform the difference processing.
  • the selection of whether or not to perform difference processing on the pixel data to be output is changed according to, for example, the operation mode of the imaging system 1 in which the solid-state imaging device 12 is mounted. Then, the solid-state imaging device 12 outputs pixel data on which the selected process has been performed. Thereby, in the image processing unit 20 installed in the imaging system 1 of the present embodiment, execution of processing for restoring each pixel data transferred (output) from the solid-state imaging device 12 is omitted according to the operation mode. can do.
  • 10A to 10C are tables summarizing the relationship between the number of pixels and the number of bits of pixel data in the solid-state imaging device 12 according to the second modification of the first embodiment.
  • 10A to 10C 5760 pixels in the horizontal direction and 4320 pixels in the vertical direction of the pixel signal processing unit 100 in the solid-state imaging device 12 are respectively arranged, and the total pixel signal S1, the reduced pixel signal S2, and the reduced pixel signal are arranged.
  • FIG. 10A shows an example of the relationship between the number of pixels and the digital value when the operation mode of the imaging system 1 equipped with the solid-state imaging device 12 is an operation mode for capturing a still image.
  • FIG. 10B shows an example of the relationship between the number of pixels and the digital value when the operation mode of the imaging system 1 equipped with the solid-state imaging device 12 is an operation mode for capturing a moving image.
  • 10C shows an example of the relationship between the number of pixels and the digital value when the operation mode of the imaging system 1 equipped with the solid-state imaging device 12 is an operation mode for outputting a live view image.
  • the data amount will be described with one bit of the digital value of one pixel as one pixel data.
  • each pixel data transferred (output) from the solid-state imaging device 12 is based on preprocessed image data that is preprocessed by the imaging processing unit 210 in the image processing unit 20.
  • Each component in the image processing unit 20 performs each process.
  • the moving image processing unit 222 in the image processing unit 20 performs image processing for recording a moving image using the reduced pixel data D2 having an aspect ratio of 16: 9 based on the reduced pixel signal S2.
  • the data amount when the solid-state imaging device 12 transfers (outputs) each pixel data to the image processing unit 20 is 28.1 Mbit, and the operation mode for capturing a still image. Rather, the amount of data that the solid-state imaging device 12 transfers (outputs) each pixel data to the image processing unit 20 can be reduced.
  • the 12-bit reduced pixel data D2 is transferred (output) without taking the difference. For this reason, in the imaging system 1, the restoration process for the reduced pixel data D ⁇ b> 2 is not necessary, and the delay time when moving image data of each frame is generated by the moving image processing unit 222 in the image processing unit 20 can be shortened. it can.
  • the still image processing unit 221 in the image processing unit 20 performs image processing using all the pixel data D1, as in the operation mode for capturing a moving image. Do not do.
  • the amount of data when the solid-state imaging device 12 transfers (outputs) each pixel data to the image processing unit 20 is 31.9 Mbit, and an operation for capturing a still image is performed.
  • the amount of data that the solid-state imaging device 12 transfers (outputs) each pixel data to the image processing unit 20 can be reduced.
  • the 10-bit reduced pixel data D2 is transferred (output) without taking the difference.
  • the imaging system 1 it is not necessary to perform a restoration process on the reduced pixel data D2, and the delay time when the live view image of each frame is generated by the display processing unit 230 in the image processing unit 20 can be shortened. it can.
  • the number of bits of the reduced pixel data D2 transferred (output) in the operation mode for outputting a live view image is smaller than the number of bits of the reduced pixel data D2 transferred (output) in the operation mode for capturing a moving image. This is the same as the reason described in the relationship between the number of pixels and the number of bits shown in FIGS. 7A to 7D.
  • the imaging system 1 can perform processing using pixel data having the number of pixels suitable for processing of each component included in the image processing unit 20.
  • the solid-state imaging device 12 whether or not a difference between corresponding digital values is obtained by the first selection unit 1125 provided in the first readout unit 112 and the second selection unit 1225 provided in the second readout unit 122.
  • the configuration for selecting the above has been described. However, for example, when it is known in advance that the second readout unit 122 does not need to perform a process of obtaining a difference between the digital value of the reduced pixel signal S2 and the digital value of the reduced pixel signal S3,
  • the reading unit 122 may be configured not to include the second difference calculation unit 1203.
  • a plurality of pixels arranged in a two-dimensional matrix are provided, and pixel signals generated by all the pixels arranged here are all pixel signals (all pixels
  • a pixel signal processing unit pixel signal processing unit 100 that outputs the pixel signal generated by the pixels as a reduced pixel signal (reduced pixel signal S2) reduced to a predetermined number of pixels.
  • a difference calculation unit (a first difference calculation unit 1103) that outputs a digital value obtained by calculating a difference between a digital value representing the magnitude of all the pixel signals S1 and a digital value representing the magnitude of the reduced pixel signal S2.
  • a bit number reduction unit (first bit number reduction unit 1104) that outputs the reduced digital value as a digital value (all pixel data D1) corresponding to all pixel signals S1, and corresponds to all pixel signals S1.
  • a solid-state imaging device (solid-state imaging device 10) that outputs a digital value (all pixel data D1) and a digital value (reduced pixel data D2) indicating the magnitude of the reduced pixel signal S2 is configured.
  • the reduced pixel signal S2 is configured by the solid-state imaging device 10 which is a pixel signal obtained by averaging each pixel signal generated in the same exposure period by each of a plurality of corresponding pixels. Is done.
  • the reduced pixel signal S2 is generated by any one of the predetermined pixels among the pixel signals generated by the corresponding plurality of pixels in the same exposure period.
  • a solid-state imaging device 10 that is a pixel signal is configured.
  • a solid-state imaging device (solid-state imaging device 10) is provided, and a digital value (reduced pixel data D2) representing the magnitude of the reduced pixel signal S2 output from the solid-state imaging device 10 is obtained.
  • an imaging system (imaging system 1) is configured that restores a digital value (all pixel data D1) corresponding to all pixel signals S1 to a digital value representing the magnitude of all pixel signals S1.
  • the digital value (reduced pixel data D2) indicating the magnitude of the reduced pixel signal S2 is added to the digital value (all pixel data D1) corresponding to the all pixel signal S1.
  • An imaging system 1 that restores a digital value representing the magnitude of all pixel signals S1 is configured.
  • the pixels having a large number of pixels By reducing the number of data bits, it is possible to output pixel data of various numbers of pixels while suppressing an increase in the amount of data.
  • pixel data of the number of pixels suitable for each processing in each component provided in the image processing unit 20 is obtained. Can be used to process.
  • each pixel data is sequentially transferred (output) to the outside (the imaging processing unit 210 in the image processing unit 20) by time division for each frame.
  • the components of the imaging processing unit 210 in the image processing unit 20 perform processing according to the operation mode of the imaging system 1 in which the solid-state imaging device 10 is mounted. No pixel data was transferred (output).
  • the order in which each pixel data is transferred (output) to the imaging processing unit 210 in the image processing unit 20 is not particularly defined. Therefore, in the solid-state imaging device 10, the order in which each pixel data is transferred (output) can be changed.
  • the solid-state imaging device according to the second embodiment mounted on the imaging system 1 according to the present embodiment will be described.
  • the solid-state imaging device according to the second embodiment includes the solid-state imaging device 10 according to the first embodiment (including the solid-state imaging device 11 according to the first modification and the solid-state imaging device 12 according to the second modification).
  • the configuration is the same, and only the output sequence of each pixel data is different.
  • the solid-state imaging device according to the second embodiment has the same configuration as that of the solid-state imaging device 12 according to the second modification of the first embodiment.
  • the pixel is different from the solid-state imaging apparatus 12 (including the solid-state imaging apparatus 10 and the solid-state imaging apparatus 11 of the first modification) of the second modification of the first embodiment.
  • the data output sequence will be described.
  • FIG. 11 is a diagram illustrating an output sequence of pixel data in the solid-state imaging device 12 according to the second embodiment.
  • each of the reduced pixel data D3, the reduced pixel data D2, and the total pixel data D1 is transferred in a time-sharing manner, as in the solid-state imaging device 12 of the first embodiment ( Output.
  • the solid-state imaging device 12 of the second embodiment after transferring (outputting) the reduced pixel data D2 for one frame as shown in the pixel data output sequence shown in FIG.
  • all the pixel data D1 is divided, and the reduced pixel data D2 is divided and transferred (output) again.
  • the first reduction pixel data D2 is transferred (output) by the display processing unit 230 in the image processing unit 20 in the live view image. Is a transfer (output) for generating.
  • the still image processing unit 221 in the image processing unit 20 generates a still image for the transfer (output) of the subsequent reduced pixel data D2. This is transfer (output) for restoring all the pixel data D1 used at this time.
  • the reduced pixel data D2 transferred (output) again by the solid-state imaging device 12 of the second embodiment is the reduced pixel data D2 for which no difference is taken.
  • the second selection unit 1225 included in the second readout unit 122 in the solid-state imaging device 12 of the second embodiment uses the reduced pixel signal S2 for which no difference is taken.
  • a digital value that is, a digital value of the reduced pixel signal S2 input from the second A / D conversion unit 1202 will be described as an example.
  • the third readout unit 130 sequentially outputs the digital values of the reduced pixel signal S3 for one frame obtained by sequentially reading out the reduced pixel signals S3 for one frame and performing analog-digital conversion to the transfer unit 140 as they are. Then, the transfer unit 140 sequentially transfers (outputs) the reduced pixel data D3 for one frame to the outside.
  • the second readout unit 120 reduces the reduced pixel signal S2 corresponding to the digital value of each reduced pixel signal S3 output from the third readout unit 130.
  • the digital value of each reduced pixel signal S2 in which the number of bits is reduced is sequentially output to the transfer unit 140.
  • the transfer unit 140 sequentially transfers (outputs) the reduced pixel data D2 for one frame to the outside.
  • the display processing unit 230 in the image processing unit 20 generates a live view image using the reduced pixel data D2 for one frame transferred (output).
  • the first readout control unit 1101 in the first readout unit 110 outputs a readout control signal for sequentially reading out all the pixel signals S1 to the pixel signal.
  • the data is sequentially output to each of the first charge storage circuit 103a to the first charge storage circuit 103d in the processing unit 100.
  • all the pixel signals S1 are sequentially output from each of the first charge storage circuit 103a to the first charge storage circuit 103d and sequentially input to the first A / D conversion unit 1102.
  • the first A / D conversion unit 1102 sequentially outputs the digital values of all the pixel signals S1 obtained by performing analog-digital conversion on all the sequentially input all pixel signals S1 to the first difference calculation unit 1103. To do.
  • the second readout control unit 1201 in the second readout unit 120 sequentially reads out the reduced pixel signals S2 corresponding to the total pixel signals S1 read out by the first readout unit 110.
  • the readout control signal is sequentially output to each of the second charge storage circuit 104ab and the second charge storage circuit 104cd in the pixel signal processing unit 100.
  • the reduced pixel signal S2 read from each of the second charge accumulation circuit 104ab and the second charge accumulation circuit 104cd in the pixel signal processing unit 100 by the second readout control unit 1201 is read by the first readout unit 110. This is a reduced pixel signal S2 for use in restoring each of the read all pixel signals S1.
  • the second readout control unit 1201 displays all the pixels for the five rows.
  • Each of the reduced pixel signals S2 corresponding to the number of rows used to restore the signal S1 is read. Accordingly, the reduced pixel signals S2 corresponding to the total pixel signals S1 read by the first readout unit 110 are sequentially output from the second charge storage circuit 104ab and the second charge storage circuit 104cd, respectively. And sequentially input to the second A / D converter 1202.
  • the second A / D conversion unit 1202 performs analog-digital conversion on each of the sequentially input reduced pixel signals S2, and converts the digital value of each reduced pixel signal S2 into the second selection unit 1225 and the first selection unit 1225.
  • the data are sequentially output to the first difference calculation unit 1103 in the reading unit 110.
  • the first difference calculation unit 1103 receives the digital values of all the pixel signals S1 sequentially input from the first A / D conversion unit 1102 and the second A / D in the second readout unit 120.
  • Each digital value obtained by taking the difference from the digital value of each reduced pixel signal S2 sequentially input from the D conversion unit 1202 is sequentially output to the first bit number reduction unit 1104 via the first selection unit 1125.
  • the first bit number reduction unit 1104 calculates the number of bits of the digital value of all the pixel signals S1 from which the difference sequentially input from the first difference calculation unit 1103 via the first selection unit 1125 is obtained.
  • the data is reduced by a predetermined method and sequentially output to the transfer unit 140.
  • the second selection unit 1225 sequentially outputs the digital value of each reduced pixel signal S2 sequentially input from the second A / D conversion unit 1202 to the second bit number reduction unit 1204. Then, the second bit number reduction unit 1204 reduces the number of bits of the digital value of the reduced pixel signal S2 sequentially input from the second selection unit 1225 and does not take the difference by a predetermined method and transfers it. Sequentially output to the unit 140.
  • the transfer unit 140 then reduces the pixel data D2 based on the reduced pixel signal S2 input from the second readout unit 120, and all the pixel data based on the all pixel signal S1 input from the first readout unit 110. D1 and the pair are sequentially transferred (output) to the outside. For example, when the first reading unit 110 reads all the pixel signals S1 for five rows arranged in the pixel signal processing unit 100, the transfer unit 140 receives the five rows input from the second reading unit 120.
  • the reduced pixel data D2 based on the reduced pixel signal S2 corresponding to the number of rows used to restore the entire pixel signal S1 for a total of five pixels and the total pixel data D1 based on the total pixel signal S1 for the five rows are combined, Sequentially transfer (output) to the outside.
  • the first reading unit 110 and the second reading unit 120 transfer (output) a combination of all pixel data D1 and reduced pixel data D2 to transfer (output) all the pixel data D1 for one frame. Repeat in order until is completed. Note that the reduced pixel data D2 is transferred (output) first in each set of all pixel data D1 and reduced pixel data D2.
  • each pixel data is transferred (output) in a time division manner.
  • the pixel data to be restored is divided, and the divided pixel data is supported.
  • pixel data obtained by reducing the number of pixels for which a difference is not taken is paired and transferred (output) alternately.
  • the pixel data to be restored and the pixel data for the restoration of the pixel data are mixed and transferred (output).
  • the image processing unit 20 can facilitate the processing for restoring the pixel data output from the solid-state imaging device 12. it can. This is because pixel data restoration processing can be performed in synchronization with the timing at which the pixel data to be restored has been transferred (output), and many of the pixel data used for restoration are restored when the pixel data is restored. This is because it is not necessary to store the pixel data in the storage unit in the imaging system 1 once.
  • the transfer (output) of the reduced pixel data D2 used for the restoration of all the pixel data D1 is completed before the whole pixel data D1 to be restored is transferred (output).
  • the corresponding reduced pixel data D2 is read from the DRAM 40, and all the pixels It is necessary to use it for processing for restoring the data D1.
  • All of the reduced pixel data D2 is stored in the DRAM 40 and the corresponding reduced pixel data D2 is read from the DRAM 40, that is, many of the reduced pixel data D2 are accessed via the data bus 290 in the imaging system 1.
  • FIG. 12 is a diagram simply illustrating an example of a method for restoring pixel data output from the solid-state imaging device 12 according to the second embodiment.
  • FIG. 12 illustrates a schematic configuration of the imaging processing unit 210 included in the image processing unit 20 that restores the pixel data output from the solid-state imaging device 12 according to the second embodiment, and pixel data when the pixel data is restored. An example of the route is simply shown.
  • the imaging processing unit 210 illustrated in FIG. 12 includes a synthesis processing unit 2101 and a line buffer 2102.
  • the imaging processing unit 210 includes components such as a preprocessing unit that performs preprocessing on input pixel data, but is omitted in FIG. In the following description, it is assumed that all pixel data D1 is restored using the corresponding reduced pixel data D2.
  • the synthesizing processing unit 2101 is a processing unit that performs processing for restoring digital values by synthesizing input digital values. More specifically, the number of bits of all pixel data D1 input to the input terminal IN1 is restored, and the reduced pixel data D2 input to the input terminal IN2 is added to the digital value obtained by restoring the number of bits. All pixel signals S1 corresponding to all pixel data D1 input to the input terminal IN1 are restored. Then, the composition processing unit 2101 outputs the restored digital value of all the pixel signals S1 from the output terminal OUT. Note that the synthesis processing in the synthesis processing unit 2101 is the same processing as the processing shown in FIG. 4B for restoring all the pixel data D1 and restoring the digital value of all the pixel signals S1.
  • the line buffer 2102 is a temporary storage unit that stores the pixel data corresponding to the pixel data to be restored and reduced in the number of pixels for which no difference is taken, for the number of rows used for the restoration of the pixel data.
  • the line buffer 2102 includes, for example, a memory such as SRAM (Static Random Access Memory).
  • the imaging processing unit 210 can sequentially perform the process of restoring all the pixel data D1 using the reduced pixel data D2 transferred (output) from the solid-state imaging device 12 as a set.
  • the imaging processing unit 210 transfers the transferred one frame of reduced pixel data D3 to the data bus 290 through a path C1.
  • the data is output and transferred (written) to the DRAM 40, for example.
  • the imaging processing unit 210 transmits the transferred reduced pixel data D2 for one frame again to the data bus 290 through the path C1. And transferred (written) to the DRAM 40, for example. Accordingly, the display processing unit 230 in the image processing unit 20 can generate a live view image based on the reduced pixel data D2 recorded in the DRAM 40, and can output and display the live view image on the display device 30.
  • the imaging processing unit 210 transmits the transferred reduced pixel data D2 to the line buffer via the path C2. Output to 2102 for storage.
  • the line buffer 2102 sequentially outputs the stored reduced pixel data D2 to the input terminal IN2 of the composition processing unit 2101.
  • the imaging processing unit 210 outputs the transferred all pixel data D1 to the synthesis processing unit 2101 through a path C3.
  • the composition processing unit 2101 restores all pixel signals S1 corresponding to all pixel data D1 based on all pixel data D1 input to input terminal IN1 and reduced pixel data D2 input to input terminal IN2.
  • the synthesis processing unit 2101 outputs the restored digital value of all the pixel signals S1 from the output terminal OUT, outputs the digital value to the data bus 290 through the path C4, and transfers (writes) it to the DRAM 40, for example.
  • the imaging processing unit 210 outputs pixel data of each set of the total pixel data D1 and the reduced pixel data D2 sequentially transferred (output) from the solid-state imaging device 12 to the line buffer 2102 and the composition processing unit 2101. Then, all the pixel signals S1 corresponding to all the pixel data D1 for one frame are restored.
  • the imaging processing unit 210 sequentially performs a process of restoring all the pixel data D1 using the reduced pixel data D2 divided into a plurality of pieces by the solid-state imaging device 12 and transferred (output) after mixing. it can.
  • the reduced pixel data D2 for one frame is divided again.
  • the reduced pixel data D2 for one frame is used for generating a live view image by the display processing unit 230 in the image processing unit 20, and then divided and output again.
  • the still image processing unit 221 in the image processing unit 20 is used for generating a still image. That is, by first transferring (outputting) the reduced pixel data D2 for one frame, a live view image is generated in real time, and using the reduced pixel data D2 transferred (output) again, all the pixel data D1 are sequentially transmitted.
  • FIG. 13 is a diagram illustrating another output sequence of pixel data in the solid-state imaging device 12 according to the second embodiment.
  • the solid-state imaging device 12 transfers (outputs) the reduced pixel data D3 for one frame, and then outputs the reduced pixel data D2 and the entire pixel data D1 for one frame, respectively.
  • the divided pixel data D2 and the divided pixel data D1 are mixed and transferred (output).
  • the reduced pixel data D3 for one frame is transferred (output) by the evaluation value generation unit 211 in the image processing unit 20 in the imaging system 1 in which the solid-state imaging device 12 of the second embodiment is mounted. This is because the process of generating the evaluation value and the process of recognizing the subject by the image recognition unit 250 are performed in real time.
  • the operations of the respective components in the solid-state imaging device 12 according to the pixel data output sequence shown in FIG. 13 are the same as those in FIG. 11 except that the reduced pixel data D2 for one frame is not sequentially transferred (output) to the outside. Since it is the same as the operation of each component in the solid-state imaging device 12 according to the output sequence of the pixel data shown, detailed description is omitted.
  • the pixel data to be restored corresponds to the divided pixel data.
  • the pixel data for which the difference is not taken is paired and transferred (output) alternately (mixed), whereby the pixel data to be transferred between the solid-state imaging device 12 and the image processing unit 20 The amount of data can be reduced.
  • the reduced pixel signal S2 corresponds to pixel signals for a predetermined number of pixels included in the all pixel signals S1. For this reason, when all the pixel data D1 and the reduced pixel data D2 are transferred (output) as a set in the solid-state imaging device 12, all the pixels corresponding to the number of pixels included in the reduced pixel signal S2 corresponding to the reduced pixel data D2 are transferred.
  • the signal S1 may be read by the first reading unit 110. That is, with the reduced pixel data D2 as a reference, the corresponding first pixel signal S1 is read by the first reading unit 110, and the reduced pixel data D2 based on the entire pixel data D1 based on the read all pixel signal S1 is used as the reference. It may be transferred (output) as a set. In other words, the first reading unit 110 may determine the number of rows and the number of pixels from which all the pixel signals S1 are read with reference to the reduced pixel data D2.
  • an output sequence in which reduced pixel data D3 based on the reduced pixel signal S3 from which no difference is taken is also transferred (output) as a set is set.
  • the solid-state imaging device 10 shown in FIG. 2 or FIG. 8 is not configured to output pixel data based on the reduced pixel signal S2 for which no difference is taken as reduced pixel data D2. Also in the solid-state imaging device 11, this configuration can be easily performed.
  • the imaging processing unit 210 A configuration in which the same components as those of the synthesis processing unit 2101 and the line buffer 2102 shown in FIG. 12 are further provided to restore the reduced pixel signal S2 corresponding to the reduced pixel data D2 from which the difference has been taken can be considered.
  • the reduced pixel data D3 from which no difference is taken is temporarily stored in a line buffer newly provided to restore the reduced pixel signal S2, and then newly provided.
  • the combining processing unit outputs the restored reduced pixel signal S2 to the line buffer 2102 and stores it.
  • the composition processing unit 2101 can restore the all-pixel signal S1 corresponding to the all-pixel data D1, as described above, using the reduced pixel signal S2 stored in the line buffer 2102.
  • the first bit number reduction unit 1104 reduces the number of bits of the digital value for which the difference is calculated by the first difference calculation unit 1103, and the difference obtained by reducing the number of bits here.
  • a digital value (all pixel data D1) corresponding to all pixel signals S1 is output in a predetermined number of pixels.
  • a solid-state imaging device (solid-state imaging device 12) that sequentially outputs the pixel data D2) as a set is configured.
  • the digital value (all pixel data D1) corresponding to the divided all-pixel signal S1 and the magnitude of the reduced pixel signal S2 corresponding to the divided digital value are represented.
  • a solid-state imaging device 12 that first outputs a digital value (reduced pixel data D2) representing the magnitude of the reduced pixel signal S2 corresponding to the divided digital value. Is configured.
  • the solid-state image pickup device 12 (including the solid-state image pickup device 10 and the solid-state image pickup device 11 of the first modification example) of the second embodiment also includes the solid-state image pickup device 10 ( (Including the solid-state imaging device 11 of the first modification and the solid-state imaging device 12 of the second modification), the increase in the data amount is suppressed by reducing the number of bits of pixel data having a large number of pixels.
  • the pixel data of various numbers of pixels can be output.
  • pixel data of the number of pixels suitable for each processing in each component provided in the image processing unit 20 is obtained. Can be used to process.
  • the pixel data to be restored and the pixel data for the restoration of the pixel data are mixed and transferred (output).
  • the data amount of pixel data transferred between the solid-state imaging device 12 and the image processing unit 20 is reduced.
  • the process of restoring the pixel data performed by the image processing unit 20 can be performed in a small circuit scale in synchronization with the timing at which the pixel data is transferred (output) from the solid-state imaging device 12.
  • the compression of the bus band of the data bus 290 can be suppressed.
  • each of the embodiments for carrying out the present invention signals of all pixels provided in the pixel signal processing unit obtained by the same exposure from the pixel signal processing unit of the solid-state imaging device.
  • Each of the pixel signal corresponding to the charge and the pixel signal obtained by reducing the number of pixels (number of pixels) provided in the pixel signal processing unit is independently output.
  • the bit number of pixel data with many pixels is reduced.
  • the size conversion of the pixel data output from the solid-state imaging device which is performed in the imaging system equipped with the conventional solid-state imaging device, is not performed.
  • processing can be performed with pixel data having a size suitable for each processing.
  • pixel data of various numbers of pixels can be output at the same time.
  • the component which performs each process according to various operation modes in the imaging system which mounts the solid-state imaging device of each said embodiment is a pixel of the pixel number suitable for each process performed in each operation mode. Processing can be performed using the data.
  • each signal charge generated by the corresponding photoelectric conversion unit 101 provided in each pixel in each pixel.
  • the charge storage circuit 204 is shown.
  • the configuration of the pixel signal processing unit included in the solid-state imaging device of the present invention is not limited to the configuration shown in the pixel signal processing unit 100 included in the solid-state imaging device of each embodiment and each modification.
  • the averaged signal charge held by the third charge storage circuit 204 can be further averaged.
  • an example of a configuration in which two predetermined pixels are paired in the pixel signal processing unit 100 provided in the solid-state imaging device of each embodiment and each modification is shown.
  • the group of pixels in the pixel signal processing unit provided in the solid-state imaging device of the invention is not limited to the configuration of the embodiment for carrying out the present invention. That is, one set can be configured with more pixels than the configuration shown in the embodiment for carrying out the present invention.
  • the number of pixels (the number of pixels) provided in the pixel signal processing unit 100 and the number by which the number of pixels is reduced are not limited to the mode for carrying out the present invention, and the pixel signal processing is within the scope of the present invention.
  • the number of pixels (the number of pixels) included in the unit 100 and the number by which the number of pixels is reduced can be changed.
  • each component included in each solid-state imaging device may be a multi-layer substrate structure divided into a plurality of substrates, or a so-called monolithic structure disposed on a single substrate. Good.
  • Solid-state imaging device 100 Pixel signal processing part (solid-state imaging device) 101a, 101b, 101c, 101d Photoelectric conversion unit (pixel, pixel signal processing unit, solid-state imaging device) 102a, 102b, 102c, 102d Charge transfer circuit (pixel, pixel signal processing unit, solid-state imaging device) 103a, 103b, 103c, 103d First charge storage circuit (pixel, pixel signal processing unit, solid-state imaging device) 104ab, 104cd Second charge storage circuit (pixel, pixel signal processing unit, solid-state imaging device) 204 Third charge storage circuit (pixel, pixel signal processor, solid-state imaging device) 110, 112 First reading unit (solid-state imaging device) 1101 First read control unit (difference calculation unit, bit number reduction unit, solid-state imaging device) 1102 1st A / D conversion part (difference calculation part, bit number reduction part, solid-state imaging device) 1103 1st difference calculation part (d

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本固体撮像装置は、二次元の行列状に配置された複数の画素を有し、配置された全ての前記画素のそれぞれが発生した画素信号のそれぞれを全画素信号として出力すると共に、前記画素が発生した前記画素信号のそれぞれを予め定めた数の画素数に減縮した減縮画素信号として出力する画素信号処理部と、前記全画素信号の大きさを表すデジタル値と減縮画素信号の大きさを表すデジタル値との差分を算出したデジタル値を出力する差分算出部と、前記差分算出部によって差分が算出されたデジタル値、または前記全画素信号の大きさを表す前記デジタル値のいずれか一方のデジタル値のビット数を削減し、前記ビット数を削減したデジタル値を、前記全画素信号に対応するデジタル値として出力するビット数削減部と、を備え、前記全画素信号に対応するデジタル値と、前記減縮画素信号の大きさを表すデジタル値とをそれぞれ出力する。

Description

固体撮像装置および撮像システム
　本発明は、固体撮像装置および撮像システムに関する。
本願は、２０１４年２月２０日に、日本国に出願された特願２０１４－０３０６０５号に基づき優先権を主張し、その内容をここに援用する。
　近年、ビデオカメラや電子スチルカメラなどの撮像システムが広く一般に普及している。これらの撮像システムには、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ：電荷結合素子）型の固体撮像装置や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）型の固体撮像装置が搭載されている。これらの固体撮像装置では、画素が二次元の行列状に複数配置され、光が入射する画素内に設けられたフォトダイオードなどの光電変換部が生成した信号電荷を、画素内に設けられた増幅部で増幅して、画素信号として出力する。このとき、一般的なＣＭＯＳ型固体撮像装置では、従来から、二次元の行列状に配列された各画素からの画素信号を、行毎に順次読み出している。
　ＣＭＯＳ型固体撮像装置は、ＣＣＤ型固体撮像装置が専用の製造プロセスによって製造されるのに対し、一般的な半導体の製造プロセスを用いて製造することが可能である。このことから、ＣＭＯＳ型固体撮像装置は、例えば、ＳＯＣ（Ｓｙｓｔｅｍ　Ｏｎ　Ｃｈｉｐ）のように、固体撮像装置内に種々の機能回路を組み込むことによって、多機能化を実現することが容易である。このため、撮像システムに搭載するＣＭＯＳ型固体撮像装置（以下、「固体撮像装置」ともいう）では、アナログデジタル変換回路を内蔵し、それぞれの画素から読み出した画素信号をアナログデジタル変換した画素データを出力する構成の固体撮像装置を使用する例が増えている。
　また、撮像システムには、様々な動作モードがある。このため、固体撮像装置は、撮像システムの動作モードに応じて、それぞれの画素から読み出した画素信号を加算する画素加算や、それぞれの画素の画素信号を間引いて読み出す間引き読み出しを行い、撮像システムの動作モードに適した画素の数（画素数）の画素データを出力することができる仕組みを備えている（特許文献１参照）。そして、撮像システムに備えた画像処理部は、固体撮像装置から出力された様々な画素数の画素データに基づいて、撮像システムのそれぞれの動作モードに応じた大きさ（サイズ）の画像を生成する。
　例えば、水平方向に５７６０画素、垂直方向に４３２０画素がそれぞれ配置された固体撮像装置を搭載した撮像システムにおいて静止画像を撮影する動作モードの場合、固体撮像装置は、全ての画素数（５７６０画素×４３２０画素）の画素データを出力する。そして、画像処理部は、固体撮像装置から出力された全ての画素数の画素データに対して画像処理を行って、５７６０画素×４３２０画素の静止画像を生成して記録する。また、この撮像システムにおいて動画像を撮影する動作モードの場合、固体撮像装置は、例えば、現在の動画像の撮影において主流である１０８０Ｐ形式と同様の画素数（１９２０画素×１０８０画素）に画素加算または間引きした画素データを出力する。そして、画像処理部は、固体撮像装置から出力された画素データに対して画像処理を行って、１９２０画素×１０８０画素の動画像を生成して記録する。また、この撮像システムにおいて被写体を確認するための確認画像（いわゆる、ライブビュー画像（スルー画像））を出力する動作モードの場合、固体撮像装置は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）などの表示デバイスが表示することができる画素数と同様の画素数（１９２０画素×１４４０画素）に画素加算または間引きした画素データを出力する。そして、画像処理部は、固体撮像装置から出力された画素データに対して画像処理を行って、１９２０画素×１４４０画素のライブビュー画像を生成して出力する。
　なお、このように、撮像システムの動作モードに応じて固体撮像装置が出力する画素データの画素数を変更する理由は、最終的に撮像システムが出力する画像の大きさ（サイズ）や更新されるまでの遅れ（リアルタイム性）が動作モードによって異なるためである。すなわち、撮像システムが静止画像を撮影する動作モードの場合には、生成する静止画像の画質を確保するためにリアルタイム性よりも画素数を優先し、画素数の多い画素データを、固体撮像装置から出力するようにしている。これに対して、撮像システムが動画像を撮影する動作モードやスルー画像を出力する動作モードの場合には、生成する動画像やスルー画像に含まれる被写体の動きが滑らかになるように画素数よりもリアルタイム性を優先し、画素加算や間引きによって規格に合った大きさまで画素数を少なくした画素データを、高いリアルタイム性で固体撮像装置から出力するようにしている。
日本国特開２００８－１９９１７７号公報
　撮像システムにおいては、例えば、自動露出（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ：ＡＥ）、自動焦点（Ａｕｔｏ　Ｆｏｃｕｓ：ＡＦ）、オートホワイトバランス（Ａｕｔｏ　Ｗｈｉｔｅ　Ｂａｌａｎｃｅ：ＡＷＢ）などの撮影を行うための制御や、撮影された画像に含まれる被写体の動きや顔を検出する画像認識の処理など、撮影する画像の全体の状況に応じて行う処理もある。これらの処理は、小さいサイズの画像を用いて処理を行った場合でも精度を確保することができる。このため、これらの処理では、必ずしも固体撮像装置から出力される大きなサイズの画素データを必要とせず、むしろリアルタイム性の高さの方が強く求められる。つまり、これらの処理では、動画像を撮影する動作モードやスルー画像を出力する動作モードよりもさらに画素数を少なくしてもよい代わりに、さらに高いリアルタイム性で画素データを固体撮像装置から出力することが求められる。
　しかしながら、上述したＡＥ、ＡＦ、ＡＷＢなどの制御や、画像認識の処理は、静止画像や動画像の撮影や、スルー画像の出力と並列して行われる。このため、撮像システムに備えた画像処理部では、静止画像や動画像の生成、またはスルー画像の出力のために固体撮像装置から入力された画素データを、撮像システムにおいて行われるそれぞれの処理に適したサイズに変換している。例えば、画像処理部は、ＡＥ、ＡＦ、ＡＷＢなどの制御や、画像認識の処理に用いるために、固体撮像装置から出力された画素データを、６４０画素×４８０画素の画素数にサイズ変換している。これにより、それぞれの処理部は、サイズ変換された画素データに基づいて、担当するそれぞれの処理を行うことができる。
　このように、撮像システムでは、それぞれの処理毎に必要な画素データのサイズが異なるが、画像処理部において、固体撮像装置から出力された画素データを、それぞれの処理に適したサイズにサイズ変換している。しかしながら、このサイズ変換の処理にも時間を要する。このため、撮像システムでは、サイズ変換の処理に要する時間の影響によって、例えば、スルー画像を出力するタイミングが１フレーム分遅くなるなど、画像を生成する処理のリアルタイム性を確保することが困難になる場合がある。
　このため、画質を確保するための画素数の多い画素データとリアルタイム性を確保するために画素数を少なくした画素データとを、固体撮像装置から並列に出力するようにすることも考えられる。しかし、この場合には、固体撮像装置が出力する画素データのデータ量の増加してしまう、という問題がある。
　本発明は、上記の課題認識に基づいてなされたものであり、データ量の増加を抑えつつ、様々な画素数の画素データを出力することができる固体撮像装置およびこの固体撮像装置を搭載した撮像システムを提供することを目的としている。
　本発明の第一の態様によれば、固体撮像装置は、二次元の行列状に配置された複数の画素を有し、配置された全ての前記画素のそれぞれが発生した画素信号のそれぞれを全画素信号として出力すると共に、前記画素が発生した前記画素信号のそれぞれを予め定めた数の画素数に減縮した減縮画素信号として出力する画素信号処理部と、前記全画素信号の大きさを表すデジタル値と前記減縮画素信号の大きさを表すデジタル値との差分を算出したデジタル値を出力する差分算出部と、前記差分算出部によって差分が算出された前記デジタル値、または前記全画素信号の大きさを表す前記デジタル値のいずれか一方のデジタル値のビット数を削減し、前記ビット数を削減したデジタル値を、前記全画素信号に対応するデジタル値として出力するビット数削減部と、を備え、前記全画素信号に対応するデジタル値と、前記減縮画素信号の大きさを表すデジタル値とをそれぞれ出力する。
本発明の第二の態様によれば、上記第一の態様に係る固体撮像装置において、前記減縮画素信号は、対応する複数の前記画素のそれぞれが同じ露光期間で発生したそれぞれの前記画素信号を平均化した画素信号であってもよい。
本発明の第三の態様によれば、上記第一の態様に係る固体撮像装置において、前記減縮画素信号は、対応する複数の前記画素のそれぞれが同じ露光期間で発生したそれぞれの前記画素信号の内、予め定めたいずれか１つの前記画素が発生した画素信号であってもよい。
本発明の第四の態様によれば、上記第二または第三の態様に係る固体撮像装置において、前記ビット数削減部は、前記差分算出部によって差分が算出されたデジタル値の前記ビット数を削減し、前記ビット数を削減した差分が算出されたデジタル値を、前記全画素信号に対応するデジタル値として出力し、前記固体撮像装置は、前記全画素信号に対応するデジタル値を、予め定めた数の前記画素に対応するデジタル値毎に分割し、分割したデジタル値と、前記分割したデジタル値に含まれる予め定めた数の前記画素に対応する分の前記減縮画素信号の大きさを表すデジタル値とを組にして順次出力してもよい。
本発明の第五の態様によれば、上記第四の態様に係る固体撮像装置において、前記固体撮像装置は、分割した前記全画素信号に対応するデジタル値と、前記分割したデジタル値に対応する分の前記減縮画素信号の大きさを表すデジタル値とのそれぞれの組において、前記分割したデジタル値に対応する分の前記減縮画素信号の大きさを表すデジタル値を先に出力してもよい。
本発明の第六の態様によれば、撮像システムは、上記第一の態様から第五の態様のいずれか１の態様に係る固体撮像装置を備え、前記固体撮像装置から出力された前記減縮画素信号の大きさを表すデジタル値に基づいて、前記全画素信号に対応するデジタル値を、前記全画素信号の大きさを表す前記デジタル値に復元する。
本発明の第七の態様によれば、上記第六の態様に係る撮像システムにおいて、前記全画素信号に対応するデジタル値に前記減縮画素信号の大きさを表すデジタル値を加算することによって、前記全画素信号の大きさを表す前記デジタル値を復元してもよい。
　上記各態様に係る固体撮像装置およびこの固体撮像装置を搭載した撮像システムによれば、データ量の増加を抑えつつ、様々な画素数の画素データを出力することができるという効果が得られる。
本発明の実施形態における固体撮像装置を搭載した撮像システムの概略構成を示したブロック図である。 本発明の第１の実施形態における固体撮像装置の概略構成を示したブロック図である。 本発明の第１の実施形態の固体撮像装置における画素データの出力シーケンスを示した図である。 本発明の第１の実施形態の固体撮像装置がそれぞれの画素データを出力する際の処理を簡易的に示した図である。 本発明の第１の実施形態の固体撮像装置から出力されたそれぞれの画素データの復元方法の一例を簡易的に示した図である。 本発明の第１の実施形態の固体撮像装置における画素データのビット数削減方法を説明する図である。 本発明の第１の実施形態の固体撮像装置における画素データのビット数削減方法を説明する図である。 本発明の第１の実施形態の固体撮像装置における画素データの画素数とビット数との関係をまとめた表である。 本発明の第１の実施形態の固体撮像装置における画素データの画素数とビット数との関係をまとめた表である。 本発明の第１の実施形態の固体撮像装置における画素データの画素数とビット数との関係をまとめた表である。 本発明の第１の実施形態の固体撮像装置における画素データの画素数とビット数との関係をまとめた表である。 本発明の第１の実施形態の固体撮像装置における画素データの画素数とビット数との関係をまとめた表である。 本発明の第１の実施形態の固体撮像装置における画素データの画素数とビット数との関係をまとめた表である。 本発明の第１の実施形態の固体撮像装置における第１の変形例の概略構成を示したブロック図である。 本発明の第１の実施形態の固体撮像装置における第２の変形例の概略構成を示したブロック図である。 本発明の第１の実施形態の第２の変形例の固体撮像装置における画素データの画素数とビット数との関係をまとめた表である。 本発明の第１の実施形態の第２の変形例の固体撮像装置における画素データの画素数とビット数との関係をまとめた表である。 本発明の第１の実施形態の第２の変形例の固体撮像装置における画素データの画素数とビット数との関係をまとめた表である。 本発明の第２の実施形態の固体撮像装置における画素データの出力シーケンスを示した図である。 本発明の第２の実施形態の固体撮像装置が出力した画素データの復元方法の一例を簡易的に示した図である。 本発明の第２の実施形態の固体撮像装置における画素データの別の出力シーケンスを示した図である。
　以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態における固体撮像装置を搭載した撮像システムの概略構成を示したブロック図である。図１において、撮像システム１は、固体撮像装置１０と、画像処理部２０と、表示デバイス３０と、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）４０と、記録媒体５０と、を備えている。また、画像処理部２０は、撮像処理部２１０と、評価値生成部２１１と、静止画処理部２２１と、動画処理部２２２と、表示処理部２３０と、ＤＲＡＭコントローラ２４０と、画像認識部２５０と、ＣＰＵ２６０と、カードインタフェース部２７０とを備えている。図１には、撮像システム１内のそれぞれの構成要素が出力する、または処理を行う画像の大きさ（サイズ）を模式的に表した画像の一例も併せて示している。
　固体撮像装置１０は、図示しないレンズによって結像された被写体の光学像を光電変換する、本実施形態の固体撮像装置である。固体撮像装置１０は、被写体光に応じた画素信号に基づいた、異なる画素数の複数の画素データのそれぞれを、画像処理部２０内の撮像処理部２１０に出力する。例えば、図１に示したように、固体撮像装置１０は、画素数が最も多い画像Ｐ１に対応する画素データと、画素数が画像Ｐ１よりも少ない画像Ｐ２に対応する画素データと、画素数が画像Ｐ２よりもさらに少ない、つまり、画素数が最も少ない画像Ｐ３に対応する画素データとのそれぞれを、画像処理部２０内の撮像処理部２１０に出力する。つまり、固体撮像装置１０は、大きいサイズの画像Ｐ１の生成に用いる画素データと、中程度のサイズの画像Ｐ２の生成に用いる画素データと、小さいサイズの画像Ｐ３の生成に用いる画素データとの３種類のサイズの画素データのそれぞれを、画像処理部２０内の撮像処理部２１０に出力する。固体撮像装置１０に関する説明は、後述する。
　画像処理部２０は、固体撮像装置１０から入力されたそれぞれのサイズの画素データに基づいて、予め定められた種々の画像処理を施した画像を生成し、生成した画像のデータ（以下、「画像データ」という）を、ＤＲＡＭ４０に転送する（書き込む）。また、画像処理部２０は、ＤＲＡＭ４０に格納されている画像データを読み出して、予め定められた種々の画像処理を施す。
　撮像システム１内の撮像処理部２１０と、評価値生成部２１１と、静止画処理部２２１と、動画処理部２２２と、表示処理部２３０と、ＤＲＡＭコントローラ２４０と、画像認識部２５０と、ＣＰＵ２６０と、カードインタフェース部２７０とは、データバス２９０を介してそれぞれ接続され、例えば、ＤＭＡ（Ｄｉｒｅｃｔ　Ｍｅｍｏｒｙ　Ａｃｃｅｓｓ）によってＤＲＡＭコントローラ２４０に接続されたＤＲＡＭ４０からのデータの読み出し、およびＤＲＡＭ４０へのデータの書き込みを行う。
　撮像処理部２１０は、固体撮像装置１０から入力されたそれぞれのサイズの画素データに、シェーディング補正や画素欠陥補正などの前処理を施し、前処理した結果のそれぞれの画像データ（以下、「前処理画像データ」という）を、ＤＲＡＭ４０に転送する（書き込む）。
　また、撮像処理部２１０に備えた評価値生成部２１１は、前処理した結果の前処理画像データに基づいて、自動露出（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ：ＡＥ）、自動焦点（Ａｕｔｏ　Ｆｏｃｕｓ：ＡＦ）、オートホワイトバランス（Ａｕｔｏ　Ｗｈｉｔｅ　Ｂａｌａｎｃｅ：ＡＷＢ）などの制御を行うための評価値を生成し、生成した評価値をＤＲＡＭ４０に転送する（書き込む）。
　評価値生成部２１１における評価値の生成の処理は、画素数よりもリアルタイム性が高いことが強く求められる処理である。従って、図１に示したように、評価値生成部２１１が評価値を生成するために用いる前処理画像データは、画素数が最も少ない画像Ｐ３に対応する画素データ（小さいサイズの画素データ）に対して撮像処理部２１０が前処理を施した前処理画像データである。
　静止画処理部２２１は、ＤＲＡＭ４０に記録されている前処理画像データを取得し（読み出し）、デモザイク処理（ノイズ除去、ＹＣ変換処理、リサイズ処理）、ＪＰＥＧ圧縮処理など、静止画像を記録するための各種の画像処理を施して、記録用の静止画像データを生成する。また、静止画処理部２２１は、ＤＲＡＭ４０に記録されている記録用の静止画像データを取得し（読み出し）、ＪＰＥＧ伸張処理など、静止画像を再生するための各種の画像処理を施して、表示用の静止画像データを生成する。また、静止画処理部２２１は、生成した記録用の静止画像データおよび表示用の静止画像データを、ＤＲＡＭ４０に転送する（書き込む）。
　静止画処理部２２１における静止画像を記録するための画像処理は、静止画像の画質を確保するためにリアルタイム性よりも画素数が多いことが求められる処理である。従って、図１に示したように、静止画処理部２２１が画像処理を行うために用いる前処理画像データは、画素数が最も多い画像Ｐ１に対応する画素データ（大きいサイズの画素データ）に対して撮像処理部２１０が前処理を施した前処理画像データである。
　動画処理部２２２は、ＤＲＡＭ４０に記録されている前処理画像データを取得し（読み出し）、デモザイク処理（ノイズ除去、ＹＣ変換処理、リサイズ処理）、ＭＰＥＧ圧縮処理やＨ．２６４圧縮処理等の動画圧縮処理など、動画像を記録するための各種の画像処理を施して、記録用の動画像データを生成する。また、動画処理部２２２は、デモザイク処理を施した画像データに対して動画圧縮処理を行わずに、動画像を再生するための表示用の動画像データを生成することもできる。また、動画処理部２２２は、ＤＲＡＭ４０に記録されている記録用の動画像データを取得し（読み出し）、ＭＰＥＧ伸張処理やＨ．２６４伸張処理等の動画伸張処理など、動画像を再生するための各種の画像処理を施して、表示用の動画像データを生成する。また、動画処理部２２２は、生成した記録用の動画像データおよび表示用の動画像データを、ＤＲＡＭ４０に転送する（書き込む）。
　動画処理部２２２における動画像を記録するための画像処理は、動画像のリアルタイム性を確保するために画素数よりもリアルタイム性が高いことが求められる処理である。従って、図１に示したように、動画処理部２２２が画像処理を行うために用いる前処理画像データは、画素数が画像Ｐ１よりも少ない画像Ｐ２に対応する画素データ（中程度のサイズの画素データ）に対して撮像処理部２１０が前処理を施した前処理画像データである。
　表示処理部２３０は、ＤＲＡＭ４０に記録されている前処理画像データを取得し（読み出し）、撮影する被写体を確認するための確認画像として、いわゆる、ライブビュー画像（スルー画像）を生成する。そして、表示処理部２３０は、生成したライブビュー画像にＯＳＤ（Ｏｎ－Ｓｃｒｅｅｎ　Ｄｉｓｐｌａｙ）表示用のデータを重畳する処理などの表示処理を施して、表示デバイス３０に出力して表示させる。また、表示処理部２３０は、静止画処理部２２１が生成した表示用の静止画像データや、動画処理部２２２が生成した表示用の動画像データなど、ＤＲＡＭ４０に記録されている表示用の画像データを取得し（読み出し）、取得した表示用の画像データにＯＳＤ表示用のデータを重畳する表示処理などを施して、表示処理後の画像データを、表示デバイス３０に出力して表示させることもできる。
　表示処理部２３０におけるライブビュー画像を生成して表示デバイス３０に表示させる表示処理は、表示するライブビュー画像のリアルタイム性を確保するために画素数よりもリアルタイム性が高いことが求められる処理である。従って、図１に示したように、表示処理部２３０がライブビュー画像を生成する処理を行うために用いる前処理画像データは、画素数が画像Ｐ１よりも少ない画像Ｐ２に対応する画素データ（中程度のサイズの画素データ）に対して撮像処理部２１０が前処理を施した前処理画像データである。
　表示デバイス３０は、ＴＦＴ（薄膜トランジスター：Ｔｈｉｎ　Ｆｉｌｍ　Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイ（ＬＣＤ）や、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ　Ｖｉｅｗ　Ｆｉｎｄｅｒ：電子ビューファインダ）などの表示デバイスであり、表示処理部２３０から出力された表示処理後の画像データに応じた画像を表示する。なお、表示デバイス３０は、有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイや、テレビなどの外部ディスプレイであってもよい。
　画像認識部２５０は、ＤＲＡＭ４０に記録されている前処理画像データを取得し（読み出し）、取得した前処理画像データに基づいて、撮影された画像に含まれる被写体の動き量や顔を検出する。そして、画像認識部２５０は、検出した被写体の情報を生成して、ＤＲＡＭ４０に転送する（書き込む）。また、画像認識部２５０は、取得した前処理画像データに基づいて、撮影された画像のシーンを認識する。そして、画像認識部２５０は、認識したシーンの情報を生成して、ＤＲＡＭ４０に転送する（書き込む）。なお、画像認識部２５０は、生成した被写体の情報やシーンの情報をＤＲＡＭ４０に転送せず、画像認識部２５０内のレジスタに保持する構成であってもよい。
　画像認識部２５０における被写体検出やシーン認識などの処理は、画素数よりもリアルタイム性が高いことが強く求められる処理である。従って、図１に示したように、画像認識部２５０が処理を行うために用いる前処理画像データは、画素数が最も少ない画像Ｐ３に対応する画素データ（小さいサイズの画素データ）に対して撮像処理部２１０が前処理を施した前処理画像データである。
　カードインタフェース部２７０は、ＤＲＡＭ４０に記録されている記録用の静止画像データや記録用の動画像データを取得し（読み出し）、記録媒体５０に記録させる。また、カードインタフェース部２７０は、記録媒体５０に記録している記録用の静止画像データや記録用の動画像データを読み出し、読み出した画像データを、ＤＲＡＭ４０に転送する（書き込む）。
　記録媒体５０は、ＳＤメモリカード（ＳＤ　Ｍｅｍｏｒｙ　Ｃａｒｄ）などの記録媒体であり、カードインタフェース部２７０から出力された記録用の静止画像データや記録用の動画像データを記録する。また、カードインタフェース部２７０によって記録している記録用の静止画像データや記録用の動画像データが読み出される。なお、図１においては、記録媒体５０も撮像システム１の構成要素としているが、記録媒体５０は、撮像システム１に着脱可能な構成である。
　ＤＲＡＭコントローラ２４０は、データバス２９０に接続されている撮像システム１内の複数の構成要素からのＤＲＡＭ４０へのアクセス要求、例えば、ＤＭＡアクセス要求に応じて、接続されているＤＲＡＭ４０へのデータの転送（書き込み）、およびＤＲＡＭ４０からのデータの取得（読み出し）を行う。
　ＤＲＡＭ４０は、ＤＲＡＭコントローラ２４０によってアクセス制御されるメモリである。ＤＲＡＭ４０は、撮像システム１内のそれぞれの構成要素の処理過程における様々なデータを一時的に格納する。
　ＣＰＵ２６０は、撮像システム１の構成要素、すなわち、撮像システム１全体を制御する。例えば、ＣＰＵ２６０は、撮像システム１における撮影動作や再生動作に応じて、撮像システム１内の各構成要素の動作を制御する。また、例えば、ＣＰＵ２６０は、撮像システム１が撮影動作を行う際に、図示しないレンズを制御する。
＜第１の実施形態＞
　次に、本実施形態の撮像システム１に搭載した固体撮像装置１０について説明する。図２は、本第１の実施形態における固体撮像装置１０の概略構成を示したブロック図である。図２に示した固体撮像装置１０は、画素信号処理部１００と、第１の読み出し部１１０と、第２の読み出し部１２０と、第３の読み出し部１３０と、転送部１４０とから構成される。
　画素信号処理部１００は、複数の画素が二次元の行列状に配置されて形成された画素アレイを備える。画素信号処理部１００は、第１の読み出し部１１０、第２の読み出し部１２０、および第３の読み出し部１３０のそれぞれから入力された読み出し制御信号に応じて、それぞれの画素が入射した光を光電変換した画素信号を、対応する第１の読み出し部１１０、第２の読み出し部１２０、または第３の読み出し部１３０に出力する。画素信号処理部１００は、画素アレイ内に配置された全ての画素の画素信号のそれぞれを全画素信号Ｓ１とし、画素アレイ内に配置された画素の数を減縮した画素の画素信号のそれぞれを減縮画素信号Ｓ２とし、画素アレイ内に配置された画素の数をさらに減縮した画素の画素信号のそれぞれを減縮画素信号Ｓ３として、別々に出力することができる。つまり、画素信号処理部１００は、画素数が最も多い画像Ｐ１に対応する全画素信号Ｓ１と、画素数が画像Ｐ１よりも少ない画像Ｐ２に対応する減縮画素信号Ｓ２と、画素数が最も少ない画像Ｐ３に対応する減縮画素信号Ｓ３とのそれぞれを、別々に出力することができる（図１参照）。
　そして、画素信号処理部１００は、第１の読み出し部１１０から入力された読み出し制御信号に応じて、全画素信号Ｓ１のそれぞれを第１の読み出し部１１０に出力する。画素信号処理部１００は、第２の読み出し部１２０から入力された読み出し制御信号に応じて、減縮画素信号Ｓ２のそれぞれを第２の読み出し部１２０に出力する。画素信号処理部１００は、第３の読み出し部１３０から入力された読み出し制御信号に応じて、減縮画素信号Ｓ３のそれぞれを第３の読み出し部１３０に出力する。
　第１の読み出し部１１０は、画素信号処理部１００から全画素信号Ｓ１のそれぞれを読み出し、読み出した全画素信号Ｓ１のそれぞれをアナログデジタル変換したそれぞれのデジタル値を転送部１４０に出力する。このとき、第１の読み出し部１１０は、アナログデジタル変換した全画素信号Ｓ１のそれぞれのデジタル値と、第２の読み出し部１２０によってアナログデジタル変換された減縮画素信号Ｓ２のデジタル値との差分を算出する。そして、第１の読み出し部１１０は、差分を算出したデジタル値のビット数を削減して、転送部１４０に出力する。
　第２の読み出し部１２０は、画素信号処理部１００から減縮画素信号Ｓ２のそれぞれを読み出し、読み出した減縮画素信号Ｓ２のそれぞれをアナログデジタル変換したそれぞれのデジタル値を転送部１４０に出力する。このとき、第２の読み出し部１２０は、アナログデジタル変換した減縮画素信号Ｓ２のそれぞれのデジタル値と、第３の読み出し部１３０によってアナログデジタル変換された減縮画素信号Ｓ３のデジタル値との差分を算出する。そして、第２の読み出し部１２０は、差分を算出したデジタル値のビット数を削減して、転送部１４０に出力する。また、第２の読み出し部１２０は、読み出した減縮画素信号Ｓ２のそれぞれをアナログデジタル変換したそれぞれのデジタル値を、第１の読み出し部１１０に出力する。
　第３の読み出し部１３０は、画素信号処理部１００から減縮画素信号Ｓ３のそれぞれを読み出し、読み出した減縮画素信号Ｓ３のそれぞれをアナログデジタル変換したそれぞれのデジタル値を、そのまま転送部１４０に出力する。
　転送部１４０は、第１の読み出し部１１０、第２の読み出し部１２０、および第３の読み出し部１３０のそれぞれから出力されたそれぞれのデジタル値を、それぞれの画素データとして外部に転送する。すなわち、転送部１４０は、異なる画素数の複数のデジタル値を、それぞれの画素データとして画像処理部２０内の撮像処理部２１０に転送（出力）する。
　上述した構成によって、固体撮像装置１０は、３種類のサイズの画素データのそれぞれを、画像処理部２０内の撮像処理部２１０に出力する。
　固体撮像装置１０では、それぞれの画素データを画像処理部２０内の撮像処理部２１０に転送（出力）する際の順番などに関しては、特に規定しない。ただし、第１の読み出し部１１０から出力された全画素信号Ｓ１に基づいた画素データは、画素数が最も多い画像Ｐ１に対応する画素データである。第２の読み出し部１２０から出力された減縮画素信号Ｓ２に基づいた画素データは、画素数が画像Ｐ１よりも少ない画像Ｐ２に対応する画素データである。第３の読み出し部１３０から出力された減縮画素信号Ｓ３に基づいた画素データは、画素数が最も少ない画像Ｐ３に対応する画素データである（図１参照）。このため、全画素信号Ｓ１に基づいた画素データよりも減縮画素信号Ｓ２に基づいた画素データの方が、早く出力することができる。また、減縮画素信号Ｓ２に基づいた画素データよりも減縮画素信号Ｓ３に基づいた画素データの方が、さらに早く出力することができる。従って、減縮画素信号Ｓ３に基づいた画素データを先に出力し、減縮画素信号Ｓ２に基づいた画素データを次に出力し、全画素信号Ｓ１に基づいた画素データを最後に出力する方が、画像処理部２０において処理を行う際に有利である。
　例えば、評価値生成部２１１による評価値の生成の処理、画像認識部２５０による被写体検出やシーン認識などの処理は、リアルタイム性が高いことが強く求められる処理である。このため、この処理に用いる減縮画素信号Ｓ３に基づいた画素データを先に出力する方が有利である。また、例えば、動画処理部２２２における動画像を記録するための画像処理や、表示処理部２３０におけるライブビュー画像を生成して表示デバイス３０に表示させる表示処理は、評価値生成部２１１や画像認識部２５０によるそれぞれの処理ほどではないが、リアルタイム性が高いことが求められる処理である。このため、この処理に用いる減縮画素信号Ｓ２に基づいた画素データを、全画素信号Ｓ１に基づいた画素データよりも先に出力する方が有利である。
　上述した構成によって、固体撮像装置１０は、画素信号処理部１００に備えた全ての画素の画素信号（全画素信号Ｓ１）に基づいたそれぞれの画素データと、画素数を減縮した画素の画素信号（減縮画素信号Ｓ２）に基づいたそれぞれの画素データとのビット数を削減して、画像処理部２０内の撮像処理部２１０に出力する。これと共に、固体撮像装置１０は、画素数をさらに減縮した画素の画素信号（減縮画素信号Ｓ３）に基づいたそれぞれの画素データを、画像処理部２０内の撮像処理部２１０に出力する。これにより、本実施形態の撮像システム１に搭載した画像処理部２０では、リアルタイム性が要求される処理に用いる画素データと、画質が要求される処理に用いる画素データとを、それぞれの処理に応じて使い分けることができる。
　次に、本第１の実施形態の固体撮像装置１０のそれぞれの構成要素について、さらに詳細に説明する。まず、図２に示した本第１の実施形態の固体撮像装置１０の画素信号処理部１００の構成について、さらに詳細に説明する。なお、固体撮像装置１０においては、上述したように、複数の画素が二次元の行列状に配置された画素アレイを画素信号処理部１００内に備える。しかし、説明を容易にするため、図２においては、固体撮像装置１０に備えた画素信号処理部１００内に、画素ａ～画素ｄの４つの画素が配置されている場合の一例を示している。なお、固体撮像装置１０には、垂直走査回路や水平走査回路などの構成要素も備えているが、図２においては省略している。垂直走査回路や水平走査回路は、本固体撮像装置１０を搭載した撮像システム１に備えた、本固体撮像装置１０の制御を行う制御装置（例えば、画像処理部２０内のＣＰＵ２６０など）による制御に応じて、画素信号処理部１００内に配置されたそれぞれの画素の構成要素を駆動する。
　以下の説明においては、それぞれの構成要素が対応する画素、すなわち、画素ａ～画素ｄを区別するため、それぞれの構成要素の符号の最後に対応する画素を示す「ａ」、「ｂ」、「ｃ」、または「ｄ」の符号を付与して説明する。より具体的には、画素ａに対応する構成要素の符号の最後に「ａ」を付与し、画素ｂに対応する構成要素の符号の最後に「ｂ」を付与し、画素ｃに対応する構成要素の符号の最後に「ｃ」を付与し、画素ｄに対応する構成要素の符号の最後に「ｄ」を付与して説明する。画素ａ～画素ｄに共通して対応する構成要素には、「ａ」～「ｄ」の符号は付与せずに説明する。画素ａ～画素ｄのいずれかに対応する構成要素ではあるが、説明を行う際に対応する画素を区別しない場合には、「ａ」～「ｄ」の符号を示さずに、それぞれの構成要素の符号までを示して説明する。
　図２に示した本第１の実施形態の固体撮像装置１０の画素信号処理部１００は、４つの光電変換部１０１ａ～光電変換部１０１ｄと、４つの電荷転送回路１０２ａ～電荷転送回路１０２ｄと、４つの第１の電荷蓄積回路１０３ａ～第１の電荷蓄積回路１０３ｄと、２つの第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄと、第３の電荷蓄積回路２０４とから構成される。図２に示した本第１の実施形態の固体撮像装置１０の画素信号処理部１００では、光電変換部１０１ａと、電荷転送回路１０２ａと、第１の電荷蓄積回路１０３ａとの構成要素によって画素ａを構成し、光電変換部１０１ｂと、電荷転送回路１０２ｂと、第１の電荷蓄積回路１０３ｂとの構成要素によって画素ｂを構成する。また、図２に示した第１の実施形態の固体撮像装置１０の画素信号処理部１００では、光電変換部１０１ｃと、電荷転送回路１０２ｃと、第１の電荷蓄積回路１０３ｃとの構成要素によって画素ｃを構成し、光電変換部１０１ｄと、電荷転送回路１０２ｄと、第１の電荷蓄積回路１０３ｄとの構成要素によって画素ｄを構成する。また、第２の電荷蓄積回路１０４ａｂは、画素ａと画素ｂとに共通の構成要素であり、第２の電荷蓄積回路１０４ｃｄは、画素ｃと画素ｄとに共通の構成要素である。また、第３の電荷蓄積回路２０４は、第２の電荷蓄積回路１０４ａｂと第２の電荷蓄積回路１０４ｃｄとに共通の構成要素、つまり、画素ａ～画素ｄに共通の構成要素である。
　光電変換部１０１ａ～光電変換部１０１ｄのそれぞれは、入射した光を光電変換して信号電荷を発生し、発生した信号電荷を蓄積する、フォトダイオードなどの光電変換部である。
　電荷転送回路１０２ａ～電荷転送回路１０２ｄのそれぞれは、対応する光電変換部１０１ａ～光電変換部１０１ｄのそれぞれが発生して蓄積した信号電荷を、対応する第１の電荷蓄積回路１０３ａ～第１の電荷蓄積回路１０３ｄのそれぞれと、対応する第２の電荷蓄積回路１０４ａｂまたは第２の電荷蓄積回路１０４ｃｄのそれぞれに転送するための回路である。
　第１の電荷蓄積回路１０３ａ～第１の電荷蓄積回路１０３ｄのそれぞれは、対応する電荷転送回路１０２ａ～電荷転送回路１０２ｄのそれぞれから転送された、対応する光電変換部１０１ａ～光電変換部１０１ｄのそれぞれが発生した信号電荷を保持（蓄積）する回路である。また、第１の電荷蓄積回路１０３ａ～第１の電荷蓄積回路１０３ｄのそれぞれは、対応する第１の読み出し部１１０内の第１の読み出し制御部１１０１から入力された読み出し制御信号に応じて、保持した信号電荷に応じた信号電圧を全画素信号Ｓ１のそれぞれの画素信号として、第１の読み出し部１１０内の第１のＡ／Ｄ変換部１１０２に出力する回路でもある。
　第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれは、対応する電荷転送回路１０２ａ～電荷転送回路１０２ｄのそれぞれから転送された、対応する光電変換部１０１ａ～光電変換部１０１ｄのそれぞれが発生したそれぞれの信号電荷の電荷量を平均化した電荷量の信号電荷、またはそれぞれの信号電荷の電荷量を平均化するための信号電荷を保持（蓄積）する回路（平均化電荷蓄積回路）である。つまり、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれは、固体撮像装置１０の画素信号処理部１００に備えたそれぞれの画素の信号電荷を加算平均することによって、画素信号処理部１００に備えた画素の数（画素数）を減縮した状態の信号電荷を保持する回路である。また、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれは、平均化した電荷量の信号電荷または平均化するための信号電荷を第３の電荷蓄積回路２０４に転送するための回路でもある。また、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれは、対応する第２の読み出し部１２０内の第２の読み出し制御部１２０１から入力された読み出し制御信号に応じて、保持した信号電荷に応じた信号電圧を、画素数を減縮した状態の減縮画素信号Ｓ２のそれぞれの画素信号として、第２の読み出し部１２０内の第２のＡ／Ｄ変換部１２０２に出力する回路でもある。
　第３の電荷蓄積回路２０４は、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから入力された、それぞれの信号電荷の電荷量を平均化した信号電荷、またはそれぞれの信号電荷の電荷量を平均化するための信号電荷を保持（蓄積）する回路（平均化電荷蓄積回路）である。つまり、第３の電荷蓄積回路２０４も、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄと同様に、固体撮像装置１０の画素信号処理部１００に備えた画素の数（画素数）を減縮した状態の信号電荷を保持する回路である。ただし、第３の電荷蓄積回路２０４は、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれが、固体撮像装置１０の画素信号処理部１００に備えた画素の数（画素数）を減縮した後に、さらに画素数を減縮した状態の信号電荷を保持する。また、第３の電荷蓄積回路２０４は、対応する第３の読み出し部１３０内の第３の読み出し制御部１３０１から入力された読み出し制御信号に応じて、保持した信号電荷に応じた信号電圧を、画素数をさらに減縮した状態の減縮画素信号Ｓ３のそれぞれの画素信号として、第３の読み出し部１３０内の第３のＡ／Ｄ変換部１３０２に出力する回路でもある。
　図２に示した本第１の実施形態の固体撮像装置１０の画素信号処理部１００においては、第２の電荷蓄積回路１０４ａｂが電荷転送回路１０２ａおよび電荷転送回路１０２ｂ、すなわち、光電変換部１０１ａおよび光電変換部１０１ｂに対応している。図２に示した第１の実施形態の固体撮像装置１０の画素信号処理部１００においては、第２の電荷蓄積回路１０４ｃｄが電荷転送回路１０２ｃおよび電荷転送回路１０２ｄ、すなわち、光電変換部１０１ｃおよび光電変換部１０１ｄに対応している。また、図２に示した本第１の実施形態の固体撮像装置１０の画素信号処理部１００においては、第３の電荷蓄積回路２０４が第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄ、すなわち、光電変換部１０１ａ～光電変換部１０１ｄの全てに対応している。
　画素数を減縮するために行うそれぞれの画素の信号電荷を加算平均する構成は、例えば、光電変換部１０１ａおよび光電変換部１０１ｂが発生したそれぞれの信号電荷を第２の電荷蓄積回路１０４ａｂに保持する際に加算平均する構成、第２の電荷蓄積回路１０４ａｂが保持したそれぞれの信号電荷に応じた信号電圧を出力する際に加算平均する構成などがある。なお、例えば、第２の電荷蓄積回路１０４ａｂが保持したそれぞれの信号電荷に応じた信号電圧を出力した後に加算平均する構成であってもよい。
　上述した構成によって、画素信号処理部１００は、それぞれの画素を同じ露光期間で露光し、それぞれの画素内で、光電変換部１０１が発生した信号電荷を第１の電荷蓄積回路１０３にそれぞれに保持する。これと共に、画素信号処理部１００は、それぞれの信号電荷を平均化した信号電荷（画素数を減縮した信号電荷）を第２の電荷蓄積回路１０４に保持し、平均化したそれぞれの信号電荷をさらに平均化した信号電荷（画素数をさらに減縮した信号電荷）を第３の電荷蓄積回路２０４に保持する。より具体的には、画素信号処理部１００は、光電変換部１０１ａが発生した信号電荷を第１の電荷蓄積回路１０３ａに、光電変換部１０１ｂが発生した信号電荷を第１の電荷蓄積回路１０３ｂに、光電変換部１０１ｃが発生した信号電荷を第１の電荷蓄積回路１０３ｃに、光電変換部１０１ｄが発生した信号電荷を第１の電荷蓄積回路１０３ｄにそれぞれに保持する。また、画素信号処理部１００は、光電変換部１０１ａが発生した信号電荷と光電変換部１０１ｂが発生した信号電荷とを平均化した信号電荷を第２の電荷蓄積回路１０４ａｂに、光電変換部１０１ｃが発生した信号電荷と光電変換部１０１ｄが発生した信号電荷とを平均化した信号電荷を第２の電荷蓄積回路１０４ｃｄにそれぞれに保持する。また、画素信号処理部１００は、光電変換部１０１ａ～光電変換部１０１ｄのそれぞれが発生した信号電荷を平均化した信号電荷を第３の電荷蓄積回路２０４に保持する。そして、画素信号処理部１００は、第１の電荷蓄積回路１０３のそれぞれに保持した信号電荷に応じたそれぞれの画素信号と、第２の電荷蓄積回路１０４に保持した信号電荷に応じた画素信号と、第３の電荷蓄積回路２０４に保持した信号電荷に応じた画素信号とのそれぞれを別々に出力する。すなわち、画素信号処理部１００は、同じ１回の露光によって得られた信号電荷に基づいて、画素信号処理部１００に備えた全ての画素の画素信号（全画素信号Ｓ１）のそれぞれと、画素信号処理部１００に備えた画素の数（画素数）を減縮した画素信号（減縮画素信号Ｓ２）のそれぞれと、画素信号処理部１００に備えた画素の数（画素数）をさらに減縮した画素信号（減縮画素信号Ｓ３）のそれぞれとを別々に出力する。
　図２に示した本第１の実施形態の固体撮像装置１０では、予め定めた２つの画素を組とし、それぞれの画素に備えた光電変換部１０１が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する第２の電荷蓄積回路１０４を備えた画素信号処理部１００の構成を示した。また、図２に示した本第１の実施形態の固体撮像装置１０では、予め定めた第２の電荷蓄積回路１０４を組とし、つまり、予め定めた４つの画素を組とし、それぞれの画素に備えた光電変換部１０１が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する第３の電荷蓄積回路２０４とを備えた画素信号処理部１００の構成を示した。しかし、実際の固体撮像装置では、二次元の行列状に複数の画素が配置された画素アレイに、例えば、ベイヤー配列のカラーフィルタが貼付され、それぞれの画素に備えた光電変換部１０１は、入射した光に含まれる、貼付されたカラーフィルタの対応する色を光電変換して信号電荷を発生する。従って、本第１の実施形態の固体撮像装置１０においては、貼付されたカラーフィルタの色の重心がずれないように、また、異なる色の信号電荷を平均化しないように、画素の組を構成することが望ましい。
　また、図２に示した本第１の実施形態の固体撮像装置１０の画素信号処理部１００においては、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれが、対応する光電変換部１０１ａ～光電変換部１０１ｄのそれぞれが発生したそれぞれの信号電荷を加算平均することによって画素数を減縮する構成を示した。また、図２に示した本第１の実施形態の固体撮像装置１０の画素信号処理部１００においては、第３の電荷蓄積回路２０４が、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれが加算平均したそれぞれの信号電荷をさらに加算平均する、つまり、光電変換部１０１ａ～光電変換部１０１ｄのそれぞれが発生したそれぞれの信号電荷を加算平均することによって画素数をさらに減縮する構成を示した。しかし、画素数を減縮する方法は、図２に示した加算平均のみに限定されず、例えば、画素を間引くことによって、画素数を減縮する構成であってもよい。この場合、図２に示した本第１の実施形態の固体撮像装置１０の画素信号処理部１００においては、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれが、対応する光電変換部１０１ａ～光電変換部１０１ｄのそれぞれが発生したそれぞれの信号電荷のいずれか一方の信号電荷を保持（蓄積）することによって、画素を間引く構成が考えられる。また、第３の電荷蓄積回路２０４が、光電変換部１０１ａ～光電変換部１０１ｄのそれぞれが発生したそれぞれの信号電荷のいずれか１つの信号電荷を保持（蓄積）することによって、画素を間引く構成が考えられる。
　次に、図２に示した本第１の実施形態の固体撮像装置１０の第１の読み出し部１１０の構成について、さらに詳細に説明する。図２に示した本第１の実施形態の固体撮像装置１０の第１の読み出し部１１０は、第１の読み出し制御部１１０１と、第１のＡ／Ｄ変換部１１０２と、第１の差分算出部１１０３と、第１のビット数削減部１１０４とから構成される。
　第１の読み出し制御部１１０１は、画素信号処理部１００内の第１の電荷蓄積回路１０３ａ～第１の電荷蓄積回路１０３ｄのそれぞれから全画素信号Ｓ１のそれぞれを順次読み出すための読み出し制御信号を、第１の電荷蓄積回路１０３ａ～第１の電荷蓄積回路１０３ｄのそれぞれに順次出力する。
　第１のＡ／Ｄ変換部１１０２は、第１の読み出し制御部１１０１によって読み出され、第１の電荷蓄積回路１０３ａ～第１の電荷蓄積回路１０３ｄのそれぞれから順次入力されたそれぞれの全画素信号Ｓ１（アナログ信号）をアナログデジタル変換し、それぞれの全画素信号Ｓ１（アナログ信号）の大きさを表す値（デジタル値）を、第１の差分算出部１１０３に順次出力するＡ／Ｄ変換回路である。
　第１の差分算出部１１０３は、第１のＡ／Ｄ変換部１１０２から順次入力されたそれぞれの全画素信号Ｓ１のデジタル値と、第２の読み出し部１２０から順次入力されたそれぞれの減縮画素信号Ｓ２のデジタル値との差分を算出する。第１の差分算出部１１０３は、差分を算出したデジタル値のそれぞれを、第１のビット数削減部１１０４に順次出力する。つまり、第１の差分算出部１１０３は、全画素信号Ｓ１と減縮画素信号Ｓ２との差分をとったそれぞれのデジタル値を、第１のビット数削減部１１０４に出力する。
　なお、第１の差分算出部１１０３が出力するデジタル値は、全画素信号Ｓ１と減縮画素信号Ｓ２との差分をとったデジタル値であるため、正のデジタル値である場合と負のデジタル値である場合との両方の状態が存在する。このため、第１の差分算出部１１０３は、出力するデジタル値に正のデジタル値または負のデジタル値を表す符号を付与して、第１のビット数削減部１１０４に出力する。
　上述したように、減縮画素信号Ｓ２は、全画素信号Ｓ１の画素数を減縮した画素信号である。このため、第１の差分算出部１１０３によって全画素信号Ｓ１のデジタル値と減縮画素信号Ｓ２のデジタル値との差分が算出されたデジタル値は、全画素信号Ｓ１のエッジ成分を抽出したデジタル値に相当する。
　第１のビット数削減部１１０４は、第１の差分算出部１１０３から順次入力された差分が算出されたそれぞれの全画素信号Ｓ１のデジタル値のビット数を、予め定めた方法によって削減する。そして、第１のビット数削減部１１０４は、ビット数を削減したそれぞれの全画素信号Ｓ１のデジタル値を転送部１４０に出力する。なお、第１のビット数削減部１１０４が全画素信号Ｓ１のデジタル値のビット数を削減する方法に関する説明は、後述する。
　上述した構成によって、第１の読み出し部１１０は、画素信号処理部１００内の第１の電荷蓄積回路１０３のそれぞれに保持した全画素信号Ｓ１のそれぞれを読み出す。そして、第１の読み出し部１１０は、読み出したそれぞれの全画素信号Ｓ１をアナログデジタル変換したそれぞれのデジタル値を転送部１４０に出力する。このとき、第１の読み出し部１１０は、読み出したそれぞれの全画素信号Ｓ１をアナログデジタル変換したそれぞれのデジタル値と、第２の読み出し部１２０から入力された減縮画素信号Ｓ２のデジタル値との差分をとる。さらに、第１の読み出し部１１０は、差分をとったデジタル値のビット数を削減して、転送部１４０に出力する。これにより、転送部１４０は、第１の読み出し部１１０から入力された、全画素信号Ｓ１に基づいたデジタル値のそれぞれを、ビット数が削減された全画素信号Ｓ１に基づいた画素データ（以下、「全画素データＤ１」ともいう）として外部に出力する。
　次に、図２に示した本第１の実施形態の固体撮像装置１０の第２の読み出し部１２０の構成について、さらに詳細に説明する。図２に示した本第１の実施形態の固体撮像装置１０の第２の読み出し部１２０は、第２の読み出し制御部１２０１と、第２のＡ／Ｄ変換部１２０２と、第２の差分算出部１２０３と、第２のビット数削減部１２０４とから構成される。
　第２の読み出し制御部１２０１は、画素信号処理部１００内の第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから減縮画素信号Ｓ２のそれぞれを順次読み出すための読み出し制御信号を、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれに順次出力する。
　第２のＡ／Ｄ変換部１２０２は、第２の読み出し制御部１２０１によって読み出され、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから順次入力されたそれぞれの減縮画素信号Ｓ２（アナログ信号）をアナログデジタル変換し、それぞれの減縮画素信号Ｓ２（アナログ信号）の大きさを表す値（デジタル値）を、第２の差分算出部１２０３に順次出力するＡ／Ｄ変換回路である。また、第２のＡ／Ｄ変換部１２０２は、アナログデジタル変換した減縮画素信号Ｓ２のデジタル値を、第１の読み出し部１１０内の第１の差分算出部１１０３に順次出力する。
　画素信号処理部１００内の第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれが、保持したそれぞれの信号電荷に応じた信号電圧を加算平均せずにそのまま出力する構成である場合には、第２のＡ／Ｄ変換部１２０２が、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから出力されたそれぞれの信号電圧を加算平均した大きさのデジタル値を、第２の差分算出部１２０３に順次出力する構成であってもよい。この場合、第２のＡ／Ｄ変換部１２０２は、第２の読み出し制御部１２０１によって第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから順次読み出されたそれぞれの信号電圧をアナログ信号の状態で加算平均した後にアナログデジタル変換してもよいし、それぞれの信号電圧をアナログデジタル変換した後にデジタル値の状態で加算平均してもよい。
　第２の差分算出部１２０３は、第２のＡ／Ｄ変換部１２０２から順次入力されたそれぞれの減縮画素信号Ｓ２のデジタル値と、第３の読み出し部１３０から順次入力されたそれぞれの減縮画素信号Ｓ３のデジタル値との差分を算出する。そして、第２の差分算出部１２０３は、差分を算出したデジタル値のそれぞれを、第２のビット数削減部１２０４に順次出力する。つまり、第２の差分算出部１２０３は、減縮画素信号Ｓ２と減縮画素信号Ｓ３との差分をとったそれぞれのデジタル値を、第２のビット数削減部１２０４に出力する。
　第２の差分算出部１２０３が出力するデジタル値は、減縮画素信号Ｓ２と減縮画素信号Ｓ３との差分をとったデジタル値であるため、第１の差分算出部１１０３が出力するデジタル値と同様に、正のデジタル値である場合と負のデジタル値である場合との両方の状態が存在する。このため、第２の差分算出部１２０３は、第１の差分算出部１１０３と同様に、出力するデジタル値に正のデジタル値または負のデジタル値を表す符号を付与して、第２のビット数削減部１２０４に出力する。
　上述したように、減縮画素信号Ｓ３は、減縮画素信号Ｓ２の画素数を減縮した画素信号である。このため、第２の差分算出部１２０３によって減縮画素信号Ｓ２のデジタル値と減縮画素信号Ｓ３のデジタル値との差分が算出されたデジタル値は、減縮画素信号Ｓ２のエッジ成分を抽出したデジタル値に相当する。
　第２のビット数削減部１２０４は、第２の差分算出部１２０３から順次入力された差分が算出されたそれぞれの減縮画素信号Ｓ２のデジタル値のビット数を、予め定めた方法によって削減する。そして、第２のビット数削減部１２０４は、ビット数を削減したそれぞれの減縮画素信号Ｓ２のデジタル値を転送部１４０に出力する。なお、第２のビット数削減部１２０４が減縮画素信号Ｓ２のデジタル値のビット数を削減する方法は、第１のビット数削減部１１０４が全画素信号Ｓ１のデジタル値のビット数を削減する方法と同様に考えることができる。なお、第２のビット数削減部１２０４が減縮画素信号Ｓ２のデジタル値のビット数を削減する方法に関する説明も、後述する。
　上述した構成によって、第２の読み出し部１２０は、画素信号処理部１００内の第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれに保持した減縮画素信号Ｓ２のそれぞれを読み出す。そして、第２の読み出し部１２０は、読み出したそれぞれの減縮画素信号Ｓ２をアナログデジタル変換したそれぞれのデジタル値を転送部１４０に出力する。このとき、第２の読み出し部１２０は、読み出したそれぞれの減縮画素信号Ｓ２をアナログデジタル変換したそれぞれのデジタル値と、第３の読み出し部１３０から入力された減縮画素信号Ｓ３のデジタル値との差分をとる。さらに、第２の読み出し部１２０は、差分をとったデジタル値のビット数を削減して、転送部１４０に出力する。これにより、転送部１４０は、第２の読み出し部１２０から入力された、減縮画素信号Ｓ２に基づいたデジタル値のそれぞれを、ビット数が削減された減縮画素信号Ｓ２に基づいた画素データ（以下、「減縮画素データＤ２」ともいう）として外部に出力する。
　次に、図２に示した本第１の実施形態の固体撮像装置１０の第３の読み出し部１３０の構成について、さらに詳細に説明する。図２に示した本第１の実施形態の固体撮像装置１０の第３の読み出し部１３０は、第３の読み出し制御部１３０１と、第３のＡ／Ｄ変換部１３０２とから構成される。
　第３の読み出し制御部１３０１は、画素信号処理部１００内の第３の電荷蓄積回路２０４から減縮画素信号Ｓ３のそれぞれを順次読み出すための読み出し制御信号を、第３の電荷蓄積回路２０４に順次出力する。
　第３のＡ／Ｄ変換部１３０２は、第３の読み出し制御部１３０１によって読み出され、第３の電荷蓄積回路２０４から順次入力されたそれぞれの減縮画素信号Ｓ３（アナログ信号）をアナログデジタル変換し、それぞれの減縮画素信号Ｓ３（アナログ信号）の大きさを表す値（デジタル値）を、そのまま転送部１４０に順次出力するＡ／Ｄ変換回路である。つまり、第３のＡ／Ｄ変換部１３０２は、それぞれの減縮画素信号Ｓ３のデジタル値のビット数を削減せずに、転送部１４０に順次出力するＡ／Ｄ変換回路である。また、第３のＡ／Ｄ変換部１３０２は、アナログデジタル変換した減縮画素信号Ｓ３のデジタル値を、第２の読み出し部１２０内の第２の差分算出部１２０３に順次出力する。
　画素信号処理部１００内の第３の電荷蓄積回路２０４が、保持したそれぞれの信号電荷に応じた信号電圧を加算平均せずにそのまま出力する構成である場合には、第３のＡ／Ｄ変換部１３０２が、第３の電荷蓄積回路２０４から出力されたそれぞれの信号電圧を加算平均した大きさのデジタル値を、転送部１４０に順次出力する構成であってもよい。この場合、第３のＡ／Ｄ変換部１３０２は、第３の読み出し制御部１３０１によって第３の電荷蓄積回路２０４から順次読み出されたそれぞれの信号電圧をアナログ信号の状態で加算平均した後にアナログデジタル変換してもよいし、それぞれの信号電圧をアナログデジタル変換した後にデジタル値の状態で加算平均してもよい。
　上述した構成によって、第３の読み出し部１３０は、画素信号処理部１００内の第３の電荷蓄積回路２０４に保持した減縮画素信号Ｓ３のそれぞれを読み出す。そして、第３の読み出し部１３０は、読み出したそれぞれの減縮画素信号Ｓ３をアナログデジタル変換したそれぞれのデジタル値を、そのまま転送部１４０に出力する。これにより、転送部１４０は、第３の読み出し部１３０から入力された、減縮画素信号Ｓ３に基づいたデジタル値のそれぞれを、減縮画素信号Ｓ３に基づいた画素データ（以下、「減縮画素データＤ３」ともいう）として外部に出力する。
　上述した構成のため、本第１の実施形態の固体撮像装置１０では、第３の読み出し部１３０が減縮画素信号Ｓ３のそれぞれを先に読み出す。そして、第１の実施形態の固体撮像装置１０では、読み出したそれぞれの減縮画素信号Ｓ３をアナログデジタル変換したそれぞれのデジタル値を第２の読み出し部１２０に出力すると共に転送部１４０に出力する。また、本第１の実施形態の固体撮像装置１０では、第２の読み出し部１２０が減縮画素信号Ｓ２のそれぞれを次に読み出す。そして、第１の実施形態の固体撮像装置１０では、読み出したそれぞれの減縮画素信号Ｓ２をアナログデジタル変換したそれぞれのデジタル値を第１の読み出し部１１０に出力すると共に、減縮画素信号Ｓ２のデジタル値と減縮画素信号Ｓ３のデジタル値との差分をとったデジタル値のビット数を削減して転送部１４０に出力する。また、本第１の実施形態の固体撮像装置１０では、第１の読み出し部１１０が全画素信号Ｓ１のそれぞれを最後に読み出す。そして、読み出したそれぞれの全画素信号Ｓ１をアナログデジタル変換したそれぞれのデジタル値と減縮画素信号Ｓ２のデジタル値との差分をとったデジタル値のビット数を削減して転送部１４０に出力する。また、本第１の実施形態の固体撮像装置１０では、転送部１４０が、減縮画素信号Ｓ３に基づいた減縮画素データＤ３を先に出力し、減縮画素信号Ｓ２に基づいた減縮画素データＤ２を次に出力し、全画素信号Ｓ１に基づいた全画素データＤ１を最後に出力する。
　本第１の実施形態の固体撮像装置１０において、それぞれの画素データを出力するタイミングについて説明する。図３は、本第１の実施形態の固体撮像装置１０における画素データの出力シーケンスを示した図である。本第１の実施形態の固体撮像装置１０では、図３に示した画素データの出力シーケンスのように、減縮画素データＤ３、減縮画素データＤ２、および全画素データＤ１のそれぞれを時分割で転送（出力）する。
　より具体的には、固体撮像装置１０がそれぞれの画素データを出力する際には、まず、第３の読み出し部１３０内の第３の読み出し制御部１３０１が、１フレーム分の減縮画素信号Ｓ３のそれぞれを順次読み出すための読み出し制御信号を、画素信号処理部１００内の第３の電荷蓄積回路２０４に順次出力する。これにより、第３の電荷蓄積回路２０４から、１フレーム分の減縮画素信号Ｓ３が順次出力されて、第３のＡ／Ｄ変換部１３０２に順次入力される。そして、第３のＡ／Ｄ変換部１３０２は、順次入力されたそれぞれの減縮画素信号Ｓ３（アナログ信号）をアナログデジタル変換した１フレーム分の減縮画素信号Ｓ３のデジタル値を、そのまま転送部１４０に順次出力する。そして、転送部１４０は、１フレーム分の減縮画素信号Ｓ３に基づいた１フレーム分の減縮画素データＤ３を画素データとして外部に順次転送（出力）する。
　また、第３のＡ／Ｄ変換部１３０２は、アナログデジタル変換した１フレーム分の減縮画素信号Ｓ３のデジタル値を、第２の読み出し部１２０内の第２の差分算出部１２０３に順次出力する。このとき、第２の読み出し部１２０内の第２の読み出し制御部１２０１は、第３の読み出し部１３０内の第３のＡ／Ｄ変換部１３０２から出力されたそれぞれの減縮画素信号Ｓ３のデジタル値に対応する減縮画素信号Ｓ２のそれぞれを順次読み出すための読み出し制御信号を、画素信号処理部１００内の第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれに順次出力する。これにより、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから、それぞれの減縮画素信号Ｓ３のデジタル値に対応する１フレーム分の減縮画素信号Ｓ２のそれぞれが順次出力されて、第２のＡ／Ｄ変換部１２０２に順次入力される。そして、第２のＡ／Ｄ変換部１２０２は、順次入力されたそれぞれの減縮画素信号Ｓ２（アナログ信号）をアナログデジタル変換した、それぞれの減縮画素信号Ｓ２のデジタル値を、第２の差分算出部１２０３に順次出力する。
　そして、第２の差分算出部１２０３は、第２のＡ／Ｄ変換部１２０２から順次入力されたそれぞれの減縮画素信号Ｓ２のデジタル値と、第３の読み出し部１３０内の第３のＡ／Ｄ変換部１３０２から順次入力されたそれぞれの減縮画素信号Ｓ３のデジタル値との差分をとったそれぞれのデジタル値を、第２のビット数削減部１２０４に順次出力する。そして、第２のビット数削減部１２０４は、第２の差分算出部１２０３から順次入力された差分がとられた減縮画素信号Ｓ２のデジタル値のビット数を、予め定めた方法によって削減して転送部１４０に順次出力する。これにより、転送部１４０は、１フレーム分の減縮画素信号Ｓ２に基づいた１フレーム分の減縮画素データＤ２を画素データとして外部に順次転送（出力）する。
　また、第２のＡ／Ｄ変換部１２０２は、アナログデジタル変換した１フレーム分の減縮画素信号Ｓ２のデジタル値を、第１の読み出し部１１０内の第１の差分算出部１１０３に順次出力する。このとき、第１の読み出し部１１０内の第１の読み出し制御部１１０１は、第２の読み出し部１２０内の第２のＡ／Ｄ変換部１２０２から出力されたそれぞれの減縮画素信号Ｓ２のデジタル値に対応する全画素信号Ｓ１のそれぞれを順次読み出すための読み出し制御信号を、画素信号処理部１００内の第１の電荷蓄積回路１０３ａ～第１の電荷蓄積回路１０３ｄのそれぞれに順次出力する。これにより、第１の電荷蓄積回路１０３ａ～第１の電荷蓄積回路１０３ｄのそれぞれから、それぞれの減縮画素信号Ｓ２のデジタル値に対応する１フレーム分の全画素信号Ｓ１のそれぞれが順次出力されて、第１のＡ／Ｄ変換部１１０２に順次入力される。そして、第１のＡ／Ｄ変換部１１０２は、順次入力されたそれぞれの全画素信号Ｓ１（アナログ信号）をアナログデジタル変換した、それぞれの全画素信号Ｓ１のデジタル値を、第１の差分算出部１１０３に順次出力する。
　そして、第１の差分算出部１１０３は、第１のＡ／Ｄ変換部１１０２から順次入力されたそれぞれの全画素信号Ｓ１のデジタル値と、第２の読み出し部１２０内の第２のＡ／Ｄ変換部１２０２から順次入力されたそれぞれの減縮画素信号Ｓ２のデジタル値との差分をとったそれぞれのデジタル値を、第１のビット数削減部１１０４に順次出力する。そして、第１のビット数削減部１１０４は、第１の差分算出部１１０３から順次入力された差分がとられた全画素信号Ｓ１のデジタル値のビット数を、予め定めた方法によって削減して転送部１４０に順次出力する。これにより、転送部１４０は、１フレーム分の全画素信号Ｓ１に基づいた１フレーム分の全画素データＤ１を画素データとして外部に順次転送（出力）する。
　減縮画素信号Ｓ２は、画素アレイ内に配置された画素数を減縮した画素信号であり、減縮画素信号Ｓ３は、画素アレイ内に配置された画素数をさらに減縮した画素信号である。このため、例えば、全画素信号Ｓ１、減縮画素信号Ｓ２、および減縮画素信号Ｓ３のそれぞれの読み出しを同時に開始した場合でも、画素数を減縮した減縮画素信号Ｓ２の方が、画素数を減縮していない全画素信号Ｓ１よりも早く読み出しが完了することができる。また、画素数をさらに減縮した減縮画素信号Ｓ３の方が、画素数を減縮した減縮画素信号Ｓ２よりも早く読み出しが完了することができる。このことにより、図２に示した本第１の実施形態の固体撮像装置１０では、第３の読み出し部１３０における減縮画素信号Ｓ３の読み出しおよび減縮画素信号Ｓ３のデジタル値の出力と、第２の読み出し部１２０における減縮画素信号Ｓ２の読み出し、減縮画素信号Ｓ２のデジタル値の差分の算出、およびビット数の削減と、第１の読み出し部１１０における全画素信号Ｓ１の読み出し、全画素信号Ｓ１のデジタル値の差分の算出、およびビット数の削減とを並列に行いながら、転送部１４０からそれぞれの画素データを、画像処理部２０内の撮像処理部２１０に順次転送（出力）することができる。
　このように、本第１の実施形態の固体撮像装置１０では、それぞれの画素データを時分割で転送（出力）する。これにより、本第１の実施形態の固体撮像装置１０を搭載した撮像システム１では、画像処理部２０が、固体撮像装置１０から出力されたそれぞれの画素データを、それぞれの処理に応じて使い分けることができる。つまり、本第１の実施形態の固体撮像装置１０を搭載した撮像システム１では、画像処理部２０に備えたそれぞれの構成要素の処理に適した画素数の画素データを用いて処理を行うことができる。
　固体撮像装置１０から出力されたそれぞれの画素データにおいて、減縮画素信号Ｓ２に基づいた減縮画素データＤ２と全画素信号Ｓ１に基づいた全画素データＤ１とは、差分をとった後にビット数を削減した画素データである。このため、画像処理部２０におけるそれぞれの処理では、固体撮像装置１０が出力したそれぞれの画素データを復元した後に、それぞれの処理に用いることになる。
　ここで、本第１の実施形態の固体撮像装置１０が出力するそれぞれの画素データの関係と、画像処理部２０におけるそれぞれの画素データの復元方法の一例について説明する。図４Ａは、本第１の実施形態の固体撮像装置１０がそれぞれの画素データを出力する際の処理を簡易的に示した図である。図４Ｂは、画像処理部２０が本第１の実施形態の固体撮像装置１０から出力されたそれぞれの画素データを復元する際の処理の一例を簡易的に示した図である。なお、図４Ａおよび図４Ｂにおいては、説明を容易にするため、全画素信号Ｓ１のデジタル値、縮画素信号Ｓ２のデジタル値、および減縮画素信号Ｓ３のデジタル値の信号線を、「Ｓ１」、「Ｓ２」、および「Ｓ３」と示している。
　上述したように、固体撮像装置１０の画素信号処理部１００は、画素数が最も多い画像Ｐ１に対応する全画素信号Ｓ１と、画素数が画像Ｐ１よりも少ない画像Ｐ２に対応する減縮画素信号Ｓ２と、画素数が最も少ない画像Ｐ３に対応する減縮画素信号Ｓ３とのそれぞれを、別々に出力する。そして、固体撮像装置１０の第３の読み出し部１３０は、画素信号処理部１００から読み出した減縮画素信号Ｓ３のそれぞれをアナログデジタル変換したそれぞれのデジタル値を、そのまま転送部１４０に出力する。固体撮像装置１０の転送部１４０は、減縮画素信号Ｓ３に基づいた減縮画素データＤ３を、画像処理部２０内の撮像処理部２１０に転送（出力）する。
　また、固体撮像装置１０の第２の読み出し部１２０は、画素信号処理部１００から読み出した減縮画素信号Ｓ２のそれぞれをアナログデジタル変換したそれぞれのデジタル値と、減縮画素信号Ｓ３のデジタル値との差分をとる。ここで差分がとられたデジタル値に基づいた画像は、図４Ａに示した画像Ｐ２ｅのように、画像Ｐ２のエッジ成分が抽出された画像である。そして、第２の読み出し部１２０は、差分をとったデジタル値のビット数を削減して転送部１４０に出力し、転送部１４０は、減縮画素信号Ｓ２に基づいた減縮画素データＤ２を、画像処理部２０内の撮像処理部２１０に転送（出力）する。
　また、固体撮像装置１０の第１の読み出し部１１０は、画素信号処理部１００から読み出した全画素信号Ｓ１のそれぞれをアナログデジタル変換したそれぞれのデジタル値と、減縮画素信号Ｓ２のデジタル値との差分をとる。ここで差分がとられたデジタル値に基づいた画像は、図４Ａに示した画像Ｐ１ｅのように、画像Ｐ１のエッジ成分が抽出された画像である。そして、第１の読み出し部１１０は、差分をとったデジタル値のビット数を削減して転送部１４０に出力し、転送部１４０は、全画素信号Ｓ１に基づいた全画素データＤ１を、画像処理部２０内の撮像処理部２１０に転送（出力）する。
　そして、画像処理部２０が固体撮像装置１０から出力されたそれぞれの画素データを復元する際には、画像処理部２０内の撮像処理部２１０が、固体撮像装置１０がそれぞれの画素データを出力する際の処理と逆の処理を行う。より具体的には、固体撮像装置１０から転送（出力）された減縮画素データＤ３は、そのまま処理を行う。これは、減縮画素データＤ３が減縮画素信号Ｓ３に基づいたデジタル値である、つまり、差分がとられていない画素データであるため、復元の処理は不要であるからである。
　また、画像処理部２０内の撮像処理部２１０は、固体撮像装置１０から転送（出力）された減縮画素データＤ２のビット数を復元する。ここで復元されたデジタル値に基づいた画像は、図４Ｂに示した画像Ｐ２ｅのように、画像Ｐ２のエッジ成分が抽出された、図４Ａに示した画像Ｐ２ｅと同様の画像である。そして、撮像処理部２１０は、ビット数を復元したデジタル値に、減縮画素信号Ｓ３のデジタル値を加算することによって、画像Ｐ２に対応する減縮画素信号Ｓ２のデジタル値を復元し、復元した減縮画素信号Ｓ２のデジタル値を用いた処理を行う。
　また、画像処理部２０内の撮像処理部２１０は、固体撮像装置１０から転送（出力）された全画素データＤ１のビット数を復元する。ここで復元されたデジタル値に基づいた画像は、図４Ｂに示した画像Ｐ１ｅのように、画像Ｐ１のエッジ成分が抽出された、図４Ａに示した画像Ｐ１ｅと同様の画像である。そして、撮像処理部２１０は、ビット数を復元したデジタル値に、復元した減縮画素信号Ｓ２のデジタル値を加算することによって、画像Ｐ１に対応する全画素信号Ｓ１のデジタル値を復元し、復元した全画素信号Ｓ１のデジタル値を用いた処理を行う。
　このように、画像処理部２０内の撮像処理部２１０が、固体撮像装置１０がそれぞれの画素データを出力する際の処理と逆の処理を行うことによって、固体撮像装置１０から出力されたそれぞれの画素データを元の画像を表す画素データに復元することができる。つまり、画像処理部２０内の撮像処理部２１０は、固体撮像装置１０の画素信号処理部１００が別々に出力した、画素数が最も多い画像Ｐ１に対応する全画素信号Ｓ１と、画素数が画像Ｐ１よりも少ない画像Ｐ２に対応する減縮画素信号Ｓ２と、画素数が最も少ない画像Ｐ３に対応する減縮画素信号Ｓ３とのそれぞれを、復元することができる。
　画像処理部２０におけるそれぞれの処理では、固体撮像装置１０が出力したそれぞれの画素データを、そのまま処理に用いることもできる。例えば、画像に含まれるエッジ成分を抽出した後に行う処理では、固体撮像装置１０が出力した画素データをそのまま用いた方が、エッジ成分の抽出に要する処理時間を短縮することができる。このため、画像処理部２０内の撮像処理部２１０では、必ずしも固体撮像装置１０が出力したそれぞれの画素データを復元する必要はない。
　次に、本第１の実施形態の固体撮像装置１０における画素データのデジタル値のビット数の削減方法について説明する。図５Ａおよび図５Ｂは、本第１の実施形態の固体撮像装置１０における画素データのビット数削減方法を説明する図である。なお、以下の説明においては、第１のＡ／Ｄ変換部１１０２が、入力された全画素信号Ｓ１（アナログ信号）を、１０ビットのデジタル値にアナログデジタル変換し、第１の差分算出部１１０３が、差分とって出力するデジタル値に正のデジタル値または負のデジタル値を表す１ビットの符号を付与した全画素信号Ｓ１のデジタル値のビット数を削減する例として説明する。つまり、以下の説明においては、第１のビット数削減部１１０４が、１ビットの符号と１０ビットの値（整数）とで構成された１１ビットの全画素信号Ｓ１のデジタル値のビット数を削減する例として説明する。
　図５Ａには、全画素信号Ｓ１のデジタル値のビット数を一律に削減する場合の削減例を示し、図５Ｂには、全画素信号Ｓ１のデジタル値の大きさに応じて削減するビット数を変更する場合の削減例を示している。
　全画素信号Ｓ１のデジタル値のビット数を一律に削減する場合、第１のビット数削減部１１０４は、図５Ａに示したように、第１の差分算出部１１０３から入力された差分がとられたデジタル値における１０ビットの整数部分のデジタル値を、１０ビットから８ビットにビット数を削減する。このとき、第１のビット数削減部１１０４は、例えば、入力された１０ビットの整数部分のデジタル値を４で除算することによって下位２ビットを削減した８ビットのデジタル値に、１ビットの符号が付与された９ビットのデジタル値を、ビット数を削減した全画素信号Ｓ１のデジタル値（全画素データＤ１）として、転送部１４０に出力する。図５Ａに示したようなビット数の削減方法は、入力されたデジタル値の整数部分を予め定めた値（図５Ａでは４）で除算するのみであるため、第１のビット数削減部１１０４の回路構成を簡単にすることができる。
　全画素信号Ｓ１のデジタル値の大きさに応じて削減するビット数を変更する場合、第１のビット数削減部１１０４は、図５Ｂに示したように、第１の差分算出部１１０３から入力された差分がとられたデジタル値が０に近い値の場合に削減するビット数を少なくし、入力された差分がとられたデジタル値が０から遠い値の場合に削減するビット数を多くする。つまり、全画素信号Ｓ１のデジタル値と減縮画素信号Ｓ２のデジタル値との差が小さい場合に削減するビット数を少なくし、全画素信号Ｓ１のデジタル値と減縮画素信号Ｓ２のデジタル値との差が大きい場合に削減するビット数を多くする。このとき、第１のビット数削減部１１０４は、例えば、入力された１０ビットの整数部分のデジタル値を、１０ビットの整数部分のデジタル値の値に応じて下位１ビット～４ビットを削減した８ビットのデジタル値に、１ビットの符号が付与された９ビットのデジタル値を、ビット数を削減した全画素信号Ｓ１のデジタル値（全画素データＤ１）として、転送部１４０に出力する。図５Ｂに示したようなビット数の削減方法は、ビット数を削減した全画素データＤ１に基づいて生成する画像において、なめらかな階調（例えば、グラデーションなど）の再現性を低下させないようにする場合に有効である。
　図５Ｂに示したように、全画素信号Ｓ１のデジタル値の大きさに応じて削減するビット数を変更する場合には、撮像処理部２１０においてビット数を復元する際に削減したビット数の情報が必要である。この削減したビット数の情報は、例えば、撮像処理部２１０が、本第１の実施形態の固体撮像装置１０から先に出力され、復元した減縮画素信号Ｓ２のデジタル値に基づいて、第１のビット数削減部１１０４が行うビット数の削減処理と同様の処理を行うことによって得ることができる。また、本第１の実施形態の固体撮像装置１０がビット数を削減した全画素データＤ１を出力する際に、削減したビット数の情報を加えてもよい。この場合、例えば、ＬＶＤＳ方式で転送する全画素データＤ１のヘッダやフッタの情報に削減したビット数の情報を含ませて、全画素データＤ１と共に転送してもよい。また、例えば、本第１の実施形態の固体撮像装置１０の動作の設定を行うために、本固体撮像装置１０を搭載した撮像システム１に備えた画像処理部２０内のＣＰＵ２６０によってアクセスされるレジスタや、シリアル通信を利用して、削減したビット数の情報を通知してもよい。
　このように、第１のビット数削減部１１０４は、第１の差分算出部１１０３が差分とった全画素信号Ｓ１のデジタル値、つまり、全画素信号Ｓ１のエッジ成分を抽出したデジタル値（全画素データＤ１）のビット数を削減する。このエッジ成分のデジタル値に対するビット数の削減は、静止画像の圧縮処理であるＪＰＥＧ圧縮処理においても類似の考え方が適用されているように、画質の劣化が少ないことが一般的に知られている。これにより、本第１の実施形態の固体撮像装置１０では、画質劣化を抑制した状態で、全画素データＤ１を出力する際の消費電力を削減することができる。そして、本第１の実施形態の固体撮像装置１０を搭載した撮像システム１では、固体撮像装置１０と画像処理部２０との間で転送する全画素データＤ１のデータ量を削減することができる。
　第１のビット数削減部１１０４における全画素信号Ｓ１のデジタル値（全画素データＤ１）のビット数の削減方法は、図５Ａおよび図５Ｂに示した方法に限定されず、他の方法によってビット数を削減してもよい。また、全画素信号Ｓ１のデジタル値のビット数や削減するビット数も、図５Ａおよび図５Ｂに示したビット数に限定されず、他のビット数の全画素信号Ｓ１のデジタル値（全画素データＤ１）であっても、同様に考えることができる。
　第２のビット数削減部１２０４における減縮画素信号Ｓ２のデジタル値（減縮画素データＤ２）のビット数の削減方法は、ビット数を削減する画素データが減縮画素データＤ２に変わるのみで、上述した第１のビット数削減部１１０４における全画素信号Ｓ１のデジタル値（全画素データＤ１）のビット数の削減方法と同様に考えることができる。つまり、第２のビット数削減部１２０４においても同様の削減方法によって減縮画素データＤ２のビット数を削減することによって、本第１の実施形態の固体撮像装置１０を搭載した撮像システム１では、固体撮像装置１０と画像処理部２０との間で転送する減縮画素データＤ２のデータ量を削減することができる。従って、第２のビット数削減部１２０４における減縮画素信号Ｓ２のデジタル値（減縮画素データＤ２）のビット数の削減方法に関する詳細な説明は省略する。
　本第１の実施形態の固体撮像装置１０においては、第１のビット数削減部１１０４における全画素データＤ１のビット数の削減方法と、第２のビット数削減部１２０４における減縮画素データＤ２のビット数の削減方法とを、同じビット数削減方法としてもよいし、それぞれの画素データ毎に異なるビット数削減方法としてもよい。また、本第１の実施形態の固体撮像装置１０においては、減縮画素データＤ２のビット数削減方法を、それぞれの減縮画素信号Ｓ２毎、すなわち、固体撮像装置１０の画素信号処理部１００に備えたそれぞれの画素を減縮する予め定めた画素の組の範囲（領域）毎に、異なるビット数削減方法としてもよい。
　上記に述べたように、本第１の実施形態の固体撮像装置１０では、画素信号処理部１００から、同じ１回の露光によって得られた信号電荷に基づいて、画素信号処理部１００に備えた全ての画素の画素信号である全画素信号Ｓ１と、画素信号処理部１００に備えた画素の数（画素数）を減縮した画素信号である減縮画素信号Ｓ２と、画素信号処理部１００に備えた画素の数（画素数）をさらに減縮した画素信号である減縮画素信号Ｓ３とを別々に出力する。そして、本第１の実施形態の固体撮像装置１０では、減縮画素信号Ｓ３のデジタル値（減縮画素データＤ３）と、減縮画素信号Ｓ２のデジタル値と減縮画素信号Ｓ３のデジタル値との差分をとってビット数を削減した減縮画素信号Ｓ２に基づいた減縮画素データＤ２と、全画素信号Ｓ１のデジタル値と減縮画素信号Ｓ２のデジタル値との差分をとってビット数を削減した全画素信号Ｓ１に基づいた全画素データＤ１とのそれぞれを出力する。これにより、本第１の実施形態の固体撮像装置１０では、データ量の増加を抑えつつ、減縮画素データＤ３と、減縮画素データＤ２と、全画素データＤ１との様々な画素数の画素データを出力することができる。
　また、本第１の実施形態の固体撮像装置１０では、減縮画素信号Ｓ３のデジタル値をそのまま減縮画素データＤ３として出力し、減縮画素信号Ｓ２のデジタル値を、差分をとった後にビット数を削減して減縮画素データＤ２として出力し、全画素信号Ｓ１のデジタル値を、差分をとった後にビット数を削減して全画素データＤ１として出力する。つまり、本第１の実施形態の固体撮像装置１０では、画素数が多い画素データはビット数を削減して出力し、画素数が少ない画素データはビット数を削減せずに出力する。これにより、本第１の実施形態の固体撮像装置１０を搭載した撮像システム１では、固体撮像装置１０と画像処理部２０との間で転送する画素データのデータ量を削減することができる。このことにより、本第１の実施形態の固体撮像装置１０を搭載した本実施形態の撮像システム１では、撮像システム１の動作モードに応じて処理を行う画像処理部２０に備えたそれぞれの構成要素が、処理に適した画素数の画素データを用いて処理を行うことができる。
　ここで、固体撮像装置１０と画像処理部２０との間で転送する画素データのデータ量について説明する。図６Ａおよび図６Ｂは、本第１の実施形態の固体撮像装置１０における画素データの画素数とビット数との関係をまとめた表である。図６Ａおよび図６Ｂには、固体撮像装置１０内の画素信号処理部１００の水平方向に５７６０画素、垂直方向に４３２０画素がそれぞれ配置されている場合における、全画素信号Ｓ１、減縮画素信号Ｓ２、および減縮画素信号Ｓ３のそれぞれの画素数とデジタル値との関係を示している。そして、図６Ａには、固体撮像装置１０が出力するそれぞれの画素データの水平方向の数と垂直方向の数の比、いわゆる、アスペクト比が、静止画像において一般的に採用されている４：３に対応している場合の画素数とデジタル値との関係の一例を示している。また、図６Ｂには、固体撮像装置１０が出力するそれぞれの画素データのアスペクト比が、動画像において一般的に採用されている１６：９に対応している場合の画素数とデジタル値との関係の一例を示している。なお、以下の説明においては、１画素のデジタル値の１ビット分を１つの画素データとして、データ量の説明を行う。
　図６Ａおよび図６Ｂに示したように、固体撮像装置１０がそれぞれの画素データを出力する際にビット数を削減することによって、ビット数を削減せずにそれぞれの画素データを出力する場合よりも、固体撮像装置１０と画像処理部２０との間で転送する画素データのデータ量を削減することができる。
　図６Ａに示したように、全画素信号Ｓ１のデジタル値のビット数を削減せずに１４ビットで全画素データＤ１を出力した場合の総出力ビット数（総画素数×出力ビット数）は、２４．９Ｍｐｉｘｅｌ×１４ｂｉｔ＝３４８．４Ｍｂｉｔとなるが、ビット数を削減して１０ビットで全画素データＤ１を出力した場合の総出力ビット数は、２４．９Ｍｐｉｘｅｌ×１０ｂｉｔ＝２４８．８Ｍｂｉｔとなる。同様に、減縮画素信号Ｓ２のデジタル値のビット数を削減せずに１４ビットで減縮画素データＤ２を出力した場合の総出力ビット数と、ビット数を削減して１２ビットで減縮画素データＤ２を出力した場合の総出力ビット数とは、それぞれ、３８．７Ｍｂｉｔと３３．２Ｍｂｉｔとなる。なお、減縮画素信号Ｓ３のデジタル値は、ビット数を削減せずに１４ビットで減縮画素データＤ３として出力するため、４．３Ｍｂｉｔで変わりはない。このように、図６Ａに示した一例では、全画素データＤ１と減縮画素データＤ２とのビット数を削減することによって、固体撮像装置１０がそれぞれの画素データを画像処理部２０に転送（出力）する際のデータ量が、ビット数を削減せずに転送（出力）する際の３９１．４Ｍｂｉｔに対して２８６．３Ｍｂｉｔに削減，つまり、約７３％のデータ量に削減される。
　また、図６Ｂに示したように、全画素信号Ｓ１のデジタル値のビット数を削減せずに１４ビットで全画素データＤ１を出力した場合の総出力ビット数と、ビット数を削減して１２ビットで減縮画素データＤ２を出力した場合の総出力ビット数とは、それぞれ、１８．７Ｍｐｉｘｅｌ×１４ｂｉｔ＝２６１．３Ｍｂｉｔと１８．７Ｍｐｉｘｅｌ×１０ｂｉｔ＝１８６．６Ｍｂｉｔとなる。同様に、減縮画素信号Ｓ２のデジタル値のビット数を削減せずに１４ビットで減縮画素データＤ２を出力した場合の総出力ビット数と、ビット数を削減して１２ビットで減縮画素データＤ２を出力した場合の総出力ビット数とは、それぞれ、２９．０Ｍｂｉｔと２４．９Ｍｂｉｔとなる。なお、図６Ｂに示した一例においても、減縮画素信号Ｓ３のデジタル値は、ビット数を削減せずに１４ビットで減縮画素データＤ３として出力するため、３．２Ｍｂｉｔで変わりはない。このように、図６Ｂに示した一例では、全画素データＤ１と減縮画素データＤ２とのビット数を削減することによって、固体撮像装置１０がそれぞれの画素データを画像処理部２０に転送（出力）する際のデータ量が、ビット数を削減せずに転送（出力）する際の２９３．５Ｍｂｉｔに対して２１４．７Ｍｂｉｔに削減、つまり、データ量が約７３％に削減される。
　本第１の実施形態の固体撮像装置１０では、図３に示したように、減縮画素データＤ３、減縮画素データＤ２、全画素データＤ１の順番でそれぞれの画素データを、画像処理部２０内の撮像処理部２１０に順次転送（出力）していた。つまり、図３に示した画素データの出力シーケンスでは、減縮画素データＤ３、減縮画素データＤ２、および全画素データＤ１のそれぞれを時分割で転送（出力）していた。しかし、全画素データＤ１、減縮画素データＤ２、または減縮画素データＤ３のいずれか１つまたは複数の画素データを画像処理部２０内の撮像処理部２１０に転送（出力）しないようにすることもできる。この画素データを転送（出力）するか否かは、例えば、本固体撮像装置１０を搭載した撮像システム１の動作モードに応じて変更する。これにより、本第１の実施形態の固体撮像装置１０では、画像処理部２０に備えたいずれかの構成要素が処理を行わない場合に、固体撮像装置１０と画像処理部２０との間で転送する画素データのデータ量をさらに削減することができる。
　ここで、固体撮像装置１０と画像処理部２０との間で転送する画素データを、本固体撮像装置１０を搭載した撮像システム１の動作モードに応じて変更する場合のデータ量について説明する。図７Ａ～図７Ｄは、本第１の実施形態の固体撮像装置１０における画素データの画素数とビット数との関係をまとめた表である。図７Ａ～図７Ｄには、固体撮像装置１０内の画素信号処理部１００の水平方向に５７６０画素、垂直方向に４３２０画素がそれぞれ配置されている場合における、全画素信号Ｓ１、減縮画素信号Ｓ２、および減縮画素信号Ｓ３のそれぞれの画素数とデジタル値との関係を示している。そして、図７Ａには、固体撮像装置１０を搭載した撮像システム１の動作モードが、静止画像を撮影する動作モードである場合の画素数とデジタル値との関係の一例を示している。図７Ｂには、固体撮像装置１０を搭載した撮像システム１の動作モードが、動画像を撮影する動作モードである場合の画素数とデジタル値との関係の一例を示している。また、図７Ｃには、固体撮像装置１０を搭載した撮像システム１の動作モードが、ライブビュー画像を出力する動作モードである場合の画素数とデジタル値との関係の一例を示している。また、図７Ｄには、固体撮像装置１０を搭載した撮像システム１の動作モードが、ＡＥ、ＡＦ、ＡＷＢなどの制御をする動作モードである場合の画素数とデジタル値との関係の一例を示している。なお、以下の説明においても、１画素のデジタル値の１ビット分を１つの画素データとして、データ量の説明を行う。
　なお、本固体撮像装置１０を搭載した撮像システム１では、固体撮像装置１０から転送（出力）されたそれぞれの画素データを画像処理部２０内の撮像処理部２１０が前処理した前処理画像データに基づいて、画像処理部２０内のそれぞれの構成要素がそれぞれの処理を行う。しかし、以下の説明においては、説明を容易にするため、画像処理部２０内のそれぞれの構成要素が、対応する画素データを用いて処理を行う一例として説明する。より具体的には、画像処理部２０内の静止画処理部２２１が、全画素信号Ｓ１に基づいたアスペクト比＝４：３の全画素データＤ１を用いて静止画像を記録するための画像処理を行い、画像処理部２０内の動画処理部２２２が、減縮画素信号Ｓ２に基づいたアスペクト比＝１６：９の減縮画素データＤ２を用いて動画像を記録するための画像処理を行う一例として説明する。また、画像処理部２０内の表示処理部２３０が、減縮画素信号Ｓ２に基づいたアスペクト比＝４：３の減縮画素データＤ２を用いてライブビュー画像を表示デバイス３０に表示させるための表示処理を行い、画像処理部２０内の評価値生成部２１１が、減縮画素信号Ｓ３に基づいたアスペクト比＝４：３の減縮画素データＤ３を用いてＡＥ、ＡＦ、ＡＷＢなどの制御を行うための評価値を生成する処理を行う一例として説明する。
　図７Ａ～図７Ｄに示したように、固体撮像装置１０を搭載した撮像システム１の動作モードに応じて、固体撮像装置１０が出力する画素データを変更することによって、固体撮像装置１０と画像処理部２０との間で転送する画素データのデータ量を削減することができる。
　図７Ａに示した静止画像を撮影する動作モードでは、固体撮像装置１０は、ビット数を削減した１０ビットの全画素データＤ１（総出力ビット数＝２４８．８Ｍｂｉｔ）と、ビット数を削減した１２ビットの減縮画素データＤ２（総出力ビット数＝３３．２Ｍｂｉｔ）と、ビット数を削減しない１４ビットの減縮画素データＤ３（総出力ビット数＝４．３Ｍｂｉｔ）とをそれぞれ転送（出力）する。このため、静止画像を撮影する動作モードにおいて、固体撮像装置１０がそれぞれの画素データを画像処理部２０に転送（出力）する際のデータ量は、２８６．３Ｍｂｉｔである。
　これに対して、図７Ｂに示した動画像を撮影する動作モードでは、画像処理部２０内の静止画処理部２２１が、画素数が最も多い全画素データＤ１を用いた画像処理を行わないため、固体撮像装置１０は、全画素データＤ１を画像処理部２０内の撮像処理部２１０に転送（出力）しない。そして、固体撮像装置１０は、ビット数を削減した１２ビットの減縮画素データＤ２（総出力ビット数＝２４．９Ｍｂｉｔ）と、ビット数を削減しない１４ビットの減縮画素データＤ３（総出力ビット数＝３．２Ｍｂｉｔ）とをそれぞれ転送（出力）する。このため、動画像を撮影する動作モードにおいて、固体撮像装置１０がそれぞれの画素データを画像処理部２０に転送（出力）する際のデータ量は、２８．１Ｍｂｉｔとなり、静止画像を撮影する動作モードよりも、固体撮像装置１０がそれぞれの画素データを画像処理部２０に転送（出力）するデータ量を削減することができる。
　また、図７Ｃに示したライブビュー画像を出力する動作モードでも、動画像を撮影する動作モードと同様に、画像処理部２０内の静止画処理部２２１が、全画素データＤ１を用いた画像処理を行わないため、固体撮像装置１０は、全画素データＤ１を画像処理部２０内の撮像処理部２１０に転送（出力）しない。そして、固体撮像装置１０は、ビット数を削減した１０ビットの減縮画素データＤ２（総出力ビット数＝２７．６Ｍｂｉｔ）と、ビット数を削減しない１４ビットの減縮画素データＤ３（総出力ビット数＝４．３Ｍｂｉｔ）とをそれぞれ転送（出力）する。このため、ライブビュー画像を出力する動作モードにおいて、固体撮像装置１０がそれぞれの画素データを画像処理部２０に転送（出力）する際のデータ量は、３１．９Ｍｂｉｔとなり、静止画像を撮影する動作モードよりも、固体撮像装置１０がそれぞれの画素データを画像処理部２０に転送（出力）するデータ量を削減することができる。なお、ライブビュー画像を出力する動作モードにおいて削減する減縮画素データＤ２のビット数が、動画像を撮影する動作モードにおいて削減する減縮画素データＤ２のビット数よりも多いのは、ライブビュー画像を出力する動作モードは、撮像システム１の消費電力を低減させることを、動画像を撮影する動作モードによりも優先する動作モードであるためである。
　また、図７Ｄに示したＡＥ、ＡＦ、ＡＷＢなどの制御をする動作モードでは、画像処理部２０内の静止画処理部２２１が、全画素データＤ１を用いた画像処理を行わず、画像処理部２０内の動画処理部２２２および表示処理部２３０も、減縮画素データＤ２を用いた画像処理や表示処理を行わない。このため、固体撮像装置１０は、全画素データＤ１と減縮画素データＤ２とを画像処理部２０内の撮像処理部２１０に転送（出力）しない。そして、固体撮像装置１０は、ビット数を削減しない１４ビットの減縮画素データＤ３（総出力ビット数＝４．３Ｍｂｉｔ）のみを転送（出力）する。このため、ＡＥ、ＡＦ、ＡＷＢなどの制御をする動作モードにおいて、固体撮像装置１０が画素データを画像処理部２０に転送（出力）する際のデータ量は、４．３Ｍｂｉｔとなり、静止画像を撮影する動作モード、動画像を撮影する動作モード、およびライブビュー画像を出力する動作モードよりも、固体撮像装置１０が画素データを画像処理部２０に転送（出力）するデータ量を削減することができる。
　なお、本第１の実施形態の固体撮像装置１０では、それぞれの画素データの画像処理部２０内の撮像処理部２１０への転送（出力）、すなわち、外部への転送（出力）を、１つの転送部１４０が時分割で行っていた。しかし、それぞれの画素データを外部への転送（出力）する構成は、図２に示した構成のみに限定されるものではなく、他の構成であっても同様に、それぞれの画素データを外部への転送（出力）することができる。
＜第１の実施形態の第１の変形例＞
　ここで、それぞれの画素データを外部への転送（出力）する他の構成の固体撮像装置１０について説明する。図８は、本第１の実施形態の固体撮像装置１０における第１の変形例の概略構成を示したブロック図である。なお、以下の説明においては、第１の実施形態の第１の変形例の固体撮像装置１０を、「固体撮像装置１１」という。図８に示した固体撮像装置１１は、画素信号処理部１００と、第１の読み出し部１１０と、第２の読み出し部１２０と、第３の読み出し部１３０と、第１の転送部１４１と、第２の転送部１４２と、第３の転送部１４３とから構成される。なお、本第１の変形例の固体撮像装置１１の構成要素には、固体撮像装置１０の構成要素と同様の構成要素も含まれている。従って、本第１の変形例の固体撮像装置１１の構成要素において、固体撮像装置１０の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
　第１の読み出し部１１０は、画素信号処理部１００から読み出した全画素信号Ｓ１のそれぞれをアナログデジタル変換する。そして、第１の読み出し部１１０は、差分をとった後にビット数を削減した全画素信号Ｓ１のデジタル値のそれぞれを、第１の転送部１４１に出力する。
　第２の読み出し部１２０は、画素信号処理部１００から読み出した減縮画素信号Ｓ２のそれぞれをアナログデジタル変換する。そして、第２の読み出し部１２０は、差分をとった後にビット数を削減した減縮画素信号Ｓ２のデジタル値のそれぞれを、第２の転送部１４２に出力する。
　第３の読み出し部１３０は、画素信号処理部１００から読み出した減縮画素信号Ｓ３のそれぞれをアナログデジタル変換する。そして、第３の読み出し部１３０は、変換した減縮画素信号Ｓ３のデジタル値のそれぞれを、第３の転送部１４３に出力する。
　第１の転送部１４１は、第１の読み出し部１１０から出力された全画素信号Ｓ１のデジタル値のそれぞれを、全画素データＤ１として外部に転送する。
　第２の転送部１４２は、第２の読み出し部１２０から出力された減縮画素信号Ｓ２のデジタル値のそれぞれを、減縮画素データＤ２として外部に転送する。
　第３の転送部１４３は、第３の読み出し部１３０から出力された減縮画素信号Ｓ３のデジタル値のそれぞれを、減縮画素データＤ３として外部に転送する。
　上述した構成によって、固体撮像装置１１でも、３種類のサイズの画素データのそれぞれを、画像処理部２０内の撮像処理部２１０に出力する。すなわち、本第１の変形例の固体撮像装置１１では、第１の転送部１４１と、第２の転送部１４２と、第３の転送部１４３との構成によって、第１の実施形態の固体撮像装置１０と同様に、異なる画素数の複数のデジタル値を、それぞれの画素データとして画像処理部２０内の撮像処理部２１０に転送（出力）する。これにより、本実施形態の撮像システム１に搭載した画像処理部２０では、リアルタイム性が要求される処理に用いる画素データと、画質が要求される処理に用いる画素データとを、それぞれの処理に応じて使い分けることができる。
　また、本第１の変形例の固体撮像装置１１では、第１の実施形態の固体撮像装置１０と異なり、第１の転送部１４１と、第２の転送部１４２と、第３の転送部１４３との３つの転送部を備えている。このため、本第１の変形例の固体撮像装置１１では、３種類のサイズの画素データの同時出力を、容易に行うことができる。
　第１の転送部１４１と、第２の転送部１４２と、第３の転送部１４３とのそれぞれが全画素データＤ１と、減縮画素データＤ２と、減縮画素データＤ３とのそれぞれを画素データとして画像処理部２０内の撮像処理部２１０に転送（出力）する際の順番などに関しては、特に規定しない。ただし、上述したように、全画素データＤ１よりも減縮画素データＤ２の方が、早く出力することができ、減縮画素データＤ２よりも減縮画素データＤ３の方が、さらに早く出力することができる。このため、減縮画素データＤ３を先に出力し、減縮画素データＤ２を次に出力し、全画素データＤ１を最後に出力する方が、例えば、ライブビュー画像の生成、評価値生成部２１１による評価値の生成、画像認識部２５０による被写体の認識など、画像処理部２０においてリアルタイム性の高さが要求される処理を行う際に有利である。
　第１の実施形態の固体撮像装置１０および本第１の変形例の固体撮像装置１１では、第１の読み出し部１１０は、画素信号処理部１００から読み出した全画素信号Ｓ１のそれぞれをアナログデジタル変換した後に、減縮画素信号Ｓ２のデジタル値との差分をとっていた。また、第２の読み出し部１２０は、画素信号処理部１００から読み出した減縮画素信号Ｓ２のそれぞれをアナログデジタル変換した後に、減縮画素信号Ｓ３のデジタル値との差分をとっていた。つまり、第１の読み出し部１１０および第１の読み出し部１２０のそれぞれでは、画素信号処理部１００から読み出した画素信号のデジタル値と、画素信号処理部１００に備えた画素の数（画素数）を１段減縮した減縮画素信号のデジタル値との差分をとっていた。しかし、第１の読み出し部１１０および第１の読み出し部１２０のそれぞれが読み出した画素信号のデジタル値との差分をとる減縮画素信号のデジタル値は、上述した減縮画素信号のデジタル値に限定されず、他の減縮画素信号のデジタル値と差分をとる構成であってもよい。例えば、第１の読み出し部１１０が、画素信号処理部１００から読み出した全画素信号Ｓ１のデジタル値と、画素信号処理部１００に備えた画素の数（画素数）を２段減縮した減縮画素信号Ｓ３のデジタル値との差分をとる構成であってもよい。
　また、第１の読み出し部１１０および第１の読み出し部１２０のそれぞれは、必ずしも読み出した画素信号のデジタル値と減縮画素信号のデジタル値との差分をとる構成に限定されず、読み出した画素信号のデジタル値と減縮画素信号のデジタル値との差分をとるか否かを選択することができる構成であってもよい。
＜第１の実施形態の第２の変形例＞
　ここで、読み出した画素信号のデジタル値と減縮画素信号のデジタル値との差分をとるか否かを選択することができる構成の固体撮像装置１０について説明する。図９は、本第１の実施形態の固体撮像装置１０における第２の変形例の概略構成を示したブロック図である。なお、以下の説明においては、第１の実施形態の第２の変形例の固体撮像装置１０を、「固体撮像装置１２」という。図９に示した固体撮像装置１２は、画素信号処理部１００と、第１の読み出し部１１２と、第２の読み出し部１２２と、第３の読み出し部１３０と、転送部１４０とから構成される。なお、本第２の変形例の固体撮像装置１２の構成要素には、固体撮像装置１０の構成要素と同様の構成要素も含まれている。従って、本第２の変形例の固体撮像装置１２の構成要素において、固体撮像装置１０の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
　画素信号処理部１００は、第１の読み出し部１１２から入力された読み出し制御信号に応じて、全画素信号Ｓ１のそれぞれを第１の読み出し部１１２に出力する。画素信号処理部１００は、第２の読み出し部１２２から入力された読み出し制御信号に応じて、減縮画素信号Ｓ２のそれぞれを第２の読み出し部１２２に出力する。画素信号処理部１００は、第３の読み出し部１３０から入力された読み出し制御信号に応じて、減縮画素信号Ｓ３のそれぞれを第３の読み出し部１３０に出力する。
　第１の読み出し部１１２は、固体撮像装置１０および第１の変形例の固体撮像装置１１に備えた第１の読み出し部１１０と同様に動作する。すなわち、第１の読み出し部１１２は、画素信号処理部１００から読み出した全画素信号Ｓ１のそれぞれをアナログデジタル変換する。そして、第１の読み出し部１１２は、アナログデジタル変換した全画素信号Ｓ１のそれぞれのデジタル値と、第２の読み出し部１２２によってアナログデジタル変換された減縮画素信号Ｓ２のデジタル値との差分をとった後にビット数を削減した全画素信号Ｓ１のデジタル値のそれぞれを、転送部１４０に出力する。また、第１の読み出し部１１２は、アナログデジタル変換した全画素信号Ｓ１のそれぞれのデジタル値を、差分をとらずにビット数を削減して転送部１４０に出力することもできる。なお、第１の読み出し部１１２に関する詳細な説明は、後述する。
　第２の読み出し部１２２は、固体撮像装置１０および第１の変形例の固体撮像装置１１に備えた第２の読み出し部１２０と同様に動作する。すなわち、第２の読み出し部１２２は、画素信号処理部１００から読み出した減縮画素信号Ｓ２のそれぞれをアナログデジタル変換する。そして、第２の読み出し部１２２は、アナログデジタル変換した減縮画素信号Ｓ２のそれぞれのデジタル値と、第３の読み出し部１３０によってアナログデジタル変換された減縮画素信号Ｓ３のデジタル値との差分をとった後にビット数を削減した減縮画素信号Ｓ２のデジタル値のそれぞれを、転送部１４０に出力する。また、第２の読み出し部１２２は、アナログデジタル変換した減縮画素信号Ｓ２のそれぞれのデジタル値を、差分をとらずにビット数を削減して転送部１４０に出力することもできる。なお、第２の読み出し部１２２に関する詳細な説明は、後述する。
　転送部１４０は、第１の読み出し部１１２、第２の読み出し部１２２、および第３の読み出し部１３０のそれぞれから出力された、異なる画素数の複数のデジタル値のそれぞれを、画素データのそれぞれとして外部（画像処理部２０内の撮像処理部２１０）に転送（出力）する。
　上述した構成によって、固体撮像装置１２では、それぞれの画素データのそれぞれを出力する際に、画素信号処理部１００から読み出した画素信号のデジタル値と、画素信号処理部１００に備えた画素の数（画素数）を１段減縮した減縮画素信号のデジタル値との差分の処理を行った画素データ、または差分の処理を行っていない画素データを選択して出力することができる。
　次に、本第２の変形例の固体撮像装置１２に備えた第１の読み出し部１１２の構成について、さらに詳細に説明する。図９に示した本第２の変形例の固体撮像装置１２の第１の読み出し部１１２は、第１の読み出し制御部１１０１と、第１のＡ／Ｄ変換部１１０２と、第１の差分算出部１１０３と、第１のビット数削減部１１０４と、第１の選択部１１２５とから構成される。なお、第１の読み出し部１１２の構成要素には、固体撮像装置１０および第１の変形例の固体撮像装置１１に備えた第１の読み出し部１１０の構成要素と同様の構成要素も含まれている。従って、第１の読み出し部１１２の構成要素において、第１の読み出し部１１０の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
　第１のＡ／Ｄ変換部１１０２は、第１の読み出し制御部１１０１によって読み出された全画素信号Ｓ１（アナログ信号）をアナログデジタル変換したそれぞれのデジタル値を、第１の差分算出部１１０３と、第１の選択部１１２５とのそれぞれに順次出力する。
　第１の差分算出部１１０３は、全画素信号Ｓ１のデジタル値と減縮画素信号Ｓ２のデジタル値との差分をとったそれぞれのデジタル値を、第１の選択部１１２５に順次出力する。
　第１の選択部１１２５は、第１のＡ／Ｄ変換部１１０２から順次入力された全画素信号Ｓ１のデジタル値、または第１の差分算出部１１０３から順次入力された全画素信号Ｓ１と減縮画素信号Ｓ２との差分をとったデジタル値のいずれか一方のデジタル値を選択する。そして、第１の選択部１１２５は、選択したいずれか一方のデジタル値を、第１のビット数削減部１１０４に順次出力する。
　なお、第１の選択部１１２５におけるデジタル値の選択方法に関しては、特に規定しない。例えば、第１の選択部１１２５は、本固体撮像装置１２を搭載した撮像システム１に備えた画像処理部２０内のＣＰＵ２６０によって設定された本撮像システム１の動作モードに応じてデジタル値を選択する構成であってもよい。
　第１のビット数削減部１１０４は、第１の選択部１１２５から順次入力された選択されたデジタル値のビット数を、予め定めた方法によって削減し、ビット数を削減したデジタル値を、ビット数を削減した全画素信号Ｓ１のそれぞれのデジタル値として転送部１４０に出力する。
　上述した構成によって、第１の読み出し部１１２は、画素信号処理部１００から読み出したそれぞれの全画素信号Ｓ１をアナログデジタル変換したそれぞれのデジタル値、または画素信号処理部１００から読み出した全画素信号Ｓ１をアナログデジタル変換したデジタル値と第２の読み出し部１２２から入力された減縮画素信号Ｓ２のデジタル値との差分をとったそれぞれのデジタル値のいずれか一方のデジタル値のビット数を削減して、転送部１４０に出力する。これにより、転送部１４０は、第１の読み出し部１１２から入力された、全画素信号Ｓ１に基づいたビット数が削減されたデジタル値のそれぞれを、ビット数が削減された全画素信号Ｓ１に基づいた全画素データＤ１として外部に出力する。
　次に、本第２の変形例の固体撮像装置１２に備えた第２の読み出し部１２２の構成について、さらに詳細に説明する。図９に示した本第２の変形例の固体撮像装置１２の第２の読み出し部１２２は、第２の読み出し制御部１２０１と、第２のＡ／Ｄ変換部１２０２と、第２の差分算出部１２０３と、第２のビット数削減部１２０４と、第２の選択部１２２５とから構成される。なお、第２の読み出し部１２２の構成要素には、固体撮像装置１０および第１の変形例の固体撮像装置１１に備えた第２の読み出し部１２０の構成要素と同様の構成要素も含まれている。従って、第２の読み出し部１２２の構成要素において、第２の読み出し部１２０の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明は省略する。
　第２のＡ／Ｄ変換部１２０２は、第２の読み出し制御部１２０１によって読み出された減縮画素信号Ｓ２（アナログ信号）をアナログデジタル変換したそれぞれのデジタル値を、第２の差分算出部１２０３と、第２の選択部１２２５とのそれぞれに順次出力する。
　第２の差分算出部１２０３は、減縮画素信号Ｓ２のデジタル値と減縮画素信号Ｓ３のデジタル値との差分をとったそれぞれのデジタル値を、第２の選択部１２２５に順次出力する。
　第２の選択部１２２５は、第２のＡ／Ｄ変換部１２０２から順次入力された減縮画素信号Ｓ２のデジタル値、または第２の差分算出部１２０３から順次入力された減縮画素信号Ｓ２と減縮画素信号Ｓ３との差分をとったデジタル値のいずれか一方のデジタル値を選択する。そして、第２の選択部１２２５は、選択したいずれか一方のデジタル値を、第２のビット数削減部１２０４に順次出力する。
　なお、第２の選択部１２２５におけるデジタル値の選択方法に関しては、特に規定しない。例えば、第２の選択部１２２５は、第１の読み出し部１１２に備えた第１の選択部１１２５と同様に、本固体撮像装置１２を搭載した撮像システム１の動作モードに応じてデジタル値を選択する構成であってもよい。
　第２のビット数削減部１２０４は、第２の選択部１２２５から順次入力された選択されたデジタル値のビット数を、予め定めた方法によって削減し、ビット数を削減したデジタル値を、ビット数を削減した減縮画素信号Ｓ２のそれぞれのデジタル値として転送部１４０に出力する。
　上述した構成によって、第２の読み出し部１２２は、画素信号処理部１００から読み出したそれぞれの減縮画素信号Ｓ２をアナログデジタル変換したそれぞれのデジタル値、または画素信号処理部１００から読み出した減縮画素信号Ｓ２をアナログデジタル変換したデジタル値と第２の読み出し部１２２から入力された減縮画素信号Ｓ３のデジタル値との差分をとったそれぞれのデジタル値のいずれか一方のデジタル値のビット数を削減して、転送部１４０に出力する。これにより、転送部１４０は、第２の読み出し部１２２から入力された、減縮画素信号Ｓ２に基づいたビット数が削減されたデジタル値のそれぞれを、ビット数が削減された減縮画素信号Ｓ２に基づいた減縮画素データＤ２として外部に出力する。
　上述した構成によって、固体撮像装置１２でも、３種類のサイズの画素データのそれぞれを、画像処理部２０内の撮像処理部２１０に出力する。このとき、固体撮像装置１２では、固体撮像装置１０および第１の変形例の固体撮像装置１１と異なるように動作する。つまり、固体撮像装置１２は、画素信号処理部１００から読み出した画素信号のデジタル値と、画素信号処理部１００に備えた画素の数（画素数）を１段減縮した減縮画素信号のデジタル値との差分の処理を行うか否かを選択することができる。この出力する画素データに対して差分の処理を行うか否かの選択は、例えば、本固体撮像装置１２を搭載した撮像システム１の動作モードに応じて変更する。そして、固体撮像装置１２は、選択された処理が施された画素データを出力する。これにより、本実施形態の撮像システム１に搭載した画像処理部２０では、動作モードに応じて、固体撮像装置１２から転送（出力）されたそれぞれの画素データを復元するための処理の実行を省略することができる。
　ここで、固体撮像装置１２と画像処理部２０との間で転送する画素データを、本固体撮像装置１２を搭載した撮像システム１の動作モードに応じて変更する場合のデータ量について説明する。図１０Ａ～図１０Ｃは、本第１の実施形態の第２の変形例の固体撮像装置１２における画素データの画素数とビット数との関係をまとめた表である。図１０Ａ～図１０Ｃには、固体撮像装置１２内の画素信号処理部１００の水平方向に５７６０画素、垂直方向に４３２０画素がそれぞれ配置され、全画素信号Ｓ１、減縮画素信号Ｓ２、および減縮画素信号Ｓ３のそれぞれのデジタル値を画素データとして転送（出力）する場合において、減縮画素信号Ｓ２のデジタル値と減縮画素信号Ｓ３のデジタル値との差分をとらずに転送（出力）する場合の画素数とデジタル値との関係を示している。そして、図１０Ａには、固体撮像装置１２を搭載した撮像システム１の動作モードが、静止画像を撮影する動作モードである場合の画素数とデジタル値との関係の一例を示している。また、図１０Ｂには、固体撮像装置１２を搭載した撮像システム１の動作モードが、動画像を撮影する動作モードである場合の画素数とデジタル値との関係の一例を示している。また、図１０Ｃには、固体撮像装置１２を搭載した撮像システム１の動作モードが、ライブビュー画像を出力する動作モードである場合の画素数とデジタル値との関係の一例を示している。なお、以下の説明においても、１画素のデジタル値の１ビット分を１つの画素データとして、データ量の説明を行う。
　本固体撮像装置１２を搭載した撮像システム１でも、固体撮像装置１２から転送（出力）されたそれぞれの画素データを画像処理部２０内の撮像処理部２１０が前処理した前処理画像データに基づいて、画像処理部２０内のそれぞれの構成要素がそれぞれの処理を行う。しかし、以下の説明においては、説明を容易にするため、画像処理部２０内の静止画処理部２２１が、全画素信号Ｓ１に基づいたアスペクト比＝４：３の全画素データＤ１を用いて静止画像を記録するための画像処理を行うものとして説明する。また、画像処理部２０内の動画処理部２２２が、減縮画素信号Ｓ２に基づいたアスペクト比＝１６：９の減縮画素データＤ２を用いて動画像を記録するための画像処理を行う一例として説明する。また、画像処理部２０内の表示処理部２３０が、減縮画素信号Ｓ２に基づいたアスペクト比＝４：３の減縮画素データＤ２を用いてライブビュー画像を表示デバイス３０に表示させるための表示処理を行う一例として説明する。
　図１０Ａ～図１０Ｃに示したように、固体撮像装置１２を搭載した撮像システム１の動作モードに応じて、固体撮像装置１２が出力する画素データを変更することによって、差分をとっていない減縮画素データＤ２を出力する場合でも、固体撮像装置１２と画像処理部２０との間で転送する画素データのデータ量を削減することができる。
　図１０Ａに示した静止画像を撮影する動作モードでは、固体撮像装置１２は、差分をとってビット数を削減した１０ビットの全画素データＤ１（総出力ビット数＝２４８．８Ｍｂｉｔ）と、差分をとらずにビット数を削減した１３ビットの減縮画素データＤ２（総出力ビット数＝３５．９Ｍｂｉｔ）と、ビット数を削減しない１４ビットの減縮画素データＤ３（総出力ビット数＝４．３Ｍｂｉｔ）とをそれぞれ転送（出力）する。このため、静止画像を撮影する動作モードにおいて、固体撮像装置１２がそれぞれの画素データを画像処理部２０に転送（出力）する際のデータ量は、２８９．１Ｍｂｉｔである。
　これに対して、図１０Ｂに示した動画像を撮影する動作モードでは、画像処理部２０内の静止画処理部２２１が、画素数が最も多い全画素データＤ１を用いた画像処理を行わない。このため、固体撮像装置１２は、差分をとらずにビット数を削減した１２ビットの減縮画素データＤ２（総出力ビット数＝２４．９Ｍｂｉｔ）と、ビット数を削減しない１４ビットの減縮画素データＤ３（総出力ビット数＝３．２Ｍｂｉｔ）とのそれぞれを、画像処理部２０内の撮像処理部２１０に転送（出力）する。これにより、動画像を撮影する動作モードにおいて、固体撮像装置１２がそれぞれの画素データを画像処理部２０に転送（出力）する際のデータ量が、２８．１Ｍｂｉｔとなり、静止画像を撮影する動作モードよりも、固体撮像装置１２がそれぞれの画素データを画像処理部２０に転送（出力）するデータ量を削減することができる。また、図１０Ｂに示した動画像を撮影する動作モードでは、１２ビットの減縮画素データＤ２を、差分をとらずに転送（出力）する。このため、撮像システム１では、減縮画素データＤ２に対する復元の処理が不要となり、画像処理部２０内の動画処理部２２２によってそれぞれのフレームの動画像データを生成する際の遅延時間を短縮することができる。
　また、図１０Ｃに示したライブビュー画像を出力する動作モードでも、動画像を撮影する動作モードと同様に、画像処理部２０内の静止画処理部２２１が、全画素データＤ１を用いた画像処理を行わない。このため、固体撮像装置１２は、差分をとらずにビット数を削減した１０ビットの減縮画素データＤ２（総出力ビット数＝２７．６Ｍｂｉｔ）と、ビット数を削減しない１４ビットの減縮画素データＤ３（総出力ビット数＝４．３Ｍｂｉｔ）とのそれぞれを、画像処理部２０内の撮像処理部２１０に転送（出力）する。これにより、ライブビュー画像を出力する動作モードにおいて、固体撮像装置１２がそれぞれの画素データを画像処理部２０に転送（出力）する際のデータ量が、３１．９Ｍｂｉｔとなり、静止画像を撮影する動作モードよりも、固体撮像装置１２がそれぞれの画素データを画像処理部２０に転送（出力）するデータ量を削減することができる。また、図１０Ｃに示したライブビュー画像を出力する動作モードでは、１０ビットの減縮画素データＤ２を、差分をとらずに転送（出力）する。このため、撮像システム１では、減縮画素データＤ２に対する復元の処理が不要となり、画像処理部２０内の表示処理部２３０によってそれぞれのフレームのライブビュー画像を生成する際の遅延時間を短縮することができる。なお、ライブビュー画像を出力する動作モードにおいて転送（出力）する減縮画素データＤ２のビット数が、動画像を撮影する動作モードにおいて転送（出力）する減縮画素データＤ２のビット数よりも少ないのは、図７Ａ～図７Ｄに示した画素数とビット数との関係において説明した理由と同様である。
　図１０Ａ～図１０Ｃに示したように、本固体撮像装置１２を搭載した撮像システム１の動作モードに応じて、画素データを転送（出力）するか否か、およびデジタル値の差分をとるか否かを変更することによって、撮像システム１では、画像処理部２０に備えたそれぞれの構成要素の処理に適した画素数の画素データを用いて処理を行うことができる。
　本固体撮像装置１２では、第１の読み出し部１１２に備えた第１の選択部１１２５および第２の読み出し部１２２に備えた第２の選択部１２２５によって、対応するデジタル値の差分をとるか否かを選択する構成について説明した。しかし、例えば、第２の読み出し部１２２において、減縮画素信号Ｓ２のデジタル値と減縮画素信号Ｓ３のデジタル値との差分をとる処理が不要であることが予めわかっている場合には、第２の読み出し部１２２に第２の差分算出部１２０３を備えない構成にすることもできる。
　本第１の実施形態によれば、二次元の行列状に配置された複数の画素を有し、ここに配置された全ての画素のそれぞれが発生した画素信号のそれぞれを全画素信号（全画素信号Ｓ１）として出力すると共に、画素が発生した画素信号のそれぞれを予め定めた数の画素数に減縮した減縮画素信号（減縮画素信号Ｓ２）として出力する画素信号処理部（画素信号処理部１００）と、全画素信号Ｓ１の大きさを表すデジタル値と減縮画素信号Ｓ２の大きさを表すデジタル値との差分を算出したデジタル値を出力する差分算出部（第１の差分算出部１１０３）と、第１の差分算出部１１０３によって差分が算出されたデジタル値、または全画素信号Ｓ１の大きさを表すデジタル値のいずれか一方のデジタル値のビット数を削減し、ここでビット数を削減したデジタル値を、全画素信号Ｓ１に対応するデジタル値（全画素データＤ１）として出力するビット数削減部（第１のビット数削減部１１０４）と、を備え、全画素信号Ｓ１に対応するデジタル値（全画素データＤ１）と、減縮画素信号Ｓ２の大きさを表すデジタル値（減縮画素データＤ２）とをそれぞれ出力する固体撮像装置（固体撮像装置１０）が構成される。
　また、本第１の実施形態によれば、減縮画素信号Ｓ２は、対応する複数の画素のそれぞれが同じ露光期間で発生したそれぞれの画素信号を平均化した画素信号である固体撮像装置１０が構成される。
　また、本第１の実施形態によれば、減縮画素信号Ｓ２は、対応する複数の画素のそれぞれが同じ露光期間で発生したそれぞれの画素信号の内、予め定めたいずれか１つの画素が発生した画素信号である固体撮像装置１０が構成される。
　また、本第１の実施形態によれば、固体撮像装置（固体撮像装置１０）を備え、固体撮像装置１０から出力された減縮画素信号Ｓ２の大きさを表すデジタル値（減縮画素データＤ２）に基づいて、全画素信号Ｓ１に対応するデジタル値（全画素データＤ１）を、全画素信号Ｓ１の大きさを表すデジタル値に復元する、撮像システム（撮像システム１）が構成される。
　また、本第１の実施形態によれば、全画素信号Ｓ１に対応するデジタル値（全画素データＤ１）に減縮画素信号Ｓ２の大きさを表すデジタル値（減縮画素データＤ２）を加算することによって、全画素信号Ｓ１の大きさを表すデジタル値を復元する撮像システム１が構成される。
　上記に述べたように、本第１の実施形態の固体撮像装置１０（第１の変形例の固体撮像装置１１および第２の変形例の固体撮像装置１２を含む）では、画素数が多い画素データのビット数を削減することによって、データ量の増加を抑えつつ、様々な画素数の画素データを出力することができる。これにより、本第１の実施形態の固体撮像装置１０を搭載した本実施形態の撮像システム１では、画像処理部２０に備えたそれぞれの構成要素におけるそれぞれの処理に適した画素数の画素データを用いて処理を行うことができる。
　本第１の実施形態の固体撮像装置１０では、それぞれの画素データを、フレーム毎の時分割で、外部（画像処理部２０内の撮像処理部２１０）に順次転送（出力）していた。また、本第１の実施形態の固体撮像装置１０では、本固体撮像装置１０を搭載した撮像システム１の動作モードに応じて、画像処理部２０内の撮像処理部２１０の構成要素が処理を行わない画素データを転送（出力）しないようにしていた。しかし、上述したように、固体撮像装置１０では、それぞれの画素データを画像処理部２０内の撮像処理部２１０に転送（出力）する際の順番などに関しては、特に規定しない。従って、本固体撮像装置１０では、それぞれの画素データを転送（出力）する順番を変えることもできる。
＜第２の実施形態＞
　次に、本実施形態の撮像システム１に搭載する第２の実施形態の固体撮像装置について説明する。なお、本第２の実施形態の固体撮像装置は、第１の実施形態の固体撮像装置１０（第１の変形例の固体撮像装置１１および第２の変形例の固体撮像装置１２を含む）と同様の構成であり、それぞれの画素データの出力シーケンスのみが異なる。以下の説明においては、本第２の実施形態の固体撮像装置が、第１の実施形態の第２の変形例の固体撮像装置１２と同様の構成であるとして、本第２の実施形態の固体撮像装置の構成に関する詳細な説明は省略し、第１の実施形態の第２の変形例の固体撮像装置１２（固体撮像装置１０および第１の変形例の固体撮像装置１１を含む）と異なる画素データの出力シーケンスについて説明を行う。
　図１１は、本第２の実施形態の固体撮像装置１２における画素データの出力シーケンスを示した図である。本第２の実施形態の固体撮像装置１２では、第１の実施形態の固体撮像装置１２と同様に、減縮画素データＤ３、減縮画素データＤ２、および全画素データＤ１のそれぞれを時分割で転送（出力）する。ただし、本第２の実施形態の固体撮像装置１２では、図１１に示した画素データの出力シーケンスのように、１フレーム分の減縮画素データＤ２を転送（出力）した後、１フレーム分の全画素データＤ１を転送（出力）する際に、全画素データＤ１を分割し、その間に減縮画素データＤ２を分割して再度転送（出力）する。
　なお、本発明の第２の実施形態の固体撮像装置１２を搭載した撮像システム１において、最初の減縮画素データＤ２の転送（出力）は、画像処理部２０内の表示処理部２３０がライブビュー画像を生成するための転送（出力）である。第２の実施形態の固体撮像装置１２を搭載した撮像システム１において、その後の分割した減縮画素データＤ２の転送（出力）は、画像処理部２０内の静止画処理部２２１が静止画像を生成する際に用いる全画素データＤ１を復元するための転送（出力）である。従って、本第２の実施形態の固体撮像装置１２が再度転送（出力）する減縮画素データＤ２は、差分がとられていない減縮画素データＤ２であることが望ましい。このため、以下の説明においては、本第２の実施形態の固体撮像装置１２内の第２の読み出し部１２２に備えた第２の選択部１２２５は、差分がとられていない減縮画素信号Ｓ２のデジタル値、すなわち、第２のＡ／Ｄ変換部１２０２から入力された減縮画素信号Ｓ２のデジタル値を選択している一例として説明する。
　より具体的には、本第２の実施形態の固体撮像装置１２がそれぞれの画素データを出力する際には、まず、第１の実施形態の固体撮像装置１２と同様に、第３の読み出し部１３０が、１フレーム分の減縮画素信号Ｓ３のそれぞれを順次読み出してアナログデジタル変換した、１フレーム分の減縮画素信号Ｓ３のデジタル値を、そのまま転送部１４０に順次出力する。そして、転送部１４０が、１フレーム分の減縮画素データＤ３を外部に順次転送（出力）する。
　その後、第１の実施形態の固体撮像装置１２と同様に、第２の読み出し部１２０が、第３の読み出し部１３０から出力されたそれぞれの減縮画素信号Ｓ３のデジタル値に対応する減縮画素信号Ｓ２のそれぞれを順次読み出してアナログデジタル変換し、差分をとった後にビット数を削減したそれぞれの減縮画素信号Ｓ２のデジタル値を、転送部１４０に順次出力する。そして、転送部１４０が、１フレーム分の減縮画素データＤ２を外部に順次転送（出力）する。ここで、転送（出力）された１フレーム分の減縮画素データＤ２を用いて、画像処理部２０内の表示処理部２３０がライブビュー画像を生成する。
　その後、本第２の実施形態の固体撮像装置１２では、第１の読み出し部１１０内の第１の読み出し制御部１１０１が、全画素信号Ｓ１のそれぞれを順次読み出すための読み出し制御信号を、画素信号処理部１００内の第１の電荷蓄積回路１０３ａ～第１の電荷蓄積回路１０３ｄのそれぞれに順次出力する。これにより、第１の電荷蓄積回路１０３ａ～第１の電荷蓄積回路１０３ｄのそれぞれから、全画素信号Ｓ１のそれぞれが順次出力されて、第１のＡ／Ｄ変換部１１０２に順次入力される。そして、第１のＡ／Ｄ変換部１１０２は、順次入力されたそれぞれの全画素信号Ｓ１をアナログデジタル変換した、それぞれの全画素信号Ｓ１のデジタル値を、第１の差分算出部１１０３に順次出力する。
　このとき、第２の読み出し部１２０内の第２の読み出し制御部１２０１は、第１の読み出し部１１０が読み出す全画素信号Ｓ１のそれぞれに対応する分の減縮画素信号Ｓ２のそれぞれを順次読み出すための読み出し制御信号を、画素信号処理部１００内の第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれに順次出力する。ここで、第２の読み出し制御部１２０１が画素信号処理部１００内の第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから読み出す減縮画素信号Ｓ２は、第１の読み出し部１１０が読み出した全画素信号Ｓ１のそれぞれを復元するために用いる分の減縮画素信号Ｓ２である。例えば、第１の読み出し部１１０が画素信号処理部１００内に配置された５行分の全画素信号Ｓ１を読み出した場合には、第２の読み出し制御部１２０１は、この５行分の全画素信号Ｓ１を復元するために用いる行数分の減縮画素信号Ｓ２のそれぞれを読み出す。これにより、第２の電荷蓄積回路１０４ａｂおよび第２の電荷蓄積回路１０４ｃｄのそれぞれから、第１の読み出し部１１０が読み出す全画素信号Ｓ１のそれぞれに対応する分の減縮画素信号Ｓ２のそれぞれが順次出力されて、第２のＡ／Ｄ変換部１２０２に順次入力される。そして、第２のＡ／Ｄ変換部１２０２は、順次入力されたそれぞれの減縮画素信号Ｓ２をアナログデジタル変換した、それぞれの減縮画素信号Ｓ２のデジタル値を、第２の選択部１２２５および第１の読み出し部１１０内の第１の差分算出部１１０３に順次出力する。
　これにより、第１の差分算出部１１０３は、第１のＡ／Ｄ変換部１１０２から順次入力されたそれぞれの全画素信号Ｓ１のデジタル値と、第２の読み出し部１２０内の第２のＡ／Ｄ変換部１２０２から順次入力されたそれぞれの減縮画素信号Ｓ２のデジタル値との差分をとったそれぞれのデジタル値を、第１の選択部１１２５を介して第１のビット数削減部１１０４に順次出力する。そして、第１のビット数削減部１１０４は、第１の差分算出部１１０３から第１の選択部１１２５を介して順次入力された差分がとられた全画素信号Ｓ１のデジタル値のビット数を、予め定めた方法によって削減して転送部１４０に順次出力する。
　また、第２の選択部１２２５は、第２のＡ／Ｄ変換部１２０２から順次入力されたそれぞれの減縮画素信号Ｓ２のデジタル値を、第２のビット数削減部１２０４に順次出力する。そして、第２のビット数削減部１２０４は、第２の選択部１２２５から順次入力された差分がとられていない減縮画素信号Ｓ２のデジタル値のビット数を、予め定めた方法によって削減して転送部１４０に順次出力する。
　そして、転送部１４０は、第２の読み出し部１２０から入力された減縮画素信号Ｓ２に基づいた減縮画素データＤ２と、第１の読み出し部１１０から入力された全画素信号Ｓ１に基づいた全画素データＤ１とを組にして、外部に順次転送（出力）する。例えば、第１の読み出し部１１０が画素信号処理部１００内に配置された５行分の全画素信号Ｓ１を読み出した場合、転送部１４０は、第２の読み出し部１２０から入力された、５行分の全画素信号Ｓ１を復元するために用いる行数分の減縮画素信号Ｓ２に基づいた減縮画素データＤ２と、５行分の全画素信号Ｓ１に基づいた全画素データＤ１とを組にして、外部に順次転送（出力）する。
　以降、第１の読み出し部１１０および第２の読み出し部１２０は、全画素データＤ１と減縮画素データＤ２とを組にした転送（出力）を、１フレーム分の全画素データＤ１の転送（出力）が完了するまで順次繰り返す。なお、全画素データＤ１と減縮画素データＤ２とのそれぞれの組内では、減縮画素データＤ２が先に転送（出力）される。
　このように、本第２の実施形態の固体撮像装置１２では、それぞれの画素データを時分割で転送（出力）する。また、本第２の実施形態の固体撮像装置１２では、復元を行う差分がとられた画素データを転送（出力）する際に、復元を行う画素データを分割し、この分割した画素データに対応する分の、差分がとられていない画素数を減縮した画素データを組にして、交互に転送（出力）する。つまり、復元を行う画素データと、この画素データの復元に用いる分の画素データとを混ぜて転送（出力）する。
　これにより、本第２の実施形態の固体撮像装置１２を搭載した撮像システム１では、画像処理部２０が、固体撮像装置１２から出力された画素データを復元するための処理を容易にすることができる。これは、復元する画素データが転送（出力）されてきたタイミングに同期して、画素データの復元の処理を行えるようになり、画素データを復元する際に、この画素データの復元に用いる多くの画素データを一旦撮像システム１内の記憶部に記憶しておく必要がなくなるからである。
　より具体的には、復元する全画素データＤ１を転送（出力）する前に、全画素データＤ１の復元に用いる減縮画素データＤ２の転送（出力）が全て完了してしまう動作の撮像システム１では、例えば、ＤＲＡＭ４０などに全ての減縮画素データＤ２を一旦格納しておき、復元する全画素データＤ１が転送（出力）されてきたときに、対応する減縮画素データＤ２をＤＲＡＭ４０から読み出して、全画素データＤ１を復元するための処理に用いる必要がある。この全ての減縮画素データＤ２のＤＲＡＭ４０への格納および対応する減縮画素データＤ２のＤＲＡＭ４０からの読み出し、つまり、多くの減縮画素データＤ２に対するアクセスを撮像システム１内のデータバス２９０を介して行うということは、データバス２９０のバス帯域を圧迫してしまう要因となり得る。これに対して、全画素データＤ１と、この全画素データＤ１の復元に用いる分の減縮画素データＤ２が組として転送（出力）されてくる場合には、全画素データＤ１の復元に用いる分の少ない減縮画素データＤ２のみを一旦記憶しておくことで、全画素データＤ１を復元する処理を順次行うことができる。例えば、撮像処理部２１０内に、復元に用いる分の少ない減縮画素データＤ２を一旦記憶するラインバッファを備えるのみで、全画素データＤ１を復元する処理を順次行える構成を実現することができる。これにより、撮像システム１内のデータバス２９０のバス帯域の圧迫を回避することができる。
　ここで、本第２の実施形態の固体撮像装置１２が出力した画素データを画像処理部２０において復元する復元方法の一例について説明する。図１２は、本第２の実施形態の固体撮像装置１２が出力した画素データの復元方法の一例を簡易的に示した図である。図１２には、本第２の実施形態の固体撮像装置１２から出力された画素データを復元する画像処理部２０に備えた撮像処理部２１０の概略構成と、画素データを復元する際の画素データの経路の一例を簡易的に示している。図１２に示した撮像処理部２１０は、合成処理部２１０１と、ラインバッファ２１０２とを備えている。なお、撮像処理部２１０には、入力された画素データに対して前処理を施す前処理部などの構成要素も備えているが、図１２においては省略している。以下の説明においては、全画素データＤ１を、対応する減縮画素データＤ２を用いて復元するものとして説明する。
　合成処理部２１０１は、入力されたデジタル値を合成することによって、デジタル値を復元する処理を行う処理部である。より具体的には、入力端子ＩＮ１に入力された全画素データＤ１のビット数を復元し、ビット数を復元したデジタル値に、入力端子ＩＮ２に入力された減縮画素データＤ２を加算することによって、入力端子ＩＮ１に入力された全画素データＤ１に対応する全画素信号Ｓ１を復元する。そして、合成処理部２１０１は、復元した全画素信号Ｓ１のデジタル値を出力端子ＯＵＴから出力する。なお、合成処理部２１０１における合成処理は、図４Ｂに示した、全画素データＤ１を復元して全画素信号Ｓ１のデジタル値を復元する処理と同様の処理である。
　ラインバッファ２１０２は、復元する画素データに対応する、差分がとられていない画素数を減縮した画素データを、画素データの復元に用いる行数分だけ記憶する一時記憶部である。ラインバッファ２１０２は、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などのメモリで構成される。
　上述した構成によって、撮像処理部２１０は、固体撮像装置１２から組として転送（出力）された減縮画素データＤ２を用いて、全画素データＤ１を復元する処理を順次行うことができる。
　ここで、図１２に示した撮像処理部２１０の構成において、図１１に示した出力シーケンスで画素データが転送（出力）された場合の動作を説明する。まず、固体撮像装置１２から１フレーム分の減縮画素データＤ３が転送（出力）されると、撮像処理部２１０は、転送された１フレーム分の減縮画素データＤ３を、経路Ｃ１でデータバス２９０に出力し、例えば、ＤＲＡＭ４０に転送する（書き込む）。
　その後、固体撮像装置１２から１フレーム分の減縮画素データＤ２が転送（出力）されると、撮像処理部２１０は、転送された１フレーム分の減縮画素データＤ２を、再度経路Ｃ１でデータバス２９０に出力し、例えば、ＤＲＡＭ４０に転送する（書き込む）。これにより、画像処理部２０内の表示処理部２３０は、ＤＲＡＭ４０に記録されている減縮画素データＤ２に基づいてライブビュー画像を生成し、表示デバイス３０に出力して表示させることができる。
　その後、固体撮像装置１２から最初の組の全画素データＤ１と減縮画素データＤ２とが転送（出力）されると、撮像処理部２１０は、転送された減縮画素データＤ２を、経路Ｃ２でラインバッファ２１０２に出力して記憶させる。これにより、ラインバッファ２１０２は、記憶した減縮画素データＤ２を順次、合成処理部２１０１の入力端子ＩＮ２に出力する。また、撮像処理部２１０は、転送された全画素データＤ１を、経路Ｃ３で合成処理部２１０１に出力する。これにより、合成処理部２１０１は、入力端子ＩＮ１に入力された全画素データＤ１と入力端子ＩＮ２に入力された減縮画素データＤ２とに基づいて、全画素データＤ１に対応する全画素信号Ｓ１を復元する。そして、合成処理部２１０１は、復元した全画素信号Ｓ１のデジタル値を出力端子ＯＵＴから出力して、経路Ｃ４でデータバス２９０に出力し、例えば、ＤＲＡＭ４０に転送する（書き込む）。
　以降、撮像処理部２１０は、固体撮像装置１２から順次転送（出力）された全画素データＤ１と減縮画素データＤ２とのそれぞれの組の画素データを、ラインバッファ２１０２および合成処理部２１０１への出力し、１フレーム分の全画素データＤ１に対応する全画素信号Ｓ１の復元を行う。
　上述した動作によって、撮像処理部２１０は、固体撮像装置１２によって複数に分割され、混ぜて転送（出力）された減縮画素データＤ２を用いて、全画素データＤ１を復元する処理を順次行うことができる。
　図１１に示した本第２の実施形態の固体撮像装置１２における出力シーケンスでは、１フレーム分の減縮画素データＤ２を転送（出力）した後、再度、１フレーム分の減縮画素データＤ２を分割して転送（出力）していた。これは、上述したように、最初の１フレーム分の減縮画素データＤ２を画像処理部２０内の表示処理部２３０によるライブビュー画像の生成に用い、その後に分割して再度出力した減縮画素データＤ２を、画像処理部２０内の静止画処理部２２１による静止画像を生成に用いるためである。つまり、最初に１フレーム分の減縮画素データＤ２を転送（出力）することによって、ライブビュー画像をリアルタイムに生成し、再度転送（出力）した減縮画素データＤ２を用いて、全画素データＤ１を順次復元するためである。しかし、例えば、ライブビュー画像の生成をリアルタイムに行わない場合など、減縮画素データＤ２を用いた処理を行う際に、リアルタイム性の高さが求められない場合には、最初の１フレーム分の減縮画素データＤ２の転送（出力）を行わない動作にすることもできる。これにより、固体撮像装置１２と画像処理部２０との間で転送する画素データのデータ量を削減することができる。
　この場合の固体撮像装置１２による画素データの出力シーケンスについて説明する。図１３は、本第２の実施形態の固体撮像装置１２における画素データの別の出力シーケンスを示した図である。図１３に示した画素データの出力シーケンスでは、固体撮像装置１２は、１フレーム分の減縮画素データＤ３を転送（出力）した後、１フレーム分の減縮画素データＤ２と全画素データＤ１とをそれぞれ分割し、分割した縮画素データＤ２と全画素データＤ１とのそれぞれを混ぜて転送（出力）する。
　最初に１フレーム分の減縮画素データＤ３を転送（出力）するのは、本第２の実施形態の固体撮像装置１２を搭載した撮像システム１において、画像処理部２０内の評価値生成部２１１による評価値の生成の処理や、画像認識部２５０による被写体の認識などの処理を、リアルタイムで行うためである。なお、図１３に示した画素データの出力シーケンスによる固体撮像装置１２内のそれぞれの構成要素の動作は、１フレーム分の減縮画素データＤ２を外部に順次転送（出力）しない以外は、図１１に示した画素データの出力シーケンスによる固体撮像装置１２内のそれぞれの構成要素の動作と同様であるため、詳細な説明は省略する。
　このように、本第２の実施形態の固体撮像装置１２では、復元を行う差分がとられた画素データを転送（出力）する際に、復元を行う画素データと、この分割した画素データに対応する分の、差分がとられていない画素データとを組にして、交互に（混ぜて）転送（出力）することによって、固体撮像装置１２と画像処理部２０との間で転送する画素データのデータ量を削減することができる。
　図１１および図１３に示した固体撮像装置１２における画素データの出力シーケンスでは、第１の読み出し部１１０が読み出した、分割して転送（出力）する全画素信号Ｓ１に基づいた全画素データＤ１に対応する分の減縮画素信号Ｓ２を、第２の読み出し部１２０が読み出して、減縮画素信号Ｓ２に基づいた減縮画素データＤ２を外部に順次転送（出力）する場合について説明した。つまり、全画素データＤ１を基準として、対応する分の減縮画素信号Ｓ２を、第２の読み出し部１２０が読み出していた。しかし、減縮画素信号Ｓ２は、全画素信号Ｓ１の画素数を減縮した画素信号である。つまり、減縮画素信号Ｓ２は、全画素信号Ｓ１に含まれる予め定めた画素数分の画素信号に対応している。このため、固体撮像装置１２において全画素データＤ１と減縮画素データＤ２とを組にして転送（出力）する際に、減縮画素データＤ２に対応する減縮画素信号Ｓ２に含まれる画素数分の全画素信号Ｓ１を、第１の読み出し部１１０が読み出すようにすることもできる。つまり、減縮画素データＤ２を基準として、対応する全画素信号Ｓ１を、第１の読み出し部１１０が読み出し、読み出した全画素信号Ｓ１に基づいた全画素データＤ１を、基準にした減縮画素データＤ２との組として転送（出力）してもよい。言い換えれば、減縮画素データＤ２を基準として、第１の読み出し部１１０が全画素信号Ｓ１を読み出す行数や画素数を決定してもよい。
　また、図１１および図１３に示した固体撮像装置１２における画素データの出力シーケンスでは、全画素データＤ１と減縮画素データＤ２とを組にして転送（出力）する出力シーケンスを示した。これは、減縮画素データＤ２が、差分がとられていない減縮画素信号Ｓ２に基づいた画素データであるからである。しかし、減縮画素データＤ２が、差分がとられた減縮画素信号Ｓ２に基づいた画素データである場合には、差分がとられた全画素データＤ１を減縮画素データＤ２と組にして転送（出力）する際に、差分がとられていない減縮画素信号Ｓ３に基づいた減縮画素データＤ３も組にして転送（出力）する出力シーケンスにする。これにより、同様の処理で、全画素データＤ１に対応する全画素信号Ｓ１と、減縮画素データＤ２に対応する減縮画素信号Ｓ２との復元を行うことができる。この出力シーケンスであれば、差分がとられていない減縮画素信号Ｓ２に基づいた画素データを減縮画素データＤ２として出力する構成となっていない、図２に示した固体撮像装置１０や図８に示した固体撮像装置１１においても、この構成のままで容易に行うことができる。
　固体撮像装置１２が、差分がとられた全画素データＤ１および減縮画素データＤ２と差分がとられていない減縮画素データＤ３とを組にして転送（出力）する場合、撮像処理部２１０は、図１２に示した合成処理部２１０１およびラインバッファ２１０２と同様の構成要素を、差分がとられた減縮画素データＤ２に対応する減縮画素信号Ｓ２を復元するためにさらに設ける構成が考えられる。そして、この撮像処理部２１０の構成において、減縮画素信号Ｓ２を復元するために新たに設けられたラインバッファに、差分がとられていない減縮画素データＤ３を一時記憶させた後、新たに設けられた合成処理部が、復元した減縮画素信号Ｓ２をラインバッファ２１０２に出力して記憶させる動作が考えられる。これにより、合成処理部２１０１は、ラインバッファ２１０２に記憶された減縮画素信号Ｓ２を用いて、上述したように、全画素データＤ１に対応する全画素信号Ｓ１を復元することができる。
　本第２の実施形態によれば、第１のビット数削減部１１０４は、第１の差分算出部１１０３によって差分が算出されたデジタル値のビット数を削減し、ここでビット数を削減した差分が算出されたデジタル値を、全画素信号Ｓ１に対応するデジタル値（全画素データＤ１）として出力し、全画素信号Ｓ１に対応するデジタル値（全画素データＤ１）を、予め定めた数の画素に対応するデジタル値毎に分割し、ここで分割したデジタル値と、この分割したデジタル値に含まれる予め定めた数の画素に対応する分の減縮画素信号Ｓ２の大きさを表すデジタル値（減縮画素データＤ２）とを組にして順次出力する固体撮像装置（固体撮像装置１２）が構成される。
　また、本第２の実施形態によれば、分割した全画素信号Ｓ１に対応するデジタル値（全画素データＤ１）と、この分割したデジタル値に対応する分の減縮画素信号Ｓ２の大きさを表すデジタル値（減縮画素データＤ２）とのそれぞれの組において、分割したデジタル値に対応する分の減縮画素信号Ｓ２の大きさを表すデジタル値（減縮画素データＤ２）を先に出力する固体撮像装置１２が構成される。
　上記に述べたように、本第２の実施形態の固体撮像装置１２（固体撮像装置１０および第１の変形例の固体撮像装置１１を含む）でも、第１の実施形態の固体撮像装置１０（第１の変形例の固体撮像装置１１および第２の変形例の固体撮像装置１２を含む）と同様に、画素数が多い画素データのビット数を削減することによって、データ量の増加を抑えつつ、様々な画素数の画素データを出力することができる。これにより、本第２の実施形態の固体撮像装置１２を搭載した本実施形態の撮像システム１でも、画像処理部２０に備えたそれぞれの構成要素におけるそれぞれの処理に適した画素数の画素データを用いて処理を行うことができる。
　また、本第２の実施形態の固体撮像装置１２では、復元を行う画素データと、この画素データの復元に用いる分の画素データとを混ぜて転送（出力）する。これにより、本第２の実施形態の固体撮像装置１２を搭載した本実施形態の撮像システム１において、固体撮像装置１２と画像処理部２０との間で転送する画素データのデータ量を削減することができる。また、画像処理部２０によって行う画素データを復元する処理を、少ない回路規模で、固体撮像装置１２から画素データが転送（出力）されてきたタイミングに同期して行えるようになり、撮像システム１内のデータバス２９０のバス帯域の圧迫を抑えることができる。
　上記に述べたとおり、本発明を実施するための上記各実施形態によれば、固体撮像装置の画素信号処理部から、同じ露光によって得られた、画素信号処理部に備えた全ての画素の信号電荷に応じた画素信号と、画素信号処理部に備えた画素の数（画素数）を減縮した画素信号とのそれぞれを、別々に独立して出力する。そして、上記各実施形態によれば、それぞれの画素信号に基づいたそれぞれの画素データを出力する際に、画素数が多い画素データのビット数を削減する。これにより、上記各実施形態では、出力するデータ量の増加を抑えつつ、様々な画素数（サイズ）の画素データを出力することができる。このことにより、上記各実施形態の固体撮像装置を搭載した撮像システムでは、従来の固体撮像装置を搭載した撮像システムにおいて行っていた、固体撮像装置から出力された画素データのサイズ変換を行わなくても、それぞれの処理に適したサイズの画素データで処理を行うことができる。これにより、上記各実施形態の固体撮像装置を搭載した撮像システムでは、サイズ変換の処理が不要なった分、全体の処理時間を短縮させる、つまり、撮像システムの処理速度を向上させることができる。
　また、上記各実施形態によれば、様々な画素数の画素データを同時期に出力することができる。これにより、上記各実施形態の固体撮像装置を搭載した撮像システムにおける様々な動作モードに応じてそれぞれの処理を行う構成要素が、それぞれの動作モードにおいて行われるそれぞれの処理に適した画素数の画素データを用いて処理を行うことができる。
　なお、本実施形態においては、それぞれの実施形態およびそれぞれの変形例の固体撮像装置に備えた画素信号処理部１００において、それぞれの画素に備えた対応する光電変換部１０１が発生したそれぞれの信号電荷の電荷量を平均化した信号電荷を保持する第２の電荷蓄積回路１０４と、第２の電荷蓄積回路１０４が保持したそれぞれの信号電荷の電荷量をさらに平均化した信号電荷を保持する第３の電荷蓄積回路２０４と、を備える構成を示した。しかし、本発明の固体撮像装置に備える画素信号処理部の構成は、それぞれの実施形態およびそれぞれの変形例の固体撮像装置に備えた画素信号処理部１００において示した構成に限定されない。例えば、第３の電荷蓄積回路２０４が保持した平均化した信号電荷を、さらに平均化する構成にすることもできる。
　また、本実施形態においては、それぞれの実施形態およびそれぞれの変形例の固体撮像装置に備えた画素信号処理部１００において、予め定めた２つの画素を組とした構成の一例を示したが、本発明の固体撮像装置に備えた画素信号処理部における画素の組は、本発明を実施するための形態の構成に限定されない。すなわち、本発明を実施するための形態に示した構成よりもさらに多くの画素で１つの組を構成することもできる。
　また、画素信号処理部１００に備える画素の数（画素数）や画素数を減縮する数は、本発明を実施するための形態に限定されず、本発明の趣旨を逸脱しない範囲において画素信号処理部１００に備える画素の数（画素数）や画素数を減縮する数を変更することができる。
　また、本実施形態においては、それぞれの実施形態およびそれぞれの変形例の固体撮像装置や、それぞれの固体撮像装置に備えたそれぞれの構成要素を配置するための構造に関しては、限定しない。例えば、それぞれの固体撮像装置に備えたそれぞれの構成要素を、複数の基板に分けて配置した多層基板の構造であっても、１枚の基板に配置した、いわゆる、モノリシックの構造であってもよい。
　以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されず、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。本発明は前述した説明に限定されることはなく、添付のクレームの範囲によってのみ限定される。
　上記各実施形態によれば、データ量の増加を抑えつつ、様々な画素数の画素データを出力することができる固体撮像装置およびこの固体撮像装置を搭載した撮像システムを提供することができる。
１　撮像システム
１０，１１，１２　固体撮像装置
１００　画素信号処理部（固体撮像装置）
１０１ａ，１０１ｂ，１０１ｃ，１０１ｄ　光電変換部（画素，画素信号処理部，固体撮像装置）
１０２ａ，１０２ｂ，１０２ｃ，１０２ｄ　電荷転送回路（画素，画素信号処理部，固体撮像装置）
１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ　第１の電荷蓄積回路（画素，画素信号処理部，固体撮像装置）
１０４ａｂ，１０４ｃｄ　第２の電荷蓄積回路（画素，画素信号処理部，固体撮像装置）
２０４　第３の電荷蓄積回路（画素，画素信号処理部，固体撮像装置）
１１０，１１２　第１の読み出し部（固体撮像装置）
１１０１　第１の読み出し制御部（差分算出部，ビット数削減部，固体撮像装置）
１１０２　第１のＡ／Ｄ変換部（差分算出部，ビット数削減部，固体撮像装置）
１１０３　第１の差分算出部（差分算出部，固体撮像装置）
１１０４　第１のビット数削減部（ビット数削減部，固体撮像装置）
１１２５　選択部（差分算出部，ビット数削減部，固体撮像装置）
１２０，１２２　第２の読み出し部（固体撮像装置）
１２０１　第２の読み出し制御部（差分算出部，ビット数削減部，固体撮像装置）
１２０２　第２のＡ／Ｄ変換部（差分算出部，ビット数削減部，固体撮像装置）
１２０３　第２の差分算出部（差分算出部，固体撮像装置）
１２０４　第２のビット数削減部（ビット数削減部，固体撮像装置）
１２２５　選択部（差分算出部，ビット数削減部，固体撮像装置）
１３０　第３の読み出し部（固体撮像装置）
１３０１　第３の読み出し制御部（固体撮像装置）
１３０２　第３のＡ／Ｄ変換部（固体撮像装置）
１４０　転送部（固体撮像装置）
１４１　第１の転送部（固体撮像装置）
１４２　第２の転送部（固体撮像装置）
１４３　第３の転送部（固体撮像装置）
２０　画像処理部
２１０　撮像処理部
２１０１　合成処理部
２１０２　ラインバッファ
２１１　評価値生成部
２２１　静止画処理部
２２２　動画処理部
２３０　表示処理部
２４０　ＤＲＡＭコントローラ
２５０　画像認識部
２６０　ＣＰＵ
２７０　カードインタフェース部
２９０　データバス
３０　表示デバイス
４０　ＤＲＡＭ
５０　記録媒体

Claims (7)

  1. 　二次元の行列状に配置された複数の画素を有し、配置された全ての前記画素のそれぞれが発生した画素信号のそれぞれを全画素信号として出力すると共に、前記画素が発生した前記画素信号のそれぞれを予め定めた数の画素数に減縮した減縮画素信号として出力する画素信号処理部と、
    　前記全画素信号の大きさを表すデジタル値と前記減縮画素信号の大きさを表すデジタル値との差分を算出したデジタル値を出力する差分算出部と、
    　前記差分算出部によって差分が算出された前記デジタル値、または前記全画素信号の大きさを表す前記デジタル値のいずれか一方のデジタル値のビット数を削減し、前記ビット数を削減したデジタル値を、前記全画素信号に対応するデジタル値として出力するビット数削減部と、
    　を備え、
    　前記全画素信号に対応するデジタル値と、前記減縮画素信号の大きさを表すデジタル値とをそれぞれ出力する、
    　固体撮像装置。
  2. 　前記減縮画素信号は、
    　対応する複数の前記画素のそれぞれが同じ露光期間で発生したそれぞれの前記画素信号を平均化した画素信号である、
    　請求項１に記載の固体撮像装置。
  3. 　前記減縮画素信号は、
    　対応する複数の前記画素のそれぞれが同じ露光期間で発生したそれぞれの前記画素信号の内、予め定めたいずれか１つの前記画素が発生した画素信号である、
    　請求項１に記載の固体撮像装置。
  4. 　前記ビット数削減部は、
    　前記差分算出部によって差分が算出された前記デジタル値の前記ビット数を削減し、前記ビット数を削減した差分が算出されたデジタル値を、前記全画素信号に対応するデジタル値として出力し、
    　前記固体撮像装置は、
    　前記全画素信号に対応するデジタル値を、予め定めた数の前記画素に対応するデジタル値毎に分割し、分割したデジタル値と、前記分割したデジタル値に含まれる予め定めた数の前記画素に対応する分の前記減縮画素信号の大きさを表すデジタル値とを組にして順次出力する、
    　請求項２または請求項３に記載の固体撮像装置。
  5. 　前記固体撮像装置は、
    　分割した前記全画素信号に対応するデジタル値と、前記分割したデジタル値に対応する分の前記減縮画素信号の大きさを表すデジタル値とのそれぞれの組において、前記分割したデジタル値に対応する分の前記減縮画素信号の大きさを表すデジタル値を先に出力する、
    　請求項４に記載の固体撮像装置。
  6. 　請求項１から請求項５のいずれか１の項に記載の固体撮像装置、
    　を備え、
    　前記固体撮像装置から出力された前記減縮画素信号の大きさを表すデジタル値に基づいて、前記全画素信号に対応するデジタル値を、前記全画素信号の大きさを表す前記デジタル値に復元する、
    　撮像システム。
  7. 　前記撮像システムは、
    　前記全画素信号に対応するデジタル値に前記減縮画素信号の大きさを表すデジタル値を加算することによって、前記全画素信号の大きさを表す前記デジタル値を復元する、
    　請求項６に記載の撮像システム。
PCT/JP2015/052485 2014-02-20 2015-01-29 固体撮像装置および撮像システム WO2015125579A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/229,430 US9979919B2 (en) 2014-02-20 2016-08-05 Solid-state imaging device and imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-030605 2014-02-20
JP2014030605A JP6261372B2 (ja) 2014-02-20 2014-02-20 固体撮像装置および撮像システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/229,430 Continuation US9979919B2 (en) 2014-02-20 2016-08-05 Solid-state imaging device and imaging system

Publications (1)

Publication Number Publication Date
WO2015125579A1 true WO2015125579A1 (ja) 2015-08-27

Family

ID=53878092

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/052485 WO2015125579A1 (ja) 2014-02-20 2015-01-29 固体撮像装置および撮像システム

Country Status (3)

Country Link
US (1) US9979919B2 (ja)
JP (1) JP6261372B2 (ja)
WO (1) WO2015125579A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024004370A1 (ja) * 2022-06-27 2024-01-04 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012039563A (ja) * 2010-08-11 2012-02-23 Nikon Corp 固体撮像素子および撮像装置
WO2012164896A1 (ja) * 2011-05-31 2012-12-06 パナソニック株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ
JP2013172238A (ja) * 2012-02-20 2013-09-02 Nikon Corp 撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110025B1 (en) * 1997-05-28 2006-09-19 Eastman Kodak Company Digital camera for capturing a sequence of full and reduced resolution digital images and storing motion and still digital image data
JP5053654B2 (ja) 2007-02-09 2012-10-17 オリンパスイメージング株式会社 画像処理装置およびその方法と電子カメラ
CN101755461B (zh) * 2007-07-20 2012-06-13 富士胶片株式会社 图像处理设备、图像处理方法
JP2009049979A (ja) * 2007-07-20 2009-03-05 Fujifilm Corp 画像処理装置、画像処理方法、画像処理システム、及びプログラム
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
JP2012222453A (ja) * 2011-04-05 2012-11-12 Sony Corp データ処理装置、データ処理方法、プログラム、およびカメラシステム
US20150078433A1 (en) * 2013-09-18 2015-03-19 Broadcom Corporation Reducing bandwidth and/or storage of video bitstreams
JP6278730B2 (ja) * 2014-02-20 2018-02-14 オリンパス株式会社 固体撮像装置および撮像システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012039563A (ja) * 2010-08-11 2012-02-23 Nikon Corp 固体撮像素子および撮像装置
WO2012164896A1 (ja) * 2011-05-31 2012-12-06 パナソニック株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ
JP2013172238A (ja) * 2012-02-20 2013-09-02 Nikon Corp 撮像装置

Also Published As

Publication number Publication date
JP6261372B2 (ja) 2018-01-17
US9979919B2 (en) 2018-05-22
US20160344966A1 (en) 2016-11-24
JP2015156559A (ja) 2015-08-27

Similar Documents

Publication Publication Date Title
JP5026951B2 (ja) 撮像素子の駆動装置、撮像素子の駆動方法、撮像装置、及び撮像素子
TWI672952B (zh) 影像擷取器件、控制方法及影像擷取裝置
KR20090074067A (ko) 촬상 장치 및 촬상 방법
US9350920B2 (en) Image generating apparatus and method
JP2006217213A (ja) 物理情報取得方法および物理情報取得装置
JP2015053644A (ja) 撮像装置
KR20160015712A (ko) 이미지 촬상 장치 및 방법
JP4678849B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
US11716554B2 (en) Solid-state imaging device and method for driving the same, and electronic apparatus
JP6218635B2 (ja) 固体撮像装置および撮像システム
US8908060B2 (en) Imaging apparatus generating evaluation values at a high frame rate and having a live view function of displaying a video smoothly at a low frame rate
JP5959194B2 (ja) 撮像装置
JP6261372B2 (ja) 固体撮像装置および撮像システム
JP2018093301A (ja) 撮像素子及び撮像素子の制御方法
JP2006041867A (ja) 画像処理方法および画像処理装置並びに撮像装置およびタイミング制御装置
JP6967173B1 (ja) 撮像素子及び撮像装置
JP5210188B2 (ja) 撮像装置及びその制御方法及びプログラム
JP5511205B2 (ja) 撮像装置及び撮像方法
WO2023080177A1 (ja) 撮像素子および撮像装置
JP2007166432A (ja) 撮像ユニット及び撮像装置
JP6087631B2 (ja) 画像信号処理装置及びその制御方法、並びに撮像装置
JP2022164803A (ja) 撮像素子及び撮像装置
JP2005295422A (ja) デジタルカメラ装置
JP2007295073A (ja) 固体撮像装置および撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15751899

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15751899

Country of ref document: EP

Kind code of ref document: A1