WO2018047618A1 - 撮像素子および駆動方法、並びに電子機器 - Google Patents

撮像素子および駆動方法、並びに電子機器 Download PDF

Info

Publication number
WO2018047618A1
WO2018047618A1 PCT/JP2017/030014 JP2017030014W WO2018047618A1 WO 2018047618 A1 WO2018047618 A1 WO 2018047618A1 JP 2017030014 W JP2017030014 W JP 2017030014W WO 2018047618 A1 WO2018047618 A1 WO 2018047618A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
unit
inter
image processing
conversion
Prior art date
Application number
PCT/JP2017/030014
Other languages
English (en)
French (fr)
Inventor
村松　良徳
修二 上原
博誠 片山
智裕 山崎
正俊 石川
義浩 渡辺
Original Assignee
ソニー株式会社
国立大学法人 東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社, 国立大学法人 東京大学 filed Critical ソニー株式会社
Priority to JP2018538344A priority Critical patent/JP7011240B2/ja
Priority to EP17848561.1A priority patent/EP3512193B1/en
Priority to US16/327,958 priority patent/US10713749B2/en
Publication of WO2018047618A1 publication Critical patent/WO2018047618A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Definitions

  • the present disclosure relates to an imaging device, a driving method, and an electronic device, and more particularly to an imaging device, a driving method, and an electronic device that can perform high-speed inter-pixel image processing with lower delay.
  • an imaging device in which one image processing circuit is arranged for one pixel and a plurality of pixels having a photoelectric conversion function arranged in a two-dimensional matrix are arranged to perform image processing in parallel.
  • this imaging apparatus it is possible to perform image processing with high speed and low delay.
  • the image processing circuit since the image processing circuit generally occupies an area larger than the pixel size, it is difficult to increase the pixel portion responsible for photoelectric conversion, and it is difficult to obtain sufficient sensitivity characteristics. Further, since the area of one unit pixel composed of an image processing circuit and pixels is increased, it is difficult to increase the number of pixels.
  • Patent Document 1 discloses a pattern signal processing LSI (Large-Scale Integration) that employs a configuration in which one processor element corresponds to one row of sensors.
  • LSI Large-Scale Integration
  • Patent Document 1 the technique disclosed in Patent Document 1 described above is configured to perform signal processing by directly selecting a pixel output by a multiplexer. For this reason, in this configuration, each time the number processing is performed, the signal processing for one row is repeated after scanning and selecting the pixel output necessary for the processing, so that time is required for image processing. It was difficult to increase the speed.
  • the present disclosure has been made in view of such a situation, and is intended to enable high-speed inter-pixel image processing with lower delay.
  • An imaging device includes a pixel array unit in which pixels having a photoelectric conversion function are arranged in an array, and an AD of a pixel signal output from the pixel for each column of the pixel in the pixel array unit.
  • (Analog-to-digital) AD conversion unit that performs conversion processing in parallel; a memory unit that holds the pixel signals AD-converted in the AD conversion unit for any number of rows for each column of the pixels; Pixels output from the AD conversion unit and the inter-pixel image processing unit that reads out pixel signals of arbitrary rows and columns from the memory unit and performs operations between the pixel signals in parallel for each column of the pixels
  • an output circuit for controlling the output of the pixel signal output from the inter-pixel image processing unit to the outside.
  • a driving method includes a pixel array unit in which pixels having a photoelectric conversion function are arranged in an array, and an AD of a pixel signal output from the pixel for each column of the pixels in the pixel array unit.
  • An AD conversion unit that performs conversion processing in parallel; a memory unit that holds the pixel signals AD-converted in the AD conversion unit for an arbitrary number of rows for each column of the pixels; an arbitrary row from the memory unit;
  • An inter-pixel image processing unit that reads out pixel signal of a column and performs an arithmetic operation between the pixel signals in parallel for each column of the pixel, a pixel signal output from the AD conversion unit, and the inter-pixel
  • a driving method of an imaging device including an output circuit that controls output of a pixel signal output from an image processing unit to the outside, pixel readout processing for reading out a pixel signal from the pixel array unit to the AD conversion unit, AD conversion of a pixel signal by the AD conversion unit, inter-pixel image processing by the inter
  • An electronic device includes a pixel array unit in which pixels having a photoelectric conversion function are arranged in an array, and an AD of a pixel signal output from the pixel for each column of the pixel in the pixel array unit
  • An AD conversion unit that performs conversion processing in parallel
  • a memory unit that holds the pixel signals AD-converted in the AD conversion unit for an arbitrary number of rows for each column of the pixels; an arbitrary row from the memory unit;
  • An inter-pixel image processing unit that reads out pixel signal of a column and performs an arithmetic operation between the pixel signals in parallel for each column of the pixel, a pixel signal output from the AD conversion unit, and the inter-pixel
  • An image sensor having an output circuit that controls output of a pixel signal output from the image processing unit to the outside is provided.
  • pixels having a photoelectric conversion function are arranged in an array in the pixel array unit, and the AD converter unit outputs a pixel signal output from the pixel for each column of pixels in the pixel array unit.
  • a / D conversion processing is performed in parallel, and the memory unit holds an arbitrary number of rows of pixel signals AD-converted in the AD conversion unit for each column of pixels.
  • the pixel signals of an arbitrary row and column are read out, and operations between these pixel signals are performed in parallel for each pixel column.
  • the output circuit the pixel signal output from the AD conversion unit and the inter-pixel Output of the pixel signal output from the image processing unit to the outside is controlled.
  • FIG. 1 is a block diagram illustrating a configuration example of a first embodiment of an image sensor to which the present technology is applied.
  • the image sensor 11 includes a pixel array unit 12, a vertical scanning circuit 13, a column parallel AD (Analog-to-digital) conversion unit 14, a column parallel memory unit 15, and a column parallel inter-pixel image processing unit 16.
  • the imaging device 11 is a CMOS (Complementary Metal Metal Oxide Semiconductor) image sensor.
  • the image sensor 11 performs inter-pixel image processing between a certain pixel 31 and the other four pixels 31 that are adjacent to each other in the vertical and horizontal directions around the pixel 31. be able to.
  • the pixel array unit 12 is a light receiving surface that receives light collected by an optical system (not shown).
  • a plurality of pixels 31 are arranged in a two-dimensional matrix in the pixel array unit 12, and each pixel 31 is connected to the vertical scanning circuit 13 for each row via a row control line 32, and a column signal Each column is connected to the column parallel AD conversion unit 14 via a line 33.
  • Each of the plurality of pixels 31 has a photoelectric conversion function, outputs a pixel signal at a level corresponding to the amount of light received, and an image of a subject imaged on the pixel array unit 12 is generated from these pixel signals. Built.
  • the vertical scanning circuit 13 sequentially supplies various drive signals for driving each pixel 31 to the pixels 31 via the row control lines 32 for each row of the plurality of pixels 31 arranged in the pixel array unit 12. Thus, pixel signal readout is controlled for each row of pixels 31.
  • the column parallel AD conversion unit 14 performs CDS (Correlated Double Sampling) processing on the pixel signal output from the plurality of pixels 31 via the column signal line 33, thereby performing AD conversion of the pixel signal. And reset noise. That is, the column parallel AD conversion unit 14 includes a plurality of AD conversion units 34 arranged according to the number of columns of the pixels 31, and each AD conversion unit 34 performs AD conversion of the pixel signal in parallel. Output a digital signal. Further, the pixel signal output from the column parallel AD conversion unit 14 is supplied to the column parallel memory unit 15 and also to the output circuit 18 via the bus 19.
  • CDS Correlated Double Sampling
  • the column parallel AD conversion unit 14 can apply various circuit configurations. For example, when a configuration based on a slope-type AD conversion circuit is applied, the column parallel AD conversion unit 14 can easily perform AD conversion by controlling the current source. This is preferable because gradation can be changed. For example, the column parallel AD conversion unit 14 changes the gradation at the time of AD conversion of the pixel signal output from the pixel 31 according to the control by the control circuit 17 so that the gradation becomes an appropriate gradation according to the content of the image processing. Can be selected. For example, the image sensor 11 can realize further high-speed image processing by reducing the gradation by the column parallel AD conversion unit 14. Specifically, the image sensor 11 performs AD conversion with 12 bits during normal imaging, but with 4 bits during image processing, the slope type AD conversion time is 1/256, and the AD conversion time is Significant shortening is possible.
  • the column parallel memory unit 15 holds digital pixel signals output from the column parallel AD conversion unit 14 for an arbitrary number of rows.
  • the column parallel memory unit 15 is configured by arranging memory circuits 35 that can hold pixel signals for one pixel in a number corresponding to an arbitrary number of rows for each column of pixels 31.
  • the image sensor 11 performs inter-pixel image processing between a certain pixel 31 and other four pixels 31 that are adjacent to each other in the vertical direction and the horizontal direction around the pixel 31.
  • the column parallel memory unit 15 includes three rows of memory circuits 35-1 to 35-3 for each column of the pixels 31.
  • the column-parallel pixel-to-pixel image processing unit 16 can perform arbitrary column-parallel pixel-to-pixel operations in parallel.
  • the column-parallel pixel-to-pixel image processing unit 16 includes a plurality of pixel-to-pixel image processing circuits 36 arranged according to the number of columns of the pixels 31, and the column-parallel pixel-to-pixel image processing unit 16 is column-parallel.
  • a plurality of arbitrary row and column memory circuits 35 of the memory unit 15 are connected.
  • the column-parallel pixel-to-pixel image processing unit 16 performs inter-pixel image processing in parallel by the pixel-to-pixel image processing circuit 36 for each column of the pixels 31, so that the pixels 31 in a plurality of arbitrary rows and columns are arranged between the pixels 31. Image processing can be performed.
  • the image sensor 11 performs inter-pixel image processing between a certain pixel 31 and other four pixels 31 that are adjacent to each other in the vertical direction and the horizontal direction around the pixel 31.
  • the column parallel inter-pixel image processing unit 16 is connected to the memory circuits 35-1 to 35-3 in the column in which the column parallel inter-pixel image processing unit 16 is disposed and the two memory circuits 35-2 disposed in the left and right columns. .
  • the column parallel inter-pixel image processing unit 16 performs inter-pixel communication with the other four memory circuits 35 adjacent to each other in the vertical and horizontal directions around the memory circuit 35-2 in the column in which the column parallel pixel is arranged.
  • Image processing can be performed.
  • the pixel signal subjected to the inter-pixel image processing in the column parallel inter-pixel image processing unit 16 is supplied to the output circuit 18 through the bus 20.
  • the control circuit 17 controls the pixel array unit 12, the column parallel AD conversion unit 14, the column parallel memory unit 15, and the column parallel inter-pixel image processing unit 16.
  • the output circuit 18 outputs the pixel signal supplied from the column parallel AD conversion unit 14 via the bus 19 and the pixel signal supplied from the column parallel inter-pixel image processing unit 16 via the bus 20 to the outside of the chip.
  • the output circuit 18 cooperates with the vertical scanning circuit 13 and the control circuit 17 for pixel signals supplied from the column parallel AD conversion unit 14 and pixel signals supplied from the column parallel inter-pixel image processing unit 16. These can be controlled arbitrarily, such as outputting them simultaneously, individually outputting them, or alternately outputting them.
  • the imaging device 11 is configured as described above, and the column parallel AD conversion unit 14 and the column parallel inter-pixel image processing unit 16 can be operated in parallel, thereby realizing high-speed and low-delay inter-pixel image processing. it can.
  • the column parallel memory unit 15 includes memory circuits 35-1 to 35-3 for three rows for each column of the pixels 31, and each of the pixels has a necessary range of inter-pixel images. It is configured to be connected to the processing circuit 36.
  • the image pickup device 11 has the number of rows of the memory circuit 35 when a wider range of inter-pixel image processing is required, or when color filters are arranged in a Bayer array and the same-color inter-pixel image processing is required. And the connection between the inter-pixel image processing circuits 36 can be increased. Thereby, the image pick-up element 11 can implement
  • the memory circuit 35 has a degree of freedom not only in the number of rows but also in the column direction. For example, by thinning out the columns, the memory circuit 35 has a wide range without increasing the connection with the inter-pixel image processing circuit 36. Inter-pixel image processing can be realized. Further, when it is necessary to simply perform distant inter-pixel processing, the reading of the pixels 31 itself can be realized by arbitrarily thinning out or adding instead of increasing the memory circuit 35.
  • the memory circuit 35 may be a general-purpose memory such as SRAM (Static Random Access Memory) or DRAM (Dynamic Random Access Memory). However, since it requires column-parallel input / output control, A simple flip-flop circuit can also be used.
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • FIG. 2 is a diagram showing an operation timing chart of the image sensor 11.
  • the imaging device 11 includes a pixel reading process for reading a pixel signal from the pixel array unit 12 to the column parallel AD conversion unit 14, an AD conversion process for the pixel signal by the column parallel AD conversion unit 14, and a column parallel AD conversion.
  • the data output processing for outputting data from the unit 14 and the column parallel inter-pixel image processing unit 16 and the inter-pixel image processing by the column parallel inter-pixel image processing unit 16 can be performed in parallel.
  • the image pickup device 11 performs the respective processes so that the pixel readout process, the AD conversion process, the data output process, and the inter-pixel image process operate in parallel under the control of the control circuit 17. High speed imaging can be realized.
  • the image sensor 11 can operate the column parallel AD conversion unit 14 and the column parallel inter-pixel image processing unit 16 in parallel via the column parallel memory unit 15. Thereby, the image sensor 11 can execute the inter-pixel image processing by the column parallel inter-pixel image processing unit 16 while maintaining a high processing speed comparable to the AD conversion processing by the column parallel AD conversion unit 14. . That is, the image sensor 11 is a pixel with high speed and low delay that has very little delay to the extent of the row processing time for realizing parallel operation with the AD conversion processing by the column parallel AD conversion unit 14 by the column parallel inter-pixel image processing unit 16. Inter-image processing can be realized.
  • the column-parallel AD conversion unit 14 is turned on by standby or power-off of the column-parallel inter-pixel image processing unit 16.
  • the actual operation speed of the image sensor 11 depends on each parallel processing that operates in parallel as shown in the timing chart of FIG.
  • the settling time that governs the pixel reading process for reading the pixel signal from the pixel array unit 12 is also defined with a precision of 4 bits so as to be significantly shortened. be able to. That is, in this case, the required time accuracy can be relaxed by 256 times.
  • the data output processing for outputting data from the output circuit 18 is 1/256 as the data amount is reduced to 4 bits, and the inter-pixel image processing by the column parallel inter-pixel image processing unit 16 is also performed in bit units. This calculation becomes 1/3 when it becomes 4 bits.
  • the image sensor 11 can shorten the parallel processing time in all the processes, and can realize a high speed sensor operation and image processing.
  • the image pickup device 11 can reduce the circuit scale of the memory circuit 35 and the inter-pixel image processing circuit 36 by reducing the gradation during image processing.
  • FIG. 3 is a block diagram showing a configuration example of the inter-pixel image processing circuit 36 of FIG.
  • the inter-pixel image processing circuit 36 includes a bit selection circuit unit 41, a pixel selection circuit unit 42, an arithmetic selection circuit unit 43, an arithmetic unit 44, a carry control unit 45, an output circuit unit 46, a working circuit.
  • a memory unit 47, a work memory internal selection circuit 48, and a work memory external selection circuit 49 are provided.
  • the bit selection circuit unit 41 selects arbitrary bits of a plurality of pixel signals.
  • the bit selection circuit unit 41 is configured to include five selectors 51-1 to 51-5.
  • the bit selection circuit unit 41 includes a total of five memory circuits 35-1 to 35-3 arranged in the same column and two memory circuits 35-2 arranged in the left and right columns. A memory circuit 35 is connected. Accordingly, the bit selection circuit unit 41 selects arbitrary bits of the pixel signal held in the memory circuit 35 connected thereto by the five selectors 51-1 to 51-5.
  • the pixel selection circuit unit 42 selects an arbitrary pixel signal.
  • the pixel selection circuit unit 42 is configured to include two selectors 52-1 and 52-2.
  • the selector 52-1 selects and outputs an arbitrary pixel signal from five pixel signals supplied via the bit selection circuit unit 41, and the selector 52-2, for example, selects the selector 52-2. Selects and outputs a pixel signal to be calculated with the pixel signal selected by -1.
  • the calculation selection circuit unit 43 supplies the pixel signal supplied to the calculation unit 44, the pixel signal input from the pixel selection circuit unit 42, the pixel signal input from the work memory internal selection circuit 48, and other inter-pixel images (not shown).
  • the pixel signal input from the processing circuit 36 and the pixel signal input directly from the outside are selected.
  • the arithmetic selection circuit unit 43 includes two selectors 53-1 and 53-2.
  • the selector 53-1 includes a pixel signal selected by the selector 52-1 of the pixel selection circuit unit 42, a pixel signal selected by the selector 54-1 of the working memory internal selection circuit 48, and other pixels not shown. Either a pixel signal input from the inter-image processing circuit 36 or a pixel signal input directly from the outside is selected and supplied to the computing unit 44.
  • the selector 53-2 includes a pixel signal selected by the selector 52-2 of the pixel selection circuit unit 42, a pixel signal selected by the selector 54-2 of the working memory internal selection circuit 48, not shown. Either a pixel signal input from another inter-pixel image processing circuit 36 or a pixel signal input directly from the outside is selected and supplied to the computing unit 44.
  • the computing unit 44 uses the two pixel signals supplied from the computation selection circuit unit 43 to perform computation between the pixel signals and outputs the result.
  • the carry control unit 45 performs carry control when the computing unit 44 performs computation.
  • the output circuit unit 46 temporarily holds the pixel signal output from the calculator 44, thereby enabling parallel operation of calculation and output.
  • the working memory unit 47 temporarily holds the pixel signal so that the pixel signal can be used when performing the calculation using the pixel signal output from the calculator 44 again.
  • the work memory internal selection circuit 48 selects and outputs the pixel signal held in the work memory unit 47 for calculation inside the inter-pixel image processing circuit 36.
  • the working memory internal selection circuit 48 is configured to include two selectors 54-1 and 54-2.
  • the selector 54-1 supplies the selected pixel signal to the selector 53-1 of the calculation selection circuit unit 43
  • the selector 54-2 supplies the selected pixel signal to the selector 53-2 of the calculation selection circuit unit 43. To supply.
  • the work memory external selection circuit 49 selects and outputs the pixel signal held in the work memory unit 47 for calculation with the other inter-pixel image processing circuit 36 (not shown).
  • the working memory external selection circuit 49 is configured to include two selectors 55-1 and 55-2.
  • the selector 55-1 supplies the selected pixel signal to the selector 53-1 of the calculation selection circuit unit 43 of the other inter-pixel image processing circuit 36 (not shown), and the selector 54-2 selects the selected pixel signal. Is supplied to the selector 53-2 of the calculation selection circuit unit 43 of the other inter-pixel image processing circuit 36 (not shown).
  • the column-parallel pixel-to-pixel image processing unit 16 includes a plurality of pixel-to-pixel image processing circuits 36 configured as described above. Inter-pixel image processing can be performed.
  • the column-parallel pixel-to-pixel image processing unit 16 can perform arbitrary convolution calculation processing such as smoothing and edge extraction and feature amount extraction such as corner extraction.
  • the image sensor 11 having the configuration example illustrated in FIG. 1 performs inter-pixel image processing using a certain pixel 31 and the other four pixels 31 adjacent to each other in the vertical direction and the horizontal direction with the pixel 31 as a center. It is assumed. Accordingly, the bit selection circuit unit 41 has five selectors 51-1 to 51-5, but the bit selection circuit unit corresponds to the column parallel AD conversion unit 14 as necessary. The number of selectors 51 included in 41 can be increased. Thereby, the image sensor 11 can perform a wider range of image processing between adjacent pixels.
  • the arithmetic unit 44 is a bit-serial two-input operation, it can have a simple basic configuration including an adder and a logical operation circuit.
  • the computing unit 44 can have a SIMD (Single Instruction / Multiple Data) type parallel computing function suitable for high-speed parallel processing.
  • the image sensor 11 can alternately output an image at a normal speed of 120 fps (FramesFramePer Second) and an image at a high speed of 960 fps. That is, the output circuit 18 outputs the pixel signal output from the column parallel AD conversion unit 14 at 120 fps, and the output control outputs the pixel signal output from the column parallel inter-pixel image processing unit 16 at 960 fps. Alternately. As a result, the image sensor 11 can continuously output normal images corresponding to 60 fps while outputting images subjected to high-speed image processing at 960 fps in the background.
  • 120 fps FresFramePer Second
  • the output circuit 18 uses all or a part of the outputs of the column parallel AD conversion unit 14 and the column parallel inter-pixel image processing unit 16, for example, cumulative or statistical such as moment calculation and histogram processing. Processing can be performed at any time. And the image pick-up element 11 can output the pixel signal to which those processes were performed.
  • the imaging device 11 is configured to include the column parallel AD conversion unit 14 and the column parallel memory unit 15 in the previous stage of the column parallel inter-pixel image processing unit 16, thereby outputting the column parallel AD conversion unit 14. And the output of the column parallel inter-pixel image processing unit 16 can be performed in parallel.
  • the image pickup device 11 maintains the advantage of not restricting the pixel array unit 12 and the column parallel AD conversion unit 14, and has a low-delay and high-speed inter-pixel image that is impossible with conventional column parallel image processing. Processing can be realized.
  • FIG. 5 is a block diagram showing a second configuration example of the image sensor.
  • the same reference numerals are given to the same components as those in the image sensor 11 shown in FIG. 1, and the detailed description thereof is omitted.
  • the image sensor 11A includes a pixel array unit 12, a vertical scanning circuit 13, a column parallel AD conversion unit 14, a column parallel memory unit 15, a column parallel inter-pixel image processing unit 16, a control circuit 17, 1 and in common with the image sensor 11 of FIG.
  • the image sensor 11A further includes a column parallel gradation conversion unit 21, a frame memory unit 22, and a column parallel inter-frame image processing unit 23.
  • the column parallel gradation conversion unit 21 performs gradation conversion based on an arbitrary threshold value in parallel for each column with respect to the pixel signal subjected to the column parallel pixel image processing in the column parallel pixel image processing unit 16. Processing can be performed. That is, the column parallel gradation conversion unit 21 includes a plurality of gradation conversion circuits 37 arranged according to the number of columns of the pixels 31, and the gradation conversion circuits 37 are arranged between the pixels in the corresponding columns. The pixel signal output from the image processing circuit 36 is output after gradation conversion.
  • the column parallel gradation converting unit 21 can change the gradation when changing the gradation of the pixel signal according to the control by the control circuit 17.
  • the variable range for changing the gradation in the column parallel AD conversion unit 14 is set to be greater than or equal to the variable range for changing the gradation in the column parallel gradation conversion unit 21.
  • the frame memory unit 22 holds one frame of the pixel signal output after gradation conversion in the column parallel gradation conversion unit 21.
  • the column parallel inter-frame image processing unit 23 uses an image based on the pixel signal output from the column parallel gradation conversion unit 21 and an image based on the pixel signal of the previous frame held in the frame memory unit 22. Perform image processing between frames. That is, the column parallel inter-frame image processing unit 23 includes a plurality of inter-frame image processing circuits 38 arranged according to the number of columns of the pixels 31, and the inter-frame image processing circuit 38 Signal processing between the image and the image one frame before is performed in a column parallel manner. By performing such inter-frame image processing, the column-parallel inter-frame image processing unit 23 can detect, for example, the movement of the subject between frames.
  • the control circuit 17 can perform pixel readout processing, AD conversion processing, data output processing, and inter-pixel image processing in parallel as in the imaging device 11 of FIG.
  • inter-frame image processing by the column-parallel inter-frame image processing unit 23 can also be performed in parallel. That is, the image sensor 11A can cause the inter-frame image processing by the column-parallel inter-frame image processing unit 23 to operate in parallel with the AD conversion processing (FIG. 2) of the column-parallel AD conversion unit 14 via the frame memory unit 22. it can. As a result, the image sensor 11A can perform inter-pixel image processing and inter-frame image processing at high speed and with low delay.
  • the image sensor 11A can perform inter-frame image processing by the column parallel inter-frame image processing unit 23 using an image subjected to appropriate filter preprocessing such as noise removal by the column parallel inter-pixel image processing unit 16. it can. For this reason, the image sensor 11A can suppress the occurrence of misrecognition and realize more accurate inter-frame image processing.
  • the image sensor 11 ⁇ / b> A standbys or shuts off the power of the column parallel inter-frame image processing unit 23 when the inter-frame image processing by the column parallel inter-frame image processing unit 23 is unnecessary. Therefore, it can be handled in the same manner as a conventional imaging device.
  • the column parallel gradation conversion unit 21 reduces the gradation to a range necessary for the inter-frame image processing of the column parallel inter-frame image processing unit 23. Thereafter, in the image pickup device 11A, the pixel signal from which the gradation of the previous frame held in the frame memory unit 22 has been reduced and the pixel signal from which the gradation of the current frame has been reduced are used to perform the inter-column parallel frames.
  • the image processing unit 23 performs inter-frame image processing. By such processing, the image sensor 11A can realize inter-frame image processing with the frame memory unit 22 having a minimum capacity.
  • the frame memory unit 22 can also be configured by a flip-flop circuit.
  • the capacity of the frame memory unit 22 is larger than that of the column parallel memory unit 15 of the image pickup device 11 in FIG. 1, it is preferable to configure the frame memory unit 22 by a general-purpose memory such as SRAM or DRAM. It is practical that the frame memory unit 22 is configured by a flip-flop circuit with a minimum capacity necessary for temporary work in column parallel processing.
  • the inter-frame image processing circuit 38 can adopt the same configuration as the inter-pixel image processing circuit 36 described with reference to FIG.
  • the inter-frame image processing circuit 38 specializes in simple processing such as detection of the presence or absence of movement of the subject between frames, a simple configuration based on a logical operation circuit can be used.
  • the column parallel inter-frame image processing unit 23 is connected to the output circuit 18 via the bus 24. Therefore, the output circuit 18, for example, in cooperation with the vertical scanning circuit 13 and the control circuit 17, the pixel signal supplied from the column parallel AD conversion unit 14, the pixel signal supplied from the column parallel inter-pixel image processing unit 16, The pixel signals output from the column parallel inter-frame image processing unit 23 are arbitrarily controlled such as outputting them simultaneously, individually outputting them, or alternately outputting them. Can do.
  • the image sensor 11 ⁇ / b> A has a column parallel gradation conversion unit 21, a frame memory unit 22, and a column in the subsequent stage of the column parallel inter-pixel image processing unit 16.
  • a parallel inter-frame image processing unit 23 is provided.
  • the image sensor 11A can realize high-speed and low-delay inter-frame image processing with a minimum amount of memory in addition to inter-pixel image processing.
  • the image pickup device 11A can realize normal image pickup, and can realize further high-speed column parallel image processing when the gradation is reduced.
  • FIG. 6 is a block diagram showing a third configuration example of the image sensor.
  • the same reference numerals are given to the same components as those in the image sensor 11 shown in FIG. 1, and detailed description thereof is omitted.
  • the image sensor 11B includes a pixel array unit 12, a vertical scanning circuit 13, a column parallel memory unit 15, a column parallel inter-pixel image processing unit 16, a control circuit 17, and an output circuit 18.
  • a pixel array unit 12 includes a vertical scanning circuit 13 and a vertical scanning circuit 13
  • a column parallel memory unit 15 includes a column parallel inter-pixel image processing unit 16
  • a control circuit 17 includes a control circuit 17
  • an output circuit 18 includes a pixel array unit 12, a vertical scanning circuit 13, a column parallel memory unit 15, a column parallel inter-pixel image processing unit 16, a control circuit 17, and an output circuit 18.
  • the column parallel AD conversion unit 14-1 is disposed below the pixel array unit 12 in the vertical direction, and the column parallel AD conversion unit 14-2 is disposed above the pixel array unit 12 in the vertical direction. It becomes the composition arranged.
  • the odd-numbered pixels 31 of the pixel array unit 12 are connected to the column-parallel AD conversion unit 14-1 via the column signal line 33-1, and the even-numbered rows of the pixel array unit 12 are connected.
  • the pixel 31 is connected to the column parallel AD conversion unit 14-2 via the column signal line 33-2.
  • the column parallel AD conversion unit 14-1 includes a number of AD conversion units 34-1 corresponding to the odd number of pixels 31 of the pixel array unit 12, and each AD conversion unit 34-1 receives a pixel signal.
  • a digital signal AD-converted in parallel is supplied to the output circuit 18 via the bus 19.
  • the column parallel AD conversion unit 14-2 includes a number of AD conversion units 34-2 according to the even number of pixels 31 of the pixel array unit 12, and each AD conversion unit 34-2 receives pixel signals. A digital signal AD-converted in parallel is supplied to the output circuit 18 via the bus 25. It is preferable that the column parallel AD conversion unit 14-1 and the column parallel AD conversion unit 14-2 each have the same performance.
  • the column parallel AD conversion unit 14-2 performs AD conversion of the pixel signals for one row at the first gradation
  • the column parallel AD conversion unit 14-1 Minute pixel signals are AD-converted with a second gradation smaller than the first gradation.
  • the imaging element 11B has a configuration in which the column parallel AD conversion unit 14-1 and the column parallel AD conversion unit 14-2 are arranged so as to face the pixel array unit 12.
  • the column parallel AD conversion unit 14-1 and the column parallel AD conversion unit 14-2 may be arranged on the same side with respect to the pixel array unit 12.
  • the bus 25 may be routed. Can be shortened.
  • the output circuit 18 uses all or a part of the outputs of the column parallel AD conversion units 14-1 and 14-2 and the column parallel inter-pixel image processing unit 16, for example, for moment calculation or histogram processing. Cumulative or statistical processing can be performed at any time. And the image pick-up element 11B can output the pixel signal to which those processes were performed.
  • the control circuit 17 performs pixel readout processing, AD conversion processing by the column parallel AD conversion units 14-1 and 14-2, and data output, similarly to the imaging device 11 of FIG. Processing and inter-pixel image processing can be performed in parallel. Accordingly, the output circuit 18 cooperates with the vertical scanning circuit 13 and the control circuit 17, for example, to supply the pixel signals supplied from the column parallel AD conversion units 14-1 and 14-2, and the column parallel inter-pixel image processing unit 16
  • the pixel signal supplied from the pixel signal and the pixel signal output from the column parallel inter-frame image processing unit 23 are simultaneously output, individually output, or alternately output them. It can be arbitrarily controlled.
  • the image sensor 11B can simultaneously output an image at a normal speed of 60 fps and an image at a high speed of 960 fps. That is, the output circuit 18 outputs the pixel signal output from the column parallel AD conversion unit 14-2 at 60 fps and the column parallel inter-pixel image processing unit 16 via the column parallel AD conversion unit 14-1. Output control for outputting the output pixel signal at 960 fps is performed simultaneously.
  • the image sensor 11B can continuously output a normal image corresponding to 60 fps.
  • image processing is performed by the column-parallel pixel-to-pixel image processing unit 16
  • an image subjected to high-speed image processing at 960 fps can be output concurrently with the normal image output equivalent to 60 fps.
  • the image sensor 11B is connected to the column parallel memory unit 15 and the column parallel inter-pixel image processing unit 16 on the output side of the column parallel AD conversion unit 14-2 in the same manner as the output side of the column parallel AD conversion unit 14-1.
  • a configuration in which equivalent blocks are arranged is also possible. By adopting this configuration for the image sensor 11B, although the circuit area becomes large, it is possible to realize further speed-up of image processing.
  • the image pickup device 11B has a circuit area and power consumption that are traded off by arranging blocks to be processed in parallel in a column and increasing the number of blocks in parallel, but the image processing can be further speeded up. .
  • FIG. 8 is a block diagram showing a fourth configuration example of the image sensor.
  • the same reference numerals are given to the same components as those of the image sensor 11A in FIG. 5 and the image sensor 11B in FIG. 6, and detailed description thereof is omitted.
  • the image sensor 11 ⁇ / b> C includes the configurations of the image sensor 11 ⁇ / b> A in FIG. 5 and the image sensor 11 ⁇ / b> B in FIG. 6. That is, the image sensor 11C includes a pixel array unit 12, a vertical scanning circuit 13, column parallel AD conversion units 14-1 and 14-2, a column parallel memory unit 15, a column parallel interpixel image processing unit 16, a control circuit 17, and an output.
  • the circuit 18 includes a column parallel gradation conversion unit 21, a frame memory unit 22, and a column parallel interframe image processing unit 23.
  • the imaging device 11C configured as described above performs normal image processing at 60 fps in addition to performing inter-frame image processing in a column-parallel manner as in the imaging device 11A of FIG. 5 and similarly to the imaging device 11B of FIG.
  • the image output according to the above and the image output at a high speed of 960 fps can be performed in parallel.
  • FIG. 9 is a block diagram showing a fifth configuration example of the image sensor. Note that in the image sensor 11D shown in FIG. 9, the same reference numerals are given to the same components as those in the image sensor 11C of FIG. 8, and detailed description thereof is omitted.
  • the image sensor 11D is similar to the image sensor 11C in that the pixel array unit 12, the vertical scanning circuit 13, the column parallel AD conversion units 14-1 and 14-2, the column parallel memory unit 15, and the column parallel inter-pixel image processing unit. 16, a control circuit 17, an output circuit 18, a column parallel gradation conversion unit 21, a frame memory unit 22, and a column parallel inter-frame image processing unit 23.
  • the imaging element 11D has a stacked structure in which two layers of semiconductor chips 61-1 and 61-2 are stacked, and wiring between the semiconductor chips 61-1 and 61-2 is connected. It becomes the structure joined by the part 62.
  • FIG. For example, the pixel array unit 12, the vertical scanning circuit 13, and the column parallel AD conversion units 14-1 and 14-2 are arranged in the semiconductor chip 61-1.
  • the semiconductor chip 61-2 includes a column parallel memory unit 15, a column parallel inter-pixel image processing unit 16, a control circuit 17, an output circuit 18, a column parallel gradation conversion unit 21, a frame memory unit 22, and a column parallel frame.
  • An inter-image processing unit 23 is arranged.
  • the image sensor 11D configured as described above includes a column parallel circuit portion (a column parallel memory unit 15, a column parallel inter-pixel image processing unit 16, a control circuit 17, an output circuit 18, a column parallel gradation conversion unit 21, a frame memory unit. 22 and the column parallel inter-frame image processing unit 23, etc.) are arranged so as to have a stacked structure folded with respect to the pixel array unit 12.
  • the imaging element 11D can greatly reduce the chip size with respect to the vertically long configuration in which the column parallel circuit portion is continuous with the pixel array unit 12.
  • the image pickup device 11D has a configuration in which the column parallel circuit portion is collected on the semiconductor chip 61-2 separately from the semiconductor chip 61-1 including the pixel array unit 12.
  • the image sensor 11D can use a state-of-the-art logic process that does not depend on the pixel / analog technology in the semiconductor chip 61-2, and has advantages in area efficiency and signal line routing.
  • the image sensor 11D is configured such that the outputs of the column parallel AD conversion units 14-1 and 14-2 are connected to the semiconductor chip 61-2.
  • another output can be connected to the semiconductor chip 61-2 according to the area balance between the semiconductor chip 61-1 and the semiconductor chip 61-2 and the chip process.
  • the image pickup device 11D is not limited to the configuration example of FIG. 9 in other circuit arrangements.
  • connection portion 62 can employ various methods such as bump bonding using a solder technique and a substrate through electrode using a semiconductor process. It is not limited to a specific method.
  • the image pickup device 11D is not limited to a two-chip laminated structure of the semiconductor chip 61-1 and the semiconductor chip 61-2.
  • a process chip suitable for a large-capacity memory such as a DRAM is sandwiched between the semiconductor chip 61-1 and the semiconductor chip 61-2, and three chip chips are used.
  • a laminated structure can be adopted. That is, the imaging device 11D includes a column parallel memory unit 15, a column parallel inter-pixel image processing unit 16, a control circuit 17, an output circuit 18, a column parallel gradation conversion unit 21, and a column parallel inter-frame image processing unit 23 in three layers. It can be set as the structure arrange
  • the imaging device 11 as described above is applied to various electronic devices such as an imaging system such as a digital still camera and a digital video camera, a mobile phone having an imaging function, or other devices having an imaging function. can do.
  • FIG. 10 is a block diagram illustrating a configuration example of an imaging device mounted on an electronic device.
  • the imaging apparatus 101 includes an optical system 102, an imaging element 103, a signal processing circuit 104, a monitor 105, and a memory 106, and can capture still images and moving images.
  • the optical system 102 includes one or more lenses, guides image light (incident light) from a subject to the image sensor 103, and forms an image on a light receiving surface (pixel array unit) of the image sensor 103. .
  • the above-described image sensor 11 is applied.
  • the image sensor 103 electrons are accumulated for a certain period according to an image formed on the light receiving surface via the optical system 102. Then, a signal corresponding to the electrons accumulated in the image sensor 103 is supplied to the signal processing circuit 104.
  • the signal processing circuit 104 performs various signal processing on the pixel signal output from the image sensor 103.
  • An image (image data) obtained by performing signal processing by the signal processing circuit 104 is supplied to the monitor 105 and displayed, or supplied to the memory 106 and stored (recorded).
  • the imaging apparatus 101 by applying the imaging element 11 described above, for example, it is possible to capture an image that has been subjected to high-speed inter-pixel image processing with lower delay.
  • FIG. 11 is a diagram illustrating a usage example in which the above-described image sensor (imaging device 11) is used.
  • the image sensor described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-ray as follows.
  • Devices for taking images for viewing such as digital cameras and mobile devices with camera functions
  • Devices used for traffic such as in-vehicle sensors that capture the back, surroundings, and interiors of vehicles, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles, etc.
  • Equipment used for home appliances such as TVs, refrigerators, air conditioners, etc. to take pictures and operate the equipment according to the gestures ⁇ Endoscopes, equipment that performs blood vessel photography by receiving infrared light, etc.
  • Equipment used for medical and health care ⁇ Security equipment such as security surveillance cameras and personal authentication cameras ⁇ Skin measuring instrument for photographing skin and scalp photography Such as a microscope to do beauty Equipment used for sports-Equipment used for sports such as action cameras and wearable cameras for sports applications-Used for agriculture such as cameras for monitoring the condition of fields and crops apparatus
  • a pixel array unit in which pixels having a photoelectric conversion function are arranged in an array;
  • An AD conversion unit that performs AD (Analog-to-digital) conversion processing of pixel signals output from the pixels in parallel for each column of the pixels of the pixel array unit;
  • a memory unit that holds the pixel signals AD-converted in the AD conversion unit for an arbitrary number of rows for each column of the pixels;
  • An inter-pixel image processing unit that reads out pixel signals of arbitrary rows and columns from the memory unit, and performs an operation between these pixel signals in parallel for each column of the pixels;
  • An imaging device comprising: a pixel signal output from the AD conversion unit; and an output circuit that controls output of the pixel signal output from the inter-pixel image processing unit to the outside.
  • the inter-pixel image processing unit A pixel selection circuit that selects a pixel signal to be subjected to inter-pixel image processing from among the pixel signals held in the memory unit; A computing unit for computing pixel signals selected by the pixel selection circuit; A working memory that temporarily holds a pixel signal that has been subjected to computation by the computing unit; An output circuit unit that outputs a pixel signal that has been subjected to computation by the computing unit;
  • the arithmetic unit is arranged in parallel for each column of pixels in the pixel array unit, and has a SIMD (Single Instruction / Multiple Data) type parallel arithmetic function. Any one of (1) to (3) The imaging device described.
  • the output circuit outputs the pixel signal output from the AD conversion unit and the pixel signal output from the inter-pixel image processing unit simultaneously, outputs them individually, or alternately
  • the imaging device according to any one of (1) to (4).
  • a gradation conversion unit that performs gradation conversion processing based on an arbitrary threshold in parallel for each column for the pixel signal that has undergone the inter-pixel image processing in the inter-pixel image processing unit;
  • a frame memory unit that holds pixel signals for one frame that has undergone gradation conversion processing by the gradation conversion unit;
  • An inter-frame image processing unit that performs image processing between frames using an image based on the pixel signal output from the gradation conversion unit and an image based on the pixel signal of the previous frame held in the frame memory unit
  • the imaging device according to any one of (1) to (5), further including: (7) Pixel readout processing for reading out pixel signals from the pixel array unit to the AD conversion unit, AD conversion processing of pixel signals by the AD conversion unit, inter-pixel image processing by the inter
  • the AD conversion unit and the gradation conversion unit change a gradation according to control by the control circuit, and a variable range in which the gradation is changed in the AD conversion unit is variable to change a gradation in the gradation conversion unit.
  • the imaging device according to (7) which is not less than a range.
  • the inter-frame image processing unit A pixel selection circuit that selects a pixel signal to be subjected to inter-frame image processing from among the pixel signals held in the frame memory unit; A computing unit for computing pixel signals selected by the pixel selection circuit; A working memory that temporarily holds a pixel signal that has been subjected to computation by the computing unit; An output circuit unit that outputs a pixel signal that has been subjected to computation by the computing unit;
  • the arithmetic unit is arranged in parallel for each column of pixels in the pixel array unit, and has a SIMD (Single Instruction / Multiple Data) type parallel arithmetic function. Any one of (6) to (8) The imaging device described.
  • the output circuit simultaneously outputs a pixel signal output from the AD converter, a pixel signal output from the inter-pixel image processing unit, and a pixel signal output from the inter-frame image processing unit.
  • the image pickup device according to any one of (6) to (9), wherein these can be individually output or they can be alternately output.
  • a plurality of the AD conversion units are provided so as to be arranged in parallel with the two opposite sides of the pixel array unit, The memory unit and the inter-pixel image processing unit are provided for the output of any one of the plurality of AD conversion units, The imaging device according to any one of (1) to (10), wherein outputs of the plurality of AD conversion units are connected to the output circuit.
  • Pixel readout processing for reading out pixel signals from the pixel array unit to the AD conversion unit, AD conversion processing of pixel signals by the plurality of AD conversion units, inter-pixel image processing by the inter-pixel image processing unit, and the AD conversion unit
  • the image pickup device further comprising: a control circuit that operates data output processing for outputting data from the inter-pixel image processing in parallel.
  • the AD conversion unit that is not provided with the memory unit and the inter-pixel image processing unit is configured to perform AD conversion of pixel signals for one row with a first gradation.
  • the AD converter provided with the memory unit and the inter-pixel image processing unit for the output outputs a pixel signal for one row to a second floor smaller than the first gradation.
  • the image pickup device according to (11) or (12), wherein AD conversion is performed using a key.
  • the output circuit outputs the pixel signals output from the plurality of AD conversion units and the pixel signals output from the inter-pixel image processing unit simultaneously, and outputs them individually, or The imaging device according to any one of (11) to (13).
  • the analog part including at least the pixel array part and the part for processing the AD-converted pixel signal are provided in different chips, and the chips are configured in a stacked structure.
  • the imaging device according to any one of the above.
  • (16) The image pickup device according to (15), wherein the plurality of chips are connected in parallel by a joining means using a through electrode or a bump.
  • a pixel array unit in which pixels having a photoelectric conversion function are arranged in an array;
  • An AD conversion unit that performs AD (Analog-to-digital) conversion processing of pixel signals output from the pixels in parallel for each column of the pixels of the pixel array unit;
  • a memory unit that holds the pixel signals AD-converted in the AD conversion unit for an arbitrary number of rows for each column of the pixels;
  • An inter-pixel image processing unit that reads out pixel signals of arbitrary rows and columns from the memory unit, and performs an operation between these pixel signals in parallel for each column of the pixels;
  • An image sensor driving method comprising: a pixel signal output from the AD conversion unit; and an output circuit that controls output of the pixel signal output from the inter-pixel image processing unit to the outside.
  • Pixel readout processing for reading out pixel signals from the pixel array unit to the AD conversion unit, AD conversion processing of pixel signals by the AD conversion unit, inter-pixel image processing by the inter-pixel image processing unit, and the AD conversion unit and the A driving method in which data output processing for outputting data from inter-pixel image processing is operated in parallel.
  • a pixel array unit in which pixels having a photoelectric conversion function are arranged in an array;
  • An AD conversion unit that performs AD (Analog-to-digital) conversion processing of pixel signals output from the pixels in parallel for each column of the pixels of the pixel array unit;
  • a memory unit that holds the pixel signals AD-converted in the AD conversion unit for an arbitrary number of rows for each column of the pixels;
  • An inter-pixel image processing unit that reads out pixel signals of arbitrary rows and columns from the memory unit, and performs an operation between these pixel signals in parallel for each column of the pixels;
  • An electronic apparatus comprising: an imaging device having a pixel signal output from the AD conversion unit and an output circuit that controls output of the pixel signal output from the inter-pixel image processing unit to the outside.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

【課題】より低遅延で高速な画素間画像処理を行う。 【解決手段】撮像素子は、光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、画素アレイ部の画素の列ごとに、画素から出力される画素信号のＡＤ変換処理を並列的に行うＡＤ変換部と、ＡＤ変換部においてＡＤ変換された画素信号を、画素の列ごとに任意の行数分保持するメモリ部と、メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、画素の列ごとに並列的に行う画素間画像処理部と、ＡＤ変換部から出力される画素信号、および、画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路とを備える。本技術は、例えば、CMOSイメージセンサに適用できる。

Description

撮像素子および駆動方法、並びに電子機器
　本開示は、撮像素子および駆動方法、並びに電子機器に関し、特に、より低遅延で高速な画素間画像処理を行うことができるようにした撮像素子および駆動方法、並びに電子機器に関する。
　従来、高速化かつ低遅延で認証や認識などの処理を行うことを目的として、撮像素子の撮像部分と画像処理部分とを一体化し、チップに集積したビジョンチップの研究が進められている。
　例えば、２次元状に行列配置された光電変換機能を有する複数の画素について、１つの画素に対して１つの画像処理回路を配置し、並列的に画像処理を行う撮像装置が知られている。この撮像装置では、高速化かつ低遅延で画像処理を行うことが可能になる。しかしながら、画像処理回路は、一般に、画素サイズよりも大きい面積を占有するため、光電変換を担う画素部分を大きくすることが難しく、十分な感度特性を得ることは困難であった。また、画像処理回路および画素からなる１単位画素分の面積が大きくなるため、画素数を多くすることも困難である。
　そこで、特許文献１には、１列のセンサについて、１つのプロセッサエレメントを対応させる構成を採用するパターン信号処理用ＬＳＩ（Large-Scale Integration）が開示されている。この構成を採用することで、例えば、画素に対する画像処理回路の必要数量を低減させることができ、上述したような画素サイズおよび画素数についての制限を緩和することができる。
特公平７－６２８６６号公報
　ところで、上述した特許文献１で開示されている技術は、画素の出力を直接的にマルチプレクサにより選択して信号処理を行う構成となっている。このため、この構成では、号処理を行う都度、処理に必要な画素出力を走査および選択した後に、１行分の信号処理を繰り返すことになるため、画像処理に時間を要することになり、処理の高速化を図ることが困難であった。
　本開示は、このような状況に鑑みてなされたものであり、より低遅延で高速な画素間画像処理を行うことができるようにするものである。
　本開示の一側面の撮像素子は、光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ（Analog-to-digital）変換処理を並列的に行うＡＤ変換部と、前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路とを備える。
　本開示の一側面の駆動方法は、光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ変換処理を並列的に行うＡＤ変換部と、前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路とを備える撮像素子の駆動方法において、前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させる。
　本開示の一側面の電子機器は、光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ変換処理を並列的に行うＡＤ変換部と、前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路とを有する撮像素子を備える。
　本開示の一側面においては、画素アレイ部には、光電変換機能を有する画素がアレイ状に配置され、ＡＤ変換部では、画素アレイ部の画素の列ごとに、画素から出力される画素信号のＡＤ変換処理を並列的に行われ、メモリ部には、ＡＤ変換部においてＡＤ変換された画素信号が、画素の列ごとに任意の行数分保持され、画素間画像処理部では、メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算が、画素の列ごとに並列的に行われ、出力回路では、ＡＤ変換部から出力される画素信号、および、画素間画像処理部から出力される画素信号の外部への出力が制御される。
　本開示の一側面によれば、より低遅延で高速な画素間画像処理を行うことができる。
本技術を適用した撮像素子の第１の実施の形態の構成例を示すブロック図である。 撮像素子の動作タイミングチャートを示す図である。 画素間画像処理回路の構成例を示すブロック図である。 出力制御の一例を示す図である。 撮像素子の第２の実施の形態の構成例を示すブロック図である。 撮像素子の第３の実施の形態の構成例を示すブロック図である。 出力制御の一例を示す図である。 撮像素子の第４の実施の形態の構成例を示すブロック図である。 撮像素子の第５の実施の形態の構成例を示すブロック図である。 撮像装置の構成例を示すブロック図である。 イメージセンサを使用する使用例を示す図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜撮像素子の第１の構成例＞
　図１は、本技術を適用した撮像素子の第１の実施の形態の構成例を示すブロック図である。
　図１に示すように、撮像素子１１は、画素アレイ部１２、垂直走査回路１３、列並列ＡＤ（Analog-to-digital）変換部１４、列並列メモリ部１５、列並列画素間画像処理部１６、制御回路１７、および出力回路１８を備えて構成される。例えば、撮像素子１１は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサである。また、図１に示す構成例では、撮像素子１１は、ある画素３１と、その画素３１を中心として上下方向および左右方向に隣接する他の４つの画素３１との間で画素間画像処理を行うことができる。
　画素アレイ部１２は、図示しない光学系により集光される光を受光する受光面である。
画素アレイ部１２には、複数の画素３１が２次元状に行列配置されており、それぞれの画素３１は、行制御線３２を介して行ごとに垂直走査回路１３に接続されるとともに、列信号線３３を介して列ごとに列並列ＡＤ変換部１４に接続される。複数の画素３１は、それぞれ光電変換機能を有しており、受光する光の光量に応じたレベルの画素信号を出力し、それらの画素信号から、画素アレイ部１２に結像する被写体の画像が構築される。
　垂直走査回路１３は、画素アレイ部１２に配置される複数の画素３１の行ごとに順次、それぞれの画素３１を駆動するための各種の駆動信号を、行制御線３２を介して画素３１に供給して、画素３１の行ごとに画素信号の読み出しを制御する。
　列並列ＡＤ変換部１４は、複数の画素３１から列信号線３３を介して出力される画素信号に対してCDS(Correlated Double Sampling：相関２重サンプリング)処理を施すことにより、画素信号のＡＤ変換を行うとともにリセットノイズを除去する。即ち、列並列ＡＤ変換部１４は、画素３１の列数に応じて配置される複数のＡＤ変換部３４を有して構成され、それぞれのＡＤ変換部３４において画素信号を並列的にＡＤ変換したデジタル信号を出力する。また、列並列ＡＤ変換部１４から出力される画素信号は、列並列メモリ部１５に供給されるとともに、バス１９を介して出力回路１８に供給される。
　なお、列並列ＡＤ変換部１４は、様々な回路構成を適用することができ、例えば、スロープ型のＡＤ変換回路をベースとした構成を適用した場合、電流源の制御により容易にＡＤ変換時の階調可変を実現することができるため好適である。例えば、列並列ＡＤ変換部１４は、制御回路１７による制御に従って、画素３１から出力される画素信号をＡＤ変換する際の階調可変を、画像処理の内容に応じた適切な階調となるように選択することができる。例えば、列並列ＡＤ変換部１４により階調を減らすことにより、撮像素子１１は、更なる高速画像処理を実現することができる。具体的には、撮像素子１１において、通常撮像時に１２ビットでＡＤ変換を行うのに対し、画像処理時には４ビットとすることで、スロープ型のＡＤ変換時間は１／２５６となり、ＡＤ変換時間の大幅な短縮が可能となる。
　列並列メモリ部１５は、列並列ＡＤ変換部１４から出力されるデジタルの画素信号を任意の行数分保持する。例えば、列並列メモリ部１５は、１画素分の画素信号を保持することができるメモリ回路３５が、画素３１の列ごとに、任意の行数に応じた個数で配置されて構成される。例えば、図１に示すように、撮像素子１１が、ある画素３１と、その画素３１を中心として上下方向および左右方向に隣接する他の４つの画素３１との間で画素間画像処理を行う構成の場合、列並列メモリ部１５は、画素３１の列ごとに３行分のメモリ回路３５－１乃至３５－３を有して構成される。
　列並列画素間画像処理部１６は、任意の列並列画素間演算を並列的に行うことができる。例えば、列並列画素間画像処理部１６は、画素３１の列数に応じて配置される複数の画素間画像処理回路３６を有して構成され、列並列画素間画像処理部１６は、列並列メモリ部１５の複数の任意の行および列のメモリ回路３５に接続されている。従って、列並列画素間画像処理部１６は、画素３１の列ごとの画素間画像処理回路３６が並列的に画素間画像処理を行うことで、複数の任意の行および列の画素３１どうしの間の画像処理を行うことができる。
　例えば、図１に示すように、撮像素子１１が、ある画素３１と、その画素３１を中心として上下方向および左右方向に隣接する他の４つの画素３１との間で画素間画像処理を行う構成の場合、列並列画素間画像処理部１６は、自身が配置された列のメモリ回路３５－１乃至３５－３と、その左右の列に配置された２つのメモリ回路３５－２が接続される。そして、列並列画素間画像処理部１６は、自身が配置された列のメモリ回路３５－２を中心として、上下方向および左右方向に隣接する他の４つのメモリ回路３５との間で、画素間画像処理を行うことができる。また、列並列画素間画像処理部１６において画素間画像処理が施された画素信号は、バス２０を介して出力回路１８に供給される。
　制御回路１７は、画素アレイ部１２、列並列ＡＤ変換部１４、列並列メモリ部１５、および列並列画素間画像処理部１６に対する制御を行う。
　出力回路１８は、バス１９を介して列並列ＡＤ変換部１４から供給される画素信号、および、バス２０を介して列並列画素間画像処理部１６から供給される画素信号のチップ外部への出力を制御する。出力回路１８は、例えば、垂直走査回路１３および制御回路１７と連携して、列並列ＡＤ変換部１４から供給される画素信号、および、列並列画素間画像処理部１６から供給される画素信号について、それらを同時に出力したり、それらを個別に出力したり、または、それらを交互に出力したりするなど、任意に制御することができる。
　以上のように撮像素子１１は構成されており、列並列ＡＤ変換部１４および列並列画素間画像処理部１６を並列動作させることができ、高速かつ低遅延の画素間画像処理を実現することができる。
　なお、図１の撮像素子１１においては、列並列メモリ部１５は、画素３１の列ごとに３行分のメモリ回路３５－１乃至３５－３を有し、それぞれを必要な範囲の画素間画像処理回路３６に接続する構成となっている。これに対し、撮像素子１１は、更に広範囲の画素間画像処理が必要な場合や、ベイヤ配列でカラーフィルタが配列され、同色の画素間画像処理が必要な場合には、メモリ回路３５の行数と画素間画像処理回路３６との接続を増やすことができる。これにより、撮像素子１１は、必要に応じて適切なメモリ規模と接続構成で画素間画像処理を実現することができる。
　また、撮像素子１１においては、メモリ回路３５は、行数だけでなく列方向にも自由度があり、例えば、列を間引くことにより、画素間画像処理回路３６との接続を増やさずに広範囲の画素間画像処理を実現することができる。また、単に遠方の画素間処理を必要とする場合には、メモリ回路３５を増加させるのではなく、画素３１の読み出し自体を、任意に間引きまたは加算することにより実現することができる。
　なお、メモリ回路３５は、SRAM（Static Random Access Memory）やDRAM（Dynamic Random Access Memory）のような汎用メモリを用いることも可能であるが、列並列の入出力制御が必要となるため、制御の簡単なフリップフロップ回路で構成することも可能である。
　図２は、撮像素子１１の動作タイミングチャートを示す図である。
　図２に示すように、撮像素子１１は、画素アレイ部１２から列並列ＡＤ変換部１４へ画素信号を読み出す画素読み出し処理、列並列ＡＤ変換部１４による画素信号のＡＤ変換処理、列並列ＡＤ変換部１４および列並列画素間画像処理部１６からデータを出力するデータ出力処理、および、列並列画素間画像処理部１６による画素間画像処理を並行動作させることができる。このように、撮像素子１１は、制御回路１７による制御に従って、画素読み出し処理、ＡＤ変換処理、データ出力処理、および画素間画像処理が並行動作するように、それぞれの処理が実行されることにより、撮像の高速性を実現することができる。
　即ち、撮像素子１１は、列並列メモリ部１５を介して、列並列ＡＤ変換部１４および列並列画素間画像処理部１６を並行動作させることができる。これにより、撮像素子１１は、列並列ＡＤ変換部１４によるＡＤ変換処理と同程度の高速な処理速度を維持したまま、列並列画素間画像処理部１６による画素間画像処理を実行することができる。即ち、撮像素子１１は、列並列画素間画像処理部１６により、列並列ＡＤ変換部１４によるＡＤ変換処理と並行動作を実現する行処理時間の程度に極めて遅延の少ない、高速かつ低遅延の画素間画像処理を実現することができる。
　なお、撮像素子１１において、列並列画素間画像処理部１６による画素間画像処理が不要な場合は、列並列画素間画像処理部１６をスタンバイまたは電源遮断することによって、列並列ＡＤ変換部１４を有する従来の撮像装置と同等の機能を備えることができる。
　また、撮像素子１１の実際の動作速度は、図２のタイミングチャートで示すように、並行動作する各並列処理に依存する。例えば、撮像素子１１において４ビットで各処理を行う場合、画素アレイ部１２から画素信号を読み出す画素読み出し処理を支配するセトリング時間についても、４ビット分の精度で規定することにより大幅な短縮を図ることができる。即ち、この場合、必要時間精度を２５６倍も緩和することができる。同様に、出力回路１８からデータを出力するデータ出力処理についても、４ビット分にデータ量が減ることにより１／２５６となり、列並列画素間画像処理部１６による画素間画像処理についても、ビット単位の演算が４ビットとなることにより１／３となる。このように、撮像素子１１は、全ての処理で並列処理時間を短縮することができ、センサ動作と画像処理の高速化を実現することができる。
　さらに、撮像素子１１は、画像処理時に階調を減らすことにより、メモリ回路３５や画素間画像処理回路３６の回路規模を小さくすることも可能となる。
　図３は、図１の画素間画像処理回路３６の構成例を示すブロック図である。
　図３に示すように、画素間画像処理回路３６は、ビット選択回路部４１、画素選択回路部４２、演算選択回路部４３、演算器４４、けた上がり制御部４５、出力回路部４６、作業用メモリ部４７、作業用メモリ内部選択回路４８、および作業用メモリ外部選択回路４９を備えて構成される。
　ビット選択回路部４１は、複数の画素信号の任意のビットを選択する。図３に示す構成例では、ビット選択回路部４１は、５個の選択器５１－１乃至５１－５を有して構成される。例えば、ビット選択回路部４１には、同一の列に配置されるメモリ回路３５－１乃至３５－３、および、左右の列に配置されている２つのメモリ回路３５－２の、合計５個のメモリ回路３５が接続されている。従って、ビット選択回路部４１は、５個の選択器５１－１乃至５１－５により、それぞれ接続されているメモリ回路３５に保持されている画素信号の任意のビットを選択する。
　画素選択回路部４２は、任意の画素信号を選択する。図３に示す構成例では、画素選択回路部４２は、２個の選択器５２－１および５２－２を有して構成される。選択器５２－１は、例えば、ビット選択回路部４１を介して供給される５つの画素信号の中から任意の画素信号を選択して出力し、選択器５２－２は、例えば、選択器５２－１により選択された画素信号との間で演算を行う対象となる画素信号を選択して出力する。
　演算選択回路部４３は、演算器４４に供給する画素信号を、画素選択回路部４２から入力される画素信号、作業用メモリ内部選択回路４８から入力される画素信号、図示しない他の画素間画像処理回路３６から入力される画素信号、および、外部から直接的に入力される画素信号から選択する。図３に示す構成例では、演算選択回路部４３は、２個の選択器５３－１および５３－２を有して構成される。
　選択器５３－１は、画素選択回路部４２の選択器５２－１により選択された画素信号、作業用メモリ内部選択回路４８の選択器５４－１により選択された画素信号、図示しない他の画素間画像処理回路３６から入力される画素信号、および、外部から直接的に入力される画素信号のいずれかを選択して、演算器４４に供給する。同様に、選択器５３－２は、画素選択回路部４２の選択器５２－２により選択された画素信号、作業用メモリ内部選択回路４８の選択器５４－２により選択された画素信号、図示しない他の画素間画像処理回路３６から入力される画素信号、および、外部から直接的に入力される画素信号のいずれかを選択して、演算器４４に供給する。
　演算器４４は、演算選択回路部４３から供給される２つの画素信号を用いて、それらの画素信号どうしの演算を行って出力する。
　けた上がり制御部４５は、演算器４４が演算を行う際に、けた上がり制御を行う。
　出力回路部４６は、演算器４４から出力される画素信号を一時的に保持することで、演算と出力との並列動作を可能とする。
　作業用メモリ部４７は、演算器４４から出力される画素信号を用いた演算を再度行う際に、その画素信号を用いることができるように一時的に保持する。
　作業用メモリ内部選択回路４８は、画素間画像処理回路３６の内部における演算用に、作業用メモリ部４７に保持されている画素信号を選択して出力する。図３に示す構成例では、作業用メモリ内部選択回路４８は、２個の選択器５４－１および５４－２を有して構成される。選択器５４－１は、選択した画素信号を演算選択回路部４３の選択器５３－１に供給し、選択器５４－２は、選択した画素信号を演算選択回路部４３の選択器５３－２に供給する。
　作業用メモリ外部選択回路４９は、図示しない他の画素間画像処理回路３６との間の演算用に、作業用メモリ部４７に保持されている画素信号を選択して出力する。図３に示す構成例では、作業用メモリ外部選択回路４９は、２個の選択器５５－１および５５－２を有して構成される。選択器５５－１は、選択した画素信号を、図示しない他の画素間画像処理回路３６の演算選択回路部４３の選択器５３－１に供給し、選択器５４－２は、選択した画素信号を、図示しない他の画素間画像処理回路３６の演算選択回路部４３の選択器５３－２に供給する。
　列並列画素間画像処理部１６は、このように構成される複数の画素間画像処理回路３６を有して構成され、列並列メモリ部１５との接続構成により、任意の１次元または２次元の画素間画像処理を行うことができる。例えば、列並列画素間画像処理部１６は、平滑化やエッジ抽出のような任意のたたみ込み演算処理や、コーナー抽出のような特徴量抽出を行うことができる。
　また、図１に示す構成例の撮像素子１１は、ある画素３１と、その画素３１を中心として上下方向および左右方向に隣接する他の４つの画素３１を用いた画素間画像処理を行うことを前提としている。従って、ビット選択回路部４１は、５個の選択器５１－１乃至５１－５を有する構成となっているが、必要に応じて列並列ＡＤ変換部１４と対応する形で、ビット選択回路部４１が有する選択器５１の個数を増加させることができる。これにより、撮像素子１１は、さらに広範囲の近接画素間画像処理を行うことができる。
　また、演算器４４については、ビットシリアルの２入力演算となるため、加算器と論理演算回路からなる簡易な基本構成とすることができる。例えば、演算器４４は、高速の並列処理に好適なSIMD（Single Instruction/Multiple Data）型の並列演算機能を備えることができる。
　図４に示すタイミングチャートを参照して、撮像素子１１の出力制御の一例について説明する。
　図４に示すように、撮像素子１１は、１２０ｆｐｓ（Frames Per Second）による通常速度による画像の出力と、９６０ｆｐｓの高速度による画像の出力とを交互に行うことができる。即ち、出力回路１８は、列並列ＡＤ変換部１４から出力される画素信号を１２０ｆｐｓで出力する出力制御と、列並列画素間画像処理部１６から出力される画素信号を９６０ｆｐｓで出力する出力制御とを交互に行う。これにより、撮像素子１１は、６０ｆｐｓ相当の通常の画像を連続的に出力しながら、その間に９６０ｆｐｓで高速画像処理された画像の出力をバックグランド的に行うことができる。
　また、出力回路１８は、列並列ＡＤ変換部１４および列並列画素間画像処理部１６それぞれの出力の全部または一部を用いて、例えば、モーメント演算やヒストグラム処理のような積算的または統計的な処理を随時行うことができる。そして、撮像素子１１は、それらの処理が施された画素信号を出力することができる。
　以上のように、撮像素子１１は、列並列画素間画像処理部１６の前段に、列並列ＡＤ変換部１４および列並列メモリ部１５を備える構成とすることで、列並列ＡＤ変換部１４の出力と列並列画素間画像処理部１６の出力とを並列的に行わせることができる。これにより、撮像素子１１は、画素アレイ部１２および列並列ＡＤ変換部１４に制約を与えない利点を維持しながら、従来の列並列画像処理では不可能であった低遅延かつ高速な画素間画像処理を実現することができる。
　＜撮像素子の第２の構成例＞
　図５は、撮像素子の第２の構成例を示すブロック図である。なお、図５に示す撮像素子１１Ａにおいて、図１の撮像素子１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。
　即ち、図５に示すように、撮像素子１１Ａは、画素アレイ部１２、垂直走査回路１３、列並列ＡＤ変換部１４、列並列メモリ部１５、列並列画素間画像処理部１６、制御回路１７、および出力回路１８を備える点で、図１の撮像素子１１と共通する。
　そして、撮像素子１１Ａは、列並列階調変換部２１、フレームメモリ部２２、および列並列フレーム間画像処理部２３を、さらに備えて構成される。
　列並列階調変換部２１は、列並列画素間画像処理部１６において列並列画素間画像処理が施された画素信号に対して、列ごとに並列的に、任意の閾値に基づいた階調変換処理を施すことができる。即ち、列並列階調変換部２１は、画素３１の列数に応じて配置される複数の階調変換回路３７を有して構成され、階調変換回路３７は、それぞれ対応する列の画素間画像処理回路３６から出力される画素信号を階調変換して出力する。
　また、列並列階調変換部２１は、制御回路１７による制御に従って、画素信号の階調を変更する際の階調を変更することができる。このとき、列並列ＡＤ変換部１４において階調を変更する可変範囲が、列並列階調変換部２１において階調を変更する可変範囲以上に設定されている。
　フレームメモリ部２２は、列並列階調変換部２１において階調変換して出力される画素信号の１フレーム分を保持する。
　列並列フレーム間画像処理部２３は、列並列階調変換部２１から出力される画素信号に基づく画像と、フレームメモリ部２２に保持されている１フレーム前の画素信号に基づく画像とを用いて、フレーム間の画像処理を行う。即ち、列並列フレーム間画像処理部２３は、画素３１の列数に応じて配置される複数のフレーム間画像処理回路３８を有して構成され、フレーム間画像処理回路３８は、現在のフレームの画像と、１フレーム前の画像との間の信号処理を列並列的に行う。このようなフレーム間の画像処理を行うことにより、列並列フレーム間画像処理部２３は、例えば、フレーム間における被写体の動きの検出を行うことができる。
　このように構成される撮像素子１１Ａは、図１の撮像素子１１と同様に、制御回路１７は、画素読み出し処理、ＡＤ変換処理、データ出力処理、並びに、画素間画像処理を並列動作させることができるのに加えて、列並列フレーム間画像処理部２３によるフレーム間画像処理も並列動作させることができる。即ち、撮像素子１１Ａは、フレームメモリ部２２を介して、列並列フレーム間画像処理部２３によるフレーム間画像処理を、列並列ＡＤ変換部１４のＡＤ変換処理（図２）と並列動作させることができる。これにより、撮像素子１１Ａは、高速かつ低遅延で、画素間画像処理およびフレーム間画像処理を行うことができる。
　さらに、撮像素子１１Ａは、列並列画素間画像処理部１６によりノイズ除去等の適切なフィルタ前処理を施した画像を用いて、列並列フレーム間画像処理部２３によりフレーム間画像処理を行うことができる。このため、撮像素子１１Ａは、誤認識の発生を抑制して、より高精度のフレーム間画像処理を実現することができる。
　さらに、撮像素子１１Ａは、図１の撮像素子１１と同様に、列並列フレーム間画像処理部２３によるフレーム間画像処理が不要な場合は、列並列フレーム間画像処理部２３をスタンバイまたは電源遮断することによって、従来の撮像装置と同等に扱うことができる。
　また、撮像素子１１Ａでは、列並列階調変換部２１が、列並列フレーム間画像処理部２３のフレーム間画像処理で必要な範囲に階調を削減する。その後、撮像素子１１Ａでは、フレームメモリ部２２に保持された１フレーム前の階調が削減された画素信号と、現在のフレームの階調が削減された画素信号とを用いて、列並列フレーム間画像処理部２３がフレーム間画像処理を行う。このような処理により、撮像素子１１Ａは、フレームメモリ部２２を最低限の容量の構成として、フレーム間画像処理を実現することができる。
　ここで、フレームメモリ部２２は、フリップフロップ回路でも構成することも可能である。しかしながら、フレームメモリ部２２は、図１の撮像素子１１の列並列メモリ部１５よりも容量が大きくなるため、SRAMやDRAMなどのような汎用メモリにより構成することが好ましい。そして、フレームメモリ部２２は、列並列処理において一時的な作業用に必要な最低限の容量を、フリップフロップ回路で構成することが現実的である。
　また、フレーム間画像処理回路３８は、図３を参照して説明した画素間画像処理回路３６と同様の構成を採用することができる。なお、フレーム間画像処理回路３８が、フレーム間における被写体の動きの有無を検出のような単純な処理に特化する場合、論理演算回路を基本とした簡易な構成とすることができる。
　また、撮像素子１１Ａでは、列並列フレーム間画像処理部２３がバス２４を介して出力回路１８に接続される構成となっている。従って、出力回路１８は、例えば、垂直走査回路１３および制御回路１７と連携して、列並列ＡＤ変換部１４から供給される画素信号、列並列画素間画像処理部１６から供給される画素信号、および、列並列フレーム間画像処理部２３から出力される画素信号について、それらを同時に出力したり、それらを個別に出力したり、または、それらを交互に出力したりするなど、任意に制御することができる。
　以上のように、撮像素子１１Ａは、図１の撮像素子１１の構成に追加して、列並列画素間画像処理部１６の後段に、列並列階調変換部２１、フレームメモリ部２２、および列並列フレーム間画像処理部２３を設ける構成となっている。これにより、撮像素子１１Ａは、画素間画像処理に加えて、高速かつ低遅延のフレーム間画像処理を最低限のメモリ量で実現することができる。さらに、撮像素子１１Ａは、通常の撮像も可能としながら、階調を減らした際には、さらなる高速な列並列画像処理を実現することができる。
　＜撮像素子の第３の構成例＞
　図６は、撮像素子の第３の構成例を示すブロック図である。なお、図６に示す撮像素子１１Ｂにおいて、図１の撮像素子１１と共通する構成については同一の符号を付し、その詳細な説明は省略する。
　即ち、図６に示すように、撮像素子１１Ｂは、画素アレイ部１２、垂直走査回路１３、列並列メモリ部１５、列並列画素間画像処理部１６、制御回路１７、および出力回路１８を備える点で、図１の撮像素子１１と共通する。
　そして、撮像素子１１Ｂは、画素アレイ部１２の垂直方向の下方に列並列ＡＤ変換部１４－１が配置されるとともに、画素アレイ部１２の垂直方向の上方に列並列ＡＤ変換部１４－２が配置される構成となっている。そして、撮像素子１１Ｂは、例えば、画素アレイ部１２の奇数行の画素３１は、列信号線３３－１を介して列並列ＡＤ変換部１４－１に接続され、画素アレイ部１２の偶数行の画素３１は、列信号線３３－２を介して列並列ＡＤ変換部１４－２に接続されている。
　列並列ＡＤ変換部１４－１は、画素アレイ部１２の奇数行の画素３１に応じた個数のＡＤ変換部３４－１を有して構成され、それぞれのＡＤ変換部３４－１において画素信号を並列的にＡＤ変換したデジタル信号を、バス１９を介して出力回路１８に供給する。
　列並列ＡＤ変換部１４－２は、画素アレイ部１２の偶数行の画素３１に応じた個数のＡＤ変換部３４－２を有して構成され、それぞれのＡＤ変換部３４－２において画素信号を並列的にＡＤ変換したデジタル信号を、バス２５を介して出力回路１８に供給する。列並列ＡＤ変換部１４－１および列並列ＡＤ変換部１４－２は、それぞれ同等の性能を備えることが好ましい。
　また、撮像素子１１Ｂでは、列並列ＡＤ変換部１４－２が、１行分の画素信号を第１の階調でＡＤ変換している間に、列並列ＡＤ変換部１４－１が、１行分の画素信号を第１の階調よりも小さな第２の階調でＡＤ変換するように構成されている。
　このように、撮像素子１１Ｂは、画素アレイ部１２に対して向かい合うように列並列ＡＤ変換部１４－１および列並列ＡＤ変換部１４－２が配置された構成となっている。なお、例えば、画素アレイ部１２に対して同じ側に、列並列ＡＤ変換部１４－１および列並列ＡＤ変換部１４－２が配置されるような構成としてもよく、この場合、バス２５の引き回しを短縮することができる。
　また、出力回路１８は、列並列ＡＤ変換部１４－１および１４－２並びに列並列画素間画像処理部１６それぞれの出力の全部または一部を用いて、例えば、モーメント演算やヒストグラム処理のような積算的または統計的な処理を随時行うことができる。そして、撮像素子１１Ｂは、それらの処理が施された画素信号を出力することができる。
　以上のように構成される撮像素子１１Ｂにおいて、図１の撮像素子１１と同様に、制御回路１７は、画素読み出し処理、列並列ＡＤ変換部１４－１および１４－２によるＡＤ変換処理、データ出力処理、並びに、画素間画像処理を並列動作させることができる。これにより、出力回路１８は、例えば、垂直走査回路１３および制御回路１７と連携して、列並列ＡＤ変換部１４－１および１４－２から供給される画素信号、列並列画素間画像処理部１６から供給される画素信号、および、列並列フレーム間画像処理部２３から出力される画素信号について、それらを同時に出力したり、それらを個別に出力したり、または、それらを交互に出力したりするなど、任意に制御することができる。
　図７に示すタイミングチャートを参照して、撮像素子１１Ｂの出力制御の一例について説明する。
　図７に示すように、撮像素子１１Ｂは、６０ｆｐｓによる通常速度による画像の出力と、９６０ｆｐｓの高速度による画像の出力とを、同時並行に行うことができる。即ち、出力回路１８は、列並列ＡＤ変換部１４－２から出力される画素信号を６０ｆｐｓで出力する出力制御と、列並列ＡＤ変換部１４－１を介して列並列画素間画像処理部１６から出力される画素信号を９６０ｆｐｓで出力する出力制御とを同時に行う。
　また、撮像素子１１Ｂは、例えば、列並列画素間画像処理部１６による画像処理を行わない場合には、６０ｆｐｓ相当の通常の画像を連続的に出力することができる。そして、列並列画素間画像処理部１６による画像処理を行う場合には、６０ｆｐｓ相当の通常の画像の出力と同時並行的に、９６０ｆｐｓで高速画像処理された画像の出力を行うことができる。
　なお、撮像素子１１Ｂは、列並列ＡＤ変換部１４－２の出力側に、列並列ＡＤ変換部１４－１の出力側と同様に、列並列メモリ部１５および列並列画素間画像処理部１６と等価なブロックを配置する構成とすることも可能である。撮像素子１１Ｂに、この構成を採用することで、回路面積が大きくなるものの、さらなる画像処理の高速化を実現することができる。
　さらに、撮像素子１１Ｂは、列並列的に処理を行うブロックを縦列多段等に配置して増加することにより、回路面積および消費電力がトレードオフであるが、さらなる画像処理の高速化が可能である。
　＜撮像素子の第４の構成例＞
　図８は、撮像素子の第４の構成例を示すブロック図である。なお、図８に示す撮像素子１１Ｃにおいて、図５の撮像素子１１Ａおよび図６の撮像素子１１Ｂと共通する構成については同一の符号を付し、その詳細な説明は省略する。
　即ち、図８に示すように、撮像素子１１Ｃは、図５の撮像素子１１Ａおよび図６の撮像素子１１Ｂそれぞれの構成を備えている。つまり、撮像素子１１Ｃは、画素アレイ部１２、垂直走査回路１３、列並列ＡＤ変換部１４－１および１４－２、列並列メモリ部１５、列並列画素間画像処理部１６、制御回路１７、出力回路１８、列並列階調変換部２１、フレームメモリ部２２、並びに、列並列フレーム間画像処理部２３を備えて構成される。
　このように構成される撮像素子１１Ｃは、図５の撮像素子１１Ａと同様に、列並列的にフレーム間画像処理を実行することに加え、図６の撮像素子１１Ｂと同様に、６０ｆｐｓによる通常速度による画像の出力と、９６０ｆｐｓの高速度による画像の出力とを、同時並行に行うことができる。
　＜撮像素子の第５の構成例＞
　図９は、撮像素子の第５の構成例を示すブロック図である。なお、図９に示す撮像素子１１Ｄにおいて、図８の撮像素子１１Ｃと共通する構成については同一の符号を付し、その詳細な説明は省略する。
　即ち、撮像素子１１Ｄは、撮像素子１１Ｃと同様に、画素アレイ部１２、垂直走査回路１３、列並列ＡＤ変換部１４－１および１４－２、列並列メモリ部１５、列並列画素間画像処理部１６、制御回路１７、出力回路１８、列並列階調変換部２１、フレームメモリ部２２、並びに、列並列フレーム間画像処理部２３を備えて構成される。
　そして、撮像素子１１Ｄは、２層の半導体チップ６１－１および半導体チップ６１－２が積層された積層構造となっており、半導体チップ６１－１および半導体チップ６１－２の間の配線が、接続部６２により接合される構成となっている。例えば、半導体チップ６１－１には、画素アレイ部１２、垂直走査回路１３、並びに、列並列ＡＤ変換部１４－１および１４－２が配置される。また、半導体チップ６１－２には、列並列メモリ部１５、列並列画素間画像処理部１６、制御回路１７、出力回路１８、列並列階調変換部２１、フレームメモリ部２２、および列並列フレーム間画像処理部２３が配置される。
　このように構成される撮像素子１１Ｄは、列並列回路部分（列並列メモリ部１５、列並列画素間画像処理部１６、制御回路１７、出力回路１８、列並列階調変換部２１、フレームメモリ部２２、および列並列フレーム間画像処理部２３など）が、画素アレイ部１２に対して折り返した積層構造となるような配置されている。これにより、撮像素子１１Ｄは、列並列回路部分が画素アレイ部１２に対して連なる縦長構成に対して、チップサイズを大幅に縮小することができる。
　また、撮像素子１１Ｄは、図示するように、画素アレイ部１２を含む半導体チップ６１－１とは別に、列並列回路部分が半導体チップ６１－２に纏められる構成となっている。これにより、撮像素子１１Ｄは、半導体チップ６１－２において、画素・アナログ技術に依存しない最先端ロジックプロセスを使用することができ、面積効率や信号線の引き回しなどにおいてメリットを備える。
　さらに、撮像素子１１Ｄは、列並列ＡＤ変換部１４－１および１４－２の出力が半導体チップ６１－２に接続される構成となっている。これに対し、例えば、半導体チップ６１－１と半導体チップ６１－２との面積バランスやチッププロセスに応じて、他の出力が半導体チップ６１－２に接続される構成とすることができる。また、撮像素子１１Ｄは、その他の回路配置についても、図９の構成例に限定されることはない。
　また、撮像素子１１Ｄにおいて、接続部６２は、例えば、半田技術を用いたバンプ接合や、半導体プロセスを応用した基板貫通電極などの種々の方法を採用することができ。特定の方法に限定されることはない。
　さらに、撮像素子１１Ｄは、半導体チップ６１－１および半導体チップ６１－２の２チップの積層構造に限定されることはない。例えば、大容量のフレームメモリ部２２を使用する場合などは、DRAMのような大容量メモリに好適なプロセスチップを、半導体チップ６１－１と半導体チップ６１－２の間に挟んで、３チップの積層構造を採用することができる。即ち、撮像素子１１Ｄは、列並列メモリ部１５、列並列画素間画像処理部１６、制御回路１７、出力回路１８、列並列階調変換部２１、および列並列フレーム間画像処理部２３を３層目の半導体チップに配置した構成とすることができる。
　なお、上述したような撮像素子１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
　＜撮像装置の構成例＞
　図１０は、電子機器に搭載される撮像装置の構成例を示すブロック図である。
　図１０に示すように、撮像装置１０１は、光学系１０２、撮像素子１０３、信号処理回路１０４、モニタ１０５、およびメモリ１０６を備えて構成され、静止画像および動画像を撮像可能である。
　光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を撮像素子１０３に導き、撮像素子１０３の受光面（画素アレイ部）に結像させる。
　撮像素子１０３としては、上述した撮像素子１１が適用される。撮像素子１０３には、光学系１０２を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子１０３に蓄積された電子に応じた信号が信号処理回路１０４に供給される。
　信号処理回路１０４は、撮像素子１０３から出力された画素信号に対して各種の信号処理を施す。信号処理回路１０４が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０５に供給されて表示されたり、メモリ１０６に供給されて記憶（記録）されたりする。
　このように構成されている撮像装置１０１では、上述した撮像素子１１を適用することで、例えば、より低遅延で高速な画素間画像処理を施した画像を撮像することができる。
　＜イメージセンサの使用例＞
　図１１は、上述のイメージセンサ（撮像素子１１）を使用する使用例を示す図である。
　上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
　なお、本技術は以下のような構成も取ることができる。
（１）
　光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、
　前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ（Analog-to-digital）変換処理を並列的に行うＡＤ変換部と、
　前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、
　前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、
　前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路と
　を備える撮像素子。
（２）
　前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させる制御回路
　をさらに備える上記（１）に記載の撮像素子。
（３）
　前記ＡＤ変換部は、前記制御回路による制御に従って、前記画素信号をＡＤ変換する際の階調を変更する
　上記（２）に記載の撮像素子。
（４）
　前記画素間画像処理部は、
　　前記メモリ部に保持されている画素信号のうちの、画素間画像処理を行う対象とする画素信号を選択する画素選択回路と、
　　前記画素選択回路により選択された画素信号どうしの演算を行う演算器と、
　　前記演算器による演算が施された画素信号を一時的に保持する作業用メモリと、
　　前記演算器による演算が施された画素信号を出力する出力回路部と
　を有し、
　前記演算器は、前記画素アレイ部における前記画素の列ごとに並列的に配置され、SIMD（Single Instruction/Multiple Data）型の並列演算機能を備える
　上記（１）から（３）までのいずれかに記載の撮像素子。
（５）
　前記出力回路は、前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号について、それらを同時に出力し、それらを個別に出力し、または、それらを交互に出力することができる
　上記（１）から（４）までのいずれかに記載の撮像素子。
（６）
　前記画素間画像処理部において画素間画像処理が施された画素信号に対して、列ごとに並列的に、任意の閾値に基づいた階調変換処理を施す階調変換部と、
　前記階調変換部により階調変換処理が施された１フレーム分の画素信号を保持するフレームメモリ部と、
　前記階調変換部から出力される画素信号に基づく画像と、フレームメモリ部に保持されている１フレーム前の画素信号に基づく画像とを用いて、フレーム間の画像処理を行うフレーム間画像処理部と
　をさらに備える上記（１）から（５）までのいずれかに記載の撮像素子。
（７）
　前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理、並びに、前記フレーム間画像処理部によるフレーム間の画像処理を並行動作させる制御回路
　をさらに備える上記（６）に記載の撮像素子。
（８）
　前記ＡＤ変換部および前記階調変換部は、前記制御回路による制御に従って階調を変更し、前記ＡＤ変換部において階調を変更する可変範囲が、前記階調変換部において階調を変更する可変範囲以上である
　上記（７）に記載の撮像素子。
（９）
　前記フレーム間画像処理部は、
　　前記フレームメモリ部に保持されている画素信号のうちの、フレーム間画像処理を行う対象とする画素信号を選択する画素選択回路と、
　　前記画素選択回路により選択された画素信号どうしの演算を行う演算器と、
　　前記演算器による演算が施された画素信号を一時的に保持する作業用メモリと、
　　前記演算器による演算が施された画素信号を出力する出力回路部と
　を有し、
　前記演算器は、前記画素アレイ部における前記画素の列ごとに並列的に配置され、SIMD（Single Instruction/Multiple Data）型の並列演算機能を備える
　上記（６）から（８）までのいずれかに記載の撮像素子。
（１０）
　前記出力回路は、前記ＡＤ変換部から出力される画素信号、前記画素間画像処理部から出力される画素信号、および、前記フレーム間画像処理部から出力される画素信号について、それらを同時に出力し、それらを個別に出力し、または、それらを交互に出力することができる
　上記（６）から（９）までのいずれかに記載の撮像素子。
（１１）
　前記ＡＤ変換部は、前記画素アレイ部の向かい合う２辺に対して並列に配置されるように複数設けられ、
　複数の前記ＡＤ変換部のうちの、いずれか１つの前記ＡＤ変換部の出力に対して、前記メモリ部および前記画素間画像処理部が設けられており、
　複数の前記ＡＤ変換部それぞれの出力が前記出力回路に接続されている
　上記（１）から（１０）までのいずれかに記載の撮像素子。
（１２）
　前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、複数の前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させる制御回路
　をさらに備える上記（１１）に記載の撮像素子。
（１３）
　複数の前記ＡＤ変換部のうちの、出力に対して前記メモリ部および前記画素間画像処理部が設けられていない前記ＡＤ変換部が、１行分の画素信号を第１の階調でＡＤ変換している間に、出力に対して前記メモリ部および前記画素間画像処理部が設けられている前記ＡＤ変換部が、１行分の画素信号を第１の階調よりも小さな第２の階調でＡＤ変換する
　上記（１１）または（１２）に記載の撮像素子。
（１４）
　前記出力回路は、複数の前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号について、それらを同時に出力し、それらを個別に出力し、または、それらを交互に出力することができる
　上記（１１）から（１３）までのいずれかに記載の撮像素子。
（１５）
　前記画素アレイ部を少なくとも含むアナログ部分と、ＡＤ変換された画素信号に対する処理を行う部分とが異なるチップに設けられ、それらのチップが積層構造で構成される
　上記（１）から（１４）までのいずれかに記載の撮像素子。
（１６）
　複数の前記チップの間が列並列に貫通電極またはバンプによる接合手段により接続される
　上記（１５）に記載の撮像素子。
（１７）
　光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、
　前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ（Analog-to-digital）変換処理を並列的に行うＡＤ変換部と、
　前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、
　前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、
　前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路と
　を備える撮像素子の駆動方法において、
　前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させる
　駆動方法。
（１８）
　光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、
　前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ（Analog-to-digital）変換処理を並列的に行うＡＤ変換部と、
　前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、
　前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、
　前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路と
　を有する撮像素子を備える電子機器。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　１１　撮像素子，　１２　画素アレイ部，　１３　垂直走査回路，　１４　列並列ＡＤ変換部，　１５　列並列メモリ部，　１６　列並列画素間画像処理部，　１７　制御回路，　１８　出力回路，　１９および２０　バス，　２１　列並列階調変換部，　２２　フレームメモリ部，　２３　列並列フレーム間画像処理部，　２４および２５　バス，　３１　画素，　３２　行制御線，　３３　列信号線，　３４　ＡＤ変換部，　３５　メモリ回路，　３６　画素間画像処理回路，　３７　階調変換回路，　３８　フレーム間画像処理回路，　４１　ビット選択回路部，　４２　画素選択回路部，　４３　演算選択回路部，　４４　演算器，　４５　けた上がり制御部，　４６　出力回路部，　４７　作業用メモリ部，　４８　作業用メモリ内部選択回路，　４９　作業用メモリ外部選択回路，　５１乃至５５　選択器，　６１　半導体チップ，　６２　接続部

Claims (18)

  1. 　光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、
    　前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ（Analog-to-digital）変換処理を並列的に行うＡＤ変換部と、
    　前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、
    　前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、
    　前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路と
    　を備える撮像素子。
  2. 　前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させる制御回路
    　をさらに備える請求項１に記載の撮像素子。
  3. 　前記ＡＤ変換部は、前記制御回路による制御に従って、前記画素信号をＡＤ変換する際の階調を変更する
    　請求項２に記載の撮像素子。
  4. 　前記画素間画像処理部は、
    　　前記メモリ部に保持されている画素信号のうちの、画素間画像処理を行う対象とする画素信号を選択する画素選択回路と、
    　　前記画素選択回路により選択された画素信号どうしの演算を行う演算器と、
    　　前記演算器による演算が施された画素信号を一時的に保持する作業用メモリと、
    　　前記演算器による演算が施された画素信号を出力する出力回路部と
    　を有し、
    　前記演算器は、前記画素アレイ部における前記画素の列ごとに並列的に配置され、SIMD（Single Instruction/Multiple Data）型の並列演算機能を備える
    　請求項２に記載の撮像素子。
  5. 　前記出力回路は、前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号について、それらを同時に出力し、それらを個別に出力し、または、それらを交互に出力することができる
    　請求項２に記載の撮像素子。
  6. 　前記画素間画像処理部において画素間画像処理が施された画素信号に対して、列ごとに並列的に、任意の閾値に基づいた階調変換処理を施す階調変換部と、
    　前記階調変換部により階調変換処理が施された１フレーム分の画素信号を保持するフレームメモリ部と、
    　前記階調変換部から出力される画素信号に基づく画像と、フレームメモリ部に保持されている１フレーム前の画素信号に基づく画像とを用いて、フレーム間の画像処理を行うフレーム間画像処理部と
    　をさらに備える請求項１に記載の撮像素子。
  7. 　前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理、並びに、前記フレーム間画像処理部によるフレーム間の画像処理を並行動作させる制御回路
    　をさらに備える請求項６に記載の撮像素子。
  8. 　前記ＡＤ変換部および前記階調変換部は、前記制御回路による制御に従って階調を変更し、前記ＡＤ変換部において階調を変更する可変範囲が、前記階調変換部において階調を変更する可変範囲以上である
    　請求項７に記載の撮像素子。
  9. 　前記フレーム間画像処理部は、
    　　前記フレームメモリ部に保持されている画素信号のうちの、フレーム間画像処理を行う対象とする画素信号を選択する画素選択回路と、
    　　前記画素選択回路により選択された画素信号どうしの演算を行う演算器と、
    　　前記演算器による演算が施された画素信号を一時的に保持する作業用メモリと、
    　　前記演算器による演算が施された画素信号を出力する出力回路部と
    　を有し、
    　前記演算器は、前記画素アレイ部における前記画素の列ごとに並列的に配置され、SIMD（Single Instruction/Multiple Data）型の並列演算機能を備える
    　請求項７に記載の撮像素子。
  10. 　前記出力回路は、前記ＡＤ変換部から出力される画素信号、前記画素間画像処理部から出力される画素信号、および、前記フレーム間画像処理部から出力される画素信号について、それらを同時に出力し、それらを個別に出力し、または、それらを交互に出力することができる
    　請求項７に記載の撮像素子。
  11. 　前記ＡＤ変換部は、前記画素アレイ部の向かい合う２辺に対して並列に配置されるように複数設けられ、
    　複数の前記ＡＤ変換部のうちの、いずれか１つの前記ＡＤ変換部の出力に対して、前記メモリ部および前記画素間画像処理部が設けられており、
    　複数の前記ＡＤ変換部それぞれの出力が前記出力回路に接続されている
    　請求項１に記載の撮像素子。
  12. 　前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、複数の前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させる制御回路
    　をさらに備える請求項１１に記載の撮像素子。
  13. 　複数の前記ＡＤ変換部のうちの、出力に対して前記メモリ部および前記画素間画像処理部が設けられていない前記ＡＤ変換部が、１行分の画素信号を第１の階調でＡＤ変換している間に、出力に対して前記メモリ部および前記画素間画像処理部が設けられている前記ＡＤ変換部が、１行分の画素信号を第１の階調よりも小さな第２の階調でＡＤ変換する
    　請求項１２に記載の撮像素子。
  14. 　前記出力回路は、複数の前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号について、それらを同時に出力し、それらを個別に出力し、または、それらを交互に出力することができる
    　請求項１１に記載の撮像素子。
  15. 　前記画素アレイ部を少なくとも含むアナログ部分と、ＡＤ変換された画素信号に対する処理を行う部分とが異なるチップに設けられ、それらのチップが積層構造で構成される
    　請求項１に記載の撮像素子。
  16. 　複数の前記チップの間が列並列に貫通電極またはバンプによる接合手段により接続される
    　請求項１５に記載の撮像素子。
  17. 　光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、
    　前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ（Analog-to-digital）変換処理を並列的に行うＡＤ変換部と、
    　前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、
    　前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、
    　前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路と
    　を備える撮像素子の駆動方法において、
    　前記画素アレイ部から前記ＡＤ変換部へ画素信号を読み出す画素読み出し処理、前記ＡＤ変換部による画素信号のＡＤ変換処理、前記画素間画像処理部による画素間画像処理、並びに、前記ＡＤ変換部および前記画素間画像処理からデータを出力するデータ出力処理を並行動作させる
    　駆動方法。
  18. 　光電変換機能を有する画素がアレイ状に配置された画素アレイ部と、
    　前記画素アレイ部の前記画素の列ごとに、前記画素から出力される画素信号のＡＤ（Analog-to-digital）変換処理を並列的に行うＡＤ変換部と、
    　前記ＡＤ変換部においてＡＤ変換された画素信号を、前記画素の列ごとに任意の行数分保持するメモリ部と、
    　前記メモリ部から任意の行および列の画素信号を読み出して、それらの画素信号間の演算を、前記画素の列ごとに並列的に行う画素間画像処理部と、
    　前記ＡＤ変換部から出力される画素信号、および、前記画素間画像処理部から出力される画素信号の外部への出力を制御する出力回路と
    　を有する撮像素子を備える電子機器。
PCT/JP2017/030014 2016-09-08 2017-08-23 撮像素子および駆動方法、並びに電子機器 WO2018047618A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018538344A JP7011240B2 (ja) 2016-09-08 2017-08-23 撮像素子および駆動方法、並びに電子機器
EP17848561.1A EP3512193B1 (en) 2016-09-08 2017-08-23 Imaging element and driving method, and electronic apparatus
US16/327,958 US10713749B2 (en) 2016-09-08 2017-08-23 Image sensor and driving method, and electronic apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-175826 2016-09-08
JP2016175826 2016-09-08

Publications (1)

Publication Number Publication Date
WO2018047618A1 true WO2018047618A1 (ja) 2018-03-15

Family

ID=61562368

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/030014 WO2018047618A1 (ja) 2016-09-08 2017-08-23 撮像素子および駆動方法、並びに電子機器

Country Status (4)

Country Link
US (1) US10713749B2 (ja)
EP (1) EP3512193B1 (ja)
JP (1) JP7011240B2 (ja)
WO (1) WO2018047618A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020250494A1 (ja) * 2019-06-10 2020-12-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
JP2021005794A (ja) * 2019-06-26 2021-01-14 キヤノン株式会社 光電変換装置、撮像システム、移動体、および、信号処理装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2014360109B2 (en) 2013-12-06 2019-09-12 Bell Sports, Inc. Flexible multi-layer helmet and method for making the same
KR102499033B1 (ko) * 2018-01-31 2023-02-13 삼성전자주식회사 스택형 이미지 센서 및 스택형 이미지 센서를 포함하는 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006237772A (ja) * 2005-02-23 2006-09-07 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および撮像装置
WO2014007004A1 (ja) * 2012-07-06 2014-01-09 ソニー株式会社 固体撮像装置及び固体撮像装置の駆動方法、並びに、電子機器
JP2014236183A (ja) * 2013-06-05 2014-12-15 株式会社東芝 イメージセンサ装置及びその製造方法
JP2014241458A (ja) * 2011-10-28 2014-12-25 ソニー株式会社 固体撮像素子およびカメラシステム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3501478B2 (ja) 1993-08-31 2004-03-02 ミサワホーム株式会社 建築部材輸送搬入方法
US6573936B2 (en) * 1998-08-17 2003-06-03 Intel Corporation Method and apparatus for providing a single-instruction multiple data digital camera system that integrates on-chip sensing and parallel processing
US7136097B1 (en) 1999-10-04 2006-11-14 Hamamatsu Photonics K.K. Camera system for high-speed image processing including selection of at least one frame based on processed results
JP4107269B2 (ja) * 2004-02-23 2008-06-25 ソニー株式会社 固体撮像装置
WO2007032006A2 (en) 2005-09-13 2007-03-22 Ben Gurion University Of The Negev Research And Development Authority A configurable asic-based sensing circuit
JP4654857B2 (ja) * 2005-09-26 2011-03-23 ソニー株式会社 Ｄａ変換装置、ａｄ変換装置、半導体装置
JP2008294913A (ja) * 2007-05-28 2008-12-04 Panasonic Corp 固体撮像装置およびその駆動方法
US9013615B2 (en) * 2011-09-21 2015-04-21 Semiconductor Components Industries, Llc Image sensor with flexible interconnect capabilities
FR2984556B1 (fr) * 2011-12-20 2014-09-26 Commissariat Energie Atomique Systeme et procede de communication entre un circuit d'acquisition et un circuit de traitement de donnees
JP6172472B2 (ja) 2012-12-25 2017-08-02 パナソニックＩｐマネジメント株式会社 固体撮像装置
CN112714252B (zh) * 2015-09-30 2023-04-07 株式会社尼康 摄像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006237772A (ja) * 2005-02-23 2006-09-07 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP2014241458A (ja) * 2011-10-28 2014-12-25 ソニー株式会社 固体撮像素子およびカメラシステム
WO2014007004A1 (ja) * 2012-07-06 2014-01-09 ソニー株式会社 固体撮像装置及び固体撮像装置の駆動方法、並びに、電子機器
JP2014236183A (ja) * 2013-06-05 2014-12-15 株式会社東芝 イメージセンサ装置及びその製造方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020250494A1 (ja) * 2019-06-10 2020-12-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US11889207B2 (en) 2019-06-10 2024-01-30 Sony Semiconductor Solutions Corporation Solid-state imaging element, imaging device, and method for controlling solid-state imaging element
JP2021005794A (ja) * 2019-06-26 2021-01-14 キヤノン株式会社 光電変換装置、撮像システム、移動体、および、信号処理装置
JP7370742B2 (ja) 2019-06-26 2023-10-30 キヤノン株式会社 光電変換装置、撮像システム、移動体、および、信号処理装置

Also Published As

Publication number Publication date
US20190228497A1 (en) 2019-07-25
EP3512193B1 (en) 2024-05-29
JP7011240B2 (ja) 2022-01-26
JPWO2018047618A1 (ja) 2019-06-24
US10713749B2 (en) 2020-07-14
EP3512193A4 (en) 2020-02-26
EP3512193A1 (en) 2019-07-17

Similar Documents

Publication Publication Date Title
US10535687B2 (en) Solid-state imaging device and electronic apparatus
WO2018047618A1 (ja) 撮像素子および駆動方法、並びに電子機器
WO2017018215A1 (ja) 固体撮像装置およびその制御方法、並びに電子機器
RU2367109C2 (ru) Устройство формирования изображения, способ обработки изображения и интегральная схема
KR20180033162A (ko) 이미지 센서, 및, 전자 기기
CN107431774B (zh) 图像传感器、处理方法和电子设备
CN107113387A (zh) 固态成像装置及电子设备
TWI644569B (zh) 於影像感測器中用於實施ｈ條帶消除之方法及系統
WO2018079331A1 (ja) 固体撮像装置およびその信号処理方法、並びに電子機器
TWI616099B (zh) 在影像感測器中在每一影像擷取之間實施不均等時序間隔之方法及系統
CN103024296A (zh) 具有灵活互连能力的图像传感器
JP2015053644A (ja) 撮像装置
JPWO2017051722A1 (ja) 固体撮像素子及び電子機器
TWI709340B (zh) 固體攝像元件及電子機器
JP7091052B2 (ja) 撮像素子及び撮像装置
US20150288895A1 (en) Solid-state image pickup device
WO2016208416A1 (ja) 固体撮像装置および電子機器
WO2017038428A1 (ja) 固体撮像素子および電子機器
CN107078140B (zh) 固态成像装置、相机模块、以及电子装置
JP2015027045A (ja) 固体撮像素子及びその駆動方法、並びに電子機器
JP6280713B2 (ja) 撮像装置
WO2023053861A1 (ja) 撮像素子、撮像装置及び撮像方法
CN112585960B (zh) 摄像元件、摄像装置、摄像方法以及存储介质
KR20240109985A (ko) 고체 촬상 장치 및 그 구동 방법, 그리고 전자 기기
JP2009177344A (ja) 撮像素子駆動装置および撮像素子

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17848561

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018538344

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017848561

Country of ref document: EP

Effective date: 20190408