WO2018047642A1 - 撮像素子および撮像素子の動作方法、撮像装置、および電子機器 - Google Patents

撮像素子および撮像素子の動作方法、撮像装置、および電子機器 Download PDF

Info

Publication number
WO2018047642A1
WO2018047642A1 PCT/JP2017/030630 JP2017030630W WO2018047642A1 WO 2018047642 A1 WO2018047642 A1 WO 2018047642A1 JP 2017030630 W JP2017030630 W JP 2017030630W WO 2018047642 A1 WO2018047642 A1 WO 2018047642A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
analog
image
low
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/030630
Other languages
English (en)
French (fr)
Inventor
直規 葛谷
若林　準人
克彦 半澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of WO2018047642A1 publication Critical patent/WO2018047642A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • the present disclosure relates to an image sensor and an operation method of the image sensor, an image pickup apparatus, and an electronic apparatus, and in particular, can perform computations other than processing essential for imaging without newly adding a memory or an arithmetic circuit.
  • the present invention relates to an imaging element, an imaging element, an operation method of the imaging element, an imaging apparatus, and an electronic device.
  • an object region detection method called an inter-frame difference method that detects an object region by taking a difference between a past image and an input image is widely used as a general technique.
  • Non-Patent Document 2 a technique called a background difference method for detecting an object region by taking a difference between a background image and an input image has been proposed (see Non-Patent Document 2).
  • the senor is increased in size by having a memory for each pixel. Moreover, there is a possibility that sufficient detection performance cannot be exhibited with a simple difference between frames.
  • Non-Patent Document 2 it is necessary to secure a frame memory that can be read back and written back after background update processing, and the circuit becomes complicated if the function is realized by an analog circuit. Therefore, it is generally held in a digital frame memory, but the area increases and power consumption increases.
  • the present disclosure has been made in view of such a situation, and in particular, makes it possible to realize operations other than processing essential for imaging without newly adding a memory or an arithmetic circuit.
  • An imaging device includes a pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array, and each column in which the plurality of pixels are arranged A plurality of analog-to-digital converters that convert the pixel signals from analog signals to digital signals, and a portion of the plurality of analog-to-digital converters has a lower resolution than the resolution of the pixel array
  • the pixel signals constituting the image are analog-to-digital converted, and at least the analog-digital conversion unit other than the part is an image sensor that performs arithmetic processing using the pixel signals constituting the low-resolution image.
  • the analog-to-digital conversion unit includes a storage unit that stores the result of the arithmetic processing, and at least the analog-to-digital conversion unit other than the part has a low resolution for a plurality of frames having different timings. Pixel signals constituting the image can be stored.
  • the pixel signal stored in the storage unit of the adjacent analog-digital conversion unit is read,
  • the pixel signals constituting the low-resolution images for a plurality of frames having different timings can be stored by shifting and storing them in the storage unit.
  • Pixels stored in its own storage unit every predetermined number of frames when a pixel signal of a new low-resolution image is supplied to at least the analog-digital conversion unit other than the part
  • At least the analog-digital conversion unit other than the part executes arithmetic processing for obtaining inter-frame difference images of pixel signals constituting the low-resolution image corresponding to a plurality of frames having different timings, which are stored in the storage unit. You can make it.
  • At least the analog-to-digital conversion unit other than the part reads out pixel signals constituting the low-resolution image for one frame at a predetermined timing stored in the storage unit,
  • the inter-frame difference image can be obtained and overwritten in the storage unit.
  • the adjacent analog-digital conversion unit stores the pixel signal stored in its storage unit
  • the ring buffer can be configured by storing the pixel signals constituting the low-resolution images of a predetermined number of a plurality of frames having different timings by shifting and storing them in the storage unit.
  • a calculation unit that calculates a difference image between a pixel signal constituting the low-resolution image of a predetermined number of frames having different timings stored in the ring buffer and a pixel signal of the new low-resolution image; You can make it.
  • the arithmetic unit includes an average value in each pixel of pixel signals constituting the low resolution image from the oldest frame to a predetermined oldest frame stored in the ring buffer, and pixels of the new low resolution image
  • the absolute difference value with respect to the signal is calculated, a pixel having the absolute difference value larger than a predetermined threshold is defined as a first pixel value, and a pixel having the absolute difference value smaller than the predetermined threshold is defined as a second pixel value.
  • a difference image composed of binary images can be calculated.
  • the arithmetic unit includes a weighted average value corresponding to the timing of the pixel signal constituting the low-resolution image from the oldest frame stored in the ring buffer to the predetermined oldest frame, and the new A difference absolute value with a pixel signal of a low-resolution image is calculated, a pixel having the difference absolute value larger than a predetermined threshold is set as a first pixel value, and a pixel having the difference absolute value smaller than the predetermined threshold is set as a second pixel. It is possible to calculate a difference image consisting of a binary image having a pixel value of.
  • the arithmetic unit includes a difference between a pixel signal constituting the low-resolution image from the oldest frame stored in the ring buffer to a predetermined oldest frame and a pixel signal of the new low-resolution image.
  • An absolute value is calculated, and a pixel whose each difference absolute value is larger than a predetermined threshold is set as a first pixel value, and a pixel whose one of the difference absolute values is smaller than a predetermined threshold is set as a second pixel. It is possible to calculate a difference image consisting of a binary image having a pixel value of.
  • a calculation unit that calculates an average value of pixel values of pixels constituting the low-resolution image of a predetermined number of frames at different timings stored in the ring buffer can be further included.
  • the calculation unit is configured to calculate a weighted average value corresponding to the timing of pixel values of pixels constituting the low-resolution image of a plurality of frames at a predetermined number of times stored in the ring buffer. Can be.
  • the low-resolution image may be an image formed of any one of an average value, a representative value, and a median for each of a plurality of pixel groups of the pixels constituting the pixel array.
  • An operation method of an imaging element includes a pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array, and the plurality of pixels are arranged.
  • An analog-digital conversion is performed on a pixel signal constituting a low-resolution image having a resolution lower than the resolution of the pixel array, and at least the analog-digital conversion unit other than the part uses the pixel signal constituting the low-resolution image.
  • An imaging apparatus includes a pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array, and each column in which the plurality of pixels are arranged A plurality of analog-to-digital converters that convert the pixel signals from analog signals to digital signals, and a portion of the plurality of analog-to-digital converters has a lower resolution than the resolution of the pixel array
  • the pixel signal constituting the image is analog-to-digital converted, and at least the analog-to-digital conversion unit other than the part is an imaging device that performs arithmetic processing using the pixel signal constituting the low-resolution image.
  • An electronic apparatus includes a pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array, and each column in which the plurality of pixels are arranged A plurality of analog-to-digital converters that convert the pixel signals from analog signals to digital signals, and a portion of the plurality of analog-to-digital converters has a lower resolution than the resolution of the pixel array
  • the pixel signals constituting the image are analog-to-digital converted, and at least the analog-digital conversion unit other than the part is an electronic device that executes arithmetic processing using the pixel signals constituting the low-resolution image.
  • a pixel signal corresponding to the amount of incident light is generated by a pixel array in which a plurality of pixels are arranged in a two-dimensional array, and each column in which the plurality of pixels are arranged.
  • the plurality of analog-to-digital converters convert the pixel signal from an analog signal to a digital signal, and a part of the plurality of analog-to-digital converters generates a low-resolution image having a resolution lower than that of the pixel array.
  • the constituent pixel signals are subjected to analog-to-digital conversion, and arithmetic processing using the pixel signals constituting the low-resolution image is executed by at least the analog-to-digital conversion unit other than the part.
  • FIG. 17 is a flowchart for explaining background difference calculation processing when a ring buffer is configured using a memory in a column AD circuit by the image sensor of FIG. 16.
  • FIG. 11 is a block diagram illustrating a configuration example of an arithmetic circuit that implements noise removal processing as a second application example when a ring buffer is configured using a memory in a column AD circuit.
  • FIG. 19 is a flowchart for describing noise removal processing when a ring buffer is configured using a memory in a column AD circuit by the image sensor of FIG. 18.
  • FIG. It is a figure explaining the modification in a column AD circuit. It is a figure explaining the example of the arithmetic circuit realizable by the column AD circuit of FIG. It is a figure explaining the arithmetic processing implement
  • FIG. 21 is a diagram illustrating a configuration example in the case of connecting a horizontal transfer line in the column AD circuit of FIG. 20. It is a block diagram which shows the structural example of the imaging device as an electronic device to which the camera module of this indication is applied. It is a figure explaining the usage example of the camera module to which the technique of this indication is applied.
  • Non-Patent Document 2 a technique has been proposed in which a technique called a background difference method for detecting an object region by taking a difference between a background image and an input image is realized in an image sensor.
  • a technique called a background difference method for detecting an object region by taking a difference between a background image and an input image is realized in an image sensor.
  • the configuration of the memory for storing the background image is essential, the device configuration becomes large, and every time the input image is supplied, the background image is read out to be updated, and the updated background image Is overwritten, the operation becomes complicated and the apparatus configuration becomes complicated.
  • the image sensor 1 described above includes, for example, an AD (Analog / Digital) conversion unit 11, an image reduction unit 12, a digital frame memory 13, a background update algorithm processing unit 14, a subtraction, as shown in FIG.
  • the unit 15, the absolute value conversion unit 16, and the threshold processing unit 17 are configured.
  • the AD conversion unit 11 converts a pixel signal composed of an analog signal supplied from a pixel array (not shown) into a digital signal and outputs the digital signal to the image reduction unit 12.
  • the image reduction unit 12 reduces the image so as to reduce the resolution of the pixel signal converted into the digital signal, stores the image in the digital frame memory 13, and outputs it to the subtraction unit 15.
  • the digital frame memory 13 stores the reduced image signal supplied from the image reduction unit 12, supplies the reduced image signal to the background update algorithm processing unit 14, and overwrites the processing result of the background update algorithm processing unit 14. .
  • the background update algorithm processing unit 14 updates the background image using the reduced image that is the input image supplied from the image reducing unit 12 and writes it back to the digital frame memory 13. That is, the background image is sequentially updated and held in the digital frame memory 13 by this processing.
  • the subtraction unit 15 obtains a difference between the reduced image supplied from the image reduction unit 12 and the background image stored in the digital frame memory 13 and subjected to the background update algorithm processing by the background update algorithm processing unit 14.
  • the foreground image is supplied to the absolute value converting unit 16.
  • the absolute value converting unit 16 determines the absolute value of the difference value between the reduced image that is the input image and the background image, and configures the difference image.
  • the threshold processing unit 17 is composed of a moving image by binarization processing in which the pixel value of pixels larger than the threshold is set to 1 and the other pixels are set to 0 by comparing the difference value val and the threshold th in the difference image. Estimate the foreground area.
  • the AD converter 11 converts an analog image signal into a digital signal.
  • the image reduction unit 12 reduces the resolution of the image signal converted into the digital signal and stores it in the digital frame memory 13.
  • the background update algorithm processing unit 14 repeats the process of updating and writing back the background image using the image signals sequentially stored in the digital frame memory 13.
  • the subtraction unit 15 obtains a difference between the reduced image and the background image stored in the digital frame memory 13 and outputs the difference to the absolute value conversion unit 16.
  • the absolute value conversion unit 16 supplies a difference image including a difference absolute value between the reduced image as the input image and the background image read from the digital frame memory 13 to the threshold processing unit 17.
  • the threshold value processing unit 17 compares the pixel value val of each pixel of this difference image with the threshold value th to obtain a binary image in which the pixel value of a large pixel is 1 and the pixel values of other pixels are 0. As a result, an image for estimating the foreground area composed of the moving image is output.
  • the digital frame memory 13 is indispensable for sequentially updating the background image, and thus the apparatus becomes large.
  • the background update algorithm processing unit 14 needs to read the reduced image stored in the digital frame memory 13, update the background image, and then write it back to the digital frame memory 13, which increases power consumption. End up.
  • the weighted averaging unit 41 assigns a large weight to the input image, which is the image processed by the weighted averaging unit 41 stored so far in the digital frame memory 13 and the reduced image that is the input image. By performing weighted averaging as described above, noise is removed from the image and output. Further, the weighted averaging unit 41 stores the weighted averaged image in the digital frame memory 13 and repeats the same processing to gradually remove noise.
  • the weighted averaging unit 41 reads the image that is the previous processing result from the digital frame memory 13, performs the weighted averaging process using the input image, and writes it again in the digital frame memory 13. It is necessary to return, and power consumption becomes large. Further, since the digital frame memory 13 is an essential configuration, it is necessary to secure an installation area, and the apparatus becomes large.
  • the imaging device has a function of generating pixel signals using all column AD circuits provided for each column for all pixels when imaging with high resolution.
  • the imaging device of the present disclosure is not intended to capture an image. For example, when functioning as a sensor that detects each region of a background image and a foreground image, the resolution is reduced. Using the processed image, other arithmetic processing is executed using a column AD circuit that is not used for image processing caused by lowering the resolution. By realizing such an operation, a function for capturing a high-resolution image and a function as a sensor can be switched without adding a new configuration to the configuration of the image sensor.
  • FIG. 3 shows a configuration example of the imaging device of the present disclosure.
  • 3 includes a pixel array 71 having pixels arranged in two dimensions of m rows ⁇ n columns, and column AD circuits 72-0 to 72- (provided for each of n columns of vertical transfer lines. n-1) and an arithmetic circuit 73.
  • column AD circuits 72-0 to 72- n-1
  • the pixel array 71 has a photodiode for each pixel, generates a pixel signal corresponding to the amount of incident light, and supplies it to the column AD circuit 72 of each column via a vertical transfer line.
  • a column AD (Analog Digital) circuit 72 converts a pixel signal composed of an analog signal supplied via a vertical transfer line into a digital signal and supplies the digital signal to the arithmetic circuit 73.
  • the arithmetic circuit 73 performs various arithmetic processes on the pixel signal composed of digital signals supplied from the column AD circuits 72-0 to 72- (n-1), and outputs an arithmetic result.
  • the pixel array 71 captures a high-resolution image signal using all the pixels, and further operates differently depending on the operation mode.
  • the operation modes include an image capturing mode for capturing a high resolution image using all pixels and a sensor mode using information on a low resolution image. For example, in the sensor mode, a difference image that identifies a foreground region in which a foreground image made up of moving images in the image is captured and a background region in which a background image is captured is output.
  • the pixel array 71 generates a low-resolution image with respect to the resolution of all pixels by pixel addition or thinning, and sends the low-resolution pixel signal to the corresponding column AD circuit 72.
  • FIG. 3 shows a configuration when a low-resolution image of p pixels composed of a predetermined number of pixel groups 71a-1 to 71a-p among the pixels constituting the pixel array 71 is captured.
  • a column AD circuit 72 that is not used for image processing is generated due to the use of a low-resolution image. Therefore, a difference is obtained by using the column AD circuit 72 that is not used for image processing. Arithmetic processing other than imaging processing, such as generating an image, is executed.
  • a pixel signal that treats the pixel array 71 as a single pixel group 71a-1 composed of a predetermined number of pixels is supplied to the column AD circuits 72-0 to 72-. 2 and the pixel signal that treats the pixel group 71a-2 as one pixel is processed by the column AD circuits 72-3 to 72-5.
  • a pixel signal that treats the pixel group 71a- (p-1) as one pixel is processed by the column AD circuits 72- (n-6) to 72- (n-4), and the pixel group 71a-p is treated as one pixel.
  • the column AD circuits 72-0 to 72-n include calculators 72a-0 to 72a-n, respectively, but sequentially shift the calculation results to adjacent column AD circuits 72 in units of one frame.
  • a pixel signal of the 0th frame is supplied to the column AD circuit 72-0 as a pixel signal with the pixel group 71a-1 as one pixel, and a pixel signal with the pixel group 71a-2 as one pixel is The pixel signal supplied to the column AD circuit 72-3,... With the pixel group 71a- (p-1) as one pixel is supplied to the column AD circuit 72- (n-6), and the pixel group 71a-p Is supplied to the column AD circuit 72- (n-3), the pixel signal is converted from an analog signal to a digital signal and held.
  • the column AD circuits 72-0, 72-3,... 72- (n-6), 72- (n-3) are held respectively. Are shifted to the column AD circuits 72-1, 72-4,... 72- (n-5), 72- (n-2) on the right side.
  • a pixel signal for the pixel group 71a-1 as one pixel is supplied to the column AD circuit 72-0, and a pixel group 71a-2 as one pixel.
  • the pixel signal is supplied to the column AD circuit 72-3,...,
  • the pixel signal having the pixel group 71a- (p-1) as one pixel is supplied to the column AD circuit 72- (n-6)
  • a pixel signal having the group 71a-p as one pixel is supplied to the column AD circuit 72- (n-3).
  • the column AD circuit 72 converts a pixel signal constituting an image from an analog signal to a digital signal in units of rows and outputs the converted signal.
  • the pixel group 71a in the sensor mode, is regarded as one pixel, so that a low-resolution image is configured and a memory including a latch circuit included in the plurality of column AD circuits 72 and the like.
  • a plurality of frames of the low-resolution image are stored in place of the frame memory and used for buffering and computation.
  • the pixel value of each pixel constituting the pixel group 71a may be added to obtain an average, or any of the representative pixels The pixel value may be used, or the median of the pixel values of the pixels constituting the pixel group 71a may be used.
  • FIG. 3 shows an example in which a low-resolution image signal is accumulated for three frames by repeating the same processing. Then, when a new low resolution pixel signal for one frame is supplied, the oldest pixel signal is discarded and the latest three frames of pixel signals are accumulated.
  • each of the column AD circuits 72 includes an arithmetic unit 72a. More specifically, the arithmetic unit 72a includes, for example, a comparator 91, a combinational circuit 92, and The memory 93 is used.
  • the column AD circuits 72-0 to 72-2 include comparators 91-0 to 91-2, combinational circuits 92-0 to 92-2, and a memory 93-, respectively. 0 to 93-2.
  • the comparator 91 compares the pixel signal supplied from the vertical transfer line with the reference voltage, and supplies the comparison result to the combinational circuit 92.
  • the combinational circuits 92-0 to 92-2 realize AD conversion processing in the image capturing mode. In the sensor mode, various circuits combined to function as an AD circuit are appropriately used. Used to perform various operations and supply them to the memories 93-0 to 93-2.
  • the memories 93-0 to 93-2 are composed of, for example, a latch circuit, and temporarily store calculation results.
  • the combinational circuits 92-0 to 92-2 include, for example, selectors 101-0 to 101-2, 102-0 to 102-2, sign inversion units 103-0 to 103-2, and selectors 104-0 to 104-2, respectively. , Adders 105-0 to 105-2, absolute value conversion units 106-0 to 106-2, and selectors 107-0 to 107-2.
  • the selectors 101 and 102, the sign inversion unit 103, the selector 104, the adder 105, the absolute value conversion unit 106, and the selector 107 of the combinational circuit 92 are a so-called counter or the like together with the comparator 91 and the memory 93 in the image capturing mode. It realizes equivalent functions and realizes AD conversion.
  • the selectors 101 and 102, the sign inverting unit 103, the selector 104, the adder 105, the absolute value converting unit 106, and the selector 107 of the combinational circuit 92 are adjacent to the column AD circuit on the left side in the drawing.
  • the selector 101 outputs 0 or 1 based on the comparison result of the comparator 91 and supplies it to the selector 102.
  • the selector 102 selectively outputs either the value in the memory 93 of the column AD circuit 72 on the left side or the value supplied from the selector 101 to the adder 105.
  • the sign inversion unit 103 inverts the sign of the value stored in the memory 93 and supplies it to the selector 104.
  • the selector 104 selectively outputs the value of its own memory 93, the value of its own memory 93 from the sign inverting unit 103, the sign of which is inverted, or 0 to the adder 105.
  • Adder 105 adds the value output from selector 102 and the value output from selector 104 and outputs the result to absolute value converting section 106 and selector 107.
  • the absolute value converting unit 106 obtains the absolute value of the value supplied from the adder 105 and supplies it to the selector 107.
  • the selector 107 selectively stores either the value supplied from the adder 105 or the value supplied from the absolute value conversion unit 101 in the memory 93.
  • the column AD circuit 72 transfers the value stored in the AD conversion circuit or the memory 93 of the column AD 72 on the left side, or is stored in the memory 93 with the transferred value. It functions as an arithmetic circuit that adds a certain value.
  • the selector 101 when functioning as an AD conversion circuit, the selector 101 as shown in the left part of FIG. 5 based on the comparison result of the comparator 91 as shown by the thick lines in the left part and the right part of FIG. 1 selectively outputs 1 or the selector 101 selectively outputs 0 as shown in the right part of FIG. Then, the selector 102 supplies the output value of the selector 101 to the adder 105.
  • the selector 104 reads out the value stored in the memory 93 and outputs it to the adder 105.
  • the adder 105 adds the values supplied from the selectors 102 and 104, respectively, and outputs the result to the selector 107 and the absolute value converting unit 106.
  • the selector 107 stores the value output from the adder 105 in the memory 93. Thereafter, the same processing is repeated.
  • the adder 105 supplies the value of the memory 93 of the column AD circuit 72 on the left side to the absolute value conversion unit 106 and the selector 107 substantially.
  • the selector 107 stores the value stored in the memory 93 of the left column AD circuit 72 supplied from the adder 105 in its own memory 93.
  • the selector 102 selects the value of the memory 93 of the column AD circuit 72 on the left side and supplies it to the adder 105, and the sign inversion unit 103 is stored in its own memory 93.
  • the selector 104 inverts the sign of the existing value, and supplies the adder 105 with the value whose sign has been inverted by the sign inversion unit 103.
  • the adder 105 adds the value of the memory 93 of the column AD circuit 72 on the left to the value stored in its own memory 93 and supplies the sum to the absolute value conversion unit 106 and the selector 107.
  • the absolute value converting unit 106 obtains the absolute value of the addition result by the adder 105 and supplies it to the selector 107.
  • the selector 107 writes the addition result supplied from the absolute value converting unit 106 back into its own memory 93 and stores it.
  • each combinational circuit 92 in the column AD circuit 72 performs AD conversion processing, calculates and outputs the absolute difference value of the sequentially supplied pixel values, and stores it in the memory 93.
  • step S11 the combinational circuit 92-0 of the column AD circuit 72-0 supplies the 0th frame supplied via the vertical transfer line.
  • the pixel signal is AD converted and stored in the memory 93-0 as a pixel value val0 composed of a digital signal.
  • step S12 as shown in the middle left portion of FIG. 7, the combinational circuit 92-1 of the column AD circuit 72-1 is connected to the memory of the column AD circuit 72-0 adjacent to the left side via the wiring L-0.
  • the pixel value val0 is read from 93-0 and stored in the memory 93-1. This operation corresponds to the operation on the left side of FIG. 6 described above.
  • step S13 as shown in the lower left part of FIG. 7, the combinational circuit 92-0 of the column AD circuit 72-0 AD-converts the pixel signal of the first frame supplied via the vertical transfer line. Then, it is stored in the memory 93-0 as a pixel value val1 composed of a digital signal.
  • step S14 as shown in the upper right part of FIG. 7, the combinational circuit 92-1 of the column AD circuit 72-1 is connected to the memory of the column AD circuit 72-0 adjacent to the left side via the wiring L-0.
  • ) is written back to the memory 93-1.
  • This operation corresponds to the operation on the right side of FIG. 6 described above.
  • step S15 as shown in the middle right part of FIG. 7, the calculation result ad01, which is the absolute difference value stored in the memory 93-1, is output as the interframe difference calculation result.
  • step S16 as shown in the lower right part of FIG. 7, the combinational circuit 92-1 of the column AD circuit 72-1 is connected to the memory of the column AD circuit 72-0 adjacent to the left side via the wiring L-0.
  • the pixel value val1 is read from 93-0 and stored in the memory 93-1. That is, the pixel value val1 is shifted by one column. This operation corresponds to the operation on the left side of FIG. 6 described above.
  • step S13 when pixel signals are sequentially supplied, the processing after step S13 is sequentially repeated, and an image composed of pixel signals of inter-frame differences is sequentially output.
  • the inter-frame difference image without newly adding the configuration of the image sensor while the image is a low-resolution image with respect to the resolution of the pixel array 71, for example, a moving image region with a low resolution It is possible to generate a difference image that distinguishes a foreground region that is not a moving image, that is, a background region that does not move. Also, until the intruder is detected as a foreground area in a monitoring image or the like by detecting the foreground area that is a moving image area, the sensor operates in the sensor mode, and only when the intruder is detected, the image capturing mode is set. It is possible to switch and capture a high-resolution image.
  • the apparatus configuration can be reduced in size.
  • Ring buffer In the above description, the example in which the inter-frame difference is sequentially obtained using the pixel signal whose resolution has been reduced has been described. However, the pixel signal is sequentially stored in the memory 93 in the column AD circuit 72, and the pixel signal of the next frame is further stored.
  • a ring buffer between a plurality of frames may be configured by performing a process of only shifting to an adjacent column AD circuit 72 each time.
  • the basic operation can be realized by simply repeating the operation of shifting the pixel signal to the adjacent column AD circuit 72 without executing the above-described difference calculation.
  • the pixel signal “1” of the frame F1 which is the first frame, is AD-converted by the column AD circuit 72-0 and stored in the memory 93-0.
  • the pixel signal “1” stored in the memory 93-0 is adjacent to the adjacent column AD as shown in the upper center of FIG.
  • the pixel signal “2” of the new frame F2 is stored in the memory 93-0 of the column AD circuit 72-0 while being shifted to the memory 93-1 of the circuit 72-1.
  • the column AD circuit in which the pixel signal “1” stored in the memory 93-1 is adjacent is shown.
  • the pixel signal “2” that has been shifted to the memory 93-2 of 72-2 and stored in the memory 93-0 is shifted to the memory 93-1 of the adjacent column AD circuit 72-1.
  • the pixel signal “3” of the new frame F3 is stored in the memory 93-0 of the column AD circuit 72-0.
  • a pixel signal is sequentially supplied for each frame, it is sequentially shifted to the memory 93 of the column AD circuit 72 adjacent in the right direction in the figure, and the pixel signal of the oldest frame is discarded.
  • the pixel signals for the latest three frames are always accumulated, and as a result, a ring buffer can be realized.
  • the pixel signal “1” of the frame F1 which is the first frame, is AD-converted by the column AD circuit 72-0 and stored in the memory 93-0.
  • the pixel signal “1” stored in the memory 93-0 is adjacent to the adjacent column AD as shown in the upper center of FIG.
  • the pixel signal “2” of the new frame F2 is stored in the memory 93-0 of the column AD circuit 72-0 while being shifted to the memory 93-1 of the circuit 72-1.
  • the column AD circuit to which the pixel signal “1” stored in the memory 93-1 is adjacent as shown in the lower left part of FIG.
  • the pixel signal “3” that has been shifted to the memory 93-2 of the 72-2 and stored in the memory 93-0 is shifted to the memory 93-1 of the adjacent column AD circuit 72-1.
  • the pixel signal “4” of the new frame F4 is overwritten and stored in the memory 93-0 of the column AD circuit 72-0.
  • the pixel signal “4” stored in the memory 93-0 is discarded as shown in the lower center part of FIG.
  • the pixel signal “5” of the correct frame F5 is stored in the memory 93-0 of the column AD circuit 72-0.
  • the pixel signal “5” stored in the memory 93-0 is discarded as shown in the lower right part of FIG. Is overwritten by the pixel signal “6” of the new frame F6 and stored in the memory 93-0 of the column AD circuit 72-0.
  • the pixel signals of the oldest frame are shifted to the memory 93 of the column AD circuit 72 adjacent in the right direction in the figure every N frames (every other frame). Discarded, the pixel signals for the latest three frames are always accumulated every other frame, and as a result, a ring buffer can be realized.
  • step S31 a counter n is initialized to 1 by a control unit (not shown).
  • step S32 a control unit (not shown) determines whether a pixel signal of a new frame has been supplied, and the same processing is repeated until it is transmitted.
  • step S32 when a pixel signal of a new frame has been supplied, the process proceeds to step S33.
  • step S34 the combinational circuit 92-0 AD-converts the pixel signal and discards the pixel signal stored until the AD conversion is performed in the memory 93-0. Advances to step S35. In the first process, since there is no value, it is stored as it is.
  • step S35 the counter n (not shown) increments the counter n by 1, and the process returns to step S32.
  • step S33 when the counter n becomes N + 1, a process progresses to step S36.
  • step S36 the combinational circuit 92-1 reads out the pixel signal from the memory 93-0 of the column AD circuit 72-0 adjacent on the left side in FIG. 4 and stores it in the memory 93-1, thereby storing the pixel signal in one column. Shift by minutes.
  • step S37 the combinational circuit 92-0 AD-converts the pixel signal and stores it in the memory 93-0, and the process proceeds to step S38.
  • step S38 the combinational circuit 92-0 determines whether or not the process is finished. If the process is not finished, the process returns to step S31 and the subsequent processes are repeated. Then, when it is determined in step S38 that the process is to be terminated, the process is terminated.
  • the pixel signal is sequentially shifted to the memory 93 of the column AD circuit 72 on the right side every arbitrary N frames, and a ring buffer can be configured.
  • FIG. 12 shows a configuration example of the arithmetic circuit 73 that calculates the background image using the ring buffer including the memory 93 described above.
  • the memory 93-0 has a buffer 110a for storing the pixel signal of the latest frame, and a buffer comprising the memories 93-1 to 93- (n-1) for storing the pixel signals of the past frame. 110b, and the buffers 110a and 110b constitute a ring buffer 110.
  • the 12 includes an adding unit 111, a gain amplifier 112, a subtracting unit 113, an absolute value converting unit 114, and a threshold processing unit 115.
  • the adder 111 holds, from among the memories 93-0 to 93-N constituting the ring buffer 110, the memory 93- (n ⁇ 1) to 93- (n-4) pixel signals are added and supplied to the gain amplifier 112.
  • the gain amplifier 112 holds the pixel signal of the oldest frame from the pixel signal of the oldest frame among the memories 93-0 to 93-N constituting the ring buffer 110, and holds the pixel signal of the oldest frame 93- (n ⁇ 1). ) To 93- (n ⁇ 4) are added to the gain of 1 ⁇ 4 to obtain an average value of the pixel signals and output the result to the subtractor 113.
  • the subtracting unit 113 averages the pixel signal of the memory 93-0 in which the pixel signal of the newest frame is held and the pixel signal of the oldest frame from the oldest frame pixel signal supplied from the gain amplifier 112 to the fourth oldest frame. Is obtained and supplied to the absolute value conversion unit 114.
  • the absolute value converting unit 114 obtains the absolute value of the pixel value that is the difference output from the subtracting unit 113 as the difference absolute value, and outputs the absolute value to the threshold processing unit 115.
  • the threshold processing unit 115 compares the pixel value val, which is the difference absolute value supplied from the absolute value converting unit 114, with the predetermined threshold th and sets the pixel value of a pixel larger than the predetermined threshold th to 1, A binarized difference image in which the pixel values of the other pixels are 0 is output. From the binarized difference image, an image including a foreground region having a pixel value “1” and a background region having a pixel value “0” is generated, and the foreground region and the background region are estimated. It becomes possible to do.
  • the pixel values 0 and 1 may be interchanged, or may be expressed by other binary values.
  • the pixel signal of frame 0 (frame 0) is stored in the ring buffer 110 formed by the memories 93-1 to 93- (n-1), and the frame 0 (frame 0) is stored in the memory 93- (n-5). Is stored at the timing of supply, and frame 1 (frame 1) is skipped. Then, at the timing of frame 2 (frame 2), the pixel signal of frame 0 (frame 0) is shifted to the memory 93- (n-4) and at the same time, the frame 93 (frame 2) Is supplied and stored, and this state is maintained even at the timing of frame 3 (frame 3).
  • the pixel signal of frame 0 (frame 0) is shifted to the memory 93- (n-3), and the pixel signal of frame 2 (frame 2) is shifted to the memory 93- (n -4), the frame 4 (frame 4) is supplied and stored in the memory 93- (n-5), and this state is maintained even at the timing of the frame 5 (frame 5).
  • the pixel signal of frame 0 (frame 0) is shifted to the memory 93- (n-2), and the pixel signal of frame 2 (frame 2) is shifted to the memory 93- (n -3), the pixel signal of frame 4 (frame4) is shifted to the memory 93- (n-4), and the frame 6 (frame6) is supplied to the memory 93- (n-5).
  • This state is also maintained at the timing of frame 7 (frame 7).
  • the pixel signal of frame 0 (frame 0) is shifted to the memory 93- (n-1), and the pixel signal of frame 2 (frame 2) is shifted to the memory 93- (n -2), the pixel signal of frame 4 (frame4) is shifted to the memory 93- (n-3), and the pixel signal of frame 6 (frame6) is transferred to the memory 93- (n-3).
  • the frame 8 (frame 8) is supplied and stored in the memory 93- (n-5), and this state is maintained even at the timing of the frame 9 (frame 9).
  • background difference calculation processing Next, background difference calculation processing by the calculation circuit 73 of FIG. 12 will be described with reference to the flowchart of FIG. Here, it is assumed that an average value of pixel signals for four frames is obtained from the oldest one.
  • step S51 the gain amplifiers 111-0 to 111-3 respectively select the pixels of the oldest frame from the pixel signal of the oldest frame to the Nth of the memories 93-0 to 93- (n-1) constituting the ring buffer.
  • the pixel signals of the memories 93- (n-1) to 93- (n-4) holding the signals are read out.
  • step S52 the adder 111 adds the pixel signals of the oldest frame pixel from the oldest frame pixel signal held in the ring buffer 110, and supplies the result to the gain amplifier 112.
  • step S53 the gain amplifier 112 sets the gain of the added pixel signal to 1 ⁇ 4, obtains the average value of the pixel signals of the oldest frame pixel from the oldest frame pixel signal, and supplies the average value to the subtractor 113.
  • step S54 the subtractor 113 subtracts the pixels of the oldest frame from the pixel signal of the memory 93-0 in which the pixel signal of the newest frame is held and the pixel signal of the oldest frame supplied from the adder 112. A difference from the average value of the signal is obtained and supplied to the absolute value converting unit 114.
  • step S55 the absolute value converting unit 114 obtains the absolute value of the pixel value that is the difference output from the subtracting unit 113, and outputs the absolute value to the threshold processing unit 115 as the difference absolute value.
  • step S56 the threshold processing unit 115 compares the pixel value val, which is the difference absolute value supplied from the absolute value converting unit 114, with the predetermined threshold th and the pixel value of the pixel larger than the predetermined threshold th. 1 is output, and a binary difference image with the pixel values of the other pixels being 0 is output.
  • the foreground area and the background area can be estimated from the binarized difference image.
  • the foreground region and the background region are estimated using the absolute difference between the average value of the oldest four frames and the pixel signal of the latest frame among the pixel signals stored in the ring buffer 110.
  • the average value of the oldest plurality of frames the average value of the number of frames other than 4 frames may be obtained.
  • the ring buffer 110 using the memories 93-0 to 93- (n-1) uses the absolute value of the difference between the pixel signal in the latest frame and the average value of the pixel signals for the four oldest frames.
  • the pixels with the absolute difference when the absolute difference between the pixel signal in the latest frame and each of the four oldest frames is larger than the threshold are regarded as the foreground region, and the other pixels It may be regarded as a background area.
  • FIG. 16 shows the case where the ring buffer 110 using the memories 93-0 to 93- (n-1) has all the absolute differences between the pixel signal in the latest frame and the four oldest frames larger than the threshold value.
  • This is a first application example of the arithmetic circuit 73 in which only the pixels having the difference absolute value are regarded as the foreground region and the other pixels are regarded as the background region.
  • 16 includes subtracters 131-0 to 131-3, absolute value conversion units 132-0 to 132-3, threshold value processing units 133-0 to 133-3, and a determination unit 134.
  • the subtracters 131-0 to 131-3 read out the oldest four frames of pixel signals stored in the memories 93-N to 93- (N-3), and update the latest signals stored in the memory 93-0.
  • the difference from the pixel signal of the input image is obtained and supplied to the absolute value converting sections 132-0 to 132-3, respectively.
  • the absolute value conversion units 132-0 to 132-3 supply the supplied difference values to the threshold value processing units 133-0 to 133-3 as absolute difference values.
  • Each of the threshold processing units 133-0 to 133-3 compares the difference absolute value with a predetermined threshold, sets the pixel value to 1 for pixels larger than the threshold, and sets the pixel value to 0 for other pixels.
  • a converted image is generated and supplied to the determination unit 134.
  • the determination unit 134 sets the pixel value of only the pixels whose pixel values are 1 to 1 for each pixel of the four binarized images supplied from the threshold processing units 133-0 to 133-3, The pixel values of the other pixels are set to 0.
  • step S71 the subtracters 131-0 to 131-3 have the four oldest pixel signals (N pixel signals) stored in the memories 93- (n-1) to 93- (n-4). ).
  • step S72 the subtracters 131-0 to 131-3 obtain the difference between the pixel signals for the four oldest read frames and the pixel signal of the latest input image stored in the memory 93-0. Are supplied to the absolute value converting sections 132-0 to 132-3, respectively.
  • step S73 the absolute value converting units 132-0 to 132-3 obtain absolute values of the supplied difference values, and supply them to the threshold processing units 133-0 to 133-3 as the absolute difference values.
  • each of the threshold processing units 133-0 to 133-3 compares the absolute difference value with a predetermined threshold, sets the pixel value to 1 for pixels larger than the threshold, and sets the pixel value to 0 for other pixels. Is generated and supplied to the determination unit 134.
  • step S75 the determination unit 134 calculates pixel values of only pixels whose pixel values are all 1 for each pixel of the four binarized images supplied from the threshold processing units 133-0 to 133-3. 1 and the pixel values of the other pixels are 0.
  • a range in which leaves are included in the background and the area is not stably regarded as the foreground area due to fluctuations in the wind, for example, is reliably regarded as the background area, and the subject has moved stably. Only the range can be regarded as the foreground region.
  • the ring buffer 110 using the memories 93-0 to 93- (n-1) uses the ring buffer 110 to compare the absolute value of the difference between the pixel signal in the latest frame and the oldest four frame pixel signals.
  • noise removal may be realized by obtaining an average of pixel signals in all frames stored in the ring buffer 110.
  • FIG. 18 shows an operation of the arithmetic circuit 73 that realizes noise removal by obtaining an average of pixel signals in all frames by the ring buffer 110 using the memories 93-0 to 93- (n-1). A configuration example is shown.
  • the 18 includes an adder 151 and a gain amplifier 152.
  • the adder 151 adds the pixel signals of all frames for n frames stored in the memories 93-0 to 93-(n ⁇ 1) and supplies the result to the gain amplifier 152.
  • the gain amplifier 152 includes a gain amplifier 152 that obtains an average value in the ring buffer by multiplying the addition result of the adder 151 by a gain of 1 / n.
  • step S91 the adder 151 reads out and adds all the n-frame pixel signals stored in the memories 93-0 to 93- (n-1), and supplies the addition result to the gain amplifier 152.
  • step S92 the gain amplifier 152 multiplies the addition result by a gain of 1 / n to obtain an average value of the pixel signals.
  • step S93 the gain amplifier 152 outputs an average value for all frames of the pixel signal.
  • a horizontal transfer line 191 for connecting the vertical transfer lines 192 is provided, and switches 181-0 to 181-2 for switching on or off the connection between the vertical transfer lines 192 are provided. Yes.
  • switches 182-0 to 182-2 for switching on / off the connection of the vertical transfer line are provided.
  • the value of the memory 93 provided between the column AD circuits 72-0 and 72-1 and between the column AD circuits 72-1 and 72-2 is transferred to the adjacent left column AD circuit 72.
  • wirings L2-1 and L2-2 for transferring to the right column AD circuit 72 are provided.
  • FIG. 20 is different from FIG. 4 in that a combinational circuit 92 ′ is provided instead of the combinational circuit 92.
  • the combinational circuit 92 ′ has the same basic function as the combinational circuit 92, but differs in that a selector 171 is further provided.
  • the selector 171 selects either the pixel signal of the memory 93 of the column AD circuit 72 on the right side or 0 from the right according to the operation mode, and supplies the selected signal to the adder 105. Therefore, in the combinational circuit 92 ′ in FIG. 20, the adder 105 adds the three values supplied from the selectors 102, 104, and 171 and supplies the sum to the absolute value conversion unit 106 and the selector 107.
  • the comparator 91-11 compares the pixel signal of the analog signal supplied from the vertical transfer line with the reference.
  • the combinational circuit 92′-11 is supplied to the combinational circuit 92′-11 so that the combinational circuit 92′-11 can function as a count-up circuit or a count-down circuit used for AD conversion.
  • the thick line on each wiring indicates the movement path of the pixel signal.
  • the combination circuit 92′-22 of the column AD circuit 72-22 is connected to the column AD on the left side via the wiring L1.
  • the pixel signal stored in the memory 93-21 of the circuit 72-21 is read out and stored in the memory 93-22, whereby the pixel signal stored in the memory 93-21 of the column AD circuit 72-21 is It becomes possible to function as a right shift processing circuit to be moved to the memory 93-22 of the column AD circuit 72-22.
  • the combination circuit 92′-31 of the column AD circuit 72-31 is connected to the column AD on the right side via the wiring L2.
  • the pixel signal stored in the memory 93-32 of the circuit 72-32 is read out and stored in the memory 93-31, whereby the pixel signal stored in the memory 93-32 of the column AD circuit 72-32 is It becomes possible to function as a left shift processing circuit to be moved to the memory 93-31 of the column AD circuit 72-31.
  • the initial value is set by storing the pixel signal as the initial value in the memory 93-51 of the column AD circuit 72-51, as shown by the column AD circuit 72-51. It becomes possible to function as a circuit.
  • the combinational circuit 92′-72 of the column AD circuit 72-72 is connected via the wiring L1.
  • Functions as a right shift operation circuit that reads out the pixel signal stored in the memory 93-71 of the column AD circuit 72-71 on the left, calculates the value together with the value stored in the memory 93-72, and stores it in the memory 93-72 It becomes possible to make it.
  • the combinational circuit 92′-91 of the column AD circuit 72-91 is connected via the wiring L2.
  • the pixel signal stored in the memory 93-92 of the column AD circuit 72-92 on the left is read, calculated using the value stored in the memory 93-91, and stored in the memory 93-91 to shift left It can function as an arithmetic circuit.
  • column AD circuits 72-0 to 72-5 are provided for 6 columns from the 0th column (column0) to the 5th column (column5), and the column AD circuits 72-0 and 72-4 are used for AD conversion.
  • the column AD circuits 72-1 to 72-3 function as right shift processing circuits
  • the column AD circuit 72-5 functions as an initial value setting circuit
  • the column AD circuit 72-4 Furthermore, by making it function as a right shift arithmetic circuit as shown in FIG. 5, it becomes possible to realize the processing as shown in FIG.
  • the column AD circuit 72-5 of column 5 functions in advance as an initial setting circuit, and a threshold value (thresh) is set in the memory 93-5.
  • the combinational circuit 92′-0 of the column AD circuit 72-0 performs AD conversion.
  • the data is stored in the memory 93-0 in the column AD circuit 72-0 (column0).
  • the combinational circuit 92'-1 of the column AD circuit 72-1 shifts the pixel value (val0) stored in the memory 93-0 in column0 to the memory 93-1 in column1.
  • the pixel value (val0) is shifted from the memory 93-1 in the column 1 to the memory 93-2 in the column 2, and similarly, the pixel value (val1) is changed from the memory 93-0 in the column 0 to the memory 93- in the column 1. Shifted to 1.
  • AD conversion is sequentially performed on the pixel value (val2) of the second frame (frame2), and is stored in the memory 93-0 of column0 at timing T8.
  • the pixel value (val0) of column2 is shifted to the memory 93-3 of column3, the pixel value (val1) of column1 is shifted to the memory 93-2 of column2, and the pixel value (val2) of column0 is changed. Shifted to memory 93-1 in column1.
  • the pixel values val0 to val3 of the column 0 to 3 are shifted to the memories 93-3 to 93-1 of the column AD circuits 72-3 to 72-1 adjacent to the right side, respectively.
  • the combinational circuit 92-4 causes the pixel value (val0) stored in the memory 93-3 of the column 3 column AD circuit 72-3 and the column 4 column AD.
  • the absolute value of the difference is obtained by calculation with the pixel value (val3) AD-converted by the circuit 72-4, and the calculation result (abs_diff03) is stored in the memory 93-4 of the column AD circuit 72-4 of column4.
  • the threshold value (thresh) set in the column AD circuit 72-5 of column5 is shifted to the column AD circuit 72-4 of column4, and is subtracted from the difference absolute value (abs_diff03), and the subtraction result (diff03) Save.
  • this pixel is regarded as a foreground region including a moving object.
  • Such an operation makes it possible to construct a differential image composed of a binary image composed of a foreground region and a background region.
  • the imaging device of the present disclosure it is not necessary to add a digital frame memory by performing arithmetic processing using the memory 93 in the column AD circuit 72, so that the mounting area can be reduced accordingly. Therefore, it is possible to reduce the size of the apparatus. In addition, since there is no need to provide a digital frame memory, it is possible to reduce the leakage current and to realize power saving.
  • the pixel can be made smaller than the method having a memory in the pixel, it is possible to realize a larger number of pixels or a smaller area.
  • the above-described imaging element 51 can be applied to various electronic devices such as an imaging device such as a digital still camera or a digital video camera, a mobile phone having an imaging function, or other devices having an imaging function. .
  • FIG. 24 is a block diagram illustrating a configuration example of an imaging device as an electronic apparatus to which the present technology is applied.
  • An imaging apparatus 501 shown in FIG. 24 includes an optical system 502, a shutter apparatus 503, a solid-state imaging element 504, a driving circuit 505, a signal processing circuit 506, a monitor 507, and a memory 508.
  • the imaging apparatus 501 shown in FIG. Imaging is possible.
  • the optical system 502 includes one or a plurality of lenses, guides light (incident light) from the subject to the solid-state image sensor 504, and forms an image on the light-receiving surface of the solid-state image sensor 504.
  • the shutter device 503 is disposed between the optical system 502 and the solid-state imaging device 504, and controls the light irradiation period and the light-shielding period to the solid-state imaging device 504 according to the control of the drive circuit 1005.
  • the solid-state image sensor 504 is configured by a package including the above-described solid-state image sensor.
  • the solid-state imaging device 504 accumulates signal charges for a certain period in accordance with light imaged on the light receiving surface via the optical system 502 and the shutter device 503.
  • the signal charge accumulated in the solid-state image sensor 504 is transferred according to a drive signal (timing signal) supplied from the drive circuit 505.
  • the drive circuit 505 outputs a drive signal for controlling the transfer operation of the solid-state image sensor 504 and the shutter operation of the shutter device 503 to drive the solid-state image sensor 504 and the shutter device 503.
  • the signal processing circuit 506 performs various types of signal processing on the signal charges output from the solid-state imaging device 504.
  • An image (image data) obtained by the signal processing by the signal processing circuit 506 is supplied to the monitor 507 and displayed, or supplied to the memory 508 and stored (recorded).
  • Imaging apparatus 501 configured as described above, a circuit configuration required for calculation is obtained by applying the imaging element 51 instead of the optical system 502, the shutter apparatus 503, and the solid-state imaging element 504 described above. Imaging can be performed by switching between the image capturing mode and the sensor mode without increasing the number, and the apparatus can be reduced in size and power can be saved.
  • FIG. 25 is a diagram illustrating a usage example in which the above-described imaging element 51 is used.
  • the camera module described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-ray as follows.
  • Devices for taking images for viewing such as digital cameras and mobile devices with camera functions
  • Devices used for traffic such as in-vehicle sensors that capture the back, surroundings, and interiors of vehicles, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles, etc.
  • Equipment used for home appliances such as TVs, refrigerators, air conditioners, etc. to take pictures and operate the equipment according to the gestures ⁇ Endoscopes, equipment that performs blood vessel photography by receiving infrared light, etc.
  • Equipment used for medical and health care ⁇ Security equipment such as security surveillance cameras and personal authentication cameras ⁇ Skin measuring instrument for photographing skin and scalp photography Such as a microscope to do beauty Equipment used for sports-Equipment used for sports such as action cameras and wearable cameras for sports applications-Used for agriculture such as cameras for monitoring the condition of fields and crops apparatus
  • this indication can also take the following structures.
  • a plurality of analog-digital converters provided for each column in which the plurality of pixels are arranged, and converting the pixel signal from an analog signal to a digital signal;
  • a part of the plurality of analog-to-digital converters performs analog-to-digital conversion on a pixel signal constituting a low-resolution image having a resolution lower than that of the pixel array, and at least the part of the analog-to-digital converters
  • An image sensor that performs arithmetic processing using pixel signals that form a resolution image.
  • the analog-digital conversion unit includes a storage unit that stores a result of the arithmetic processing,
  • the image sensor according to ⁇ 1> in which at least the analog-to-digital conversion unit other than the part stores pixel signals constituting a low-resolution image for a plurality of frames having different timings.
  • At least the analog-to-digital conversion unit other than the part receives the pixel signal stored in the storage unit of the adjacent analog-to-digital conversion unit when a pixel signal of a new low-resolution image is supplied.
  • the image pickup device according to ⁇ 2>, wherein pixel signals constituting low-resolution images for a plurality of frames having different timings are stored by reading and shifting to the storage unit.
  • At least the analog-to-digital conversion unit other than the part is when a pixel signal of a new low-resolution image is supplied, and is stored in the storage unit for each predetermined number of frames.
  • the pixel signals constituting the low-resolution images for a plurality of frames with different timings are stored by sequentially shifting the stored pixel signals to the storage unit of the analog-digital conversion unit adjacent to each other, and storing the pixel signals.
  • Image sensor. ⁇ 5> Arithmetic processing for obtaining an inter-frame difference image of pixel signals constituting the low-resolution image for a plurality of frames having different timings stored in the storage unit, at least the analog-digital conversion unit other than the part.
  • At least the analog-to-digital conversion unit other than the part reads out a pixel signal constituting the low-resolution image for one frame at a predetermined timing, which is stored in the storage unit, and creates a new frame pixel
  • the image sensor according to ⁇ 5> wherein an inter-frame difference image with a signal is obtained and overwritten in the storage unit.
  • the ring buffer is configured by storing pixel signals constituting low-resolution images of a predetermined number of a plurality of frames having different timings by shifting and storing the data in the storage unit of the conversion unit.
  • a calculation unit that calculates a difference image between a pixel signal constituting the low-resolution image of a plurality of frames of a predetermined number of different timings stored in the ring buffer and a pixel signal of the new low-resolution image
  • the calculation unit includes an average value in each pixel of pixel signals constituting the low-resolution image from the oldest frame stored in the ring buffer to a predetermined oldest frame, and the new low-resolution image.
  • the absolute value of the difference from the pixel signal is calculated, a pixel having the absolute difference greater than a predetermined threshold is defined as a first pixel value, and a pixel having the absolute difference smaller than the predetermined threshold is defined as a second pixel value.
  • the calculation unit includes a weighted average value corresponding to the timing of pixel signals constituting the low-resolution image from the oldest frame stored in the ring buffer to a predetermined oldest frame, and A difference absolute value with a pixel signal of a new low-resolution image is calculated, a pixel having the difference absolute value larger than a predetermined threshold is defined as a first pixel value, and a pixel having the difference absolute value smaller than the predetermined threshold is determined.
  • the image sensor according to ⁇ 9> wherein a difference image including a binary image serving as a second pixel value is calculated.
  • the calculation unit includes each of a pixel signal constituting the low-resolution image from the oldest frame stored in the ring buffer to a predetermined oldest frame, and a pixel signal of the new low-resolution image
  • the difference absolute value of each of the difference absolute values is calculated, a pixel in which each of the difference absolute values is larger than a predetermined threshold is set as a first pixel value, and a pixel in which any of the difference absolute values is smaller than the predetermined threshold
  • the image sensor according to ⁇ 9> wherein a difference image including a binary image serving as a second pixel value is calculated.
  • the imaging apparatus further including a calculation unit that calculates an average value of pixel values of pixels constituting the low-resolution image of a plurality of frames at a predetermined number of times stored in the ring buffer. element.
  • the computing unit computes a weighted average value corresponding to the timing of pixel values of pixels constituting the low-resolution image of a predetermined number of frames at different timings stored in the ring buffer.
  • the image pickup device according to ⁇ 12>.
  • ⁇ 14> The imaging device according to ⁇ 1>, wherein the low-resolution image is an image including any one of an average value, a representative value, and a median for each of a plurality of pixel groups of pixels that form the pixel array.
  • An image pickup method for an image pickup device including a plurality of analog-digital conversion units that are provided for each column in which the plurality of pixels are arranged and convert the pixel signal from an analog signal to a digital signal, A part of the plurality of analog-digital conversion units performs analog-digital conversion on a pixel signal constituting a low-resolution image having a resolution lower than the resolution of the pixel array, and at least the analog-digital conversion unit other than the part includes the analog-digital conversion unit, An operation method of an image sensor that executes arithmetic processing using pixel signals constituting a low-resolution image.
  • a pixel array in which a plurality of pixels that generate pixel signals according to the amount of incident light are arranged in a two-dimensional array;
  • a plurality of analog-digital converters provided for each column in which the plurality of pixels are arranged, and converting the pixel signal from an analog signal to a digital signal;
  • a part of the plurality of analog-to-digital converters performs analog-to-digital conversion on a pixel signal constituting a low-resolution image having a resolution lower than the resolution of the pixel array, and at least the analog-to-digital converters other than the part are
  • An imaging device that performs arithmetic processing using pixel signals that form a low-resolution image.
  • a part of the plurality of analog-to-digital converters performs analog-to-digital conversion on a pixel signal constituting a low-resolution image having a resolution lower than the resolution of the pixel array, and at least the analog-to-digital converters other than the part are
  • An electronic device that performs arithmetic processing using pixel signals that make up a low-resolution image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本開示は、撮像素子に対して、新たにメモリや演算回路を新たに付加することなく撮像に必須とされる処理以外の演算を実現できるようにする撮像素子および撮像素子の動作方法、撮像装置、および電子機器に関する。 複数のアナログデジタル変換部の一部が、画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも一部以外のアナログデジタル変換部は、低解像度画像を構成する画素信号を用いた演算処理を実行する。本開示は、撮像素子に適用することができる。

Description

撮像素子および撮像素子の動作方法、撮像装置、および電子機器
　本開示は、撮像素子および撮像素子の動作方法、撮像装置、および電子機器に関し、特に、メモリや演算回路を新たに付加することなく撮像に必須とされる処理以外の演算を実現できるようにした撮像素子および撮像素子および撮像素子の動作方法、撮像装置、および電子機器に関する。
　撮像された画像のうち、過去画像と入力画像との差分をとることで物体領域を検出するフレーム間差分法とよばれる物体領域検出方法が一般的な技術として普及している。
　そこで、この技術を利用して、イメージセンサ内でフレーム間差分を実現するために画素毎にメモリを持ち、アナログ値を差分処理する方式が提案されている（非特許文献１参照）。
　また、背景画像と入力画像の差分をとることで物体領域を検出する背景差分法と呼ばれる技術が提案されている（非特許文献２参照）。
　さらに、時間方向に複数の画像の重み付平均をとることでノイズ除去を行う手法が提案されている。
S.Ma,J,Chen JSSCC1999, A Singl-Chip CMOS APS Camera with Direct Frame Difference Chris Stauffer, W.E.L Grimson, Adaptive background mixture models for real-time tracking
　しかしながら、非特許文献１に記載の技術では、画素毎にメモリを持つことでセンサが大型化する。また、単純なフレーム間差分では十分な検知性能が発揮できない恐れがある。
　また、非特許文献２に記載の技術の実現のためには、読み出し及び背景更新処理後の書き戻しが可能なフレームメモリの確保が必要となり、その機能をアナログ回路により実現すると回路が煩雑になってしまうため、一般的にはデジタルのフレームメモリに保持することになるが、面積が嵩むとともに、消費電力が大きくなってしまう。
　さらに、上述したノイズ除去の手法では、同様にフレームメモリに書き戻す必要があるため、やはりアナログ回路により実現すると煩雑になり、デジタルフレームメモリを別途確保する必要があり、消費電力および面積が大きくなる。
　本開示は、このような状況に鑑みてなされたものであり、特に、メモリや演算回路を新たに付加することなく撮像に必須とされる処理以外の演算を実現できるようにするものである。
　本開示の一側面の撮像素子は、入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する撮像素子である。
　前記アナログデジタル変換部には、前記アナログデジタル変換部は、前記演算処理の結果を記憶する記憶部を含み、少なくとも前記一部以外の前記アナログデジタル変換部は、タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶させるようにすることができる。
　少なくとも前記一部以外の前記アナログデジタル変換部には、新たな低解像度画像の画素信号が供給されてくるとき、隣接する前記アナログデジタル変換部の前記記憶部に記憶している画素信号を読み出し、自らの前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶させるようにすることができる。
　少なくとも前記一部以外の前記アナログデジタル変換部には、新たな低解像度画像の画素信号が供給されてくるときであって、所定数のフレーム毎に、自らの前記記憶部に記憶している画素信号を、順次隣接する前記アナログデジタル変換部の前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶させるようにすることができる。
　少なくとも前記一部以外の前記アナログデジタル変換部には、前記記憶部に記憶している、タイミングの異なる複数フレーム分の前記低解像度画像を構成する画素信号のフレーム間差分画像を求める演算処理を実行させるようにすることができる。
　少なくとも前記一部以外の前記アナログデジタル変換部には、前記記憶部に記憶している、所定のタイミングの１フレーム分の前記低解像度画像を構成する画素信号を読み出し、新たなフレームの画素信号とのフレーム間差分画像を求め、前記記憶部に上書きさせるようにすることができる。
　少なくとも前記一部以外の前記アナログデジタル変換部には、新たな低解像度画像の画素信号が供給されてくるとき、自らの前記記憶部に記憶している画素信号を、隣接する前記アナログデジタル変換部の前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる所定数の複数フレーム分の低解像度画像を構成する画素信号を記憶することで、リングバッファを構成させるようにすることができる。
　前記リングバッファに記憶されているタイミングの異なる所定数の複数のフレームの前記低解像度画像を構成する画素信号と、前記新たな低解像度画像の画素信号との差分画像を演算する演算部をさらに含ませるようにすることができる。
　前記演算部には、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号の各画素における平均値と、前記新たな低解像度画像の画素信号との差分絶対値を演算させ、前記差分絶対値が所定の閾値よりも大きな画素を第１の画素値とし、前記差分絶対値が所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算させるようにすることができる。
　前記演算部には、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号の、前記タイミングに応じた重み付平均値と、前記新たな低解像度画像の画素信号との差分絶対値を演算させ、前記差分絶対値が所定の閾値よりも大きな画素を第１の画素値とし、前記差分絶対値が所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算させるようにすることができる。
　前記演算部には、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号と、前記新たな低解像度画像の画素信号とのそれぞれの差分絶対値を演算させ、それぞれの前記差分絶対値がいずれも所定の閾値よりも大きな画素を第１の画素値とし、それぞれの前記差分絶対値のいずれかが所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算させるようにすることができる。
　前記リングバッファに記憶されている異なるタイミングの所定数の複数のフレームの前記低解像度画像を構成する画素の画素値の平均値を演算する演算部をさらに含ませるようにすることができる。
　前記演算部には、前記リングバッファに記憶されている異なるタイミングの所定数の複数のフレームの前記低解像度画像を構成する画素の画素値の、前記タイミングに応じた重み付平均値を演算させるようにすることができる。
　前記低解像度画像は、前記画素アレイを構成する画素の、複数の画素群毎の平均値、代表値、およびメジアンのいずれかよりなる画像とすることができる。
　本開示の一側面の撮像素子の動作方法は、入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含む撮像素子の撮像方法であって、前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部が、前記低解像度画像を構成する画素信号を用いた演算処理を実行する撮像素子の動作方法である。
　本開示の一側面の撮像装置は、入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する撮像装置である。
　本開示の一側面の電子機器は、入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する電子機器である。
　本開示の一側面においては、複数の画素が２次元のアレイ状に配設された画素アレイにより、入射光の光量に応じた画素信号が生成され、前記複数の画素が配列された列ごとに設けられた複数のアナログデジタル変換部により、前記画素信号がアナログ信号からデジタル信号に変換され、前記複数のアナログデジタル変換部の一部により、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号がアナログデジタル変換され、少なくとも前記一部以外の前記アナログデジタル変換部により、前記低解像度画像を構成する画素信号を用いた演算処理が実行される。
　本開示の一側面によれば、画像処理に使用することがないカラムAD回路を利用することで、メモリや演算回路を新たに付加することなく撮像に必須とされる処理以外の演算を実現することが可能となる。
従来の撮像素子の構成例を説明する図である。 従来の撮像素子の構成例を説明する図である。 本開示の技術を適用した撮像素子の構成例を説明する図である。 図３のカラムAD回路の詳細な構成例を説明する図である。 図３のカラムAD回路の撮像時の詳細な動作例を説明する図である。 図３のカラムAD回路の演算時の詳細な動作例を説明する図である。 図３のカラムAD回路の動作例を説明する図である。 図３の撮像素子によるフレーム間差分演算処理を説明するフローチャートである。 カラムAD回路内のメモリを用いた１フレーム単位での画素信号のシフト処理を説明する図である。 カラムAD回路内のメモリを用いた１フレームおきでの画素信号のシフト処理を説明する図である。 カラムAD回路内のメモリを用いたＮフレームおきでの画素信号のシフト処理を説明するフローチャートである。 カラムAD回路内のメモリを用いてリングバッファを構成するときの背景差分演算を実現する演算回路の構成例を説明するブロック図である。 カラムAD回路内のメモリを用いてリングバッファを構成するときの背景差分演算を説明するブロック図である。 カラムAD回路内のメモリを用いてリングバッファを構成するときの背景差分演算の従来の構成と比較した優位性を説明するブロック図である。 カラムAD回路内のメモリを用いてリングバッファを構成するときの背景差分演算処理を説明するフローチャートである。 カラムAD回路内のメモリを用いてリングバッファを構成するときの背景差分演算を実現する演算回路の第１の応用例を説明するブロック図である。 図１６の撮像素子による、カラムAD回路内のメモリを用いてリングバッファを構成するときの背景差分演算処理を説明するフローチャートである。 カラムAD回路内のメモリを用いてリングバッファを構成するときの第２の応用例として、ノイズ除去処理を実現する演算回路の構成例を説明するブロック図である。 図１８の撮像素子による、カラムAD回路内のメモリを用いてリングバッファを構成するときのノイズ除去処理を説明するフローチャートである。 カラムAD回路内の変形例を説明する図である。 図２０のカラムAD回路により実現可能な演算回路の例を説明する図である。 図２０のカラムAD回路により実現可能な演算回路を組み合わせることで実現される演算処理を説明する図である。 図２０のカラムAD回路において、水平転送線を接続する場合の構成例を説明する図である。 本開示のカメラモジュールを適用した電子機器としての撮像装置の構成例を示すブロック図である。 本開示の技術を適用したカメラモジュールの使用例を説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　＜一般的な撮像素子の構成例＞
　（前景画像と背景画像とを抽出する撮像素子の構成例）
　過去画像と入力画像の差分をとることで動物体領域の検出を行うという従来技術（フレーム間差分法）がある。そこで、例えば、上述した非特許文献１で示されるように、撮像素子（イメージセンサ）内でフレーム間差分を実現するために画素毎にメモリを設けて、アナログ回路により差分処理する方式が提案されている。
　また、非特許文献２で示されるように、背景画像と入力画像の差分をとることで物体領域を検出する背景差分法と呼ばれる手法を撮像素子内で実現する技術が提案されている。この場合、背景画像を格納するメモリの構成が必須となるので、装置構成が大型化してしまう上、入力画像が供給される毎に、背景画像を更新するために読出し、さらに、更新した背景画像を上書きするため、動作が複雑なものとなり、装置構成も複雑なものとなる。
　より詳細には、上述する撮像素子１は、例えば、図１で示されるように、AD（Analog Digital）変換部１１、画像縮小化部１２、デジタルフレームメモリ１３、背景更新アルゴリズム処理部１４、減算部１５、絶対値化部１６、および閾値処理部１７より構成されている。
　AD変換部１１は、図視せぬ画素アレイより供給されてくるアナログ信号からなる画素信号をデジタル信号に変換し、画像縮小化部１２に出力する。
　画像縮小化部１２は、デジタル信号に変換された画素信号の解像度を低減するように画像を縮小し、デジタルフレームメモリ１３に記憶させるとともに、減算部１５に出力する。
　デジタルフレームメモリ１３は、画像縮小化部１２より供給されてきた縮小された画像信号を格納するとともに、背景更新アルゴリズム処理部１４に供給し、さらに、背景更新アルゴリズム処理部１４の処理結果を上書きする。
　背景更新アルゴリズム処理部１４は、画像縮小化部１２より供給されてくる入力画像である縮小画像を用いて背景画像を更新し、デジタルフレームメモリ１３に書き戻す。すなわち、この処理によりデジタルフレームメモリ１３に、背景画像が順次更新されて保持されることになる。
　減算部１５は、画像縮小化部１２より供給されてくる縮小画像と、デジタルフレームメモリ１３に記憶されている、背景更新アルゴリズム処理部１４により背景更新アルゴリズム処理された背景画像との差分を求めて、前景画像を絶対値化部１６に供給する。
　絶対値化部１６は、入力画像である縮小画像と背景画像との差分値の絶対値を求めて、差分画像を構成する。
　閾値処理部１７は、差分画像における差分値valと閾値thとの比較により、閾値より多きい画素の画素値を１とし、それ以外の画素を０とする２値化処理により、動画像からなる前景領域を推定する。
　次に、図１の撮像素子の動作について説明する。
　まず、AD変換部１１がアナログ信号の画像信号をデジタル信号に変換する。次に、画像縮小化部１２は、デジタル信号に変換された画像信号を縮小化して低解像度化し、デジタルフレームメモリ１３に格納させる。
　次に、背景更新アルゴリズム処理部１４は、デジタルフレームメモリ１３に順次格納されてくる画像信号を用いて、背景画像を更新して書き戻す処理を繰り返す。
　減算部１５は、縮小画像とデジタルフレームメモリ１３に格納されている背景画像との差分を求めて絶対値化部１６に出力する。
　絶対値化部１６は、入力画像である縮小画像と、デジタルフレームメモリ１３より読み出される背景画像との差分絶対値からなる差分画像を閾値処理部１７に供給する。
　閾値処理部１７は、この差分画像の各画素の画素値valと閾値thとを比較し、大きな画素の画素値を１とし、それ以外の画素の画素値を０とする２値化画像とすることで、動画像からなる前景領域を推定する画像を出力する。
　この図１の撮像素子１の場合、背景画像を順次更新するためにデジタルフレームメモリ１３が必須の構成となり、このため、装置が大型化してしまう。
　また、背景更新アルゴリズム処理部１４は、デジタルフレームメモリ１３に格納されている縮小画像を読み出し、背景画像に更新処理を施した後、デジタルフレームメモリ１３に書き戻す必要があり、消費電力を増大させてしまう。
　（画質を向上させる撮像素子の構成例）
　さらに、図２で示される撮像素子のように、時間方向の複数の画像の重み付け平均により画質を向上させる撮像素子も提案されている。尚、図２における撮像素子３１において、図１の撮像素子１と同一の機能を備えた構成については、同一の符号および同一の名称を付しており、その説明は適宜省略するものとする。
　すなわち、図２の撮像素子３１において、図１の撮像素子１と異なる点は、背景更新アルゴリズム処理部１４、減算部１５、絶対値化部１６、および閾値処理部１７に代えて、重み付平均化部４１が設けられている点である。
　重み付平均化部４１は、デジタルフレームメモリ１３に記憶されている、それまでの重み付平均化部４１により処理された画像と、入力画像である縮小画像とを、入力画像に大きな重みが付されるように重み付平均化することで、画像よりノイズを除去して出力する。さらに、重み付平均化部４１は、重み付平均化した画像をデジタルフレームメモリ１３に格納させ、同様の処理を繰り返すことにより、ノイズを徐々に除去する。
　ただし、この場合においても、重み付平均化部４１は、デジタルフレームメモリ１３より直前の処理結果となる画像を読み出すとともに、入力画像を用いて重み付平均化処理し、再びデジタルフレームメモリ１３に書き戻す必要があり、消費電力が大きくなってしまう。また、デジタルフレームメモリ１３が必須の構成となるため、設置面積を確保する必要があり、装置が大型化してしまう。
　＜本開示の撮像素子の構成例＞
　そこで、本開示の撮像素子においては、高解像度で撮像する際には、全画素に対して列ごとに設けられている全てのカラムAD回路を用いて画素信号を生成する機能を備える。そして、その上で、本開示の撮像素子は、画像を撮像することを目的としない、例えば、背景画像および前景画像のそれぞれの領域を検出するようなセンサとして機能させる際には、低解像度化した画像を用い、低解像度化されることで生じる画像処理に用いられることがないカラムAD回路を用いて、他の演算処理を実行させる。このような動作を実現することにより、撮像素子の構成に新たな構成を付加することなく、高解像度の画像を撮像する機能と、センサとしての機能とを切り替えて実現する。
　より詳細には、図３は、本開示の撮像素子の構成例を示している。図３の撮像素子５１は、ｍ行×ｎ列からなる２次元に配列された画素を備えた画素アレイ７１、ｎ列の垂直転送線毎に設けられたカラムAD回路７２－０乃至７２－（ｎ－１）、および演算回路７３を備えている。尚、以降において、カラムAD回路７２－０乃至７２－（ｎ－１）のそれぞれを特に区別する必要がない場合、単にカラムAD回路７２と称するものとし、その他の構成についても同様に称するものとする。
　画素アレイ７１は、画素単位でフォトダイオードを有し、入射光の光量に応じた画素信号を発生し、垂直転送線を介して各列のカラムAD回路７２に供給する。
　カラムAD（Analog Digital）回路７２は、垂直転送線を介して供給されてくるアナログ信号からなる画素信号をデジタル信号に変換して演算回路７３に供給する。
　演算回路７３は、カラムAD回路７２－０乃至７２－（ｎ－１）より供給されてくるデジタル信号からなる画素信号に各種の演算処理を施して、演算結果を出力する。
　また、画素アレイ７１は、全画素を用いた高解像度の画像信号を撮像する上、さらに、動作モードに応じて異なる動作をする。動作モードには、全画素を用いた高解像度画像を撮像する画像撮像モードと、低解像度画像の情報を用いたセンサモードとがある。例えば、センサモードにおいては、画像内の動画像からなる前景画像が撮像されている前景領域と、背景画像が撮像されている背景領域とを識別する差分画像を出力する。
　より詳細には、画素アレイ７１は、センサモードの場合、画素加算や間引きなどにより全画素の解像度に対して低解像度の画像を生成して、低解像度の画素信号を対応するカラムAD回路７２に供給する。図３においては、画素アレイ７１を構成する画素のうちの所定数の画素群７１ａ－１乃至７１ａ－ｐからなるｐ画素の低解像度画像として撮像する際の構成が示されている。
　そこで、センサモードにおいては、低解像度画像が使用されることにより、画像処理に使用されないカラムAD回路７２が発生することになるので、この画像処理に使用されないカラムAD回路７２を使用して、差分画像を生成するといった撮像処理以外の演算処理を実行する。
　より具体的には、図３で示されるように、例えば、画素アレイ７１を、所定数の画素からなる画素群７１ａ－１を１画素として扱う画素信号が、カラムAD回路７２－０乃至７２－２で処理され、画素群７１ａ－２を１画素として扱う画素信号が、カラムAD回路７２－３乃至７２－５で処理される。そして、画素群７１ａ－（ｐ－１）を１画素として扱う画素信号が、カラムAD回路７２－（ｎ－６）乃至７２－（ｎ－４）で処理され、画素群７１ａ－ｐを１画素として扱う画素信号が、カラムAD回路７２－（ｎ－３）乃至７２－（ｎ－１）のそれぞれで処理される。
　カラムAD回路７２－０乃至７２－ｎは、それぞれ演算器７２ａ－０乃至７２ａ－ｎを備えているが、１フレーム単位で、順次、隣接するカラムAD回路７２に演算結果をシフトさせる。
　すなわち、例えば、０フレーム目の画素信号が、画素群７１ａ－１を１画素とする画素信号が、カラムAD回路７２－０に供給され、画素群７１ａ－２を１画素とする画素信号が、カラムAD回路７２－３に供給され、・・・画素群７１ａ－（ｐ－１）を１画素とする画素信号が、カラムAD回路７２－（ｎ－６）に供給され、画素群７１ａ－ｐを１画素とする画素信号が、カラムAD回路７２－（ｎ－３）に供給される場合、それぞれで画素信号がアナログ信号からデジタル信号に変換されて、保持される。
　次の１フレーム目の画素信号が供給される前に、カラムAD回路７２－０，７２－３，・・・７２－（ｎ－６），７２－（ｎ－３）は、それぞれが保持している画素信号を右隣りのカラムAD回路７２－１，７２－４，・・・７２－（ｎ－５），７２－（ｎ－２）にシフトする。
　そして、新たな１フレーム目の画素信号が供給されると、画素群７１ａ－１を１画素とする画素信号が、カラムAD回路７２－０に供給され、画素群７１ａ－２を１画素とする画素信号が、カラムAD回路７２－３に供給され、・・・画素群７１ａ－（ｐ－１）を１画素とする画素信号が、カラムAD回路７２－（ｎ－６）に供給され、画素群７１ａ－ｐを１画素とする画素信号が、カラムAD回路７２－（ｎ－３）に供給される。
　すなわち、一般的に、カラムAD回路７２は、画像を構成する画素信号を行単位でアナログ信号からデジタル信号に変換し、出力する。しかしながら、本開示の撮像素子５１の画素アレイにおいては、センサモードにおいて、画素群７１ａを１画素とみなすことで、低解像度画像を構成し、複数のカラムAD回路７２が有するラッチ回路などからなるメモリに、この低解像度画像からなる複数フレーム分の画像をフレームメモリ代わりに記憶させ、バッファリングや演算に使用する。
　尚、画素群７１ａを１画素とみなすようにする処理としては、例えば、画素群７１ａを構成する各画素の画素値を加算して平均を求めるようにしてもよいし、いずれかの代表画素の画素値を用いるようにしてもよいし、画素群７１ａを構成する画素の画素値のメジアンなどを利用するようにしてもよい。
　図３の撮像素子５１においては、同様の処理が繰り返されることにより、低解像度の画像信号が、３フレーム分だけ蓄積される例が示されている。そして、新たに低解像度の１フレーム分の画素信号が供給されてくるとき、最も古い画素信号が破棄されて、最新の３フレーム分の画素信号が蓄積される。
　（カラムAD回路の詳細な構成例）
　ここで、図４を参照して、カラムAD回路７２の詳細な構成例について説明する。
　カラムAD回路７２は、図３で示されるように、演算器７２ａをそれぞれ備えているが、演算器７２ａは、より詳細には、例えば、図４で示される、コンパレータ９１、組み合わせ回路９２、およびメモリ９３により構成される。
　より詳細には、図４で示されるように、カラムAD回路７２－０乃至７２－２には、それぞれコンパレータ９１－０乃至９１－２、組み合わせ回路９２－０乃至９２－２、およびメモリ９３－０乃至９３－２を備えている。コンパレータ９１は、それぞれ垂直転送線より供給されてくる画素信号と、リファレンス電圧とを比較して、比較結果を組み合わせ回路９２に供給する。組み合わせ回路９２－０乃至９２－２は、画像撮像モードにおいては、AD変換処理を実現するものであり、また、センサモードにおいては、AD回路として機能させるために組み合わされている各種の回路を適宜使用して、様々な演算を実行し、メモリ９３－０乃至９３－２に供給する。メモリ９３－０乃至９３－２は、例えば、ラッチ回路などからなるものであり、演算結果を一時的に記憶する。
　組み合わせ回路９２－０乃至９２－２は、それぞれ例えば、セレクタ１０１－０乃至１０１－２、１０２－０乃至１０２－２、符号反転部１０３－０乃至１０３－２、セレクタ１０４－０乃至１０４－２、加算器１０５－０乃至１０５－２、絶対値化部１０６－０乃至１０６－２、およびセレクタ１０７－０乃至１０７－２を備えている。
　組み合わせ回路９２のセレクタ１０１、１０２、符号反転部１０３、セレクタ１０４、加算器１０５、絶対値化部１０６、およびセレクタ１０７は、画像撮像モードにおいては、コンパレータ９１、およびメモリ９３と共に、いわゆるカウンタなどと同等の機能を実現し、AD変換を実現するものである。また、センサモードである場合、組み合わせ回路９２のセレクタ１０１、１０２、符号反転部１０３、セレクタ１０４、加算器１０５、絶対値化部１０６、およびセレクタ１０７は、図中の左側に隣接するカラムAD回路７２の画素信号を順次取得し、自らのメモリ９３に格納する、または、メモリ９３に格納されている値と共に所定の演算を加えて、メモリ９３に書き戻す。さらには、メモリ９３に格納された値は、右側に隣接するカラムAD回路７２に供給される。
　図４においては、セレクタ１０１は、コンパレータ９１の比較結果に基づいて、０または１を出力し、セレクタ１０２に供給する。セレクタ１０２は、左隣のカラムAD回路７２のメモリ９３の値、または、セレクタ１０１より供給されてくる値のいずれかを選択的に加算器１０５に出力する。符号反転部１０３は、メモリ９３に格納されている値の正負の符号を反転させてセレクタ１０４に供給する。セレクタ１０４は、自らのメモリ９３の値、符号反転部１０３からの自らのメモリ９３の値であって符号が反転された値、または、０のいずれかを選択的に加算器１０５に出力する。加算器１０５は、セレクタ１０２より出力される値と、セレクタ１０４より出力される値とを加算して、絶対値化部１０６およびセレクタ１０７に出力する。絶対値化部１０６は、加算器１０５より供給されてくる値の絶対値を求めてセレクタ１０７に供給する。セレクタ１０７は、加算機１０５より供給されてくる値、または、絶対値化部１０１より供給されてくる値のいずれかを選択的にメモリ９３に格納させる。
　このような構成により、カラムAD回路７２は、AD変換回路、または、左隣のカラムAD７２のメモリ９３に格納されている値を転送する、若しくは、転送した値と自らのメモリ９３に格納されている値とを加算する演算回路として機能する。
　すなわち、AD変換回路として機能する場合、図５の左部、および右部のそれぞれの太線で示されるように、コンパレータ９１の比較結果に基づいて、図５の左部で示されるようにセレクタ１０１が１を選択的に出力する、または、図５の右部で示されるようにセレクタ１０１が０を選択的に出力する。そして、セレクタ１０２が、セレクタ１０１の出力値を加算器１０５に供給する。また、セレクタ１０４が、メモリ９３に格納されている値を読み出して加算器１０５に出力する。加算器１０５は、セレクタ１０２，１０４よりそれぞれ供給されてくる値を加算して、セレクタ１０７および絶対値化部１０６に出力する。セレクタ１０７は、加算器１０５より出力された値をメモリ９３に格納する。以降において、同様の処理を繰り返す。
　また、演算回路として機能する場合、左隣のカラムAD回路７２のメモリ９３の値を自らのメモリ９３に読み込むとき、図６の左部で示されるように、セレクタ１０２が左隣のカラムAD回路７２のメモリ９３の値を選択して加算器１０５に供給し、セレクタ１０４が０を加算器１０５に供給する。これにより、加算器１０５は、実質的に、左隣のカラムAD回路７２のメモリ９３の値を絶対値化部１０６およびセレクタ１０７に供給する。セレクタ１０７は、加算器１０５より供給されてくる左隣のカラムAD回路７２のメモリ９３に格納されている値を自らのメモリ９３に格納させる。
　さらに、他の演算回路として機能する場合、自らのメモリ９３に格納されている値と、左隣のカラムAD回路７２のメモリ９３の値を加算して、自らのメモリ９３に読み戻すとき、図６の右部で示されるように、セレクタ１０２が左隣のカラムAD回路７２のメモリ９３の値を選択して加算器１０５に供給し、符号反転部１０３が、自らのメモリ９３に格納されている値の符号を反転し、セレクタ１０４が、符号反転部１０３により符号が反転された値を加算器１０５に供給する。これにより、加算器１０５は、左隣のカラムAD回路７２のメモリ９３の値と、自らのメモリ９３に格納されている値とを加算して絶対値化部１０６およびセレクタ１０７に供給する。絶対値化部１０６は、加算器１０５による加算結果の絶対値を求めてセレクタ１０７に供給する。セレクタ１０７は、絶対値化部１０６より供給されてくる加算結果を自らのメモリ９３に書き戻して格納する。
　（フレーム間差分演算処理）
　次に、図７の動作説明図と、図８のフローチャートを参照して、画素信号を順次演算し、演算結果を右隣のカラムAD回路に転送させて、フレーム間の差分絶対値からなる差分画像を出力するフレーム間差分処理を実現させる処理について説明する。
　尚、図７においては、０列目（column0）におけるカラムAD回路７２－０および１列目（column1）におけるカラムAD回路７２－１における処理を説明するものとするが、以降の列においても同様の処理がなされるものである。また、ここでは、カラムAD回路７２における各組み合わせ回路９２は、AD変換処理を行うとともに、順次供給されてくる画素値の差分絶対値を演算して出力すると共にメモリ９３に格納させるものであるものとする。
　すなわち、ステップＳ１１（図８）において、図７の左上段部で示されるように、カラムAD回路７２－０の組み合わせ回路９２－０は、垂直転送線を介して供給される第０番目のフレームの画素信号をAD変換し、デジタル信号からなる画素値val0としてメモリ９３－０に格納する。
　ステップＳ１２において、図７の左中段部で示されるように、カラムAD回路７２－１の組み合わせ回路９２－１は、配線Ｌ－０を介して、左側に隣接するカラムAD回路７２－０のメモリ９３－０より画素値val0を読み出し、メモリ９３－１に格納する。この動作は、上述した図６の左部の動作に対応する動作である。
　ステップＳ１３において、図７の左下段部で示されるように、カラムAD回路７２－０の組み合わせ回路９２－０は、垂直転送線を介して供給される第１番目のフレームの画素信号をAD変換し、デジタル信号からなる画素値val1としてメモリ９３－０に格納する。
　ステップＳ１４において、図７の右上段部で示されるように、カラムAD回路７２－１の組み合わせ回路９２－１は、配線Ｌ－０を介して、左側に隣接するカラムAD回路７２－０のメモリ９３－０より画素値val1を読み出すと共に、メモリ９３－１に格納されている画素値val0を読み出し、差分絶対値を演算し、演算結果である差分絶対値ad01（＝（abs-diff01）＝｜val1－val0｜）をメモリ９３－１に書き戻す。この動作は、上述した図６の右部の動作に対応する動作である。
　ステップＳ１５において、図７の右中段部で示されるように、メモリ９３－１に格納された差分絶対値である演算結果ad01がフレーム間差分演算結果として出力される。
　ステップＳ１６において、図７の右下段部で示されるように、カラムAD回路７２－１の組み合わせ回路９２－１は、配線Ｌ－０を介して、左側に隣接するカラムAD回路７２－０のメモリ９３－０より画素値val1を読み出し、メモリ９３－１に格納する。すなわち、画素値val1が１列分シフトされる。この動作は、上述した図６の左部の動作に対応する動作である。
　そして、以降において、順次画素信号が供給されてくると、ステップＳ１３以降の処理が順次繰り返されて、順次フレーム間差分の画素信号からなる画像が出力される。
　以上の処理が繰り返しなされることにより、前後するフレームの画素間の差分絶対値からなる差分画像を順次出力することが可能となる。
　すなわち、画素アレイ７１の解像度に対して低解像度の画像ながら、撮像素子の構成を新たに追加することなく、フレーム間差分画像を求めることが可能となるので、例えば、低解像度ながら動画像の領域である前景領域と、動画像ではない、すなわち、動きのない背景領域とを区別する差分画像を生成することが可能となる。また、動画像領域である前景領域の検出により、監視画像などにおいて、侵入者などを前景領域として検出するまでは、センサモードで動作し、侵入者が検出された場合にのみ、画像撮像モードに切り替えて、高解像度画像で撮像するようにすることが可能となる。この際、センサモードにおいては、カラムAD回路７２の一部のみを使用して、侵入者が検出されたときにのみ、高解像度で、カラムAD回路７２を全て使用するようにすることで、侵入者が撮像されるまでは、比較的低消費電力のセンサモードとし、侵入者を高解像度で確実に撮像することができるので、消費電力を低減させつつ、必要な侵入者の画像について高解像度で撮像することが可能となる。また、フレームメモリ等を増設する必要がないので、装置構成を小型化することが可能となる。
　（リングバッファ）
　以上においては、低解像度化された画素信号を用いて順次フレーム間差分を求める例について説明してきたが、カラムAD回路７２におけるメモリ９３に画素信号を順次格納し、さらに、次のフレームの画素信号が供給される度に、隣接するカラムAD回路７２にシフトさせるのみの処理をすることで、複数フレーム間のリングバッファを構成するようにしてもよい。
　基本的な動作については、上述した差分演算を実行することなく、単に、画素信号を隣接するカラムAD回路７２にシフトする動作を繰り返すことのみで実現することが可能となる。
　すなわち、図９の左上部で示されるように、まず、第１フレームであるフレームＦ１の画素信号「１」がカラムAD回路７２－０によりAD変換されて、メモリ９３－０に格納される。
　次に、第２フレームであるフレームＦ２の画素信号が供給されてくると、図９の中央上部で示されるように、メモリ９３－０に格納されていた画素信号「１」が隣接するカラムAD回路７２－１のメモリ９３－１にシフトされると共に、新たなフレームＦ２の画素信号「２」がカラムAD回路７２－０のメモリ９３－０に格納される。
　さらに、第３フレームであるフレームＦ３の画素信号が供給されてくると、図９の右上部で示されるように、メモリ９３－１に格納されていた画素信号「１」が隣接するカラムAD回路７２－２のメモリ９３－２にシフトされ、メモリ９３－０に格納されていた画素信号「２」が隣接するカラムAD回路７２－１のメモリ９３－１にシフトされる。そして、新たなフレームＦ３の画素信号「３」がカラムAD回路７２－０のメモリ９３－０に格納される。
　また、第４フレームであるフレームＦ４の画素信号が供給されてくると、図９の左下部で示されるように、カラムAD回路７２－２のメモリ９３－２に格納されていた画素信号「１」が破棄されて、メモリ９３－１に格納されていた画素信号「２」が隣接するカラムAD回路７２－２のメモリ９３－２にシフトされ、メモリ９３－０に格納されていた画素信号「３」が隣接するカラムAD回路７２－１のメモリ９３－１にシフトされる。そして、新たなフレームＦ４の画素信号「４」がカラムAD回路７２－０のメモリ９３－０に格納される。
　さらに、第５フレームであるフレームＦ５の画素信号が供給されてくると、図９の中央下部で示されるように、カラムAD回路７２－２のメモリ９３－２に格納されていた画素信号「２」が破棄されて、メモリ９３－１に格納されていた画素信号「３」が隣接するカラムAD回路７２－２のメモリ９３－２にシフトされ、メモリ９３－０に格納されていた画素信号「４」が隣接するカラムAD回路７２－１のメモリ９３－１にシフトされる。そして、新たなフレームＦ５の画素信号「５」がカラムAD回路７２－０のメモリ９３－０に格納される。
　また、第６フレームであるフレームＦ６の画素信号が供給されてくると、図９の右下部で示されるように、カラムAD回路７２－２のメモリ９３－２に格納されていた画素信号「３」が破棄されて、メモリ９３－１に格納されていた画素信号「４」が隣接するカラムAD回路７２－２のメモリ９３－２にシフトされ、メモリ９３－０に格納されていた画素信号「５」が隣接するカラムAD回路７２－１のメモリ９３－１にシフトされる。そして、新たなフレームＦ６の画素信号「６」がカラムAD回路７２－０のメモリ９３－０に格納される。
　以降において、順次、１フレームごとに画素信号が供給されてくると、順次、図中の右方向に隣接するカラムAD回路７２のメモリ９３にシフトされ、最も古いフレームの画素信号が破棄されて、常に、最新の３フレーム分の画素信号が蓄積され続け、結果として、リングバッファを実現することが可能となる。
　（Nフレームごとに画素信号をバッファリングするリングバッファ）
　以上においては、毎フレームごとに画素信号を隣接するカラムAD回路７２のメモリ７３にシフトすることでリングバッファを構成する例について説明してきたが、Ｎフレームごとに画素信号をシフトして、リングバッファを構成するようにしてもよい。
　すなわち、図１０の左上部で示されるように、まず、第１フレームであるフレームＦ１の画素信号「１」がカラムAD回路７２－０によりAD変換されて、メモリ９３－０に格納される。
　次に、第２フレームであるフレームＦ２の画素信号が供給されてくると、図１０の中央上部で示されるように、メモリ９３－０に格納されていた画素信号「１」が隣接するカラムAD回路７２－１のメモリ９３－１にシフトされると共に、新たなフレームＦ２の画素信号「２」がカラムAD回路７２－０のメモリ９３－０に格納される。
　さらに、第３フレームであるフレームＦ３の画素信号が供給されてくると、図１０の右上部で示されるように、メモリ９３－０に格納されていた画素信号「２」が破棄されて、画素信号「３」が上書きされる。
　また、第４フレームであるフレームＦ４の画素信号が供給されてくると、図１０の左下部で示されるように、メモリ９３－１に格納されていた画素信号「１」が隣接するカラムAD回路７２－２のメモリ９３－２にシフトされ、メモリ９３－０に格納されていた画素信号「３」が隣接するカラムAD回路７２－１のメモリ９３－１にシフトされる。そして、新たなフレームＦ４の画素信号「４」がカラムAD回路７２－０のメモリ９３－０に上書きされて格納される。
　さらに、第５フレームであるフレームＦ５の画素信号が供給されてくると、図１０の中央下部で示されるように、メモリ９３－０に格納されていた画素信号「４」が破棄されて、新たなフレームＦ５の画素信号「５」がカラムAD回路７２－０のメモリ９３－０に格納される。
　また、第６フレームであるフレームＦ６の画素信号が供給されてくると、図１０の右下部で示されるように、メモリ９３－０に格納されていた画素信号「５」が破棄されて、新たなフレームＦ６の画素信号「６」により上書きされて、カラムAD回路７２－０のメモリ９３－０に格納される。
　以降において、順次、画素信号が供給されてくると、Ｎフレームおき（１フレームおき）に、図中の右方向に隣接するカラムAD回路７２のメモリ９３にシフトされ、最も古いフレームの画素信号が破棄されて、常に、最新の３フレーム分の画素信号が、１フレームおきに蓄積され続け、結果として、リングバッファを実現することが可能となる。
　（Ｎフレームおきに右側に隣接するカラムAD回路に画素信号をシフトするシフト処理）
　次に、図１１のフローチャートを参照して、Ｎフレームおきに右側に隣接するカラムAD回路に画素信号をシフトするシフト処理について説明する。
　ステップＳ３１において、図示せぬ制御部により、カウンタｎが１に初期化される。
　ステップＳ３２において、図示せぬ制御部により、新たなフレームの画素信号が供給されてきたか否かが判定され、送信されてくるまで、同様の処理が繰り返される。
　ステップＳ３２において、新たなフレームの画素信号が供給されてきた場合、処理は、ステップＳ３３に進む。
　ステップＳ３３において、図示せぬ制御部により、カウンタｎがＮ＋１であるか否かが判定される。例えば、図１０を参照して説明したＮ＝１フレームおきの場合、最初の処理ではカウンタｎ＝１であり、２（＝Ｎ＋１）ではないので、処理は、ステップＳ３４に進む。
　ステップＳ３４において、組み合わせ回路９２－０は、画素信号をAD変換してメモリ９３－０にAD変換されるまでに格納されていた画素信号を破棄した上で、新たに上書きして格納し、処理は、ステップＳ３５に進む。尚、最初の処理では、値がないので、そのまま格納される。
　ステップＳ３５において、図示せぬ制御部により、カウンタｎが１インクリメントされて、処理は、ステップＳ３２に戻る。
　すなわち、カウンタｎがＮ＋１となるまで、ステップＳ３２乃至Ｓ３５の処理が繰り返されて、新たなフレームの画素信号が供給されてきても、画素信号がAD変換されて、カラムAD回路７２－０のメモリ９３－０の値が上書きされ続ける。
　そして、ステップＳ３３において、カウンタｎがＮ＋１となった場合、処理は、ステップＳ３６に進む。
　ステップＳ３６において、組み合わせ回路９２－１は、図４における左側に隣接するカラムAD回路７２－０のメモリ９３－０より画素信号を読み出し、メモリ９３－１に格納させることにより、画素信号を１列分だけシフトさせる。
　ステップＳ３７において、組み合わせ回路９２－０は、画素信号をAD変換してメモリ９３－０に格納し、処理は、ステップＳ３８に進む。
　ステップＳ３８において、組み合わせ回路９２－０は、処理が終了か否かを判定し、終了ではない場合、処理は、ステップＳ３１に戻り、それ以降の処理が繰り返される。そして、ステップＳ３８において、処理の終了が判定されると、処理は、終了される。
　すなわち、このような処理により、任意のＮフレームおきに画素信号が順次右隣のカラムAD回路７２のメモリ９３にシフトされて、リングバッファを構成することが可能となる。
　＜リングバッファを用いた背景画像を算出する演算回路の構成例＞
　以上においては、カラムAD回路７２－０乃至７２－（ｎ－１）のメモリ９３－０乃至９３－（ｎ－１）を用いてリングバッファを構成する例について説明してきたが、このリングバッファを用いて背景画像と前景画像との差分画像を演算する演算回路７３の構成例について説明する。
　図１２は、上述したメモリ９３からなるリングバッファを用いて背景画像を演算する演算回路７３の構成例を示している。尚、図１２においては、メモリ９３－０が最新のフレームの画素信号を格納するバッファ１１０ａと、過去のフレームの画素信号を格納する、メモリ９３－１乃至９３－（ｎ－１）からなるバッファ１１０ｂを構成しており、このバッファ１１０ａおよび１１０ｂによりリングバッファ１１０が構成されている。
　図１２の演算回路７３は、加算部１１１、ゲインアンプ１１２、減算部１１３、絶対値化部１１４、および閾値処理部１１５を備えている。
　加算部１１１は、それぞれリングバッファ１１０を構成するメモリ９３－０乃至９３－Ｎのうち、最も古いフレームの画素信号から４番目まで古いフレームの画素信号を保持している、メモリ９３－（ｎ－１）乃至９３－（ｎ－４）の画素信号を加算し、ゲインアンプ１１２に供給する。
　ゲインアンプ１１２は、リングバッファ１１０を構成するメモリ９３－０乃至９３－Ｎのうち、最も古いフレームの画素信号から４番目まで古いフレームの画素信号を保持している、メモリ９３－（ｎ－１）乃至９３－（ｎ－４）の画素信号の加算結果を１／４のゲインにすることで画素信号の平均値を求めて減算部１１３に出力する。
　減算部１１３は、最も新しいフレームの画素信号が保持されているメモリ９３－０の画素信号とゲインアンプ１１２より供給されてくる最も古いフレームの画素信号から４番目まで古いフレームの画素信号の平均値との差分を求めて絶対値化部１１４に供給する。
　絶対値化部１１４は、減算部１１３より出力される差分となる画素値の絶対値を差分絶対値として求めて、閾値処理部１１５に出力する。
　閾値処理部１１５は、絶対値化部１１４より供給されてくる差分絶対値となる画素値valと、所定の閾値thとを比較して所定の閾値thよりも大きな画素の画素値を１とし、それ以外の画素の画素値を０とした２値化された差分画像を出力する。この２値化された差分画像により、画素値が「１」からなる前景領域、および画素値が「０」からなる背景領域をからなる画像が生成されて、それぞれの前景領域および背景領域を推定することが可能となる。尚、画素値の０，１は入れ替わったものであってもよいし、それ以外の２値で表現されていてもよい。
　すなわち、メモリ９３－０乃至９３－（ｎ－１）が１フレームおきに画素信号を順次シフトして画素信号を記憶し、リングバッファ１１０を構成する場合、Ｎ（＝１）フレームおきに画素値をシフトさせるとき、図１３の最上段で示されるように、メモリ９３－０にフレーム０（frame0）乃至フレーム１０（frame10）が順次格納されるものとする。
　この場合、メモリ９３－１乃至９３－（ｎ－１）により形成されるリングバッファ１１０には、フレーム０（frame0）の画素信号が、メモリ９３－（ｎ－５）に、フレーム０（frame0）が供給されるタイミングで格納され、フレーム１（frame1）がスキップされる。そして、フレーム２（frame2）のタイミングで、フレーム０（frame0）の画素信号が、メモリ９３－（ｎ－４）にシフトされると共に、メモリ９３－（ｎ－５）に、フレーム２（frame2）が供給されると共に格納され、フレーム３（frame3）のタイミングでもこの状態が保持される。
　また、フレーム４（frame4）のタイミングで、フレーム０（frame0）の画素信号が、メモリ９３－（ｎ－３）にシフトされると共に、フレーム２（frame2）の画素信号が、メモリ９３－（ｎ－４）にシフトされて、メモリ９３－（ｎ－５）に、フレーム４（frame4）が供給されると共に格納され、フレーム５（frame5）のタイミングでもこの状態が保持される。
　さらに、フレーム６（frame6）のタイミングで、フレーム０（frame0）の画素信号が、メモリ９３－（ｎ－２）にシフトされると共に、フレーム２（frame2）の画素信号が、メモリ９３－（ｎ－３）にシフトされて、フレーム４（frame4）の画素信号が、メモリ９３－（ｎ－４）にシフトされて、メモリ９３－（ｎ－５）に、フレーム６（frame6）が供給されると共に格納され、フレーム７（frame7）のタイミングでもこの状態が保持される。
　また、フレーム８（frame8）のタイミングで、フレーム０（frame0）の画素信号が、メモリ９３－（ｎ－１）にシフトされると共に、フレーム２（frame2）の画素信号が、メモリ９３－（ｎ－２）にシフトされて、フレーム４（frame4）の画素信号が、メモリ９３－（ｎ－３）にシフトされて、フレーム６（frame6）の画素信号が、メモリ９３－（ｎ－３）にシフトされて、メモリ９３－（ｎ－５）に、フレーム８（frame8）が供給されると共に格納され、フレーム９（frame9）のタイミングでもこの状態が保持される。
　この処理により、メモリ９３－０に、例えば、フレーム８（frame8）が供給されるタイミングにおいては、フレーム０，２，４，６（frame0,2,4,6）の平均値と、フレーム８（frame8）との差分絶対値が差分画像の画素値としてそれぞれ求められる。
　すなわち、従来においては、図１４の上段で示されるように、各フレームの画素信号が供給されてくる度に、直前の背景画像（背景画像（ｔ－１））が読み出され、入力画像（入力画像（ｔ））との重みαを用いた重み付平均が背景画像（＝背景画像（ｔ－１）×α＋入力画像（ｔ）×（１－α））として求められて書き戻す処理が繰り返されていた。このため、読み出し、演算、および書き戻しにより、演算回路７３の構成が複雑になると共に、消費電力を増大させる原因となっていた。
　しかしながら、図１２の演算回路７３の構成によれば、図１４の下段で示されるように、例えば、フレーム８（frame8）の画素信号が供給されるタイミングにおいては、格納されているフレーム０，２，４，６（frame0,2,4,6）の画素信号を読み出して平均値を求め、フレーム８（frame8）の画素信号との差分絶対値を演算するのみでよいため演算回路７３の構成を簡素化することができ、さらに、書き戻す処理が不要であるので、消費電力を低減させることが可能となる。
　（背景差分演算処理）
　次に、図１５のフローチャートを参照して、図１２の演算回路７３による背景差分演算処理について説明する。尚、ここでは、古い方から４フレーム分の画素信号の平均値を求めるものとする。
　ステップＳ５１において、ゲインアンプ１１１－０乃至１１１－３は、それぞれリングバッファを構成するメモリ９３－０乃至９３－（ｎ－１）のうち、最も古いフレームの画素信号からＮ番目まで古いフレームの画素信号を保持している、メモリ９３－（ｎ－１）乃至９３－（ｎ－４）の画素信号を読み出す。
　ステップＳ５２において、加算部１１１は、リングバッファ１１０に保持されている、最も古いフレーム画素信号から４番目まで古いフレームの画素信号を加算し、ゲインアンプ１１２に供給する。
　ステップＳ５３において、ゲインアンプ１１２は、加算した画素信号のゲインを１／４にして、最も古いフレーム画素信号から４番目まで古いフレームの画素信号の平均値を求めて減算部１１３に供給する。
　ステップＳ５４において、減算部１１３は、最も新しいフレームの画素信号が保持されているメモリ９３－０の画素信号と加算部１１２より供給されてくる最も古いフレームの画素信号から４番目まで古いフレームの画素信号の平均値との差分を求めて絶対値化部１１４に供給する。
　ステップＳ５５において、絶対値化部１１４は、減算部１１３より出力される差分となる画素値の絶対値を求めて、差分絶対値として、閾値処理部１１５に出力する。
　ステップＳ５６において、閾値処理部１１５は、絶対値化部１１４より供給されてくる差分絶対値となる画素値valと、所定の閾値thとを比較して所定の閾値thよりも大きな画素の画素値を１とし、それ以外の画素の画素値を０とした２値化された差分画像を出力する。
　この２値化された差分画像により、前景領域、および背景領域を推定することが可能となる。尚、以上においては、リングバッファ１１０に格納された画素信号のうち、最も古い４フレーム分の平均値と最新のフレームの画素信号との差分絶対値を用いて前景領域および背景領域を推定する例について説明してきたが、最も古い複数フレームの平均値については、４フレーム以外のフレーム数の平均値を求めるようにしてもよい。
　＜第１の応用例＞
　以上においては、メモリ９３－０乃至９３－（ｎ－１）を用いたリングバッファ１１０により最新のフレームにおける画素信号と、最も古い４フレーム分の画素信号の平均値との差分絶対値を用いる例について説明してきたが、最新のフレームにおける画素信号と、最も古い４フレームのそれぞれとの差分絶対値が全て閾値よりも大きいときの差分絶対値の画素のみを前景領域とみなし、それ以外の画素を背景領域とみなすようにしてもよい。
　図１６は、メモリ９３－０乃至９３－（ｎ－１）を用いたリングバッファ１１０により、最新のフレームにおける画素信号と、最も古い４フレームのそれぞれとの差分絶対値が全て閾値よりも大きいときの差分絶対値の画素のみを前景領域とみなし、それ以外の画素を背景領域とみなすようにした演算回路７３の第１の応用例である。
　図１６の演算回路７３は、減算器１３１－０乃至１３１－３、絶対値化部１３２－０乃至１３２－３、閾値処理部１３３－０乃至１３３－３、および判定部１３４を備えている。
　減算器１３１－０乃至１３１－３は、メモリ９３－Ｎ乃至９３－（Ｎ－３）に格納されている最も古い４フレーム分の画素信号を読み出し、メモリ９３－０に格納されている最新の入力画像の画素信号との差分を求めて、それぞれ絶対値化部１３２－０乃至１３２－３に供給する。
　絶対値化部１３２－０乃至１３２－３は、それぞれ供給されてくる差分値を差分絶対値として閾値処理部１３３－０乃至１３３－３に供給する。
　閾値処理部１３３－０乃至１３３－３は、それぞれ差分絶対値と所定の閾値とを比較し、閾値よりも大きな画素について画素値を１とし、それ以外の画素について画素値を０とする２値化画像を生成し、判定部１３４に供給する。
　判定部１３４は、閾値処理部１３３－０乃至１３３－３より供給されてくる４個の２値化画像の各画素について、画素値がいずれも１である画素のみの画素値を１とし、それ以外の画素の画素値を０とする。
　このような構成により、例えば、背景に木の葉が含まれており、風に揺らぐなどして安定的に背景領域とみなされない範囲については、時系列に画素値を加算して求められる平均値の場合、値にばらつきが生じて、背景画像であるにもかかわらず、前景画像であるとみなされることがあり、安定的に背景画像であるとみなされないことがある。しかしながら、各タイミングの同一位置の画素値の全てが前景画像であるとみなされる場合にのみ前景画像であるとみなされるようにすることで、木の葉が揺れるのみで動物体が検出されてしまうようなことがなくなるので、被写体が移動した範囲のみを確実に前景領域とみなすことが可能となる。
　（図１６の演算回路による背景差分演算処理）
　次に、図１７のフローチャートを参照して、図１６の演算回路による背景差分演算処理について説明する。
　ステップＳ７１において、減算器１３１－０乃至１３１－３は、メモリ９３－（ｎ－１）乃至９３－（ｎ－４）に格納されている最も古い４フレーム分の画素信号（N個の画素信号）を読み出す。
　ステップＳ７２において、減算器１３１－０乃至１３１－３は、それぞれ読み出した最も古い４フレーム分の画素信号と、メモリ９３－０に格納されている最新の入力画像の画素信号との差分を求めて、それぞれ絶対値化部１３２－０乃至１３２－３に供給する。
　ステップＳ７３において、絶対値化部１３２－０乃至１３２－３は、それぞれ供給されてくる差分値の絶対値を求め、差分絶対値として閾値処理部１３３－０乃至１３３－３に供給する。
　ステップＳ７４において、閾値処理部１３３－０乃至１３３－３は、それぞれ差分絶対値と所定の閾値とを比較し、閾値よりも大きな画素について画素値を１とし、それ以外の画素について画素値を０とする２値化画像を生成し、判定部１３４に供給する。
　ステップＳ７５において、判定部１３４は、閾値処理部１３３－０乃至１３３－３より供給されてくる４個の２値化画像の各画素について、画素値がいずれも１である画素のみの画素値を１とし、それ以外の画素の画素値を０とする。
　このような構成により、例えば、背景に木の葉が含まれており、風に揺らぐなどして安定的に前景領域とみなされない範囲については、確実に背景領域とみなされ、安定的に被写体が移動した範囲のみを前景領域とみなすことが可能となる。
　＜第２の応用例＞
　以上においては、メモリ９３－０乃至９３－（ｎ－１）を用いたリングバッファ１１０により最新のフレームにおける画素信号と、最も古い４フレーム分の画素信号のそれぞれとの差分絶対値の比較結果を用いる例について説明してきたが、リングバッファ１１０に格納されている全フレームにおける画素信号の平均を求めるようにすることで、ノイズ除去を実現するようにしてもよい。
　図１８は、メモリ９３－０乃至９３－（ｎ－１）を用いたリングバッファ１１０により全フレームにおける画素信号の平均を求めるようにすることで、ノイズ除去を実現するようにした演算回路７３の構成例を示している。
　図１８の演算回路７３は、加算器１５１、およびゲインアンプ１５２を備えている。加算器１５１は、メモリ９３－０乃至９３－（ｎ－１）に格納されているｎフレーム分の全フレームの画素信号を加算し、ゲインアンプ１５２に供給する。ゲインアンプ１５２は、加算器１５１の加算結果に、１／ｎ倍のゲインを掛けることにより、リングバッファに平均値を求めるゲインアンプ１５２を備えている。
　このような構成により、ノイズを除去することが可能となる。
　（図１８の演算回路によるノイズ除去処理）
　次に、図１９のフローチャートを参照して、図１８の演算回路７３によるノイズ除去処理について説明する。
　ステップＳ９１において、加算器１５１は、メモリ９３－０乃至９３－（ｎ－１）に格納されているｎフレーム分の画素信号を全て読み出して、加算し、加算結果をゲインアンプ１５２に供給する。
　ステップＳ９２において、ゲインアンプ１５２は、加算結果を１／ｎ倍のゲインを掛けて、画素信号の平均値を求めるようにする。
　ステップＳ９３において、ゲインアンプ１５２は、画素信号の全フレーム分の平均値を出力する。
　この結果、メモリ９３－０乃至９３－（ｎ－１）により構成されたリングバッファ１１０に格納されている全フレーム分の画素信号を平均化することで、ノイズが除去された画像を出力することが可能となる。尚、以上においては、全ての画像を均等に加算して平均化する例について説明してきたが、新しい画像により大きな重みを付して、重み付平均をもとめるようにしてもよい。
　＜第３の応用例＞
　以上においては、カラムAD回路７２のメモリ９３の値を順次、右隣のカラムAD回路７２のメモリ９３にシフトする例について説明してきたが、例えば、図２０で示されるように、左隣のカラムAD回路７２にシフトさせるようにしてもよいし、垂直転送線の接続のオンまたはオフを切り替えるようにしてもよいし、さらに、隣接する垂直転送線の接続を切り替えるようにしてもよい。
　すなわち、図２０においては、垂直転送線１９２間を接続する水平転送線１９１が設けられ、さらに、垂直転送線１９２間の接続のオンまたはオフを切り替えるスイッチ１８１－０乃至１８１－２が設けられている。また、垂直転送線の接続のオンまたはオフを切り替えるスイッチ１８２－０乃至１８２－２が設けられている。
　さらに、カラムAD回路７２－０，７２－１間、およびカラムAD回路７２－１，７２－２間のそれぞれに設けられている、メモリ９３の値を隣接する左側のカラムAD回路７２に転送する配線Ｌ１－０，Ｌ１－１に加えて、右側のカラムAD回路７２に転送する配線Ｌ２－１，Ｌ２－２が設けられている。
　尚、図２０の各構成において、図４と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略するものとする。すなわち、図２０において、図４と異なる点は、組み合わせ回路９２に代えて、組み合わせ回路９２’を設けている点である。組み合わせ回路９２’は、基本的な機能は、組み合わせ回路９２と同様であるが、セレクタ１７１をさらに設けている点で異なる。セレクタ１７１は、動作モードに応じて、右隣のカラムAD回路７２のメモリ９３の画素信号か、または０のいずれかを選択して加算器１０５に供給する。従って、図２０の組み合わせ回路９２’においては、加算器１０５は、セレクタ１０２，１０４，１７１より供給されてくる３値を加算して、絶対値化部１０６およびセレクタ１０７に供給する。
　このような構成により、様々な演算を実現することが可能となる。
　より具体的には、図２１の左上部のカラムAD回路７２－１１で示されるように、コンパレータ９１－１１が、垂直転送線より供給されてくるアナログ信号の画素信号をリファレンスとの比較結果を組み合わせ回路９２’－１１に供給し、組み合わせ回路９２’－１１を、AD変換する際に使用されるカウントアップ回路またはカウントダウン回路として機能させることが可能となる。尚、図２１においては、各配線上の太線が、画素信号の移動経路を示している。
　また、図２１の中央上部のカラムAD回路７２－２１，７２－２２で示されるように、カラムAD回路７２－２２の組み合わせ回路９２’－２２が、配線Ｌ１を介して、左隣のカラムAD回路７２－２１のメモリ９３－２１に格納された画素信号を読み出し、メモリ９３－２２に格納させることで、カラムAD回路７２－２１のメモリ９３－２１に格納された画素信号を、右隣のカラムAD回路７２－２２のメモリ９３－２２に移動させる右シフト処理回路として機能させることが可能となる。
　さらに、図２１の右上部のカラムAD回路７２－３１，７２－３２で示されるように、カラムAD回路７２－３１の組み合わせ回路９２’－３１が、配線Ｌ２を介して、右隣のカラムAD回路７２－３２のメモリ９３－３２に格納された画素信号を読み出し、メモリ９３－３１に格納させることで、カラムAD回路７２－３２のメモリ９３－３２に格納された画素信号を、左隣のカラムAD回路７２－３１のメモリ９３－３１に移動させる左シフト処理回路として機能させることが可能となる。
　また、図２１の左下部で示されるように、カラムAD回路７２－５１で示されるように、カラムAD回路７２－５１のメモリ９３－５１に初期値として画素信号を格納させることで初期値設定回路として機能させることが可能となる。
　さらに、図２１の中央下部で示されるように、カラムAD回路７２－７１，７２－７２で示されるように、カラムAD回路７２－７２の組み合わせ回路９２’－７２が、配線Ｌ１を介して、左隣のカラムAD回路７２－７１のメモリ９３－７１に格納された画素信号を読み出し、メモリ９３－７２に格納されている値と共に演算し、メモリ９３－７２に格納する右シフト演算回路として機能させることが可能となる。
　また、図２１の右下部で示されるように、カラムAD回路７２－９１，７２－９２で示されるように、カラムAD回路７２－９１の組み合わせ回路９２’－９１が、配線Ｌ２を介して、左隣のカラムAD回路７２－９２のメモリ９３－９２に格納された画素信号を読み出し、メモリ９３－９１に格納されている値を用いて演算し、メモリ９３－９１に格納することで左シフト演算回路として機能させることが可能となる。
　このような演算回路を組み合わせるようにすることで、様々な演算処理を実現することが可能となる。
　例えば、０列目（column0）乃至５列目（column５）までの６列について、カラムAD回路７２－０乃至７２－５を設けて、カラムAD回路７２－０，７２－４をAD変換のためのカウントアップ回路として機能させ、カラムAD回路７２－１乃至７２－３を右シフト処理回路として機能させ、カラムAD回路７２－５を初期値設定回路として機能させ、カラムAD回路７２－４を、さらに、図５で示されるような右シフト演算回路として機能させることで、図２２で示されるような処理を実現することが可能となる。
　尚、図２２においては、各列（column0乃至5）のカラムAD回路７２－０乃至７２－５における第０フレーム（frame0）乃至第３フレーム（frame3）までの処理がタイミングＴ１乃至Ｔ１３のそれぞれにおいて示されている。
　また、予めcolumn5のカラムAD回路７２－５が、初期設定回路として機能し、メモリ９３－５に閾値（thresh）が設定されるものとする。
　タイミングＴ１において、column0のカラムAD回路７２－０に、0フレーム目（frame0）の画素値（val0）が入力されると、カラムAD回路７２－０の組み合わせ回路９２’－０が、AD変換し、タイミングＴ２において、カラムAD回路７２－０（column0）内のメモリ９３－０に保存する。
　タイミングＴ３において、カラムAD回路７２－１の組み合わせ回路９２’－１が、column0内のメモリ９３－０に保存した画素値（val0）を、column1内のメモリ９３－１にシフトする。
　タイミングＴ４において、１フレーム目（frame1）の画素値（val1）がcolumn0のカラムAD回路７２－０の組み合わせ回路９２’－０に入力されると、カラムAD回路７２－０の組み合わせ回路９２’－０が、AD変換し、タイミングＴ５において、column0内のメモリ９３－０に保存する。
　タイミングＴ６において、画素値（val0）がcolum1内のメモリ９３－１からcolumn2のメモリ９３－２へシフトされ、同様に、画素値（val1）がcolumn0内のメモリ９３－０からcolumn1のメモリ９３－１へとシフトされる。
　タイミングＴ７において、2フレーム目（frame2）の画素値（val2）に対しても順次AD変換がなされ、タイミングＴ８において、column0のメモリ９３－０に保存される。
　そして、タイミングＴ９において、column2の画素値（val0）がcolumn3のメモリ９３－３にシフトされ、column1の画素値（val1）がcolumn2のメモリ９３－２にシフトされ、column0の画素値（val2）がcolumn1のメモリ９３－１にシフトされる。
　タイミングＴ１０において、3フレーム目（frame3）の画素値（val3）が入力されたとき、図２３で示されるように、水平転送線１９１のスイッチ１８１－０乃至１８１－３をオンにして接続し、column0のカラムAD回路７２－０とcolumn4のカラムAD回路７２－４とで同時にAD変換を実行し、タイミングＴ１１において、それぞれ画素値（val3）が、メモリ９３－０，９３－４に格納される。
　タイミングＴ１２において、column0乃至3の画素値val0乃至val3は、それぞれ右隣に隣接するカラムAD回路７２－３乃至７２－１のメモリ９３－３乃至９３－１にそれぞれシフトされる。このとき、同時に、column4のカラムAD回路７２－４では、組み合わせ回路９２－４が、column3のカラムAD回路７２－３のメモリ９３－３に格納されている画素値（val0）とcolumn4のカラムAD回路７２－４によりAD変換された画素値（val3）とで差分絶対値を演算により求め、演算結果（abs_diff03）をcolumn4のカラムAD回路７２－４のメモリ９３－４に格納する。
　タイミングＴ１３において、column5のカラムAD回路７２－５に設定された閾値（thresh）がcolumn4のカラムAD回路７２－４にシフトされながら、その差分絶対値（abs_diff03）から減算し、減算結果（diff03）を保存する。
　この減算結果（diff03）が、所定の閾値よりも大きい場合、この画素が動体を含む前景領域であるものとみなされることになる。
　このような動作により、前景領域と背景領域とからなる２値化画像からなる差分画像を構成することが可能となる。
　尚、以上においては、低解像度画像とすることでAD変換に使用されないカラムAD回路７２を用いて差分画像を演算する例について説明してきたが、カラムAD回路７２を構成する組み合わせ回路９２の構成を工夫することで、他の演算処理に応用することも可能である。また、AD変換に使用されないカラムAD回路７２を利用してリングバッファ１１０を構成し、リングバッファ１１０を用いて、演算回路７３の構成により差分画像を求める、およびノイズを除去するようにする例についても説明してきたが、演算回路７３の構成を変えることで、他の演算に使用するようにしてもよいものである。
　また、以上においては、全画素について露光時間が同一である例について説明してきたが、露光時間の異なる低解像度画像をカラムAD回路７２のグループを分けて格納し、白飛びや黒沈みを除去するようにしてもよい。
　以上の如く、本開示の撮像素子によれば、カラムAD回路７２内メモリ９３を用いて演算処理を行うことで、デジタルフレームメモリを増設する必要がないため、その分の実装エリアを小さくすることができるので、装置の小型化を実現することが可能となる。また、デジタルフレームメモリを設ける必要がないので、リーク電流を低く抑えることが可能となり、省電力化を実現することが可能となる。
　また、画素内にメモリを持つ方式に比べて、画素を小さくできるので、その分多画素化を実現する、または、小面積化を実現することが可能となる。
　さらに、カラムAD回路内で動物体を検知する構成にすることで、通常時はカラムAD回路の後段の構成を完全に停止したまま、動き検知をすることができるため、省電力化を実現することが可能となる。
　＜電子機器への適用例＞
　上述した撮像素子５１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
　図２４は、本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。
　図２４に示される撮像装置５０１は、光学系５０２、シャッタ装置５０３、固体撮像素子５０４、駆動回路５０５、信号処理回路５０６、モニタ５０７、およびメモリ５０８を備えて構成され、静止画像および動画像を撮像可能である。
　光学系５０２は、１枚または複数枚のレンズを有して構成され、被写体からの光（入射光）を固体撮像素子５０４に導き、固体撮像素子５０４の受光面に結像させる。
　シャッタ装置５０３は、光学系５０２および固体撮像素子５０４の間に配置され、駆動回路１００５の制御に従って、固体撮像素子５０４への光照射期間および遮光期間を制御する。
　固体撮像素子５０４は、上述した固体撮像素子を含むパッケージにより構成される。固体撮像素子５０４は、光学系５０２およびシャッタ装置５０３を介して受光面に結像される光に応じて、一定期間、信号電荷を蓄積する。固体撮像素子５０４に蓄積された信号電荷は、駆動回路５０５から供給される駆動信号（タイミング信号）に従って転送される。
　駆動回路５０５は、固体撮像素子５０４の転送動作、および、シャッタ装置５０３のシャッタ動作を制御する駆動信号を出力して、固体撮像素子５０４およびシャッタ装置５０３を駆動する。
　信号処理回路５０６は、固体撮像素子５０４から出力された信号電荷に対して各種の信号処理を施す。信号処理回路５０６が信号処理を施すことにより得られた画像（画像データ）は、モニタ５０７に供給されて表示されたり、メモリ５０８に供給されて記憶（記録）されたりする。
　このように構成されている撮像装置５０１においても、上述した光学系５０２、シャッタ装置５０３、および固体撮像素子５０４に代えて、撮像素子５１を適用することにより、演算に必要とされる回路構成を増設することなく画像撮像モードとセンサモードとを切り替えた撮像が可能となり、装置の小型化や省電力化を実現することが可能となる。
　＜固体撮像素子の使用例＞
　図２５は、上述の撮像素子５１を使用する使用例を示す図である。
　上述したカメラモジュールは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、
　前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
　前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
　撮像素子。
＜２＞　前記アナログデジタル変換部は、前記演算処理の結果を記憶する記憶部を含み、
　少なくとも前記一部以外の前記アナログデジタル変換部は、タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶する
　＜１＞に記載の撮像素子。
＜３＞　少なくとも前記一部以外の前記アナログデジタル変換部は、新たな低解像度画像の画素信号が供給されてくるとき、隣接する前記アナログデジタル変換部の前記記憶部に記憶している画素信号を読み出し、自らの前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶する
　＜２＞に記載の撮像素子。
＜４＞　少なくとも前記一部以外の前記アナログデジタル変換部は、新たな低解像度画像の画素信号が供給されてくるときであって、所定数のフレーム毎に、自らの前記記憶部に記憶している画素信号を、順次隣接する前記アナログデジタル変換部の前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶する
　＜２＞に記載の撮像素子。
＜５＞　少なくとも前記一部以外の前記アナログデジタル変換部は、前記記憶部に記憶している、タイミングの異なる複数フレーム分の前記低解像度画像を構成する画素信号のフレーム間差分画像を求める演算処理を実行する
　＜２＞に記載の撮像素子。
＜６＞　少なくとも前記一部以外の前記アナログデジタル変換部は、前記記憶部に記憶している、所定のタイミングの１フレーム分の前記低解像度画像を構成する画素信号を読み出し、新たなフレームの画素信号とのフレーム間差分画像を求め、前記記憶部に上書きする
　＜５＞に記載の撮像素子。
＜７＞　少なくとも前記一部以外の前記アナログデジタル変換部は、新たな低解像度画像の画素信号が供給されてくるとき、自らの前記記憶部に記憶している画素信号を、隣接する前記アナログデジタル変換部の前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる所定数の複数フレーム分の低解像度画像を構成する画素信号を記憶することで、リングバッファを構成する
　＜２＞に記載の撮像素子。
＜８＞　前記リングバッファに記憶されているタイミングの異なる所定数の複数のフレームの前記低解像度画像を構成する画素信号と、前記新たな低解像度画像の画素信号との差分画像を演算する演算部をさらに含む
　＜７＞に記載の撮像素子。
＜９＞　前記演算部は、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号の各画素における平均値と、前記新たな低解像度画像の画素信号との差分絶対値を演算し、前記差分絶対値が所定の閾値よりも大きな画素を第１の画素値とし、前記差分絶対値が所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算する
　＜８＞に記載の撮像素子。
＜１０＞　前記演算部は、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号の、前記タイミングに応じた重み付平均値と、前記新たな低解像度画像の画素信号との差分絶対値を演算し、前記差分絶対値が所定の閾値よりも大きな画素を第１の画素値とし、前記差分絶対値が所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算する
　＜９＞に記載の撮像素子。
＜１１＞　前記演算部は、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号と、前記新たな低解像度画像の画素信号とのそれぞれの差分絶対値を演算し、それぞれの前記差分絶対値がいずれも所定の閾値よりも大きな画素を第１の画素値とし、それぞれの前記差分絶対値のいずれかが所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算する
　＜９＞に記載の撮像素子。
＜１２＞　前記リングバッファに記憶されている異なるタイミングの所定数の複数のフレームの前記低解像度画像を構成する画素の画素値の平均値を演算する演算部をさらに含む
　＜７＞に記載の撮像素子。
＜１３＞　前記演算部は、前記リングバッファに記憶されている異なるタイミングの所定数の複数のフレームの前記低解像度画像を構成する画素の画素値の、前記タイミングに応じた重み付平均値を演算する
　＜１２＞に記載の撮像素子。
＜１４＞　前記低解像度画像は、前記画素アレイを構成する画素の、複数の画素群毎の平均値、代表値、およびメジアンのいずれかよりなる画像である
　＜１＞に記載の撮像素子。
＜１５＞　入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、
　前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含む撮像素子の撮像方法であって、
　前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部が、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
　撮像素子の動作方法。
＜１６＞　入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、
　前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
　前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
　撮像装置。
＜１７＞　入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、
　前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
　前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
　電子機器。
　５１　撮像素子，　７１　画素アレイ，　７１ａ，７１ａ－１乃至７１ａ－ｐ　画素群，　７２，７２－０乃至７２－（ｎ－１）　カラムAD回路，　７３　演算回路，　９１　コンパレータ，　９２，９２－０乃至９２－（ｎ－１）　組み合わせ回路，　９３，９３－０乃至９３－（ｎ－１）　メモリ，　１０１，１０１－０乃至１０１－（ｎ－１）　回路，　１０２，１０２－０乃至１０２－（ｎ－１）　加算器，　１０３，１０３－０乃至１０３－（ｎ－１）　回路，　１１０　リングバッファ，　１１１，１１１－０乃至１１１－４　ゲインアンプ，　１１２　加算器，　１１３　減算気，　１１４　絶対値化部，　１１５　閾値処理部，　１３１，１３１－０乃至１３１－３　減算気，　１３２，１３２－０乃至１３２－３　絶対値化部，　１３３，１３３－０乃至１３３－（ｎ－１）　閾値判定部，　１３４　判定部，　１５１　加算器，　１５２　ゲインアンプ，　１８１，１８１－０乃至１８１－２　スイッチ，　１８２，１８２－０乃至１８２－２　スイッチ，　１９１　水平転送線，　１９２，１９２－１乃至１９２－２　垂直転送

Claims (17)

  1. 　入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、
    　前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
    　前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
    　撮像素子。
  2. 　前記アナログデジタル変換部は、前記演算処理の結果を記憶する記憶部を含み、
    　少なくとも前記一部以外の前記アナログデジタル変換部は、タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶する
    　請求項１に記載の撮像素子。
  3. 　少なくとも前記一部以外の前記アナログデジタル変換部は、新たな低解像度画像の画素信号が供給されてくるとき、隣接する前記アナログデジタル変換部の前記記憶部に記憶している画素信号を読み出し、自らの前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶する
    　請求項２に記載の撮像素子。
  4. 　少なくとも前記一部以外の前記アナログデジタル変換部は、新たな低解像度画像の画素信号が供給されてくるときであって、所定数のフレーム毎に、自らの前記記憶部に記憶している画素信号を、順次隣接する前記アナログデジタル変換部の前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる複数フレーム分の低解像度画像を構成する画素信号を記憶する
    　請求項２に記載の撮像素子。
  5. 　少なくとも前記一部以外の前記アナログデジタル変換部は、前記記憶部に記憶している、タイミングの異なる複数フレーム分の前記低解像度画像を構成する画素信号のフレーム間差分画像を求める演算処理を実行する
    　請求項２に記載の撮像素子。
  6. 　少なくとも前記一部以外の前記アナログデジタル変換部は、前記記憶部に記憶している、所定のタイミングの１フレーム分の前記低解像度画像を構成する画素信号を読み出し、新たなフレームの画素信号とのフレーム間差分画像を求め、前記記憶部に上書きする
    　請求項５に記載の撮像素子。
  7. 　少なくとも前記一部以外の前記アナログデジタル変換部は、新たな低解像度画像の画素信号が供給されてくるとき、自らの前記記憶部に記憶している画素信号を、隣接する前記アナログデジタル変換部の前記記憶部にシフトさせて記憶させることにより、前記タイミングの異なる所定数の複数フレーム分の低解像度画像を構成する画素信号を記憶することで、リングバッファを構成する
    　請求項２に記載の撮像素子。
  8. 　前記リングバッファに記憶されているタイミングの異なる所定数の複数のフレームの前記低解像度画像を構成する画素信号と、前記新たな低解像度画像の画素信号との差分画像を演算する演算部をさらに含む
    　請求項７に記載の撮像素子。
  9. 　前記演算部は、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号の各画素における平均値と、前記新たな低解像度画像の画素信号との差分絶対値を演算し、前記差分絶対値が所定の閾値よりも大きな画素を第１の画素値とし、前記差分絶対値が所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算する
    　請求項８に記載の撮像素子。
  10. 　前記演算部は、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号の、前記タイミングに応じた重み付平均値と、前記新たな低解像度画像の画素信号との差分絶対値を演算し、前記差分絶対値が所定の閾値よりも大きな画素を第１の画素値とし、前記差分絶対値が所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算する
    　請求項９に記載の撮像素子。
  11. 　前記演算部は、前記リングバッファに記憶されている最も古いフレームから所定番目に古いフレームまでの前記低解像度画像を構成する画素信号と、前記新たな低解像度画像の画素信号とのそれぞれの差分絶対値を演算し、それぞれの前記差分絶対値がいずれも所定の閾値よりも大きな画素を第１の画素値とし、それぞれの前記差分絶対値のいずれかが所定の閾値よりも小さな画素を第２の画素値とする２値画像からなる差分画像を演算する
    　請求項９に記載の撮像素子。
  12. 　前記リングバッファに記憶されている異なるタイミングの所定数の複数のフレームの前記低解像度画像を構成する画素の画素値の平均値を演算する演算部をさらに含む
    　請求項７に記載の撮像素子。
  13. 　前記演算部は、前記リングバッファに記憶されている異なるタイミングの所定数の複数のフレームの前記低解像度画像を構成する画素の画素値の、前記タイミングに応じた重み付平均値を演算する
    　請求項１２に記載の撮像素子。
  14. 　前記低解像度画像は、前記画素アレイを構成する画素の、複数の画素群毎の平均値、代表値、およびメジアンのいずれかよりなる画像である
    　請求項１に記載の撮像素子。
  15. 　入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、
    　前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含む撮像素子の撮像方法であって、
    　前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部が、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
    　撮像素子の動作方法。
  16. 　入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、
    　前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
    　前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
    　撮像装置。
  17. 　入射光の光量に応じて画素信号を生成する複数の画素が２次元のアレイ状に配設された画素アレイと、
    　前記複数の画素が配列された列ごとに設けられ、前記画素信号をアナログ信号からデジタル信号に変換する複数のアナログデジタル変換部とを含み、
    　前記複数のアナログデジタル変換部の一部が、前記画素アレイの解像度よりも低解像度の低解像度画像を構成する画素信号をアナログデジタル変換し、少なくとも前記一部以外の前記アナログデジタル変換部は、前記低解像度画像を構成する画素信号を用いた演算処理を実行する
    　電子機器。
PCT/JP2017/030630 2016-09-08 2017-08-25 撮像素子および撮像素子の動作方法、撮像装置、および電子機器 Ceased WO2018047642A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-175734 2016-09-08
JP2016175734A JP2018042139A (ja) 2016-09-08 2016-09-08 撮像素子および撮像素子の動作方法、撮像装置、および電子機器

Publications (1)

Publication Number Publication Date
WO2018047642A1 true WO2018047642A1 (ja) 2018-03-15

Family

ID=61561990

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/030630 Ceased WO2018047642A1 (ja) 2016-09-08 2017-08-25 撮像素子および撮像素子の動作方法、撮像装置、および電子機器

Country Status (2)

Country Link
JP (1) JP2018042139A (ja)
WO (1) WO2018047642A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7286309B2 (ja) 2018-12-18 2023-06-05 キヤノン株式会社 光電変換装置、光電変換システムおよび信号処理装置
JP7010259B2 (ja) 2019-03-20 2022-02-10 カシオ計算機株式会社 撮像装置、撮像方法およびプログラム
JP7321741B2 (ja) * 2019-04-04 2023-08-07 キヤノン株式会社 撮像装置およびその制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011159958A (ja) * 2010-01-08 2011-08-18 Sony Corp 半導体装置、固体撮像装置、およびカメラシステム
WO2014007004A1 (ja) * 2012-07-06 2014-01-09 ソニー株式会社 固体撮像装置及び固体撮像装置の駆動方法、並びに、電子機器
JP2014072541A (ja) * 2012-09-27 2014-04-21 Nikon Corp 撮像素子および撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011159958A (ja) * 2010-01-08 2011-08-18 Sony Corp 半導体装置、固体撮像装置、およびカメラシステム
WO2014007004A1 (ja) * 2012-07-06 2014-01-09 ソニー株式会社 固体撮像装置及び固体撮像装置の駆動方法、並びに、電子機器
JP2014072541A (ja) * 2012-09-27 2014-04-21 Nikon Corp 撮像素子および撮像装置

Also Published As

Publication number Publication date
JP2018042139A (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
CN107925730B (zh) 图像传感器和电子设备
JP4392492B2 (ja) 広ダイナミックレンジイメージセンサ
CN101371564B (zh) 为成像器中的电子稳定提供像素存储栅极电荷感测的方法及设备
JPWO2016147885A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP2017183563A (ja) 撮像装置、駆動方法、および、電子機器
JPWO2017141727A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
CN103905731B (zh) 一种宽动态图像采集方法及系统
CN107360738B (zh) 固态成像元件、成像设备和电子器械
CN105578067A (zh) 图像生成方法、装置及终端设备
WO2017057048A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2018047642A1 (ja) 撮像素子および撮像素子の動作方法、撮像装置、および電子機器
JP6740230B2 (ja) 固体撮像装置および電子機器
JPH077651A (ja) 露光制御回路
CN120752929A (zh) 基于事件处理来自单光子相机传感器的光子流数据的系统和方法
KR100864341B1 (ko) 화상 처리 장치 및 방법과 촬상 장치
JP6028363B2 (ja) 撮像装置、及びプログラム
JP2018113614A (ja) 撮像装置、および撮像方法、電子機器、並びに信号処理装置
JP2017028416A (ja) 撮像素子
JP2021192498A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2016058877A (ja) 撮像装置及びその制御方法
JP2019114956A (ja) 画像処理装置、撮像システム、移動体
JP2007251898A (ja) 撮像装置
JP6903417B2 (ja) 固体撮像素子および制御方法、並びに電子機器
JP2012085205A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
KR101429512B1 (ko) 밴딩 노이즈 제거 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17848583

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17848583

Country of ref document: EP

Kind code of ref document: A1