WO2018135049A1 - 撮像装置、および、撮像装置の制御方法 - Google Patents

撮像装置、および、撮像装置の制御方法 Download PDF

Info

Publication number
WO2018135049A1
WO2018135049A1 PCT/JP2017/036631 JP2017036631W WO2018135049A1 WO 2018135049 A1 WO2018135049 A1 WO 2018135049A1 JP 2017036631 W JP2017036631 W JP 2017036631W WO 2018135049 A1 WO2018135049 A1 WO 2018135049A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
addition mode
mode
addition
pixel addition
Prior art date
Application number
PCT/JP2017/036631
Other languages
English (en)
French (fr)
Inventor
星野　和弘
隆弘 飯沼
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN201780082952.4A priority Critical patent/CN110178366B/zh
Priority to US16/463,717 priority patent/US10863129B2/en
Priority to CN202210497211.5A priority patent/CN114945077A/zh
Publication of WO2018135049A1 publication Critical patent/WO2018135049A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/709—Circuitry for control of the power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present technology relates to an imaging device and a method for controlling the imaging device.
  • the present invention relates to an imaging device that converts an analog pixel signal into a digital signal, and a method for controlling the imaging device.
  • a solid-state imaging device for imaging image data.
  • This solid-state imaging device includes, for example, a pixel array in which pixels are arranged in a two-dimensional grid, a scanning circuit that sequentially selects pixel rows and outputs an analog pixel signal, and a digital signal for each pixel column.
  • a column ADC Analog-> Digital-> Converter
  • the power consumption of the column ADC is particularly large compared to other circuits. Therefore, in order to reduce power consumption, an imaging apparatus provided with a solid-state imaging device that drives only pixels in a partial cutout region of the pixel array and outputs pixel signals has been proposed (for example, Patent Document 1). reference.).
  • the column ADC performs AD (Analog-to-Digital) conversion only on pixel signals from some of the pixels of the pixel array, power consumption can be reduced as compared with the case where all the pixels are AD-converted.
  • AD Analog-to-Digital
  • pixel signals from pixels other than the cutout region are not read out, and thus there is a possibility that the imaging device cannot perform appropriate image processing on the captured image data.
  • the imaging apparatus performs processing for analyzing the image data and detecting the movement of the object, it becomes impossible to detect the movement of the part other than the cutout area. Therefore, it is desirable not to reduce the number of pixel signals to be read.
  • the above-described conventional technique has a problem that power consumption cannot be reduced without reducing the number of pixel signals.
  • the present technology has been developed in view of such a situation, and an object of the present technology is to reduce power consumption without reducing the number of pixel signals in a solid-state imaging device that performs AD conversion of pixel signals.
  • a first side surface of the present technology is a pixel array provided with a plurality of lines in which a plurality of pixels are arranged in a predetermined direction. And in the non-addition mode, the plurality of lines are sequentially selected to output an analog signal to each of the pixels in the selected line, and in the pixel addition mode, the lines are arranged in a direction perpendicular to the predetermined direction.
  • An imaging apparatus including a control unit that performs control to switch from one to the other, and a control method thereof. This brings about the effect that the mode is switched between the pixel addition mode and the non-addition mode based on the digital signal.
  • the analog-to-digital converter outputs the digital signal as pixel addition data in the pixel addition mode, and the control unit changes from the non-addition mode to the above based on the pixel addition data. You may switch to pixel addition mode. Thereby, the non-addition mode is switched to the pixel addition mode based on the pixel addition data.
  • control unit may measure the speed of the object from the pixel addition data and switch from the non-addition mode to the pixel addition mode when the speed exceeds a predetermined speed. . Thereby, when the speed exceeding the predetermined speed is measured, the non-addition mode is switched to the pixel addition mode.
  • control unit may measure the speed in the predetermined direction. This brings about the effect that the non-addition mode is switched to the pixel addition mode when a speed exceeding the predetermined speed is measured in the predetermined direction.
  • control unit may measure the speed in the depth direction. This brings about the effect that the non-addition mode is switched to the pixel addition mode when a speed exceeding a predetermined speed is measured in the depth direction.
  • the pixel array unit adds and outputs the analog signals of the plurality of pixels and the pixels arranged in the vertical direction in the pixel addition mode. May be provided. As a result, in the pixel addition mode, the analog signals of the pixels arranged in the direction perpendicular to the predetermined direction are added.
  • a digital signal processing unit that executes predetermined processing on the digital signal in the non-addition mode may be further provided. This brings about the effect that predetermined processing is performed on the digital signal in the non-addition mode.
  • control unit may switch to the pixel addition mode when a predetermined time has elapsed since switching to the non-addition mode. This brings about the effect that the pixel addition mode is switched to the non-addition mode when a predetermined time has elapsed.
  • an excellent effect of reducing power consumption without reducing the number of pixel signals can be achieved in a solid-state imaging device that performs AD conversion of pixel signals.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • 6 is a timing chart illustrating an example of the operation of the pixel addition mode solid-state imaging device according to the first embodiment of the present technology.
  • 6 is a timing chart illustrating an example of an operation of a solid-state imaging device in a non-addition mode according to the first embodiment of the present technology. It is a figure showing an example of the past frame and past addition data in a 1st embodiment of this art. It is a figure showing an example of the present frame and present addition data in a 1st embodiment of this art.
  • 7 is a flowchart illustrating an example of an operation of the imaging device according to the first embodiment of the present technology.
  • FIG. 12 is a flowchart illustrating an example of an operation of the imaging device according to the second embodiment of the present technology. 12 is a flowchart illustrating an example of speed measurement processing according to the second embodiment of the present technology. It is a flowchart which shows an example of the past addition data edge detection process in 2nd Embodiment of this technique. 12 is a flowchart illustrating an example of a currently added data edge detection process according to the second embodiment of the present technology. It is a figure showing an example of the past frame in a 3rd embodiment of this art.
  • FIG. 12 is a flowchart illustrating an example of a speed measurement process according to the third embodiment of the present technology.
  • First embodiment example of switching from pixel addition mode to non-addition mode when there is motion
  • Second embodiment example of switching from pixel addition mode to non-addition mode when an object moves in the row direction
  • Third embodiment example of switching from pixel addition mode to non-addition mode when an object moves in the depth direction
  • FIG. 1 is a block diagram illustrating a configuration example of the imaging apparatus 100 according to the embodiment of the present technology.
  • the imaging apparatus 100 is an apparatus having an imaging function, and includes an imaging lens 110, a solid-state imaging device 200, a digital signal processing unit 120, a control unit 130, and an image output unit 140.
  • a digital camera, a smartphone, a personal computer, or the like is assumed. Examples of digital cameras include surveillance cameras, ITS (Intelligent Transport Systems) cameras, home cameras, action cameras, IoT (Internet of Things) cameras, and the like.
  • the imaging lens collects light from the subject and guides it to the solid-state imaging device 200.
  • the solid-state imaging device 200 captures image data according to a control signal from the control unit 130.
  • the control signal includes, for example, a vertical synchronization signal and a mode signal.
  • the vertical synchronization signal is a timing signal indicating the timing of imaging. For example, a periodic signal of 30 hertz (Hz) or 60 hertz (Hz) is used as the vertical synchronization signal.
  • the mode signal is a signal that instructs one of a pixel addition mode in which pixel addition is performed and a non-addition mode in which pixel addition is not performed as an operation mode.
  • the solid-state imaging device 200 captures image data in synchronization with the vertical synchronization signal in the non-addition mode, and supplies the image data to the digital signal processing unit 120 via the signal line 209.
  • the solid-state imaging device 200 performs pixel addition and supplies the added data to the control unit 130 via the signal line 139 as pixel addition data.
  • the digital signal processing unit 120 performs predetermined signal processing on the image data. For example, demosaic processing, white balance processing, object detection processing, and the like are executed as signal processing.
  • the digital signal processing unit 120 supplies the processed image data to the image output unit 140 via the signal line 129.
  • the control unit 130 controls the entire imaging apparatus 100.
  • the control unit 130 first sets the operation mode to the pixel addition mode, and supplies the mode signal and the vertical synchronization signal to the solid-state imaging device 200 via the signal line 138. Then, the control unit 130 switches the operation mode from the pixel addition mode to the non-addition mode based on the pixel addition data.
  • the image output unit 140 outputs image data to an external device by wire or wireless.
  • the imaging apparatus 100 outputs image data to the outside, the image data may be recorded in a memory or the like. Further, the imaging apparatus 100 may further output data other than the image data. For example, the imaging apparatus 100 may output data for notifying that the object detection result or the mode has been switched.
  • FIG. 2 is a block diagram illustrating a configuration example of the solid-state imaging device 200 according to the first embodiment of the present technology.
  • the solid-state imaging device 200 includes a scanning circuit 210, a pixel array unit 300, a column signal processing unit 220, a timing control unit 230, and a switch 240.
  • a plurality of pixels are arranged in a two-dimensional lattice pattern.
  • a set of pixels arranged in a predetermined direction is referred to as a “row”, and a set of pixels arranged in a direction perpendicular to the row is referred to as a “column”.
  • the number of rows is M (M is an integer), and the number of columns is N (N is an integer).
  • the row is an example of a line described in the claims.
  • the scanning circuit 210 drives the pixel array unit 300.
  • a mode signal MODE is input to the scanning circuit 210.
  • the scanning circuit 210 selects any row in synchronization with the vertical synchronization signal VSYNC and adds the pixel signals in the column direction. Thereby, for each column, a pixel addition signal obtained by adding all the pixel signals in the column is output. Since the number of columns is N, the number of pixel addition signals output within the period of the vertical synchronization signal VSYNC is N.
  • the scanning circuit 210 sequentially selects a row in synchronization with the vertical synchronization signal VSYNC, and outputs a pixel signal to each of the pixels in the row. Since the number of rows is M and the number of columns is N, the number of pixel signals output within the period of the vertical synchronization signal VSYNC is M ⁇ N.
  • the column signal processing unit 220 performs predetermined signal processing including AD conversion processing on each pixel signal from the selected row. In the pixel addition mode, the column signal processing unit 220 converts each of the N pixel addition signals into digital pixel addition data for each period of the vertical synchronization signal VSYNC.
  • the column signal processing unit 220 executes the process of converting the N pixel addition signals into digital pixel data M times for each period of the vertical synchronization signal VSYNC.
  • the column signal processing unit 220 outputs the processed data to the switch 240.
  • the column signal processing unit 220 is an example of an analog-digital conversion unit described in the claims.
  • the circuit that performs the AD conversion (such as the column signal processing unit 220) has the largest power consumption.
  • N ⁇ M pixel signals are AD-converted every period of the vertical synchronization signal VSYNC, whereas in the non-addition mode, only N pixel-added signals are AD-converted. For this reason, the power consumption of the solid-state imaging device 200 in the pixel addition mode is much smaller than that in the non-addition mode.
  • the timing control unit 230 controls the operation timings of the scanning circuit 210 and the column signal processing unit 220 in synchronization with the vertical synchronization signal VSYNC.
  • the switch 240 switches the output destination of data from the column signal processing unit 220 based on the mode signal MODE.
  • the switch 240 outputs pixel addition data from the column signal processing unit 220 to the control unit 130 when the pixel addition mode is instructed by the mode signal MODE.
  • the switch 240 outputs the pixel data from the column signal processing unit 220 to the digital signal processing unit 120.
  • FIG. 3 is a block diagram illustrating a configuration example of the pixel array unit 300 and the column signal processing unit 220 according to the first embodiment of the present technology.
  • the pixel array unit 300 includes a plurality of pixels 310, a plurality of pixel addition units 320, and a plurality of signal generation units 330.
  • the pixel addition unit 320 is arranged for each column, and the signal generation unit 330 is arranged for each pixel 310.
  • a vertical signal line 309-nV is wired for each column.
  • n is an integer from 0 to N-1.
  • the pixel 310 generates a charge by photoelectric conversion according to the control of the scanning circuit 210 and transfers the charge to the corresponding signal generation unit 330 via the pixel addition unit 320.
  • the signal generation unit 330 generates an analog signal (pixel signal or pixel addition signal) according to the amount of transferred charge according to the control of the scanning circuit 210.
  • the signal generator 330 outputs an analog signal to the column signal processor 220 via the corresponding vertical signal line 309-nv.
  • the pixel adder 320 adds pixel signals in the corresponding column under the control of the scanning circuit 210.
  • the column signal processing unit 220 includes an ADC 221 and a CDS (Correlated Double Double Double Sampling) processing unit 222 for each column.
  • the ADC 221 converts an analog signal from a corresponding column into a digital signal (pixel data or pixel addition data).
  • the CDS processing unit 222 performs CDS processing on the digital signal in the corresponding column.
  • the CDS processing unit 222 supplies the processed data to the switch 240.
  • FIG. 4 is a circuit diagram illustrating a configuration example of the pixel array unit 300 according to the first embodiment of the present technology.
  • Each of the pixels 310 includes a photodiode 311 and a transfer transistor 312.
  • each of the pixel addition units 320 includes M ⁇ 1 connection transistors 321.
  • Each of the signal generation units 330 includes a reset transistor 331, an amplification transistor 332, a floating diffusion layer 333, and a selection transistor 334.
  • the photodiode 311 generates charges by photoelectric conversion.
  • the transfer transistor 312 transfers charges from the photodiode 311 to the floating diffusion layer 333 in accordance with the transfer signal TRG_m from the scanning circuit 210.
  • m is an integer from 0 to M-1.
  • connection transistor 321 short-circuits the m-th row floating diffusion layer 333 and the m + 1-th row floating diffusion layer 333 in accordance with the addition signal FD_m from the scanning circuit 210.
  • the signal generation unit 330 generates a signal obtained by averaging the pixel signals in the column.
  • the reset transistor 331 initializes the charge amount of the floating diffusion layer 333 according to the reset signal RST_m.
  • the floating diffusion layer 333 accumulates the transferred charge and generates a voltage corresponding to the accumulated charge amount.
  • the amplification transistor 332 amplifies the voltage of the floating diffusion layer 333.
  • the selection transistor 334 outputs the amplified voltage signal as a pixel signal or a pixel addition signal to the column signal processing unit 220 via the corresponding vertical signal line 309-nv.
  • the floating diffusion layer 333 is arranged for each pixel 310, the floating diffusion layer 333 may be shared by a plurality of pixels 310.
  • the signal generation unit 330 and the connection transistor 321 are commonly connected to the plurality of pixels 310 of the sharing unit.
  • FIG. 5 is a block diagram illustrating a configuration example of the control unit 130 according to the first embodiment of the present technology.
  • the control unit 130 includes an imaging control unit 131 and a mode control unit 132.
  • the mode control unit 132 includes a line buffer 133, a mode signal generation unit 134, and a timer 135.
  • the imaging control unit 131 generates the vertical synchronization signal VSYNC according to the operation signal.
  • the imaging control unit 131 starts supplying the vertical synchronization signal VSYNC to the solid-state imaging device 200 when, for example, power is turned on or when a start operation for starting imaging is performed. Further, when a stop operation for stopping the imaging is performed, the imaging control unit 131 stops the supply of the vertical synchronization signal VSYNC.
  • the imaging control unit 131 starts supplying the vertical synchronization signal VSYNC when a preset imaging start date and time elapses, and stops supplying the vertical synchronization signal VSYNC when a preset imaging end date and time elapses. May be.
  • the imaging control unit 131 starts supplying the vertical synchronization signal VSYNC when receiving an imaging start signal via the network and stops supplying the vertical synchronization signal VSYNC when receiving an imaging end signal. Also good.
  • the line buffer 133 holds each of the N pixel addition data as past addition data.
  • the mode signal generator 134 generates a mode signal MODE based on the pixel addition data.
  • the mode signal generation unit 134 generates a mode signal MODE instructing the pixel addition mode and supplies it to the solid-state image sensor 200 when the power is turned on or when a start operation is performed.
  • the mode signal generation unit 134 switches from the pixel addition mode to the non-addition mode based on the pixel addition data. For example, the mode signal generation unit 134 acquires N pixel addition data as the current addition data PAn from the solid-state imaging device 200 in synchronization with the vertical synchronization signal VSYNC, and acquires N past addition data PBn from the line buffer 133. To do.
  • PAn indicates the current addition data in the nth column
  • PBn indicates the past addition data in the nth column.
  • the mode signal generation unit 134 compares the current addition data and the past addition data, and determines whether or not the subject is moving.
  • the mode signal generation unit 134 calculates the total value SUM by the following formula.
  • the mode signal generation unit 134 determines whether or not the total value SUM exceeds a predetermined motion determination threshold value. When the total value SUM exceeds the motion determination threshold, the mode signal generation unit 134 determines that there is motion, switches the operation mode to the non-addition mode, and sends the mode signal MODE instructing the non-addition mode to the solid-state imaging device 200. Supply.
  • the mode signal generation unit 134 When switched to the non-addition mode, the mode signal generation unit 134 initializes the timer value of the timer 135 and causes the timer 135 to start timing. In the non-addition mode, the mode signal generation unit 134 refers to the timer value of the timer 135 and determines whether or not the timer value has exceeded a certain value (that is, a certain time has elapsed). When the timer value exceeds a certain value, the mode signal generation unit 134 switches the operation mode from the non-addition mode to the pixel addition mode.
  • a certain value that is, a certain time has elapsed
  • the timer 135 measures time according to the control of the mode signal generator 134.
  • the imaging apparatus 100 switches to the pixel addition mode when a certain time has elapsed, but may switch when other conditions are satisfied.
  • the digital signal processing unit 120 in the imaging device 100 analyzes the image data to detect the presence or absence of a predetermined object (such as a car or a pedestrian), and when the object is not detected, the mode signal generation unit 134 may switch to the pixel addition mode.
  • the imaging device 100 notifies an external device (such as a smartphone) to that effect, starts imaging and transmitting image data, and receives a switching signal from the device, and then adds to the pixel addition mode. You may move to.
  • the imaging apparatus 100 compares the past addition data and the current addition data to determine the presence or absence of motion, but instead of the past addition data, predetermined pixel addition data generated in advance from a background image The presence / absence of movement may be determined by comparison.
  • FIG. 6 is an example of a state transition diagram of the imaging device 100 according to the first embodiment of the present technology.
  • the state of the imaging apparatus 100 includes a pixel addition mode 610, a non-addition mode 620, and an imaging stop state 630.
  • the initial state of the imaging apparatus 100 is an imaging stop state 630.
  • the imaging apparatus 100 stops generating both pixel data and pixel addition data.
  • the imaging apparatus 100 shifts to the pixel addition mode 610.
  • the imaging apparatus 100 performs pixel addition for each column to generate N pixel addition data. Then, the imaging apparatus 100 determines the presence or absence of the movement of the subject based on the pixel addition data.
  • the imaging apparatus 100 shifts to the non-addition mode 620.
  • the imaging device 100 captures image data and outputs the image data to the outside. Then, when a certain time has elapsed since the transition to the non-addition mode 620, the imaging apparatus 100 transitions to the pixel addition mode 610.
  • the imaging device 100 shifts to the imaging stop state 630.
  • the imaging apparatus 100 operates in the pixel addition mode 610 with very low power consumption over a period until it is determined that there is a motion. For this reason, the power consumption of the solid-state imaging device 200 can be significantly reduced as compared with a configuration that always operates in the non-addition mode 620. For example, when the number of rows is 1000, in the pixel addition mode, power consumption required for AD conversion can be reduced to about 1/1000 that in the non-addition mode.
  • FIG. 7 is a timing chart illustrating an example of the operation of the solid-state imaging device 200 in the pixel addition mode according to the first embodiment of the present technology.
  • the scanning circuit 210 transmits a reset signal RST_m to all rows and initializes all rows.
  • the scanning circuit 210 starts transmission of the addition signal FD_m to all rows.
  • the scanning circuit 210 selects any row (for example, the 0th row) and transmits a selection signal SEL_m to that row.
  • the scanning circuit 210 transmits a transfer signal TRG_m to all rows.
  • N pixel addition signals are output.
  • the ADC 221 converts the reset level of the pixel addition signal immediately after the timing T0, and converts the signal level of the pixel addition signal immediately after the timing T1. These differences are output as net pixel addition data.
  • the scanning circuit 210 repeats the same operation every 1 V period which is the cycle of the vertical synchronization signal VSYNC. In this way, N pixel addition signals are AD converted every 1V period.
  • the scanning circuit 210 transmits the addition signal FD_m to all rows and performs pixel addition, the scanning signal 210 may transmit the addition signal FD_m only to some rows. Thereby, power consumption can be further reduced.
  • FIG. 8 is a timing chart illustrating an example of the operation of the solid-state imaging device 200 in the non-addition mode according to the first embodiment of the present technology.
  • the scanning circuit 210 selects the 0th row, transmits the selection signal SEL_0, and transmits the reset signal RST_0.
  • the scanning circuit 210 transmits a transfer signal TRG_0 to the 0th row.
  • N pixel signals are output.
  • the ADC 221 converts the reset level of the pixel signal immediately after the timing T10, and converts the signal level of the pixel signal immediately after the timing T11. These differences are output as net pixel data. Thereby, the 0th row is read.
  • FIG. 9 is a diagram illustrating an example of past frames and past addition data according to the first embodiment of the present technology.
  • a is an example of a past frame 510
  • b in the figure is an example of line data 520 composed of N pieces of past added data.
  • the past frame 510 is an image obtained when the pixel signals in the pixel addition mode are arranged without being added.
  • the imaging apparatus 100 is installed on a side surface of a road and the road extends in the row direction.
  • the automobile 511 is reflected in the past frame 510.
  • the solid-state imaging device 200 performs pixel addition for each column to generate line data 520.
  • This line data 520 includes pixel addition data 521 corresponding to the automobile 511.
  • FIG. 10 is a diagram illustrating an example of a current frame and past addition data according to the first embodiment of the present technology.
  • a is an example of the current frame 530
  • b in the figure is an example of line data 540 composed of N pieces of currently added data.
  • the current frame 530 includes a car 531 that has moved in the row direction.
  • the solid-state imaging device 200 performs pixel addition for each column to generate line data 540.
  • This line data 540 includes pixel addition data 541 corresponding to the automobile 531. Since the automobile 531 has moved in the row direction, the position of the horizontal address of the pixel addition data 541 changes to a position different from the pixel addition data 521 of the past frame. For this reason, the value of the total value SUM calculated by Expression 1 is higher than the motion determination threshold, and the imaging apparatus 100 can determine that the subject has motion.
  • FIG. 11 is a flowchart illustrating an example of the operation of the imaging apparatus 100 according to the first embodiment of the present technology. This operation is started, for example, when the power is turned on or when a start operation is performed.
  • the imaging apparatus 100 sets the operation mode to the pixel addition mode (step S901). Then, the imaging apparatus 100 performs pixel addition and reads out pixel addition data for one line (N) (step S902). The imaging apparatus 100 compares the past addition data with the current addition data (step S903). In addition, when the imaging apparatus 100 generates the first current addition data in the pixel addition mode, since past addition data does not exist, for example, it is compared with predetermined pixel addition data generated in advance from a background image.
  • the imaging apparatus 100 determines whether or not the subject has moved using Equation 1 (step S904). When there is no movement (step S904: No), the imaging apparatus 100 repeatedly executes step S902 and subsequent steps.
  • step S904 when there is a motion (step S904: Yes), the imaging apparatus 100 switches the operation mode to the non-addition mode (step S905), and sequentially reads the M rows (step S906). Then, the imaging apparatus 100 processes and outputs the image data (step S907). The imaging apparatus 100 determines whether or not a certain period has elapsed since switching to the non-addition mode (step S908). When the predetermined time has not elapsed (step S908: No), the imaging apparatus 100 repeatedly executes step S906 and subsequent steps.
  • step S908 when a certain time has elapsed (step S908: Yes), the imaging apparatus 100 switches the operation mode to the pixel addition mode (step S909), and repeatedly executes step S902 and subsequent steps.
  • the image pickup apparatus 100 performs pixel addition for each column and performs AD conversion on the N pixel addition signals.
  • the power consumption can be reduced as compared with the case where all the pixel signals are AD-converted.
  • the imaging apparatus 100 since the imaging apparatus 100 reads out all pixel signals without thinning them out and adds them for each column, the power consumption can be reduced without reducing the number of pixel signals to be read out.
  • the imaging apparatus 100 determines whether or not a subject moves, and switches the operation mode to the non-addition mode when there is a movement.
  • the imaging apparatus 100 when the imaging apparatus 100 is used for imaging an object (such as an automobile) that moves at a certain speed or more in the non-addition mode, it switches to the non-addition mode even when a subject (such as a plant) other than the object moves, There is a possibility that power consumption cannot be reduced sufficiently. Therefore, in the second embodiment, the speed of the object is further measured in the pixel addition mode. That is, the imaging apparatus 100 according to the second embodiment is different from the first embodiment in that the object speed is measured in the pixel addition mode.
  • FIG. 12 is a diagram illustrating an example of the locus of past addition data and current addition data for each horizontal address according to the second embodiment of the present technology.
  • the vertical axis indicates the values of the past addition data and the current addition data
  • the horizontal axis indicates the horizontal address.
  • a constant chain line indicates a trajectory of past addition data
  • a solid line indicates a trajectory of current addition data.
  • the difference DIFF of the horizontal address of each predetermined feature point (such as a rising edge) between the trajectory of the past addition data and the trajectory of the current addition data becomes the movement speed Vh. It becomes a corresponding value.
  • the moving speed Vh is expressed by the following equation.
  • Vh DIFF ⁇ k ⁇ (f VSYNC ) Equation 2
  • k is a coefficient for converting the difference DIFF into a movement distance.
  • F VSYNC is the frequency of the vertical synchronization signal VSYNC, and its unit is, for example, hertz (Hz).
  • the unit of the moving speed Vh is, for example, meters per second (m / s).
  • the imaging apparatus 100 can measure the moving speed Vh from the difference DIFF.
  • FIG. 13 is a flowchart illustrating an example of the operation of the imaging apparatus 100 according to the second embodiment of the present technology.
  • the operation of the imaging apparatus 100 of the second embodiment is different from that of the first embodiment in that steps S910 and S920 are executed instead of steps S903 and S904.
  • the imaging apparatus 100 reads pixel addition data for one line (step S902), and executes a speed measurement process for measuring the moving speed in the row direction (step S920). Then, the imaging apparatus 100 determines whether the measured moving speed exceeds a predetermined speed threshold (step S910). When the moving speed is equal to or less than the speed threshold (step S910: No), the imaging apparatus 100 repeatedly executes step S902 and subsequent steps. On the other hand, when the moving speed exceeds the predetermined speed threshold (step S910: Yes), the imaging apparatus 100 switches the operation mode to the non-addition mode (step S905).
  • the imaging apparatus 100 can execute various processes in the road traffic system. For example, the imaging apparatus 100 identifies a car and a pedestrian from image data, and performs a process of counting the number and the number of people individually. Alternatively, the imaging device 100 captures the entire automobile exceeding the legal speed and holds it as an evidence photograph. Alternatively, the imaging device 100 captures and holds a license plate portion of an automobile that exceeds the legal speed.
  • FIG. 14 is a flowchart illustrating an example of a speed measurement process according to the second embodiment of the present technology.
  • the imaging apparatus 100 initializes the variable h to an initial value (such as “0”) (step S921), and executes past frame edge detection processing (step S930) for detecting a rising edge of past addition data.
  • the imaging apparatus 100 initializes the variable h (step S922), and executes a current frame edge detection process (step S940) for detecting the rising edge of the current addition data.
  • the imaging apparatus 100 calculates the difference DIFF of the position (horizontal address) of each rising edge between the past addition data and the current addition data (step S923), and calculates the moving speed Vh from the difference DIFF using Equation 2 ( Step S924). After step S924, the imaging apparatus 100 ends the speed measurement process.
  • FIG. 15 is a flowchart illustrating an example of past addition data edge detection processing according to the second embodiment of the present technology.
  • the imaging apparatus 100 calculates the difference between the past addition data with the horizontal address h + 1 and the past addition data with the horizontal address h (step S931). Then, the imaging apparatus 100 determines whether or not the difference is larger than a predetermined edge threshold (step S932).
  • step S932 When the difference is equal to or smaller than the predetermined edge threshold value (step S932: No), the imaging apparatus 100 increments h (step S933), and determines whether or not the determination of step S932 has been performed for all horizontal addresses (step S932). S934). When there is an address that has not been determined (step S934: No), the imaging apparatus 100 repeatedly executes step S931 and subsequent steps.
  • step S932 If the difference is larger than the predetermined edge threshold (step S932: Yes), the imaging apparatus 100 holds h as the horizontal address of the rising edge of the past added data (step S935).
  • step S934 Yes
  • step S935 the imaging apparatus 100 ends the past frame edge detection process.
  • FIG. 16 is a flowchart illustrating an example of the currently added data edge detection process according to the second embodiment of the present technology.
  • the imaging apparatus 100 calculates a difference between the current addition data with the horizontal address h + 1 and the current addition data with the horizontal address h (step S941). Then, the imaging apparatus 100 determines whether or not the difference is greater than a predetermined edge threshold (step S942).
  • step S942 When the difference is equal to or smaller than the predetermined edge threshold (step S942: No), the imaging apparatus 100 increments h (step S943), and determines whether or not the determination of step S942 has been performed for all horizontal addresses (step S943). S944). When there is an address that has not been determined (step S944: No), the imaging apparatus 100 repeatedly executes step S941 and subsequent steps.
  • step S942 If the difference is larger than the predetermined edge threshold value (step S942: Yes), the imaging apparatus 100 holds h as the horizontal address of the rising edge of the current added data (step S945).
  • step S944 If the determination is made for all horizontal addresses (step S944: Yes), or after step S945, the imaging apparatus 100 ends the current frame edge detection process.
  • the imaging apparatus 100 calculates the speed from the difference between the rising edges of the past addition data and the current addition data, but is not limited to this configuration.
  • the imaging apparatus 100 can calculate the difference between the falling edges and calculate the speed from the difference.
  • the imaging apparatus 100 can also calculate a difference between peak values and calculate a speed from the difference.
  • the imaging apparatus 100 since the imaging apparatus 100 switches to the non-addition mode when the moving speed of the subject exceeds the speed threshold, the subject has moved at a speed equal to or lower than the speed threshold. Even if it is not too much, the pixel addition mode can be continued. Thereby, power consumption can be further reduced.
  • the imaging apparatus 100 measures the moving speed in the row direction. However, depending on the location of the imaging apparatus 100, the subject may move in the depth direction. In addition, the moving speed may not be measured accurately. Therefore, the imaging apparatus 100 according to the third embodiment measures the moving speed in the depth direction. That is, the imaging apparatus 100 according to the third embodiment is different from the second embodiment in that the moving speed in the depth direction is measured.
  • FIG. 17 is a diagram illustrating an example of the past frame 550 according to the third embodiment of the present technology.
  • the imaging apparatus 100 is installed on an upper portion of a road, and the road extends in the optical axis direction (in other words, the depth direction).
  • a car 551 is shown in the past frame 550.
  • FIG. 18 is a diagram illustrating an example of the current frame 560 according to the third embodiment of the technology.
  • a car 561 is currently shown in the frame 560.
  • the automobile 561 is moving in the near (near) direction as compared with the time of imaging of the past frame 550. For this reason, the width in the row direction of the automobile 561 in the current frame 560 is wider than that of the automobile 551.
  • FIG. 19 is a diagram illustrating an example of the past addition data and the locus of the current addition data for each horizontal address according to the third embodiment of the present technology.
  • the vertical axis indicates the values of the past addition data and the current addition data
  • the horizontal axis indicates the horizontal address.
  • a constant chain line indicates a trajectory of past addition data
  • a solid line indicates a trajectory of current addition data.
  • the difference in pulse width between the locus of past addition data and the locus of current addition data is a value corresponding to the moving speed Vd in the depth direction.
  • the pulse width indicates the difference between the horizontal address of the rising edge and the horizontal address of the falling edge.
  • FIG. 20 is a flowchart illustrating an example of a speed measurement process according to the third embodiment of the present technology.
  • the imaging apparatus 100 detects the horizontal address of the rising edge of the past addition data (step S951). The procedure for detecting the rising edge address is the same as in the second embodiment. Further, the imaging apparatus 100 detects the horizontal address of the falling edge of the past addition data (step S952). Then, the imaging apparatus calculates the difference between these addresses as the pulse width of the past addition data (step S953).
  • the imaging apparatus 100 detects the horizontal address of the rising edge of the currently added data (step S954), and detects the horizontal address of the falling edge (step S955). Then, the imaging apparatus calculates the difference between these addresses as the pulse width of the currently added data (step S956).
  • the imaging apparatus 100 calculates a difference between the pulse widths of the past addition data locus and the current addition data locus (step S957), and measures the moving speed in the depth direction from the difference (step S958).
  • the moving speed is calculated by Expression 2 in which the coefficient k is adjusted.
  • the imaging apparatus 100 measures the moving speed in the depth direction, but may determine whether the moving direction is the depth direction or the row direction before measuring the moving speed. For example, when the difference between the pulse widths of the past addition data and the current addition data is equal to or smaller than a predetermined direction determination threshold, the imaging apparatus 100 determines that the movement direction is the row direction, and is the same as in the second embodiment. Measure the moving speed according to the procedure. On the other hand, when the pulse width difference exceeds the direction determination threshold, the imaging apparatus 100 determines that the moving direction is the depth direction and measures the moving speed according to the procedure illustrated in FIG.
  • the imaging apparatus 100 switches to the non-addition mode when the moving speed in the depth direction exceeds the speed threshold.
  • the pixel addition mode can be continued even when moving to. Thereby, power consumption can be further reduced.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • a pixel array section provided with a plurality of lines each having a plurality of pixels arranged along a predetermined direction; In the non-addition mode, the plurality of lines are sequentially selected to output an analog signal to each of the pixels in the selected line, and in the pixel addition mode, the pixels arranged in a direction perpendicular to the predetermined direction are output.
  • a scanning circuit for adding and outputting each of the analog signals;
  • An analog-to-digital converter that converts each of the analog signals into a digital signal;
  • An imaging apparatus comprising: a control unit that performs control to switch from one of the pixel addition mode and the non-addition mode to the other based on the digital signal.
  • the analog-digital converter outputs the digital signal as pixel addition data in the pixel addition mode
  • the imaging device according to (1) wherein the control unit switches from the non-addition mode to the pixel addition mode based on the pixel addition data.
  • the control unit measures the speed of an object from the pixel addition data and switches from the non-addition mode to the pixel addition mode when the speed exceeds a predetermined speed.
  • the control unit measures the speed in the predetermined direction.
  • the pixel array unit includes: The plurality of pixels; The imaging device according to any one of (1) to (5), further including a pixel addition unit that adds and outputs the analog signals of the pixels arranged in the vertical direction in the pixel addition mode. (7) The imaging apparatus according to any one of (1) to (6), further including a digital signal processing unit that performs predetermined processing on the digital signal in the non-addition mode. (8) The imaging device according to any one of (1) to (7), wherein the control unit switches to the pixel addition mode when a predetermined time has elapsed since switching to the non-addition mode.
  • a non-addition mode a plurality of lines each having a plurality of pixels arranged in a predetermined direction are sequentially selected, an analog signal is output to each of the pixels in the selected line, and pixel addition is performed.
  • a scanning procedure for simultaneously selecting the plurality of lines and adding and outputting the analog signals of the pixels arranged in a direction perpendicular to the predetermined direction;
  • An analog-to-digital conversion procedure for converting each of the analog signals into a digital signal;
  • a control method for an imaging apparatus comprising: a control procedure for performing control to switch from one of the pixel addition mode and the non-addition mode to the other based on the digital signal.
  • Imaging device 110 Imaging lens 120 Digital signal processing part 130 Control part 131 Imaging control part 132 Mode control part 133 Line buffer 134 Mode signal generation part 135 Timer 140 Image output part 200 Solid-state image sensor 210 Scan circuit 220 Column signal processing part 221 ADC 222 CDS processing unit 230 Timing control unit 240 Switch 300 Pixel array unit 310 Pixel 311 Photo diode 312 Transfer transistor 320 Pixel addition unit 321 Connection transistor 330 Signal generation unit 331 Reset transistor 332 Amplification transistor 333 Floating diffusion layer 334 Selection transistor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

画素信号をＡＤ変換する固体撮像素子において、画素信号数を削減せずに消費電力を低減する。　画素アレイ部には、所定の方向に沿って複数の画素がそれぞれに配列された複数のラインが設けられる。走査回路は、非加算モードにおいては複数のラインを順に選択して当該選択したライン内の画素のそれぞれにアナログ信号を出力させ、画素加算モードにおいては複数のラインを同時に選択して所定方向に垂直な方向に配列された画素のそれぞれにアナログ信号を加算させて出力させる。アナログデジタル変換部は、アナログ信号のそれぞれをデジタル信号に変換する。制御部は、デジタル信号に基づいて画素加算モードと非加算モードとの一方から他方に切り替える制御を行う。

Description

撮像装置、および、撮像装置の制御方法
　本技術は、撮像装置、および、撮像装置の制御方法に関する。詳しくは、アナログの画素信号をデジタル信号に変換する撮像装置、および、撮像装置の制御方法に関する。
　従来より、撮像機能を持つ装置において、画像データを撮像するために固体撮像素子が用いられている。この固体撮像素子は、例えば、二次元格子状に画素を配列した画素アレイと、画素の行を順に選択してアナログの画素信号を出力させる走査回路と、画素の列ごとに画素信号をデジタル信号に変換するカラムＡＤＣ（Analog to Digital Converter）とを備える。この構成において、特にカラムＡＤＣの消費電力が、他の回路と比較して大きい。そこで、消費電力を低減するために、画素アレイの一部の切り出し領域内の画素のみを駆動して画素信号を出力させる固体撮像素子を設けた撮像装置が提案されている（例えば、特許文献１参照。）。
特開２０１２－１６５１６８号公報
　上述の従来技術では、カラムＡＤＣが、画素アレイの一部の画素からの画素信号のみをＡＤ（Analog to Digital）変換するため、全画素をＡＤ変換する場合よりも消費電力を低減することができる。しかしながら、上述の従来技術では、切り出し領域以外の画素からの画素信号が読み出されないため、撮像された画像データに対して撮像装置が適切な画像処理を行うことができないおそれがある。例えば、画像データを解析して物体の動きを検出する処理を撮像装置が行う際には、切り出し領域以外の部分の動きを検出することができなくなってしまう。したがって、読み出す画素信号の個数は削減しないことが望ましい。このように、上述の従来技術では、画素信号数を削減せずに消費電力を低減することができないという問題がある。
　本技術はこのような状況に鑑みて生み出されたものであり、画素信号をＡＤ変換する固体撮像素子において、画素信号数を削減せずに消費電力を低減することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、所定の方向に沿って複数の画素がそれぞれに配列された複数のラインが設けられた画素アレイ部と、非加算モードにおいては上記複数のラインを順に選択して当該選択したライン内の上記画素のそれぞれにアナログ信号を出力させ、画素加算モードにおいては上記所定方向に垂直な方向に配列された上記画素のそれぞれの上記アナログ信号を加算させて出力させる走査回路と、上記アナログ信号のそれぞれをデジタル信号に変換するアナログデジタル変換部と、上記デジタル信号に基づいて上記画素加算モードと上記非加算モードとの一方から他方に切り替える制御を行う制御部とを具備する撮像装置、および、その制御方法である。これにより、デジタル信号に基づいて画素加算モードと非加算モードとのいずれかにモードが切り替えられるという作用をもたらす。
　また、この第１の側面において、上記アナログデジタル変換器は、上記画素加算モードにおいて上記デジタル信号を画素加算データとして出力し、上記制御部は、上記画素加算データに基づいて上記非加算モードから上記画素加算モードに切り替えてもよい。これにより、上記画素加算データに基づいて非加算モードが画素加算モードに切り替えられるという作用をもたらす。
　また、この第１の側面において、上記制御部は、上記画素加算データから物体の速度を測定して上記速度が所定速度を超える場合には上記非加算モードから上記画素加算モードに切り替えてもよい。これにより、所定速度を超える速度が測定された場合に非加算モードが画素加算モードに切り替えられるという作用をもたらす。
　また、この第１の側面において、上記制御部は、上記所定方向における上記速度を測定してもよい。これにより、所定方向において所定速度を超える速度が測定された場合に非加算モードが画素加算モードに切り替えられるという作用をもたらす。
　また、この第１の側面において、上記制御部は、奥行き方向における上記速度を測定してもよい。これにより、奥行き方向において所定速度を超える速度が測定された場合に非加算モードが画素加算モードに切り替えられるという作用をもたらす。
　また、この第１の側面において、上記画素アレイ部は、上記複数の画素と、上記画素加算モードにおいて上記垂直な方向に配列された上記画素のそれぞれの上記アナログ信号を加算して出力する画素加算部とを備えてもよい。これにより、画素加算モードにおいて所定方向に垂直な方向に配列された画素のそれぞれのアナログ信号が加算されるという作用をもたらす。
　また、この第１の側面において、上記非加算モードにおいて上記デジタル信号に対して所定の処理を実行するデジタル信号処理部をさらに具備してもよい。これにより、非加算モードにおいてデジタル信号に対して所定の処理が実行されるという作用をもたらす。
　また、この第１の側面において、上記制御部は、上記非加算モードに切り替えてから所定時間が経過したときに上記画素加算モードに切り替えてもよい。これにより、所定時間が経過したときに画素加算モードが非加算モードに切り替えられるという作用をもたらす。
　本技術によれば、画素信号をＡＤ変換する固体撮像素子において、画素信号数を削減せずに消費電力を低減するという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。 本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素アレイ部およびカラム信号処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における画素アレイ部の一構成例を示す回路図である。 本技術の第１の実施の形態における制御部の一構成例を示すブロック図である。 本技術の第１の実施の形態における撮像装置の状態遷移図の一例である。 本技術の第１の実施の形態における画素加算モードの固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における非加算モードの固体撮像素子の動作の一例を示すタイミングチャートである。 本技術の第１の実施の形態における過去フレームおよび過去加算データの一例を示す図である。 本技術の第１の実施の形態における現在フレームおよび現在加算データの一例を示す図である。 本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の第２の実施の形態における水平アドレス毎の過去加算データおよび現在加算データの軌跡の一例を示す図である。 本技術の第２の実施の形態における撮像装置の動作の一例を示すフローチャートである。 本技術の第２の実施の形態における速度測定処理の一例を示すフローチャートである。 本技術の第２の実施の形態における過去加算データエッジ検出処理の一例を示すフローチャートである。 本技術の第２の実施の形態における現在加算データエッジ検出処理の一例を示すフローチャートである。 本技術の第３の実施の形態における過去フレームの一例を示す図である。 本技術の第３の実施の形態における現在フレームの一例を示す図である。 本技術の第３の実施の形態における水平アドレス毎の過去加算データおよび現在加算データの軌跡の一例を示す図である。 本技術の第３の実施の形態における速度測定処理の一例を示すフローチャートである。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（動きがあると画素加算モードから非加算モードに切り替える例）
　２．第２の実施の形態（行方向に物体が移動すると画素加算モードから非加算モードに切り替える例）
　３．第３の実施の形態（奥行き方向に物体が移動すると画素加算モードから非加算モードに切り替える例）
　＜１．第１の実施の形態＞
　［撮像装置の構成例］
　図１は、本技術の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、撮像機能を持つ装置であり、撮像レンズ１１０、固体撮像素子２００、デジタル信号処理部１２０、制御部１３０および画像出力部１４０を備える。撮像装置１００としては、デジタルカメラやスマートフォン、パーソナルコンピュータなどが想定される。デジタルカメラとしては、監視カメラ、ＩＴＳ（Intelligent Transport Systems）カメラ、ホームカメラ、アクションカメラ、ＩｏＴ（Internet of Things）カメラなどが挙げられる。
　撮像レンズは、被写体からの光を集光して固体撮像素子２００に導くものである。
　固体撮像素子２００は、制御部１３０からの制御信号に従って画像データを撮像するものである。ここで、制御信号は、例えば、垂直同期信号およびモード信号を含む。垂直同期信号は、撮像のタイミングを示すタイミング信号である。例えば、３０ヘルツ（Ｈｚ）や６０ヘルツ（Ｈｚ）の周期信号が垂直同期信号として用いられる。
　また、モード信号は、画素加算を行う画素加算モードと、画素加算を行わない非加算モードとのいずれかを、動作モードとして指示する信号である。固体撮像素子２００は、非加算モードにおいて垂直同期信号に同期して画像データを撮像し、デジタル信号処理部１２０に信号線２０９を介して供給する。一方、画素加算モードにおいて固体撮像素子２００は、画素加算を行い、加算したデータを画素加算データとして制御部１３０に信号線１３９を介して供給する。
　デジタル信号処理部１２０は、画像データに対して所定の信号処理を実行するものである。例えば、デモザイク処理、ホワイトバランス処理や、物体の検出処理などが信号処理として実行される。デジタル信号処理部１２０は、処理後の画像データを画像出力部１４０に信号線１２９を介して供給する。
　制御部１３０は、撮像装置１００全体を制御するものである。この制御部１３０は、電源が投入されると、まず、動作モードを画素加算モードに設定し、モード信号および垂直同期信号を固体撮像素子２００に信号線１３８を介して供給する。そして、制御部１３０は、画素加算データに基づいて、動作モードを画素加算モードから非加算モードへ切り替える。
　画像出力部１４０は、有線または無線により、外部の装置へ画像データを出力するものである。
　なお、撮像装置１００は、画像データを外部に出力しているが、画像データをメモリなどに記録してもよい。また、撮像装置１００は、画像データ以外のデータをさらに出力してもよい。例えば、撮像装置１００は、物体の検出結果や、モードを切り替えた旨を通知するデータを出力してもよい。
　［固体撮像素子の構成例］
　図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、走査回路２１０、画素アレイ部３００、カラム信号処理部２２０、タイミング制御部２３０およびスイッチ２４０を備える。
　画素アレイ部３００には、二次元格子状に複数の画素が配列される。以下、所定の方向に配列された画素の集合を「行」と称し、行に垂直な方向に配列された画素の集合を「列」と称する。また、行数をＭ（Ｍは、整数）とし、列数をＮ（Ｎは、整数）とする。なお、行は、特許請求の範囲に記載のラインの一例である。
　走査回路２１０は、画素アレイ部３００を駆動するものである。この走査回路２１０にはモード信号ＭＯＤＥが入力される。モード信号ＭＯＤＥにより画素加算モードが指示された場合に走査回路２１０は、垂直同期信号ＶＳＹＮＣに同期して全行のいずれかを選択し、列方向に画素信号を加算させる。これにより、列ごとに、その列内の画素信号を全て加算した画素加算信号が出力される。列数はＮであるため、垂直同期信号ＶＳＹＮＣの周期内に出力される画素加算信号の個数は、Ｎ個である。
　一方、モード信号ＭＯＤＥにより非加算モードが指示された場合に走査回路２１０は、垂直同期信号ＶＳＹＮＣに同期して行を順に選択して、その行内の画素のそれぞれに画素信号を出力させる。行数がＭで列数がＮであるため、垂直同期信号ＶＳＹＮＣの周期内に出力される画素信号の個数は、Ｍ×Ｎ個である。
　カラム信号処理部２２０は、選択された行からの画素信号のそれぞれに対して、ＡＤ変換処理を含む所定の信号処理を実行するものである。画素加算モードにおいて、カラム信号処理部２２０は、垂直同期信号ＶＳＹＮＣの周期ごとに、Ｎ個の画素加算信号のそれぞれをデジタルの画素加算データに変換する。
　一方、非加算モードにおいてカラム信号処理部２２０は、垂直同期信号ＶＳＹＮＣの周期ごとに、Ｎ個の画素加算信号をデジタルの画素データに変換する処理をＭ回に亘って実行する。カラム信号処理部２２０は、処理後のデータをスイッチ２４０に出力する。なお、カラム信号処理部２２０は、特許請求の範囲に記載のアナログデジタル変換部の一例である。
　一般に、固体撮像素子２００内の各回路のうち、消費電力が最も多いのは、ＡＤ変換を行う回路（カラム信号処理部２２０など）である。上述したように非加算モードでは垂直同期信号ＶＳＹＮＣの周期ごとに、Ｎ×Ｍ個の画素信号がＡＤ変換されるのに対し、非加算モードではＮ個の画素加算信号しかＡＤ変換されない。このため、画素加算モードにおける固体撮像素子２００の消費電力は、非加算モードと比較して非常に小さくなる。
　タイミング制御部２３０は、垂直同期信号ＶＳＹＮＣに同期して走査回路２１０およびカラム信号処理部２２０のそれぞれの動作タイミングを制御するものである。
　スイッチ２４０は、モード信号ＭＯＤＥに基づいて、カラム信号処理部２２０からのデータの出力先を切り替えるものである。このスイッチ２４０は、モード信号ＭＯＤＥにより画素加算モードが指示された場合に、カラム信号処理部２２０からの画素加算データを制御部１３０に出力する。一方、モード信号ＭＯＤＥにより非加算モードが指示された場合にスイッチ２４０は、カラム信号処理部２２０からの画素データをデジタル信号処理部１２０に出力する。
　図３は、本技術の第１の実施の形態における画素アレイ部３００およびカラム信号処理部２２０の一構成例を示すブロック図である。画素アレイ部３００は、複数の画素３１０と、複数の画素加算部３２０と、複数の信号生成部３３０とを備える。画素加算部３２０は、列ごとに配置され、信号生成部３３０は、画素３１０ごとに配置される。また、列ごとに垂直信号線３０９－ｎＶが配線される。ここで、ｎは、０乃至Ｎ－１の整数である。
　画素３１０は、走査回路２１０の制御に従って光電変換により電荷を生成し、画素加算部３２０を介して対応する信号生成部３３０に転送する。
　信号生成部３３０は、走査回路２１０の制御に従って、転送された電荷の量に応じたアナログ信号（画素信号または画素加算信号）を生成するものである。この信号生成部３３０は、対応する垂直信号線３０９－ｎｖを介してアナログ信号をカラム信号処理部２２０に出力する。
　画素加算部３２０は、走査回路２１０の制御に従って、対応する列内の画素信号を加算するものである。
　カラム信号処理部２２０は、列ごとにＡＤＣ２２１およびＣＤＳ（Correlated Double Sampling）処理部２２２を備える。ＡＤＣ２２１は、対応する列からのアナログ信号をデジタル信号（画素データまたは画素加算データ）に変換するものである。ＣＤＳ処理部２２２は、対応する列のデジタル信号に対してＣＤＳ処理を実行するものである。このＣＤＳ処理部２２２は、処理後のデータをスイッチ２４０に供給する。
　［画素アレイ部の構成例］
　図４は、本技術の第１の実施の形態における画素アレイ部３００の一構成例を示す回路図である。画素３１０のそれぞれは、フォトダイオード３１１および転送トランジスタ３１２を備える。また、画素加算部３２０のそれぞれは、Ｍ－１個の接続トランジスタ３２１を備える。信号生成部３３０のそれぞれは、リセットトランジスタ３３１、増幅トランジスタ３３２、浮遊拡散層３３３および選択トランジスタ３３４を備える。
　フォトダイオード３１１は、光電変換により電荷を生成するものである。転送トランジスタ３１２は、走査回路２１０からの転送信号ＴＲＧ_ｍに従って、フォトダイオード３１１から浮遊拡散層３３３へ電荷を転送するものである。ここで、ｍは、０乃至Ｍ－１の整数である。
　接続トランジスタ３２１は、走査回路２１０からの加算信号ＦＤ_ｍに従って、ｍ行目の浮遊拡散層３３３と、ｍ＋１行目の浮遊拡散層３３３とを短絡するものである。ｎ列目の接続トランジスタ３２１の全てが短絡を行うことにより、そのｎ列内のＭ個の浮遊拡散層３３３のそれぞれの電荷量が略同一の値に平均化される。この結果、信号生成部３３０において、列内の画素信号を加算平均した信号が生成される。
　リセットトランジスタ３３１は、リセット信号ＲＳＴ_ｍに従って浮遊拡散層３３３の電荷量を初期化するものである。浮遊拡散層３３３は、転送された電荷を蓄積して、蓄積した電荷量に応じた電圧を生成するものである。増幅トランジスタ３３２は、浮遊拡散層３３３の電圧を増幅するものである。選択トランジスタ３３４は、増幅された電圧の信号を画素信号または画素加算信号として、対応する垂直信号線３０９－ｎｖを介してカラム信号処理部２２０に出力するものである。
　なお、画素３１０ごとに浮遊拡散層３３３を配置しているが、複数の画素３１０で浮遊拡散層３３３を共有してもよい。この場合には、例えば、共有単位の複数の画素３１０に、信号生成部３３０と接続トランジスタ３２１とが共通に接続される。
　図５は、本技術の第１の実施の形態における制御部１３０の一構成例を示すブロック図である。この制御部１３０は、撮像制御部１３１およびモード制御部１３２を備える。また、モード制御部１３２は、ラインバッファ１３３、モード信号生成部１３４およびタイマ１３５を備える。
　撮像制御部１３１は、操作信号に従って垂直同期信号ＶＳＹＮＣを生成するものである。この撮像制御部１３１は、例えば、電源が投入されたときや、撮像を開始させるための開始操作が行われたときに、固体撮像素子２００への垂直同期信号ＶＳＹＮＣの供給を開始する。また、撮像を停止させるための停止操作が行われたときに撮像制御部１３１は、垂直同期信号ＶＳＹＮＣの供給を停止する。
　なお、撮像制御部１３１は、予め設定された撮像開始日時が経過したときに垂直同期信号ＶＳＹＮＣの供給を開始し、予め設定された撮像終了日時が経過したときに垂直同期信号ＶＳＹＮＣの供給を停止してもよい。あるいは、撮像制御部１３１は、ネットワークを介して撮像開始の信号を受信したときに垂直同期信号ＶＳＹＮＣの供給を開始し、撮像終了の信号を受信したときに垂直同期信号ＶＳＹＮＣの供給を停止してもよい。
　ラインバッファ１３３は、Ｎ個の画素加算データのそれぞれを過去加算データとして保持するものである。
　モード信号生成部１３４は、画素加算データに基づいてモード信号ＭＯＤＥを生成するものである。このモード信号生成部１３４は、電源が投入されたときや、開始操作が行われたときに、画素加算モードを指示するモード信号ＭＯＤＥを生成して固体撮像素子２００に供給する。
　そして、画素加算モードにおいてモード信号生成部１３４は、画素加算データに基づいて画素加算モードから非加算モードへ切り替える。例えば、モード信号生成部１３４は、垂直同期信号ＶＳＹＮＣに同期して固体撮像素子２００からＮ個の画素加算データを現在加算データＰＡｎとして取得し、ラインバッファ１３３からＮ個の過去加算データＰＢｎを取得する。ここで、ＰＡｎは、第ｎ列の現在加算データを示し、ＰＢｎは、第ｎ列の過去加算データを示す。モード信号生成部１３４は、これらの現在加算データと過去加算データとを比較して、被写体に動きの有無を判断する。
　例えば、モード信号生成部１３４は、次の式により合計値ＳＵＭを算出する。
Figure JPOXMLDOC01-appb-M000001
　そして、モード信号生成部１３４は、その合計値ＳＵＭが、所定の動き判定閾値を超えるか否かを判断する。合計値ＳＵＭが動き判定閾値を超える場合にモード信号生成部１３４は、動きがあったと判断して動作モードを非加算モードに切り替え、その非加算モードを指示するモード信号ＭＯＤＥを固体撮像素子２００に供給する。
　非加算モードに切り替えられるとモード信号生成部１３４は、タイマ１３５のタイマ値を初期化して、タイマ１３５に計時を開始させる。そして、非加算モードにおいてモード信号生成部１３４は、タイマ１３５のタイマ値を参照し、タイマ値が一定値を越えた（すなわち、一定時間が経過した）か否かを判断する。タイマ値が一定値を越えた場合にモード信号生成部１３４は、動作モードを非加算モードから画素加算モードに切り替える。
　タイマ１３５は、モード信号生成部１３４の制御に従って計時を行うものである。
　なお、非加算モードにおいて撮像装置１００は、一定時間が経過したときに画素加算モードへ切り替えているが、他の条件が満たされたときに切替えを行ってもよい。例えば、非加算モードにおいて撮像装置１００内のデジタル信号処理部１２０が画像データを解析して所定の物体（車や歩行者など）の有無を検出し、その物体が検出されないときにモード信号生成部１３４が画素加算モードへ切り替えてもよい。あるいは、撮像装置１００は、非加算モードに切り替えると、その旨を外部の装置（スマートフォンなど）に通知して画像データの撮像および送信を開始し、その装置から、切替え信号を受信すると画素加算モードに移行してもよい。
　また、撮像装置１００は、過去加算データと現在加算データとを比較して動きの有無を判断しているが、過去加算データの代わりに、背景画像から予め生成しておいた所定の画素加算データと比較して動きの有無を判断してもよい。
　図６は、本技術の第１の実施の形態における撮像装置１００の状態遷移図の一例である。この撮像装置１００の状態は、画素加算モード６１０、非加算モード６２０および撮像停止状態６３０を含む。
　撮像装置１００の初期状態は、撮像停止状態６３０である。この撮像停止状態６３０において撮像装置１００は、画素データ、および、画素加算データの両方の生成を停止する。
　電源が投入されたときや開始操作が行われたときに撮像装置１００は、画素加算モード６１０に移行する。この画素加算モード６１０において、撮像装置１００は、列ごとに画素加算を行ってＮ個の画素加算データを生成する。そして、撮像装置１００は、それらの画素加算データに基づいて被写体の動きの有無を判断する。
　動きがあった場合に撮像装置１００は、非加算モード６２０に移行する。そして、非加算モード６２０において撮像装置１００は、画像データを撮像し、外部に出力する。そして、非加算モード６２０に移行してから一定時間が経過すると、撮像装置１００は、画素加算モード６１０に移行する。
　また、画素加算モード６１０または非加算モード６２０において停止操作が行われた場合に、撮像装置１００は、撮像停止状態６３０に移行する。
　上述したように、撮像装置１００は、動きがあると判断するまでの期間に亘って、消費電力の非常に小さい画素加算モード６１０で動作する。このため、常に非加算モード６２０で動作する構成と比較して、固体撮像素子２００の消費電力を大幅に削減することができる。例えば、行数が１０００行の場合、画素加算モードにおいては、ＡＤ変換に要する消費電力を非加算モードのときの約１／１０００に削減することができる。
　さらに、非加算モードではデジタル信号処理部１２０および画像出力部１４０に画像データが入力されず、画像処理と画像の出力とが実行されないため、画像処理等に要する消費電力を大幅に削減することができる。デジタルカメラの中でも、特にＩｏＴカメラは、消費電力が非常に小さいことが要求される。このため、本開示に係る技術は、ＩｏＴカメラに適用することが望ましい。
　図７は、本技術の第１の実施の形態における画素加算モードの固体撮像素子２００の動作の一例を示すタイミングチャートである。タイミングＴ０において画素加算モードに移行すると走査回路２１０は、全行にリセット信号ＲＳＴ_ｍを送信して全行を初期化する。また、走査回路２１０は、全行への加算信号ＦＤ_ｍの送信を開始する。また、走査回路２１０は、いずれかの行（例えば、第０行）を選択して、その行に選択信号ＳＥＬ_ｍを送信する。
　そして、露光時間が終了したタイミングＴ１において、走査回路２１０は、全行に転送信号ＴＲＧ_ｍを送信する。これにより、Ｎ個の画素加算信号が出力される。ＡＤＣ２２１は、タイミングＴ０の直後において画素加算信号のリセットレベルを変換し、タイミングＴ１の直後とにおいて画素加算信号の信号レベルを変換する。これらの差分が正味の画素加算データとして出力される。
　そして、タイミングＴ２の後において走査回路２１０は、垂直同期信号ＶＳＹＮＣの周期である１Ｖ期間ごとに、同様の動作を繰り返し行う。このように、１Ｖ期間ごとに、Ｎ個の画素加算信号がＡＤ変換される。
　なお、走査回路２１０は、全行に加算信号ＦＤ_ｍを送信して画素加算させているが、一部の行にのみ加算信号ＦＤ_ｍを送信してもよい。これにより、さらに消費電力を低減することができる。
　図８は、本技術の第１の実施の形態における非加算モードの固体撮像素子２００の動作の一例を示すタイミングチャートである。タイミングＴ１０において非加算モードに移行すると、走査回路２１０は、第０行を選択して選択信号ＳＥＬ_０を送信し、リセット信号ＲＳＴ_０を送信する。
　そして、露光時間が終了したタイミングＴ１１において、走査回路２１０は、第０行に転送信号ＴＲＧ_０を送信する。これにより、Ｎ個の画素信号が出力される。ＡＤＣ２２１は、タイミングＴ１０の直後において画素信号のリセットレベルを変換し、タイミングＴ１１の直後とにおいて画素信号の信号レベルを変換する。これらの差分が正味の画素データとして出力される。これにより、第０行が読み出される。
　そして、タイミングＴ１２以降において同様の手順で第１行から第Ｍ－１行までが順に読み出される。これらのＭ回の読出しにより、第０フレームが読み出される。第０フレームの第Ｍ－１行が読み出されたタイミングＴ１３以降において、１Ｖ期間が経過するたびに、第１フレーム以降が読み出される。このように、１Ｖ期間ごとに、Ｍ×Ｎ個の画素信号がＡＤ変換される。
　図９は、本技術の第１の実施の形態における過去フレームおよび過去加算データの一例を示す図である。同図におけるａは、過去フレーム５１０の一例であり、同図におけるｂは、Ｎ個の過去加算データからなるラインデータ５２０の一例である。ここで、過去フレーム５１０は、画素加算モードにおける画素信号を加算せずに配列した際に得られる画像である。また、撮像装置１００は、道路の側面に設置され、その道路は行方向に延びているものとする。
　図９におけるａに例示するように、過去フレーム５１０には、例えば、自動車５１１が写っている。同図におけるｂに例示するように固体撮像素子２００は、列ごとに画素加算を行い、ラインデータ５２０を生成する。このラインデータ５２０は、自動車５１１に対応する画素加算データ５２１を含む。
　図１０は、本技術の第１の実施の形態における現在フレームおよび過去加算データの一例を示す図である。同図におけるａは、現在フレーム５３０の一例であり、同図におけるｂは、Ｎ個の現在加算データからなるラインデータ５４０の一例である。
　図１０におけるａに例示するように、現在フレーム５３０には、行方向に移動した自動車５３１が写っている。同図におけるｂに例示するように固体撮像素子２００は、列ごとに画素加算を行い、ラインデータ５４０を生成する。このラインデータ５４０は、自動車５３１に対応する画素加算データ５４１を含む。自動車５３１が行方向に移動したため、画素加算データ５４１の水平アドレスの位置は、過去フレームの画素加算データ５２１と異なる位置に変化する。このため、式１で演算される合計値ＳＵＭの値は、動き判定閾値よりも高くなり、撮像装置１００は、被写体に動きがあると判断することができる。
　［撮像装置の動作例］
　図１１は、本技術の第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、電源が投入されたときや、開始操作が行われたときに開始される。
　撮像装置１００は、動作モードを画素加算モードを設定する（ステップＳ９０１）。そして、撮像装置１００は、画素加算を行い、１ライン分（Ｎ個）の画素加算データを読み出す（ステップＳ９０２）。撮像装置１００は、過去加算データと現在加算データとの比較を行う（ステップＳ９０３）。なお、画素加算モードにおいて撮像装置１００が最初の現在加算データを生成したときには、過去加算データが存在しないため、例えば、背景画像から予め生成しておいた所定の画素加算データと比較される。
　そして、撮像装置１００は、式１を用いて、被写体の動きの有無を判断する（ステップＳ９０４）。動きが無い場合に（ステップＳ９０４：Ｎｏ）、撮像装置１００は、ステップＳ９０２以降を繰り返し実行する。
　一方、動きがあった場合に（ステップＳ９０４：Ｙｅｓ）、撮像装置１００は、動作モードを非加算モードに切り替え（ステップＳ９０５）、Ｍ行を順に読み出す（ステップＳ９０６）。そして、撮像装置１００は、画像データを処理し、出力する（ステップＳ９０７）。撮像装置１００は、非加算モードに切り替えてから一定期間が経過したか否かを判断する（ステップＳ９０８）。一定時間が経過していない場合に（ステップＳ９０８：Ｎｏ）、撮像装置１００は、ステップＳ９０６以降を繰り返し実行する。
　一方、一定時間が経過した場合に（ステップＳ９０８：Ｙｅｓ）、撮像装置１００は、動作モードを画素加算モードに切り替えて（ステップＳ９０９）、ステップＳ９０２以降を繰り返し実行する。
　このように、本技術の第１の実施の形態によれば、撮像装置１００は、画素加算モードにおいて、列ごとに画素加算してＮ個の画素加算信号をＡＤ変換するため、Ｎ×Ｍ個の全画素信号をＡＤ変換する場合と比較して消費電力を低減することができる。また、撮像装置１００は、全ての画素信号を間引かずに読み出して、それらを列ごとに加算するため、読み出す画素信号数を削減せずに消費電力を低減することができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、撮像装置１００は、被写体の動きの有無を判定し、動きがあった際に動作モードを非加算モードに切り替えていた。しかし、一定速度以上で移動する物体（自動車など）を非加算モードで撮像する用途に撮像装置１００を用いる場合、その物体以外の被写体（草木など）が動いた際にも非加算モードに切り替わり、消費電力を十分に削減することができないおそれがある。そこで、この第２の実施の形態では、画素加算モードにおいて物体の速度をさらに測定する。すなわち、この第２の実施の形態の撮像装置１００は、画素加算モードにおいて物体の速度を測定する点において第１の実施の形態と異なる。
　図１２は、本技術の第２の実施の形態における水平アドレス毎の過去加算データおよび現在加算データの軌跡の一例を示す図である。同図における縦軸は、過去加算データおよび現在加算データのそれぞれの値を示し、横軸は、水平アドレスを示す。一定鎖線は、過去加算データの軌跡を示し、実線は、現在加算データの軌跡を示す。
　自動車などの物体が行方向に沿って移動した場合、過去加算データの軌跡と現在加算データの軌跡とのそれぞれの所定の特徴点（立上りエッジなど）の水平アドレスの差分ＤＩＦＦは、移動速度Ｖｈに応じた値となる。例えば、移動速度Ｖｈは、次の式により表される。
　　Ｖｈ＝ＤＩＦＦ×ｋ×（ｆＶＳＹＮＣ）　　　　　　　　　　　　・・・式２
上式においてｋは、差分ＤＩＦＦを移動距離に換算するための係数である。また、ｆＶＳＹＮＣは、垂直同期信号ＶＳＹＮＣの周波数であり、単位は、例えば、ヘルツ（Ｈｚ）である。移動速度Ｖｈの単位は、例えば、メートル毎秒（ｍ／ｓ）である。
　式２を用いることにより、撮像装置１００は、差分ＤＩＦＦから移動速度Ｖｈを測定することができる。
　図１３は、本技術の第２の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この第２の実施の形態の撮像装置１００の動作は、ステップＳ９０３およびＳ９０４の代わりに、ステップＳ９１０およびＳ９２０を実行する点において第１の実施の形態と異なる。
　画素加算モードにおいて撮像装置１００は、１ライン分の画素加算データを読み出し（ステップＳ９０２）、行方向の移動速度を測定するための速度測定処理を実行する（ステップＳ９２０）。そして、撮像装置１００は、測定した移動速度が、所定の速度閾値を超えるか否かを判断する（ステップＳ９１０）。移動速度が速度閾値以下の場合に（ステップＳ９１０：Ｎｏ）、撮像装置１００は、ステップＳ９０２以降を繰り返し実行する。一方、移動速度が、所定の速度閾値を超える場合に（ステップＳ９１０：Ｙｅｓ）、撮像装置１００は、動作モードを非加算モードに切り替える（ステップＳ９０５）。
　非加算モードにおいて撮像装置１００は、道路交通システムにおける様々な処理を実行することができる。例えば、撮像装置１００は、自動車と歩行者とを画像データから識別し、個別に台数や人数を計数する処理を行う。あるいは、撮像装置１００は、法定速度を超えた自動車の全体を撮像し、証拠写真として保持する。もしくは、撮像装置１００は、法定速度を超えた自動車のナンバープレート部分を撮像して保持する。
　図１４は、本技術の第２の実施の形態における速度測定処理の一例を示すフローチャートである。撮像装置１００は、変数ｈを初期値（「０」など）に初期化し（ステップＳ９２１）、過去加算データの立上りエッジを検出するための過去フレームエッジ検出処理（ステップＳ９３０）を実行する。
　そして、撮像装置１００は、変数ｈを初期化し（ステップＳ９２２）、現在加算データの立上りエッジを検出するための現在フレームエッジ検出処理（ステップＳ９４０）を実行する。撮像装置１００は、過去加算データと現在加算データとのそれぞれの立上りエッジの位置（水平アドレス）の差分ＤＩＦＦを算出し（ステップＳ９２３）、式２を用いて差分ＤＩＦＦから移動速度Ｖｈを算出する（ステップＳ９２４）。ステップＳ９２４の後に、撮像装置１００は、速度測定処理を終了する。
　図１５は、本技術の第２の実施の形態における過去加算データエッジ検出処理の一例を示すフローチャートである。撮像装置１００は、水平アドレスがｈ＋１の過去加算データと、水平アドレスがｈの過去加算データとの差分を演算する（ステップＳ９３１）。そして、撮像装置１００は、その差分が所定のエッジ閾値より大きいか否かを判断する（ステップＳ９３２）。
　差分が所定のエッジ閾値以下の場合に（ステップＳ９３２：Ｎｏ）、撮像装置１００は、ｈをインクリメントし（ステップＳ９３３）、全ての水平アドレスについてステップＳ９３２の判定を行ったか否かを判断する（ステップＳ９３４）。判定していないアドレスが有る場合に（ステップＳ９３４：Ｎｏ）、撮像装置１００は、ステップＳ９３１以降を繰り返し実行する。
　また、差分が所定のエッジ閾値より大きい場合に（ステップＳ９３２：Ｙｅｓ）、撮像装置１００は、ｈを過去加算データの立上りエッジの水平アドレスとして保持する（ステップＳ９３５）。
　全ての水平アドレスについて判定を行った場合（ステップＳ９３４：Ｙｅｓ）、または、ステップＳ９３５の後に撮像装置１００は、過去フレームエッジ検出処理を終了する。
　図１６は、本技術の第２の実施の形態における現在加算データエッジ検出処理の一例を示すフローチャートである。撮像装置１００は、水平アドレスがｈ＋１の現在加算データと、水平アドレスがｈの現在加算データとの差分を演算する（ステップＳ９４１）。そして、撮像装置１００は、その差分が所定のエッジ閾値より大きいか否かを判断する（ステップＳ９４２）。
　差分が所定のエッジ閾値以下の場合に（ステップＳ９４２：Ｎｏ）、撮像装置１００は、ｈをインクリメントし（ステップＳ９４３）、全ての水平アドレスについてステップＳ９４２の判定を行ったか否かを判断する（ステップＳ９４４）。判定していないアドレスが有る場合に（ステップＳ９４４：Ｎｏ）、撮像装置１００は、ステップＳ９４１以降を繰り返し実行する。
　また、差分が所定のエッジ閾値より大きい場合に（ステップＳ９４２：Ｙｅｓ）、撮像装置１００は、ｈを現在加算データの立上りエッジの水平アドレスとして保持する（ステップＳ９４５）。
　全ての水平アドレスについて判定を行った場合（ステップＳ９４４：Ｙｅｓ）、または、ステップＳ９４５の後に撮像装置１００は、現在フレームエッジ検出処理を終了する。
　なお、撮像装置１００は、過去加算データと現在加算データとのそれぞれの立上りエッジの差分から速度を算出しているが、この構成に限定されない。例えば、撮像装置１００は、立下りエッジの差分を算出して、その差分から速度を算出することもできる。また、撮像装置１００は、ピーク値の差分を算出して、その差分から速度を算出することもできる。
　このように、本技術の第２の実施の形態では、撮像装置１００は、被写体の移動速度が速度閾値を越えたときに非加算モードに切り替えるため、速度閾値以下の速度で被写体が移動したに過ぎない場合であっても画素加算モードを継続することができる。これにより、さらに消費電力を低減することができる。
　＜３．第３の実施の形態＞
　上述の第２の実施の形態では、撮像装置１００は、行方向への移動速度を測定していたが、撮像装置１００の配置場所によっては、被写体が奥行き方向に移動することがあり、その際に移動速度を正確に測定できないおそれがある。そこで、この第３の実施の形態の撮像装置１００は、奥行き方向における移動速度を測定する。すなわち、この第３の実施の形態の撮像装置１００は、奥行き方向における移動速度を測定する点において第２の実施の形態と異なる。
　図１７は、本技術の第３の実施の形態における過去フレーム５５０の一例を示す図である。第３の実施の形態において、撮像装置１００は、道路の上部に設置され、道路は光軸方向（言い換えれば、奥行き方向）に延びているものとする。過去フレーム５５０には、例えば、自動車５５１が写っている。
　図１８は、技術の第３の実施の形態における現在フレーム５６０の一例を示す図である。現在フレーム５６０には自動車５６１が写っている。この自動車５６１は、過去フレーム５５０の撮像時と比較して手前（ニア）の方向に移動している。このため、現在フレーム５６０内の自動車５６１の行方向の幅は、自動車５５１と比較して広くなっている。
　図１９は、本技術の第３の実施の形態における水平アドレス毎の過去加算データおよび現在加算データの軌跡の一例を示す図である。同図における縦軸は、過去加算データおよび現在加算データのそれぞれの値を示し、横軸は、水平アドレスを示す。一定鎖線は、過去加算データの軌跡を示し、実線は、現在加算データの軌跡を示す。
　自動車などの物体が奥行き方向に沿って移動した場合、過去加算データの軌跡と現在加算データの軌跡とのそれぞれのパルス幅の差分は、奥行き方向における移動速度Ｖｄに応じた値となる。ここで、パルス幅は、立上りエッジの水平アドレスと立下りエッジの水平アドレスとの差を示す。
　図２０は、本技術の第３の実施の形態における速度測定処理の一例を示すフローチャートである。撮像装置１００は、過去加算データの立上りエッジの水平アドレスを検出する（ステップＳ９５１）。立上りエッジのアドレスの検出手順は、第２の実施の形態と同様である。また、撮像装置１００は、過去加算データの立下りエッジの水平アドレスを検出する（ステップＳ９５２）。そして、撮像装置は、それらのアドレスの差分を過去加算データのパルス幅として算出する（ステップＳ９５３）。
　また、撮像装置１００は、現在加算データの立上りエッジの水平アドレスを検出し（ステップＳ９５４）、立下りエッジの水平アドレスを検出する（ステップＳ９５５）。そして、撮像装置は、それらのアドレスの差分を現在加算データのパルス幅として算出する（ステップＳ９５６）。
　そして、撮像装置１００は、過去加算データの軌跡と現在加算データの軌跡とのそれぞれのパルス幅の差分を算出し（ステップＳ９５７）、その差分から奥行き方向の移動速度を測定する（ステップＳ９５８）。例えば、係数ｋを調整した式２により、移動速度が算出される。
　なお、撮像装置１００は、奥行き方向の移動速度を測定しているが、移動速度の測定前において、移動方向が奥行き方向か行方向かを判定してもよい。例えば、過去加算データと現在加算データとのそれぞれのパルス幅の差分が所定の方向判定閾値以下である場合に撮像装置１００は、移動方向が行方向と判定して第２の実施の形態と同様の手順で移動速度を測定する。一方、パルス幅の差分が方向判定閾値を超える場合に撮像装置１００は、移動方向が奥行き方向と判定して図２０に例示した手順で移動速度を測定する。
　このように、本技術の第３の実施の形態によれば、撮像装置１００は、奥行き方向の移動速度が速度閾値を越えたときに非加算モードに切り替えるため、速度閾値以下で被写体が奥行き方向に移動した際であっても画素加算モードを継続することができる。これにより、さらに消費電力を低減することができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）所定の方向に沿って複数の画素がそれぞれに配列された複数のラインが設けられた画素アレイ部と、
　非加算モードにおいては前記複数のラインを順に選択して当該選択したライン内の前記画素のそれぞれにアナログ信号を出力させ、画素加算モードにおいては前記所定方向に垂直な方向に配列された前記画素のそれぞれの前記アナログ信号を加算させて出力させる走査回路と、
　前記アナログ信号のそれぞれをデジタル信号に変換するアナログデジタル変換部と、
　前記デジタル信号に基づいて前記画素加算モードと前記非加算モードとの一方から他方に切り替える制御を行う制御部と
を具備する撮像装置。
（２）前記アナログデジタル変換器は、前記画素加算モードにおいて前記デジタル信号を画素加算データとして出力し、
　前記制御部は、前記画素加算データに基づいて前記非加算モードから前記画素加算モードに切り替える
前記（１）記載の撮像装置。
（３）前記制御部は、前記画素加算データから物体の速度を測定して前記速度が所定速度を超える場合には前記非加算モードから前記画素加算モードに切り替える
前記（２）記載の撮像装置。
（４）前記制御部は、前記所定方向における前記速度を測定する
前記（３）記載の撮像装置。
（５）前記制御部は、奥行き方向における前記速度を測定する
前記（３）記載の撮像装置。
（６）前記画素アレイ部は、
　前記複数の画素と、
　前記画素加算モードにおいて前記垂直な方向に配列された前記画素のそれぞれの前記アナログ信号を加算して出力する画素加算部と
を備える
前記（１）から（５）のいずれかに記載の撮像装置。
（７）前記非加算モードにおいて前記デジタル信号に対して所定の処理を実行するデジタル信号処理部をさらに具備する
前記（１）から（６）のいずれかに記載の撮像装置。
（８）前記制御部は、前記非加算モードに切り替えてから所定時間が経過したときに前記画素加算モードに切り替える
前記（１）から（７）のいずれかに記載の撮像装置。
（９）非加算モードにおいては所定の方向に沿って複数の画素がそれぞれに配列された複数のラインを順に選択して当該選択したライン内の前記画素のそれぞれにアナログ信号を出力させ、画素加算モードにおいては前記複数のラインを同時に選択して前記所定方向に垂直な方向に配列された前記画素のそれぞれの前記アナログ信号を加算させて出力させる走査手順と、
　前記アナログ信号のそれぞれをデジタル信号に変換するアナログデジタル変換手順と、
　前記デジタル信号に基づいて前記画素加算モードと前記非加算モードとの一方から他方に切り替える制御を行う制御手順と
を具備する撮像装置の制御方法。
　１００　撮像装置
　１１０　撮像レンズ
　１２０　デジタル信号処理部
　１３０　制御部
　１３１　撮像制御部
　１３２　モード制御部
　１３３　ラインバッファ
　１３４　モード信号生成部
　１３５　タイマ
　１４０　画像出力部
　２００　固体撮像素子
　２１０　走査回路
　２２０　カラム信号処理部
　２２１　ＡＤＣ
　２２２　ＣＤＳ処理部
　２３０　タイミング制御部
　２４０　スイッチ
　３００　画素アレイ部
　３１０　画素
　３１１　フォトダイオード
　３１２　転送トランジスタ
　３２０　画素加算部
　３２１　接続トランジスタ
　３３０　信号生成部
　３３１　リセットトランジスタ
　３３２　増幅トランジスタ
　３３３　浮遊拡散層
　３３４　選択トランジスタ

Claims (9)

  1. 　所定の方向に沿って複数の画素がそれぞれに配列された複数のラインが設けられた画素アレイ部と、
    　非加算モードにおいては前記複数のラインを順に選択して当該選択したライン内の前記画素のそれぞれにアナログ信号を出力させ、画素加算モードにおいては前記所定方向に垂直な方向に配列された前記画素のそれぞれの前記アナログ信号を加算させて出力させる走査回路と、
    　前記アナログ信号のそれぞれをデジタル信号に変換するアナログデジタル変換部と、
    　前記デジタル信号に基づいて前記画素加算モードと前記非加算モードとの一方から他方に切り替える制御を行う制御部と
    を具備する撮像装置。
  2. 　前記アナログデジタル変換器は、前記画素加算モードにおいて前記デジタル信号を画素加算データとして出力し、
    　前記制御部は、前記画素加算データに基づいて前記非加算モードから前記画素加算モードに切り替える
    請求項１記載の撮像装置。
  3. 　前記制御部は、前記画素加算データから物体の速度を測定して前記速度が所定速度を超える場合には前記非加算モードから前記画素加算モードに切り替える
    請求項２記載の撮像装置。
  4. 　前記制御部は、前記所定方向における前記速度を測定する
    請求項３記載の撮像装置。
  5. 　前記制御部は、奥行き方向における前記速度を測定する
    請求項３記載の撮像装置。
  6. 　前記画素アレイ部は、
    　前記複数の画素と、
    　前記画素加算モードにおいて前記垂直な方向に配列された前記画素のそれぞれの前記アナログ信号を加算して出力する画素加算部と
    を備える
    請求項１記載の撮像装置。
  7. 　前記非加算モードにおいて前記デジタル信号に対して所定の処理を実行するデジタル信号処理部をさらに具備する
    請求項１記載の撮像装置。
  8. 　前記制御部は、前記非加算モードに切り替えてから所定時間が経過したときに前記画素加算モードに切り替える
    請求項１記載の撮像装置。
  9. 　非加算モードにおいては所定の方向に沿って複数の画素がそれぞれに配列された複数のラインを順に選択して当該選択したライン内の前記画素のそれぞれにアナログ信号を出力させ、画素加算モードにおいては前記複数のラインを同時に選択して前記所定方向に垂直な方向に配列された前記画素のそれぞれの前記アナログ信号を加算させて出力させる走査手順と、
    　前記アナログ信号のそれぞれをデジタル信号に変換するアナログデジタル変換手順と、
    　前記デジタル信号に基づいて前記画素加算モードと前記非加算モードとの一方から他方に切り替える制御を行う制御手順と
    を具備する撮像装置の制御方法。
PCT/JP2017/036631 2017-01-17 2017-10-10 撮像装置、および、撮像装置の制御方法 WO2018135049A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780082952.4A CN110178366B (zh) 2017-01-17 2017-10-10 摄像装置和摄像装置控制方法
US16/463,717 US10863129B2 (en) 2017-01-17 2017-10-10 Imaging apparatus and imaging apparatus control method to reduce power consumption without reduction of number of pixel signals
CN202210497211.5A CN114945077A (zh) 2017-01-17 2017-10-10 摄像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-006086 2017-01-17
JP2017006086A JP2018117220A (ja) 2017-01-17 2017-01-17 撮像装置、および、撮像装置の制御方法

Publications (1)

Publication Number Publication Date
WO2018135049A1 true WO2018135049A1 (ja) 2018-07-26

Family

ID=62908311

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036631 WO2018135049A1 (ja) 2017-01-17 2017-10-10 撮像装置、および、撮像装置の制御方法

Country Status (4)

Country Link
US (1) US10863129B2 (ja)
JP (1) JP2018117220A (ja)
CN (2) CN114945077A (ja)
WO (1) WO2018135049A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112118402A (zh) * 2019-06-20 2020-12-22 原相科技股份有限公司 影像传感器及其列并列式模拟数字转换电路及转换方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019213020A (ja) * 2018-06-04 2019-12-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像制御方法
JPWO2021060120A1 (ja) 2019-09-24 2021-04-01

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261728A (ja) * 1999-03-11 2000-09-22 Canon Inc 固体撮像装置
WO2014103730A1 (ja) * 2012-12-25 2014-07-03 ソニー株式会社 固体撮像素子およびその駆動方法、並びに電子機器
JP2015039086A (ja) * 2011-12-16 2015-02-26 パナソニック株式会社 固体撮像装置、撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040141079A1 (en) * 2003-01-10 2004-07-22 Matsushita Electric Industrial Co., Ltd. Solid-state imaging device and camera using the same
JP4931238B2 (ja) * 2007-08-14 2012-05-16 キヤノン株式会社 撮像装置及びその駆動方法
JP2009232275A (ja) * 2008-03-24 2009-10-08 Olympus Imaging Corp 撮像装置
JP5746496B2 (ja) * 2010-12-03 2015-07-08 キヤノン株式会社 撮像装置
JP2012165168A (ja) 2011-02-07 2012-08-30 Sony Corp 半導体装置、物理情報取得装置、及び、信号読出し方法
JP5845140B2 (ja) * 2011-06-29 2016-01-20 キヤノン株式会社 撮像素子及び撮像装置
JP2013030862A (ja) * 2011-07-27 2013-02-07 Sony Corp 画像処理装置、画像処理方法および画像表示装置
JP6149369B2 (ja) * 2012-09-27 2017-06-21 株式会社ニコン 撮像素子
US9936132B2 (en) * 2012-10-26 2018-04-03 The Regents Of The University Of Michigan CMOS image sensors with feature extraction
JP2015142351A (ja) * 2014-01-30 2015-08-03 キヤノン株式会社 撮像装置、撮像システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261728A (ja) * 1999-03-11 2000-09-22 Canon Inc 固体撮像装置
JP2015039086A (ja) * 2011-12-16 2015-02-26 パナソニック株式会社 固体撮像装置、撮像装置
WO2014103730A1 (ja) * 2012-12-25 2014-07-03 ソニー株式会社 固体撮像素子およびその駆動方法、並びに電子機器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112118402A (zh) * 2019-06-20 2020-12-22 原相科技股份有限公司 影像传感器及其列并列式模拟数字转换电路及转换方法
CN112118402B (zh) * 2019-06-20 2023-03-24 原相科技股份有限公司 影像传感器及其列并列式模拟数字转换电路及转换方法

Also Published As

Publication number Publication date
US10863129B2 (en) 2020-12-08
CN114945077A (zh) 2022-08-26
US20190327440A1 (en) 2019-10-24
CN110178366B (zh) 2022-05-13
CN110178366A (zh) 2019-08-27
JP2018117220A (ja) 2018-07-26

Similar Documents

Publication Publication Date Title
KR102327355B1 (ko) 촬상 장치 및 촬상 장치의 제어 방법
US9204030B2 (en) Image pickup apparatus and control method thereof
JP2017150893A (ja) 測距モジュール、測距システム、および、測距モジュールの制御方法
JP6019692B2 (ja) 撮像素子、撮像素子の制御方法、および、撮像装置
JP5455798B2 (ja) 画像処理装置
JP5794176B2 (ja) 撮像装置、撮像方法及びプログラム
WO2018135049A1 (ja) 撮像装置、および、撮像装置の制御方法
JP2007194687A (ja) 撮像装置
JP2010074240A (ja) 撮像装置および欠陥画素検出方法
RU2015123466A (ru) Устройство захвата изображения и способ управления устройством захвата изображения
JP2012029920A5 (ja) 制御装置及び制御方法
US20190082131A1 (en) Image pickup apparatus, control method for image pickup apparatus, and computer-readable non-transitory recording medium in which control program for image pickup apparatus is recorded
JP2008109504A5 (ja)
JP6666841B2 (ja) 撮像制御装置、撮像装置、および、撮像装置の制御方法
US10893210B2 (en) Imaging apparatus capable of maintaining image capturing at a suitable exposure and control method of imaging apparatus
US11249279B2 (en) Imaging apparatus and control method of imaging apparatus
JP2016058877A (ja) 撮像装置及びその制御方法
JP2008016961A (ja) 撮像装置および読出制御方法
JP2018081224A5 (ja)
JP5398610B2 (ja) 固体電子撮像装置およびその動作制御方法
WO2015136798A1 (ja) 撮像装置、撮像システム、および、撮像装置の制御方法
JP6661444B2 (ja) 固体撮像装置
JP2008103928A (ja) 撮像装置
JP5173862B2 (ja) 撮像装置及びその制御方法
WO2016059845A1 (ja) 撮像装置、撮像システム、および、撮像装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17893494

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17893494

Country of ref document: EP

Kind code of ref document: A1