WO2019013184A1 - 撮像装置及びカメラ - Google Patents

撮像装置及びカメラ Download PDF

Info

Publication number
WO2019013184A1
WO2019013184A1 PCT/JP2018/025956 JP2018025956W WO2019013184A1 WO 2019013184 A1 WO2019013184 A1 WO 2019013184A1 JP 2018025956 W JP2018025956 W JP 2018025956W WO 2019013184 A1 WO2019013184 A1 WO 2019013184A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
signal
exposure period
image signal
processing unit
Prior art date
Application number
PCT/JP2018/025956
Other languages
English (en)
French (fr)
Inventor
浜崎　岳史
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to CN201880004558.3A priority Critical patent/CN110024378B/zh
Priority to EP18831418.1A priority patent/EP3654636B1/en
Priority to JP2019529721A priority patent/JP6624580B2/ja
Publication of WO2019013184A1 publication Critical patent/WO2019013184A1/ja
Priority to US16/416,205 priority patent/US10785420B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • the present invention relates to an imaging device and a camera for capturing an image.
  • Patent Document 2 discloses, as a MOS-type image sensor capable of global shutter drive, a configuration for writing charges generated by a photodiode in a non-volatile memory transistor, and an image sensor capable of nondestructively reading data. Is disclosed.
  • Patent Document 4 discloses an organic CMOS image sensor capable of nondestructive readout.
  • a sufficient amount of light can not be obtained in photographing under a low illuminance environment, so it is necessary to electrically amplify a signal (hereinafter, gain up).
  • gain-up by an analog circuit (hereinafter, multiplication by analog gain) is desirable, but if gain is still insufficient even when the analog circuit gain reaches the maximum value, gain-up by digital circuit (hereinafter, Digital gain multiplication is required.
  • digital gain multiplication is required.
  • the multiplication of the digital gain causes deterioration of the bit precision of the video signal and the increase of quantization noise accompanying this, there is a problem that noise is generated more than necessary.
  • the present disclosure aims to provide an imaging device and a camera capable of suppressing the digital gain value to be multiplied as much as possible and suppressing the generation of noise more than ever.
  • An imaging device includes: an imaging element capable of nondestructively outputting an image signal; an image processing unit configured to perform predetermined processing on an image signal generated by the imaging element; And a controller for controlling the processing unit, the image processing unit reads the image signal from the imaging element a plurality of times within one exposure period under the control of the controller, and outputs the last read image signal in one exposure period.
  • a target gain value to be a target is calculated based on a target level calculated from the signal level and an addition signal obtained by adding each image signal read out a plurality of times, and the addition signal is multiplied by the target gain value to obtain an image.
  • a camera includes the imaging device and an optical system including at least one optical element that condenses external light on an imaging element.
  • the imaging device and the camera according to the present disclosure it is possible to capture an image in which noise is suppressed more than in the related art.
  • FIG. 1 is a block diagram showing the configuration of a camera according to the embodiment.
  • FIG. 2 is an explanatory view showing the read timing of the image signal according to the embodiment.
  • FIG. 3 is an explanatory view showing the readout timing of the image signal according to the first modification.
  • FIG. 4 is an explanatory view showing the read timing of the image signal according to the second modification.
  • FIG. 5 is a schematic view showing a white rectangular object moving in front of a full gray background as an example of a moving object.
  • FIG. 6 is an explanatory view showing the read timing of the image signal according to the second embodiment.
  • FIG. 7 is an explanatory view showing an imaging result in a period from time 0 to time 0.5T according to the second embodiment.
  • FIG. 1 is a block diagram showing the configuration of a camera according to the embodiment.
  • FIG. 2 is an explanatory view showing the read timing of the image signal according to the embodiment.
  • FIG. 3 is an explanatory view showing the readout timing of the image signal
  • FIG. 8 is an explanatory view showing a result of imaging in a period from time 0 to time T according to the second embodiment.
  • FIG. 9 is an explanatory view showing a result in the case where the signal A and the signal B according to Embodiment 2 are added.
  • FIG. 10 is an explanatory drawing showing a signal C obtained by subtracting the signal A from the signal B according to the second embodiment.
  • FIG. 11 is an explanatory view showing a signal D obtained by subtracting the signal C from the signal A according to the second embodiment.
  • FIG. 12 is an explanatory drawing showing the result of subtraction obtained by multiplying the signal D according to the second embodiment by a gain of 0.5 and subtracting it from the signal (A + B).
  • FIG. 13 is an explanatory view showing the read timing of the image signal at the time of flash photographing in the dark part.
  • An imaging device includes: an imaging element capable of nondestructively outputting an image signal; an image processing unit configured to perform predetermined processing on an image signal generated by the imaging element; And a controller for controlling the processing unit, the image processing unit reads the image signal from the imaging element a plurality of times within one exposure period under the control of the controller, and outputs the last read image signal in one exposure period.
  • a target gain value to be a target is calculated based on a target level calculated from the signal level and an addition signal obtained by adding each image signal read out a plurality of times, and the addition signal is multiplied by the target gain value to obtain an image.
  • the target gain value is multiplied by the addition signal obtained by adding a plurality of image signals read out in one exposure period, one image signal is multiplied by the target gain value. Even if compared with the case where it does, the bit precision deterioration can be suppressed. If the deterioration in bit accuracy is large, noise is likely to be generated in the image. However, by suppressing the deterioration in bit accuracy, it is possible to capture an image in which the noise is suppressed.
  • a camera includes the imaging device and a lens configured to condense external light on an imaging element.
  • Embodiment 1 The configuration and operation of the imaging device according to Embodiment 1 will be described below.
  • FIG. 1 is a block diagram showing the configuration of a camera 100 according to the first embodiment.
  • the camera 100 includes an optical system 110, a lens driving unit 120, and the imaging device 1.
  • the optical system 110 is composed of one or more lenses that condense external light on the imaging device 10 of the imaging device 1.
  • the optical system 110 includes the zoom lens 111, the camera shake correction lens 112, the focus lens 113, and the stop 114.
  • the zoom lens 111 By moving the zoom lens 111 along the optical axis 110A, the subject image can be enlarged or reduced. Further, by moving the focus lens 113 along the optical axis 110A, the focus of the subject image can be adjusted.
  • the camera shake correction lens 112 is movable in a plane perpendicular to the optical axis 110A of the optical system 110. By moving the camera shake correction lens 112 in a direction that cancels out the shake of the camera 100, the influence of the shake of the camera 100 on the captured image can be reduced.
  • the aperture 114 has an opening 114A located on the optical axis 110A, and adjusts the size of the opening 114A according to the setting of the user or automatically to adjust the amount of light to be transmitted.
  • the lens drive unit 120 includes a zoom actuator that drives the zoom lens 111, a camera shake correction actuator that drives the correction lens 112, a focus actuator that drives the focus lens 113, and an aperture actuator that drives the diaphragm 114.
  • the lens drive unit 120 controls the zoom actuator, the focus actuator, the camera shake correction actuator, and the aperture actuator described above.
  • the imaging device 1 includes an imaging element 10, an A / D converter 150, a processing unit 300, a card slot 190, an internal memory 240, an operation member 210, and a display monitor 220.
  • the imaging device 10 is, for example, an imaging device such as an organic MOS image sensor capable of nondestructively outputting an image signal.
  • the imaging device 10 captures an object image formed by the optical system 110 and generates an analog image signal which is an analog signal.
  • the imaging element 10 performs various operations such as exposure, transfer, and electronic shutter.
  • the A / D converter 150 performs analog gain-up on the analog image signal generated by the imaging device 10, and converts the analog image signal into a digital image signal which is a digital signal.
  • the processing unit 300 executes processing on an image signal generated by the imaging device 10 and control processing on the entire camera 100.
  • the processing unit 300 includes an image processing unit 160, a control unit 20, and a memory 170.
  • the image processing unit 160 performs various processes on the image signal generated by the imaging device 10 to generate image data to be displayed on the display monitor 220 or generates image data to be stored on the memory card 200. Do. For example, the image processing unit 160 performs various processes such as gamma correction, white balance correction, and scratch correction on the image signal generated by the imaging device 10, and increases digital gain according to a target level and a target gain value described later. I do. In addition, the image processing unit 160 causes the image signal generated by the imaging device 10 to be H. 2. It is compressed by a compression format or the like conforming to the H.264 standard or the MPEG2 standard. The image processing unit 160 can be realized by a DSP or a microcomputer.
  • the control unit 20 is a controller that controls the entire camera 100. That is, the control unit 20 is a controller that controls the image processing unit 160.
  • the control unit 20 can be realized by a semiconductor element or the like.
  • the control unit 20 may be configured only by hardware, or may be realized by combining hardware and software.
  • the control unit 20 can be realized by a microcomputer or the like. Note that the control unit 20 can also function as the image processing unit 160.
  • the memory 170 functions as a work memory of the image processing unit 160 and the control unit 20.
  • the memory 170 can be realized by, for example, a DRAM, an SRAM, a ferroelectric memory, or the like.
  • the memory 170 may be electrically connected to the outside of the processing unit 300.
  • the card slot 190 detachably holds the memory card 200.
  • the card slot 190 can be mechanically and electrically connected to the memory card 200.
  • the memory card 200 includes a flash memory, a ferroelectric memory, and the like inside, and can store data such as an image file generated by the image processing unit 160.
  • the internal memory 240 is configured by a flash memory, a ferroelectric memory, or the like.
  • the internal memory 240 stores a control program for controlling the entire camera 100 and the like.
  • the operation member 210 is a generic name of a user interface that receives an operation from a user.
  • the operation member 210 includes, for example, a cross key, an enter button, and the like that receive an operation from the user.
  • the display monitor 220 has a screen 220A that can display image data represented by image data based on an image signal generated by the imaging device 10 or image data read from the memory card 200.
  • the display monitor 220 can also display various menu screens and the like for performing various settings of the camera 100 on the screen 220A.
  • a touch panel 220B is disposed on the screen 220A of the display monitor 220. The touch panel 220B can be touched by the user to receive various touch operations. An instruction indicated by a touch operation on the touch panel 220B is notified to the control unit 20, and various processing is performed.
  • the imaging device 10 has a nondestructive output function.
  • the nondestructive output function is a function capable of nondestructively outputting an image signal within an exposure period.
  • the operation of the digital camera 100 using the nondestructive output function of the imaging device 10 will be described below.
  • the image processing unit 160 reads the image signal a plurality of times within one exposure period of the imaging device 10. Specifically, the image processing unit 160 controls the readout timing of the imaging element 10 to read out the image signal a plurality of times within one exposure period.
  • FIG. 2 is an explanatory view showing the read timing of the image signal according to the first embodiment.
  • the exposure period L is, for example, 1/60 seconds.
  • the image processing unit 160 reads an image signal twice from the image sensor 10 in one exposure period L.
  • the read-out timing is equally divided into two at the time of the exposure period L (time T) and the exposure period L, and is used as the division point (time 0.5 T).
  • the bit length of the image signal is the same value (n) for the first and second times.
  • the image processing unit 160 temporarily stores the image signals for two times in one exposure period L acquired from the imaging device 10 in the memory 170 for each time. Thereafter, the image processing unit 160 calculates a target gain value from the target level calculated from the signal level read out for the second time and the addition signal obtained by adding each image signal read out twice. The image processing unit 160 multiplies the addition signal by the target gain value to generate image data. This processing is noise suppression processing, and noise is reduced from the generated image data.
  • the target level is the signal level of the image data to be finally expressed
  • the target gain value is the ratio of the target level to the signal level of the addition signal obtained by adding each image signal read twice. ,Desired.
  • the target level of the n-bit signal after digital gain multiplication so that the output luminance signal amplitude of the camera 100 when imaging a white subject with a reflectance of about 90% is 219 in 8 bits
  • log 2 (2 n + 1 ) indicates the bit precision when multiplying by 2 times the analog gain
  • log 2 (2 n ) indicates the bit precision after multiplying by 2 times the digital gain (digital gain It does not change the bit precision before multiplication).
  • the bit precision degradation is 1 bit.
  • bit accuracy deterioration in the case where image signals having different exposure times are read twice at the same exposure start time in one exposure period L can be obtained by Expression (2).
  • the bit precision degradation is 0.42 bits. It is known that the smaller the bit precision degradation, the smaller the noise generated in the image. For this reason, noise is reduced if the image signal is read out a plurality of times and added within one exposure period L.
  • the imaging device 10 capable of outputting the image signal nondestructively and the image signal generated by the imaging device 10 are subjected to predetermined processing
  • the image processing unit 160 that generates data
  • the control unit 20 controls the image processing unit 160
  • the image processing unit 160 controls the image processing device within one exposure period under the control of the control unit 20.
  • a target is calculated based on the target level calculated from the signal level of the last read out image signal in one exposure period L and the added signal obtained by adding each image signal read out a plurality of times.
  • the target gain value to be calculated is calculated, and the addition signal is multiplied by the target gain value to generate image data.
  • the target gain value is multiplied by the addition signal obtained by adding the plurality of image signals read in one exposure period L, the target gain value is set for one image signal.
  • the bit precision deterioration can be suppressed even compared to the case of multiplication. If the deterioration in bit accuracy is large, noise is likely to be generated in the image. However, by suppressing the deterioration in bit accuracy, it is possible to capture an image in which the noise is suppressed.
  • the image processing unit 160 reads each image signal at a timing when the single exposure period L is divided equally.
  • the image processing unit 160 reads the image signal from the imaging device 10 a plurality of times within one exposure period L, and is calculated from the signal level of the last read image signal in one exposure period L A target gain value to be a target is calculated based on the target level and an addition signal obtained by adding each image signal read out a plurality of times, and the addition signal is multiplied by the target gain value.
  • FIG. 3 is an explanatory view showing the readout timing of the image signal according to the first modification.
  • the image processing unit 160 reads an image signal four times from the imaging element 10 in one exposure period L.
  • the read-out timing equally divides the exposure period L into the time point of the exposure period L (time T) and the exposure period L, and sets the division points (time 0.25 T, time 0.5 T, time 0.75 T). That is, also in this case, the image signals of each time have the same exposure start time but different exposure times.
  • the amount of light received by the sensor is constant (does not change) within the exposure period L.
  • the image processing unit 160 temporarily stores four times of image signals in one exposure period L acquired from the imaging device 10 in the memory for each time. After that, the image processing unit 160 calculates a target gain value to be a target based on the target level calculated from the signal level read out for the fourth time and the addition signal obtained by adding the image signals read out for the fourth time. The image processing unit 160 amplifies the signal level of the addition signal by multiplying the addition signal by the calculated target gain value. The bit accuracy deterioration when the target level is quadrupled is obtained as shown in equation (3).
  • the respective image signals read out four times in one exposure period L are added, it is possible to suppress bit accuracy deterioration. It is possible to suppress the bit accuracy deterioration so much by increasing the number of readouts within one exposure period L, but if it is irregularly increased, the interval between adjacent readout timings becomes one of the image signals. It may be shorter than the read time Tr per round.
  • the read out time Tr per one time of the image signal is easily secured in all the readouts. Can. In other words, when the exposure period L is divided equally, it is required to determine the number of readouts so that the interval between adjacent readout timings is not smaller than the readout time Tr.
  • FIG. 4 is an explanatory view showing the read timing of the image signal according to the second modification.
  • the image processing unit 160 reads the image signal twice in one exposure period L. Specifically, the image processing unit 160 sets the read timing at the last time of the number of times of reading of the image signal in one exposure period L as the final time point of the exposure period, and the times other than the last time.
  • the read out timing of is set within a period L1 of L / 2 or more of the exposure period and less than L-Tr. For example, when the readout time Tr is 0.1 T, the first readout timing is L-Tr time point (time 0.9 T) in the exposure period L, and the second readout timing is the final time of the exposure period (Time T).
  • the readout timing in the last cycle is the final time point of the exposure period, and the readout timing in the cycles other than the last cycle is the same as that in the exposure period L
  • the read out time Tr of the last previous time is set. It can be secured. Therefore, the stability of readout of the image signal can be enhanced.
  • the image processing unit 160 reads the image signal a plurality of times within a period L1 which is half or more (L / 2 or more) of the exposure period L in one exposure period L.
  • the first readout timing may be closer to the end of one exposure period L.
  • the bit precision deterioration in the case where the first read timing is 0.9T and the second read timing is T can be obtained by Expression (4).
  • the bit precision degradation is 0.07 bits.
  • bit precision deterioration can be suppressed even compared to the case of the equation (2). Therefore, bit precision deterioration can be significantly suppressed, and as a result, it is possible to pick up an image in which noise is further suppressed.
  • the image processing unit 160 may read the image signal a plurality of times also in the period L1. Also in this case, it is desirable to determine each read timing in consideration of the read time Tr.
  • the image processing unit 160 may determine the number of times of reading of the image signal in the present exposure period L based on the target gain value calculated in the past. According to this, since the image processing unit 160 determines the number of times of readout of the image signal in the present exposure period L based on the target gain value calculated in the past, readout appropriate for the target gain value is performed. It is possible to set the number of times.
  • the target gain value calculated in the past may be a target gain value obtained in the immediately preceding exposure period L, or may be a target gain value obtained in the exposure period L of a stage earlier than that. Good. Furthermore, a target gain value obtained at a timing different from the exposure period L (for example, at the time of autofocus at the time of still image shooting) may be used.
  • Second Embodiment In the first embodiment, a sufficient noise reduction effect can be obtained when shooting a stationary subject, but on the other hand, a problem occurs when a moving subject is imaged. The problem will be described below.
  • FIG. 5 is a schematic view showing a white rectangular object H moving in front of a background G of full gray (shown by hatching of dots in FIG. 5) as an example of a moving object.
  • the subject H moves in front of the background G in a period from time 0 to time T at a constant velocity.
  • FIG. 6 is an explanatory view showing the read timing of the image signal according to the second embodiment.
  • the image signal of the imaging result is read out at time 0.5T and time T, and read out at time 0.5T and time T.
  • the resulting image signals are referred to as signal A and signal B, respectively.
  • FIG. 7 is an explanatory view showing an imaging result in a period from time 0 to time 0.5T according to the second embodiment. Specifically, (a) of FIG. 7 is a schematic view showing a captured image, and (b) of FIG. 7 is a waveform showing a waveform of a signal level at a VIIb-VIIb cross section in the captured image.
  • FIG. 7A in the imaging result from time 0 to time 0.5T, an image signal (signal A) including the stationary background G and the movement locus h1 of the subject H is obtained.
  • FIG. 8 is an explanatory view showing a result of imaging in a period from time 0 to time T according to the second embodiment. Specifically, (a) of FIG. 8 is a schematic view showing a captured image, and (b) of FIG. 8 is a waveform showing a waveform of a signal level at a section VIIIb-VIIIb in the captured image.
  • FIG. 8A in the imaging result from time 0 to time T, an image signal (signal B) including the stationary background G and the movement trajectory h2 of the subject H is obtained.
  • FIG. 9 is an explanatory view showing a result in the case where the signal A and the signal B according to Embodiment 2 are added. Specifically, (a) of FIG. 9 is a schematic view showing an image based on the addition result, and (b) of FIG. 9 shows the waveform of the signal level at the IXb-IXb cross section in the image based on the addition result.
  • FIG. 9 is an explanatory view showing a result in the case where the signal A and the signal B according to Embodiment 2 are added. Specifically, (a) of FIG. 9 is a schematic view showing an image based on the addition result, and (b) of FIG. 9 shows the waveform of the signal level at the IXb-IXb cross section in the image based on the addition result.
  • the signal level of the region (common region h4) common to the signals A and B in the object trajectory h3 from time 0 to time T, and the signal B This causes a difference in the signal level of the non-common area h5 which exists only in the above, causing a problem that the signal level of the object locus h3 becomes discontinuous as shown in FIG.
  • FIG. 10 is an explanatory drawing showing a signal C obtained by subtracting the signal A from the signal B according to the second embodiment.
  • FIG. 10A is a schematic view showing an image based on the signal C
  • FIG. 10B is a waveform of the signal level at the Xb-Xb cross section in the image based on the signal C.
  • the signal C obtained by subtracting the signal A from the signal B corresponds to the accumulated charge output of the hatched hatched portion described as (C) in FIG. 6, in other words, imaging of a period from time 0.5T to time T It is a result.
  • FIG. 11 is an explanatory view showing a signal D obtained by subtracting the signal C from the signal A according to the second embodiment. Specifically, (a) of FIG. 11 is a schematic view showing an image based on the signal D, and (b) of FIG. 11 shows a waveform of the signal level at the XIb-XIb cross section in the image based on the signal D.
  • FIG. 11 is an explanatory view showing a signal D obtained by subtracting the signal C from the signal A according to the second embodiment. Specifically, (a) of FIG. 11 is a schematic view showing an image based on the signal D, and (b) of FIG. 11 shows a waveform of the signal level at the XIb-XIb cross section in the image based on the signal D.
  • the signal level of the stationary subject region h10 which is a region indicating a stationary subject
  • the signal D obtained by subtracting the signal C from the signal A the still subject area h10 is canceled and becomes 0.
  • the non-zero area is a signal indicating an area in which the subject has moved, that is, a motion detection signal.
  • the motion detection signal indicates a moving body area h20 which is an area indicating an object in motion. From these facts, the background G is the still subject area h10, and the subject trajectory h3 from time 0 to time T is the moving body area h20. An area other than the moving subject area h20 is a stationary subject area h10.
  • the image processing unit 160 From the last read image signal (signal B) in one exposure period L, the image processing unit 160 generates a reference image signal (signal A) that is an image signal read before the image signal. And one of the moving subject area h20 and the stationary subject area h10 is detected based on a signal D obtained by subtracting the subtraction result (signal C) from the reference image signal (signal A). .
  • the signal D also includes noise superimposed on the image, in addition to the moving body region h20.
  • the signal D In order to make the signal D a pure motion detection signal, it is necessary to suppress noise by providing an appropriate threshold for the signal D and forcibly setting the value of data whose level is close to 0 to 0.
  • the signal D will be described as being a signal after the noise suppression processing.
  • FIG. 12 is an explanatory drawing showing the result of subtraction obtained by multiplying the signal D according to the second embodiment by a gain of 0.5 and subtracting it from the signal (A + B).
  • FIG. 12 is a schematic view showing an image based on the subtraction result
  • FIG. 12 is a signal level at the XIIb-XIIb cross section in the image based on the subtraction result. It is a wave form diagram showing a waveform.
  • a + B-0.5D A + B (5)
  • noise suppression processing is performed on the still subject region h10.
  • the addition signal in this case is obtained by adding each of the image signals read a plurality of times to the still subject area h10.
  • the moving body area h20 is only multiplied by 1.5 times the gain. Therefore, in the moving object region h20, an improvement in S / N can not be expected as compared with the conventional imaging device, but the still subject region h10 is an image with the S / N improved as in the first embodiment.
  • the image processing unit 160 distinguishes between the moving subject area h20 and the still subject area h10 in the image signal, and performs noise suppression processing on the still subject area h10.
  • the two-dimensional noise reduction processing such as LPF is limited to the moving object region h20, that is, the region where the signal D in the above description is not 0. It may be done locally.
  • the method for determining the moving subject area h20 and the still subject area h10 is not limited to the addition and subtraction with respect to the signal A and the signal B described above.
  • Other discrimination methods include a method of discrimination using a motion vector.
  • the present disclosure also includes an electronic device in which the imaging device 1 according to the first and second embodiments is incorporated.
  • the camera 100 is configured to include an imaging device 1 and an optical system 110.
  • the optical system 110 includes optical elements such as a zoom lens 111, a camera shake correction lens 112, a focus lens 113, and an aperture 114, and condenses external light on the image sensor 10.
  • the image processing unit 160 When receiving an operation from the user, the image processing unit 160 performs various signal processing on the output signal from the imaging device 10 and records the image data in the memory card 200 inserted in the card slot 190.
  • Each component (functional block) in the imaging device 1 may be individually made into one chip by a semiconductor device such as an IC (Integrated Circuit) or LSI (Large Scale Integration), or includes part or all. It may be integrated into one chip. Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. After manufacture of the LSI, it can be programmed using an FPGA (Field Programmable Gate Array), a DSP (Digital Signal Processor), or a reconfigurable processor that can reconfigure connection and setting of circuit cells in the LSI. It is also good. Furthermore, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is possible to carry out function block integration using this technology. Application of biotechnology etc. may be possible.
  • FPGA Field Programmable Gate Array
  • DSP Digital Signal Processor
  • all or part of the various processes may be realized by hardware such as an electronic circuit or may be realized using software.
  • the processing by software is realized by the processor included in the imaging device 1 executing a program stored in the memory.
  • the program may be recorded on a recording medium and distributed or distributed. For example, by installing the distributed program in a device having another processor and causing the processor to execute the program, it is possible to cause the device to perform each of the above processes.
  • the imaging element 10 is described using an organic MOS image sensor as an example, but as a MOS type image sensor capable of global shutter drive, charge generated by a photodiode is used It may be an image sensor that has a writing configuration and can read out data nondestructively, or may be a CCD image sensor or a CMOS image sensor to which a floating gate amplifier (FGA) is applied. It may be an imaging device capable of outputting an image signal nondestructively during exposure.
  • MOS type image sensor capable of global shutter drive
  • FGA floating gate amplifier
  • the imaging device 10 may be configured integrally with the A / D converter 150.
  • bit accuracy deterioration is described taking the case where the target level is doubled as an example, but the gain is not limited to two times.
  • the bit precision deterioration can be obtained by Expression (7), and the bit precision deterioration is m bits.
  • bit accuracy deterioration in the case where image signals having different exposure times are read twice at the same exposure start time in one exposure period L can be obtained by equation (8).
  • bit precision degradation can be reduced by 0.58 smaller than m bits. Therefore, noise can be reduced.
  • bit precision degradation can be kept smaller than cbit by log 2 (2 c +1) -1. Therefore, noise can be reduced.
  • the light reception amount of the sensor is described as the one that receives the subject light which does not change (does not change) in the exposure period L. For example, noise can be reduced even when the amount of exposure changes rapidly due to flash photography, when coming out of a dark tunnel, or the like.
  • FIG. 13 is an explanatory view showing the read timing of the image signal at the time of flash photographing in the dark part.
  • the signal level at an exposure period of 0 to 0.5 T in the dark area is 0.1 S, and a flash is performed in the exposure period of 0.5 T to 0.75 T, and the exposure 0.75 T again
  • bit precision deterioration can be suppressed to be as small as 0.14.
  • Accumulated charges differ in accumulation speed, but increase with time as shown by q1, q2 and q3 unless they are read out nondestructively in a special exposure period in which the accumulated charges do not change completely in part of the exposure period L.
  • bit precision deterioration can be reduced compared to the image signal read out only once.
  • the addition signal obtained by adding the image signals read out a plurality of times is the level of the image signal read last.
  • Embodiments 1 and 2 have been described as examples of the technology in the present disclosure.
  • the attached drawings and the detailed description are provided. Therefore, among the components described in the attached drawings and the detailed description, not only components essential for solving the problem but also components not essential for solving the problem in order to exemplify the above-mentioned technology. May also be included. Therefore, the fact that those non-essential components are described in the attached drawings and the detailed description should not immediately mean that those non-essential components are essential.
  • first and second embodiments are for illustrating the technique in the present disclosure, various modifications, replacements, additions, omissions and the like can be made within the scope of the claims or the equivalent .
  • the present disclosure is applicable to an imaging device capable of capturing a still image or a moving image.
  • the present invention can be applied to various imaging devices capable of capturing still images or moving images such as interchangeable lens digital cameras, compact digital cameras, digital video cameras, smartphones, wearable cameras, surveillance cameras, and the like.
  • imaging device 10 imaging device 20 control unit (controller) 100 camera 110 optical system 110A optical axis 111 zoom lens 112 correction lens 113 focus lens 114A opening 120 lens driver 150 A / D converter 160 image processor 170 memory 190 card slot 200 memory card 210 operation member 220 display monitor 220A screen 220B Touch panel 240 Internal memory 300 Processing unit G Background H Subject h1, h2 Movement locus h3 Subject locus h4 Common area h5 Non common area h10 Still subject area (area other than moving subject area) h20 Moving subject region L Exposure period L1 period Tr Readout time T Time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

撮像装置（１）は、画像信号を非破壊で出力可能な撮像素子（１０）と、撮像素子（１０）により生成された画像信号に所定の処理を行い、画像データを生成する画像処理部（１６０）と、画像処理部（１６０）を制御するコントローラ（２０）と、を備え、画像処理部（１６０）は、コントローラ（２０）の制御により、一回の露光期間（Ｌ）内に撮像素子（１０）から画像信号を複数回読み出し、一回の露光期間（Ｌ）における最後の読み出し画像信号の信号レベルから算出される目標レベルと、複数回読み出したそれぞれの画像信号を加算した加算信号とに基づいて目標となる目標ゲイン値を算出し、加算信号に対して目標ゲイン値を乗算して画像データを生成する。

Description

撮像装置及びカメラ
　画像を撮像する撮像装置及びカメラに関する。
　従来、イメージセンサを用いて画像を撮像する撮像装置が知られている（例えば、特許文献１参照）。
　特許文献２には、グローバルシャッタ駆動が可能なＭＯＳ型イメージセンサとして、フォトダイオードで発生した電荷を不揮発性メモリトランジスタに書き込む構成が開示されており、データを非破壊で読み出すことが可能なイメージセンサが開示されている。
　非破壊読み出し可能なイメージセンサとしては、フローティングゲートアンプ（ＦＧＡ）をＣＣＤイメージセンサに応用した例がある。同様に、ＣＭＯＳイメージセンサに応用した例が、特許文献３に記載されている。
　特許文献４には、非破壊読み出しが可能な有機ＣＭＯＳイメージセンサが開示されている。
特開２００８－０４２１８０号公報 特開２００２－２８０５３７号公報 特開２００４－０１５２９１号公報 国際公開第２０１５／０４５８２８号
　一般的な撮像装置において、低照度環境下での撮影では十分な光量が得られないため、電気的に信号を増幅（以下、ゲインアップ）する必要がある。
　この増幅の際にはアナログ回路によるゲインアップ（以下、アナログゲインの乗算）が望ましいが、アナログ回路ゲインが最大値に達してもなおゲインが不足する場合には、デジタル回路によるゲインアップ（以下、デジタルゲインの乗算）が必要になる。しかし、デジタルゲインの乗算は映像信号のビット精度の劣化と、これに伴う量子化ノイズの増大を招くため、必要以上にノイズが発生するという課題が生じる。
　そこで、本開示は乗算するデジタルゲイン値を極力小さく抑え、従来よりもノイズの発生を抑圧し得る撮像装置及びカメラを提供することを目的とする。
　本開示の一態様に係る撮像装置は、画像信号を非破壊で出力可能な撮像素子と、撮像素子により生成された画像信号に所定の処理を行い、画像データを生成する画像処理部と、画像処理部を制御するコントローラと、を備え、画像処理部は、コントローラの制御により、一回の露光期間内に撮像素子から画像信号を複数回読み出し、一回の露光期間における最後の読み出し画像信号の信号レベルから算出される目標レベルと、複数回読み出したそれぞれの画像信号を加算した加算信号とに基づいて目標となる目標ゲイン値を算出し、加算信号に対して目標ゲイン値を乗算して画像データを生成する。
　本開示の一態様に係るカメラは、上記撮像装置と、撮像素子に外部の光を集光する少なくとも一つの光学素子を有する光学系とを備える。
　上記本開示に係る撮像装置及びカメラによると、従来よりもノイズを抑制した画像を撮像することができる。
図１は、実施の形態に係るカメラの構成を示すブロック図である。 図２は、実施の形態に係る画像信号の読み出しタイミングを示す説明図である。 図３は、変形例１に係る画像信号の読み出しタイミングを示す説明図である。 図４は、変形例２に係る画像信号の読み出しタイミングを示す説明図である。 図５は、動く被写体の一例として、全面グレーの背景の前を移動する白い矩形の被写体を示す模式図である。 図６は、実施の形態２に係る画像信号の読み出しタイミングを示す説明図である。 図７は、実施の形態２に係る時刻０～時刻０．５Ｔまでの期間の撮像結果を示す説明図である。 図８は、実施の形態２に係る時刻０～時刻Ｔまでの期間の撮像結果を示す説明図である。 図９は、実施の形態２に係る信号Ａと信号Ｂとを加算した場合の結果を示す説明図である。 図１０は、実施の形態２に係る信号Ｂから信号Ａを減算して得られた信号Ｃを示す説明図である。 図１１は、実施の形態２に係る信号Ａから信号Ｃを減算して得られた信号Ｄを示す説明図である。 図１２は、実施の形態２に係る信号Ｄに０．５倍のゲインを乗算し、信号（Ａ＋Ｂ）から減算した減算結果を示す説明図である。 図１３は、暗部での閃光撮影時における画像信号の読み出しタイミングを示す説明図である。
　本開示の一態様に係る撮像装置は、画像信号を非破壊で出力可能な撮像素子と、撮像素子により生成された画像信号に所定の処理を行い、画像データを生成する画像処理部と、画像処理部を制御するコントローラと、を備え、画像処理部は、コントローラの制御により、一回の露光期間内に撮像素子から画像信号を複数回読み出し、一回の露光期間における最後の読み出し画像信号の信号レベルから算出される目標レベルと、複数回読み出したそれぞれの画像信号を加算した加算信号とに基づいて目標となる目標ゲイン値を算出し、加算信号に対して目標ゲイン値を乗算して画像データを生成する。
　これによれば、一回の露光期間内に読み出された複数の画像信号を加算した加算信号に対して目標ゲイン値が乗算されているので、一つの画像信号に対して目標ゲイン値を乗算した場合と比べても、ビット精度劣化を抑えることができる。ビット精度の劣化が大きいと画像にノイズが発生しやすくなるが、このビット精度劣化が抑えられることで、ノイズを抑制した画像を撮像することができる。
　また、本開示の一態様に係るカメラは、上記撮像装置と、撮像素子に外部の光を集光するレンズとを備える。
　これによれば、上記した撮像装置と同等の効果を発揮できるカメラを提供することが可能である。
　以下、実施の形態について詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本開示を限定する主旨ではない。本開示は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本開示の独立請求項に記載されていない構成要素については、本開示の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
　（実施の形態１）
　以下、実施の形態１における撮像装置の構成及び動作について説明する。
　［１．構成］
　図１は、実施の形態１に係るカメラ１００の構成を示すブロック図である。
　カメラ１００は、光学系１１０と、レンズ駆動部１２０と、撮像装置１とを備えている。
　光学系１１０は、撮像装置１の撮像素子１０に外部の光を集光する１以上のレンズから構成されている。具体的には、光学系１１０は、ズームレンズ１１１、手振れ補正レンズ１１２、フォーカスレンズ１１３、絞り１１４により構成される。ズームレンズ１１１を光軸１１０Ａに沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズ１１３を光軸１１０Ａに沿って移動させることにより被写体像のフォーカスを調整することができる。また、手振れ補正レンズ１１２は、光学系１１０の光軸１１０Ａに垂直な面内で移動可能である。カメラ１００のブレを打ち消す方向に手振れ補正レンズ１１２を移動することで、カメラ１００のブレが撮像画像に与える影響を低減できる。また、絞り１１４は光軸１１０Ａ上に位置する開口部１１４Ａを有し、使用者の設定に応じて若しくは自動で開口部１１４Ａの大きさを調整し、透過する光の量を調整する。
　レンズ駆動部１２０は、ズームレンズ１１１を駆動するズームアクチュエータや、補正レンズ１１２を駆動する手ブレ補正アクチュエータや、フォーカスレンズ１１３を駆動するフォーカスアクチュエータや、絞り１１４を駆動する絞りアクチュエータを含む。そして、レンズ駆動部１２０は、上記のズームアクチュエータや、フォーカスアクチュエータや、手ブレ補正アクチュエータや、絞りアクチュエータを制御する。
　撮像装置１は、撮像素子１０と、Ａ／Ｄコンバータ１５０と、処理部３００と、と、カードスロット１９０と、内部メモリ２４０と、操作部材２１０と、表示モニタ２２０とを備えている。
　撮像素子１０は、例えば、有機ＭＯＳイメージセンサなどの、画像信号を非破壊で出力可能な撮像素子である。撮像素子１０は、光学系１１０で形成された被写体像を撮像してアナログ信号であるアナログ画像信号を生成する。撮像素子１０は、露光、転送、電子シャッタなどの各種動作を行う。
　Ａ／Ｄコンバータ１５０は、撮像素子１０で生成されたアナログ画像信号に対してアナログゲインアップを行い、デジタル信号であるデジタル画像信号に変換する。
　処理部３００は、撮像素子１０で生成された画像信号に対する処理と、カメラ１００全体に対する制御処理とを実行する。具体的には、処理部３００は、画像処理部１６０と制御部２０とメモリ１７０とを備えている。
　画像処理部１６０は、撮像素子１０で生成された画像信号に対して各種処理を施し、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、撮像素子１０で生成された画像信号に対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理や、後述する目標レベルと目標ゲイン値に応じたデジタルゲインアップを行う。また、画像処理部１６０は、撮像素子１０で生成された画像信号を、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。
　制御部２０は、カメラ１００全体を制御するコントローラである。つまり、制御部２０は、画像処理部１６０を制御するコントローラである。制御部２０は半導体素子などで実現できる。制御部２０はハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部２０は、マイコンなどで実現できる。なお、制御部２０を、画像処理部１６０として機能させることも可能である。
　メモリ１７０は、画像処理部１６０及び制御部２０のワークメモリとして機能する。メモリ１７０は、例えば、ＤＲＡＭ、ＳＲＡＭ、強誘電体メモリなどで実現できる。メモリ１７０は、処理部３００の外部に電気的に接続されるものでも良い。
　カードスロット１９０はメモリカード２００を着脱可能に保持する。カードスロット１９０は機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００はフラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納できる。
　内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２４０は、カメラ１００全体を制御するための制御プログラム等を記憶する。
　操作部材２１０は使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、例えば、使用者からの操作を受け付ける十字キーや決定釦等を含む。
　表示モニタ２２０は、撮像素子１０で生成された画像信号に基づく画像データや、メモリカード２００から読み出された画像データが示す画像データを表示できる画面２２０Ａを有する。また、表示モニタ２２０は、カメラ１００の各種設定を行うための各種メニュー画面等も画面２２０Ａに表示できる。表示モニタ２２０の画面２２０Ａ上にはタッチパネル２２０Ｂが配置されている。タッチパネル２２０Ｂはユーザによりタッチされて各種タッチ操作を受け付けることができる。タッチパネル２２０Ｂに対するタッチ操作が示す指示は制御部２０に通知され各種処理が行われる。
　［２．動作］
　以上のような構成を有するデジタルカメラ１００の動作を説明する。撮像素子１０は、非破壊出力機能を有する。非破壊出力機能とは、露光期間内に画像信号を非破壊で出力可能な機能である。以下、撮像素子１０の非破壊出力機能を用いたデジタルカメラ１００の動作について説明する。
　画像処理部１６０は、制御部２０の制御により、撮像素子１０における一回の露光期間内に、画像信号を複数回読み出す。具体的には、画像処理部１６０は、撮像素子１０の読み出しタイミングを制御することで、一回の露光期間内に複数回画像信号が読み出されるようにする。
　図２は、実施の形態１に係る画像信号の読み出しタイミングを示す説明図である。ここでは、一度の露光期間Ｌ内に画像信号を二回読み出す場合を示す。露光期間Ｌとしては、例えば１／６０秒である。本実施の形態では、説明を簡略化するため撮像素子１０の受光量が露光期間Ｌ内において一定（変化しない）被写体光を受光するものとして説明する。図２に示すように、画像処理部１６０は、一回の露光期間Ｌ内において撮像素子１０から、二回画像信号を読み出す。読み出しタイミングは、露光期間Ｌの時点（時刻Ｔ）と、当該露光期間Ｌを均等に二分割し、その分割点（時刻０．５Ｔ）としている。このとき、撮像素子１０における各画素の蓄積電荷は、時間に比例して増加しているので、二回目に読み出された画像信号の信号レベルをＳとすると、一回目に読み出された画像信号の信号レベルは、０．５Ｓとなる。一方、画像信号のビット長は、一回目、二回目ともに同じ値（ｎ）である。
　画像処理部１６０は、撮像素子１０から取得した一回の露光期間Ｌ内における二回分の画像信号を、各回毎にメモリ１７０に一時的に記憶する。その後、画像処理部１６０は、二回目に読み出した信号レベルより算出される目標レベルと、二回読み出したそれぞれの画像信号を加算した加算信号とから、目標ゲイン値を算出する。画像処理部１６０は、加算信号に対して目標ゲイン値を乗算して画像データを生成する。この処理はノイズ抑制処理であり、生成された画像データからはノイズが低減されている。
　ここで、目標レベルとは、最終的に表現したい画像データの信号レベルであり、目標ゲイン値は、目標レベルと、二回読み出したそれぞれの画像信号を加算した加算信号の信号レベルとの比により、求められる。
　目標レベルの決め方の一例としては、反射率約９０％の白い被写体を撮像した場合のカメラ１００の出力輝度信号振幅が８ビットで２１９となるように、デジタルゲイン乗算後のｎビット信号の目標レベルを２１９×２ｎ－８に定めるという方法がある。
　ここで、目標レベルを２倍とした場合を例にして、デジタルゲインの乗算により画像信号の加算の有無でビット精度がどのように変化するか説明する。まず、一回の露光期間Ｌで画像信号を一度だけ読み出し、２倍のアナログゲインを乗算した場合に対して、２倍のデジタルゲインを乗算した場合のビット精度劣化は、式（１）で求められる。
　ｌｏｇ２（２ｎ＋１）－ｌｏｇ２（２ｎ）＝（ｎ＋１）－ｎ＝１・・・（１）
　ここで、ｌｏｇ２（２ｎ＋１）は、２倍のアナログゲインを乗算した場合のビット精度を示し、ｌｏｇ２（２ｎ）は２倍のデジタルゲイン乗算後のビット精度を示している（デジタルゲイン乗算前のビット精度と変わらない）。式（１）に示すように、この場合においてはビット精度劣化が１ｂｉｔとなる。
　次に、図２に示すように、一回の露光期間Ｌで同じ露光開始時刻で露光時間の異なる画像信号を二回読み出した場合のビット精度劣化は、式（２）で求められる。
　ｌｏｇ２（２ｎ＋１）－ｌｏｇ２（１．５×２ｎ）＝（ｎ＋１）－（ｎ＋０．５８）＝０．４２・・・（２）
　ここで、二回目に読み出された画像信号の信号レベルをＳとすると、一回目に読み出された画像信号の信号レベルは、０．５Ｓであるので、加算信号の信号レベルは、１．５Ｓとなる。このため、式（２）においてｌｏｇ２（２ｎ＋１）は、２倍のアナログゲインを乗算した場合のビット精度を示し、ｌｏｇ２（１．５×２ｎ）が２÷１．５＝４／３倍のデジタルゲイン乗算後のビット精度を示している。式（２）に示すように、この場合においてはビット精度劣化が０．４２ｂｉｔとなる。ビット精度劣化は、小さいほど画像に発生するノイズが低減されることが知られている。このため、一度の露光期間Ｌ内に複数回画像信号を読み出して加算した方が、ノイズが低減されることとなる。
　［３．効果等］
　上述したように、上記実施の形態１に係る撮像装置１によれば、画像信号を非破壊で出力可能な撮像素子１０と、撮像素子１０により生成された画像信号に所定の処理を行い、画像データを生成する画像処理部１６０と、画像処理部１６０を制御する制御部２０（コントローラ）と、を備え、画像処理部１６０は、制御部２０の制御により、一回の露光期間内に撮像素子１０から画像信号を複数回読み出し、一回の露光期間Ｌにおける最後の読み出し画像信号の信号レベルから算出される目標レベルと、複数回読み出したそれぞれの画像信号を加算した加算信号とに基づいて目標となる目標ゲイン値を算出し、加算信号に対して目標ゲイン値を乗算して画像データを生成する。
　これによれば、一回の露光期間Ｌ内に読み出された複数の画像信号を加算した加算信号に対して目標ゲイン値が乗算されているので、一つの画像信号に対して目標ゲイン値を乗算した場合と比べても、ビット精度劣化を抑えることができる。ビット精度の劣化が大きいと画像にノイズが発生しやすくなるが、このビット精度劣化が抑えられることで、ノイズを抑制した画像を撮像することができる。
　また、画像処理部１６０は、一回の露光期間Ｌを均等となるように分割したタイミングで、それぞれの画像信号を読み出している。
　これによれば、露光期間Ｌを均等に分割したタイミングで複数の画像信号が読み出されているので、全ての読み出し時において、画像信号の一回あたりの読み出し時間Ｔｒを容易に確保することができる。
　［変形例１］
　上記実施の形態１では、一回の露光期間Ｌ内に画像信号を二回読み出す場合を例示した。しかし、一回の露光期間Ｌ内における画像信号の読み出し回数は三回以上であっても構わない。いずれの場合においても、画像処理部１６０は、一回の露光期間Ｌ内に撮像素子１０から画像信号を複数回読み出し、一回の露光期間Ｌにおける最後の読み出し画像信号の信号レベルから算出される目標レベルと、複数回読み出したそれぞれの画像信号を加算した加算信号とに基づいて目標となる目標ゲイン値を算出し、加算信号に対して目標ゲイン値を乗算する。
　この変形例１では、一回の露光期間Ｌ内における画像信号の読み出し回数を四回とした場合について例示する。
　図３は、変形例１に係る画像信号の読み出しタイミングを示す説明図である。図３に示すように、画像処理部１６０は、一回の露光期間Ｌ内において撮像素子１０から、四回画像信号を読み出す。読み出しタイミングは、露光期間Ｌの時点（時刻Ｔ）と、当該露光期間Ｌを均等に四分割し、その分割点（時間０．２５Ｔ、時間０．５Ｔ、時間０．７５Ｔ）としている。つまり、この場合においても、各回の画像信号は、同じ露光開始時刻であるものの露光時間が異なることになる。また、本変形例では、説明を簡略化するためセンサの受光量が露光期間Ｌ内において一定（変化しない）被写体光を受光するものとして説明する。
　画像処理部１６０は、撮像素子１０から取得した一回の露光期間Ｌ内における四回分の画像信号を、各回毎にメモリに一時的に記憶する。その後、画像処理部１６０は、四回目に読み出した信号レベルより算出される目標レベルと、四回読み出したそれぞれの画像信号を加算した加算信号とに基づいて目標となる目標ゲイン値を算出する。画像処理部１６０は、求めた目標ゲイン値を加算信号に対して乗算することで、加算信号の信号レベルを増幅する。目標レベルを４倍とした場合のビット精度劣化は式（３）のように求められる。
　ｌｏｇ２（２ｎ＋２）－ｌｏｇ２（２．５×２ｎ）＝（ｎ＋２）－（ｎ＋１．３２）＝０．６８・・・（３）
　このように、一回の露光期間Ｌ内に四回読み出したそれぞれの画像信号が加算されているので、ビット精度劣化を抑えることができる。一回の露光期間Ｌ内における読み出し回数を増加させれば、それだけビット精度劣化を抑えることが可能であるが、不規則に増加させてしまうと、隣り合う読み出しタイミングの間隔が、画像信号の一回あたりの読み出し時間Ｔｒよりも短くなってしまうおそれがある。しかしながら、一回の露光期間Ｌを均等となるように分割したタイミングでそれぞれの画像信号を読み出しているので、全ての読み出し時において、画像信号の一回あたりの読み出し時間Ｔｒを容易に確保することができる。言い換えると、一回の露光期間Ｌを均等に分割する際においては、隣り合う読み出しタイミングの間隔が読み出し時間Ｔｒよりも小さくならないように、読み出し回数を決定することが求められる。
　［変形例２］
　上記実施の形態１では、一回の露光期間Ｌを均等に分割し、その分割点で画像信号を読み出す場合について説明した。しかし、一回の露光期間Ｌ内で複数回画像信号を読み出すのであれば、その読み出しタイミングは如何様でもよい。この変形例２では、露光期間Ｌを均等に分割せずに、複数回画像信号を読み出す場合について説明する。
　図４は、変形例２に係る画像信号の読み出しタイミングを示す説明図である。
　図４に示すように、画像処理部１６０は、一回の露光期間Ｌ内で画像信号を二回読み出している。具体的には、画像処理部１６０は、一回の露光期間Ｌ内の画像信号の読み出し回数のうち、最後の回での読み出しタイミングを露光期間の最終時点とし、当該最後の回以外の回での読み出しタイミングを、当該露光期間のＬ／２以上、Ｌ－Ｔｒ未満の期間Ｌ１内にしている。例えば、読み出し時間Ｔｒが時間０．１Ｔとした場合には、一回目の読み出しタイミングを露光期間Ｌ内におけるＬ－Ｔｒ時点（時刻０．９Ｔ）とし、二回目の読み出しタイミングを露光期間の最終時点（時刻Ｔ）としている。
　このように、一回の露光期間Ｌでの読み出し回数のうち、最後の回での読み出しタイミングを露光期間の最終時点とし、当該最後の回以外の回での読み出しタイミングを、当該露光期間Ｌの半分以上（Ｌ／２以上）、露光期間Ｌと一回の読み出し時間Ｔｒとの差分以下（Ｌ－Ｔｒ未満）の期間Ｌ１内に収めることで、最後の回の直前の回の読み出し時間Ｔｒを確保することができる。したがって、画像信号の読み出しの安定性を高めることができる。
　また、画像処理部１６０は、一回の露光期間Ｌのうち、当該露光期間Ｌの半分以上（Ｌ／２以上）の期間Ｌ１内に画像信号を複数回読み出している。
　そして、一回目の読み出しタイミングは、一回の露光期間Ｌの最終時点に近ければよりよい。例えば、図４に示すように、一回目の読み出しタイミングが時刻０．９Ｔで、二回目の読み出しタイミングがＴである場合のビット精度劣化は、式（４）で求められる。
　ｌｏｇ２（２ｎ＋１）－ｌｏｇ２（１．９×２ｎ）＝（ｎ＋１）－（ｎ＋０．９３）＝０．０７・・・（４）
　ここで、二回目に読み出された画像信号の信号レベルをＳとすると、一回目に読み出された画像信号の信号レベルは、０．９Ｓであるので、加算後の画像信号の信号レベルは、１．９Ｓとなる。このため、式（４）においてｌｏｇ２（２ｎ＋１）は、２倍のアナログゲインを乗算した場合のビット精度を示し、ｌｏｇ２（１．９×２ｎ）が２÷１．９＝２０／１９倍のデジタルゲイン乗算後のビット精度を示している。式（４）に示すように、この場合においてはビット精度劣化が０．０７ｂｉｔとなる。このように、式（２）の場合と比べてもビット精度劣化を抑えることが可能である。したがって、ビット精度劣化を大幅に抑えることができ、結果的によりノイズを抑制した画像を撮像することができる。
　なお、画像処理部１６０は、期間Ｌ１内においても複数回画像信号を読み出してもよい。この場合においても、読み出し時間Ｔｒを考慮して、各読み出しタイミングを決定することが望まれる。
　また、画像処理部１６０は、過去に算出した目標ゲイン値に基づいて、今回の露光期間Ｌ内における画像信号の読み出し回数を決定してもよい。これによれば、画像処理部１６０が、過去に算出した目標ゲイン値に基づいて、今回の露光期間Ｌ内における画像信号の読み出し回数を決定しているので、目標ゲイン値に対して適切な読み出し回数を設定することが可能である。
　過去に算出した目標ゲイン値においては、直前の露光期間Ｌで求められた目標ゲイン値であってもよいし、それよりも前の段階の露光期間Ｌで求められた目標ゲイン値であってもよい。さらに、露光期間Ｌとは異なるタイミング（例えば静止画像撮影時にオートフォーカス時など）で求められた目標ゲイン値を用いてもよい。
　（実施の形態２）
　上記実施の形態１では、静止した被写体を撮影する際に十分なノイズ低減効果が得られるが、その反面、動く被写体を撮像した場合には課題が発生する。以下、この課題について説明する。
　図５は、動く被写体の一例として、全面グレー（図５ではドットのハッチングで図示）の背景Ｇの前を移動する白い矩形の被写体Ｈを示す模式図である。被写体Ｈは、背景Ｇの前を時刻０～時刻Ｔの期間に等速で移動するものとする。
　図６は、実施の形態２に係る画像信号の読み出しタイミングを示す説明図である。図６に示すように、実施の形態２での撮像素子１０の駆動方法は、時刻０．５Ｔ及び時刻Ｔで撮像結果の画像信号を読み出すものとし、時刻０．５Ｔ及び時刻Ｔにおいて読み出された画像信号をそれぞれ信号Ａ、信号Ｂとする。
　図７は、実施の形態２に係る時刻０～時刻０．５Ｔまでの期間の撮像結果を示す説明図である。具体的には図７の（ａ）は、撮像された画像を示す模式図であり、図７の（ｂ）は、撮像された画像におけるＶＩＩｂ－ＶＩＩｂ切断面での信号レベルの波形を示す波形図である。図７の（ａ）に示すように、時刻０～時刻０．５Ｔまでの撮像結果では、静止した背景Ｇと、被写体Ｈの移動軌跡ｈ１とを含んだ画像信号（信号Ａ）が得られる。
　図８は、実施の形態２に係る時刻０～時刻Ｔまでの期間の撮像結果を示す説明図である。具体的には図８の（ａ）は、撮像された画像を示す模式図であり、図８の（ｂ）は、撮像された画像におけるＶＩＩＩｂ－ＶＩＩＩｂ切断面での信号レベルの波形を示す波形図である。図８の（ａ）に示すように、時刻０～時刻Ｔまでの撮像結果では、静止した背景Ｇと、被写体Ｈの移動軌跡ｈ２とを含んだ画像信号（信号Ｂ）が得られる。
　図９は、実施の形態２に係る信号Ａと信号Ｂとを加算した場合の結果を示す説明図である。具体的には図９の（ａ）は、加算結果に基づく画像を示す模式図であり、図９の（ｂ）は、加算結果に基づく画像におけるＩＸｂ－ＩＸｂ切断面での信号レベルの波形を示す波形図である。
　ここで信号Ａと信号Ｂを加算した信号（Ａ＋Ｂ）では、時刻０～時刻Ｔまでの被写体軌跡ｈ３のうち、信号Ａ、Ｂで共通となる領域（共通領域ｈ４）の信号レベルと、信号Ｂだけに存在する非共通領域ｈ５の信号レベルに差が生じ、図９に示すように被写体軌跡ｈ３の信号レベルが不連続となる課題が発生する。
　そこで、この課題を解決するために画像処理部１６０が行う処理に以下の処理を追加する。
　図１０は、実施の形態２に係る信号Ｂから信号Ａを減算して得られた信号Ｃを示す説明図である。具体的には図１０の（ａ）は、信号Ｃに基づく画像を示す模式図であり、図１０の（ｂ）は、信号Ｃに基づく画像におけるＸｂ－Ｘｂ切断面での信号レベルの波形を示す波形図である。信号Ｂから信号Ａを減算したことにより得られた信号Ｃは図６において（Ｃ）と記載した斜線のハッチング部分の蓄積電荷出力に相当し、言い換えれば時刻０．５Ｔ～時刻Ｔの期間の撮像結果である。
　図１１は、実施の形態２に係る信号Ａから信号Ｃを減算して得られた信号Ｄを示す説明図である。具体的には図１１の（ａ）は、信号Ｄに基づく画像を示す模式図であり、図１１の（ｂ）は、信号Ｄに基づく画像におけるＸＩｂ－ＸＩｂ切断面での信号レベルの波形を示す波形図である。
　信号Ａ及び信号Ｃはともに０．５Ｔ間の露光期間の撮像結果であることを考えると、静止している被写体を示す領域である静止被写体領域ｈ１０の信号レベルは、信号Ａと信号Ｃとで等しくなるため、信号Ａから信号Ｃを減算した信号Ｄでは、静止被写体領域ｈ１０はキャンセルされて０となる。また、０でない領域は被写体の動きがあった領域を示す信号、すなわち動き検出信号となる。動き検出信号は、動作している被写体を示す領域である動体領域ｈ２０を示す。これらのことから、背景Ｇが静止被写体領域ｈ１０となり、時刻０～時刻Ｔまでの被写体軌跡ｈ３が動体領域ｈ２０となる。動体領域ｈ２０以外の領域は静止被写体領域ｈ１０である。
　このように、画像処理部１６０は、一回の露光期間Ｌにおける最後の読み出し画像信号（信号Ｂ）から、当該画像信号よりも前に読み出された画像信号である基準画像信号（信号Ａ）を減算し、当該減算結果（信号Ｃ）を、基準画像信号（信号Ａ）から減算することで得られた信号Ｄに基づいて、動体領域ｈ２０と静止被写体領域ｈ１０とのいずれか一方を検出する。
　なお、一度の露光期間Ｌ内において画像信号をＮ回以上読み出す場合には、ｋ回目（ｋ＝２～Ｎ）に読み出された画像信号を信号Ｂ、ｋ－１回目に読み出された画像信号を信号Ａとして、ｋ＝２～Ｎに対して逐次同様の処理を繰り返す。
　ここで、信号Ｄには、動体領域ｈ２０以外に、画像に重畳されたノイズも含まれることになる。信号Ｄを純粋な動き検出信号とするためには、信号Ｄに対して適当な閾値を設けてレベルが０に近いデータの値を強制的に０とすることでノイズを抑制する必要がある。以下では、信号Ｄは上記ノイズ抑制処理を施した後の信号であるとして説明する。
　図１２は、実施の形態２に係る信号Ｄに０．５倍のゲインを乗算し、信号（Ａ＋Ｂ）から減算した減算結果を示す説明図である。具体的には図１２の（ａ）は、当該減算結果に基づく画像を示す模式図であり、図１２の（ｂ）は、当該減算結果に基づく画像におけるＸＩＩｂ－ＸＩＩｂ切断面での信号レベルの波形を示す波形図である。
　上記のようにして得られた信号Ｄに０．５倍のゲインを乗算し、信号（Ａ＋Ｂ）から減算すると、静止被写体領域ｈ１０ではＤ＝０なので、以下の式（５）が成り立つ。
　Ａ＋Ｂ－０．５Ｄ＝Ａ＋Ｂ・・・（５）
　さらに、動体領域ｈ２０では以下の式（６）が成り立つ。
　Ａ＋Ｂ－０．５Ｄ＝Ａ＋Ｂ－０．５（Ａ－Ｃ）＝Ａ＋Ｂ－０．５（Ａ－Ｂ＋Ａ）＝Ａ＋Ｂ－Ａ＋０．５Ｂ＝１．５Ｂ・・・（６）
　動体領域ｈ２０だけは信号Ｂに１．５倍のゲインを乗算したものに置き換わる。この結果、図１２に示すように動体領域ｈ２０の信号レベルの不連続は無くなり、自然な撮像結果が得られる。
　上記で説明した処理によって得られる画像は、静止被写体領域ｈ１０に対してはノイズ抑制処理が施されている。この場合の加算信号は、静止被写体領域ｈ１０に対して、複数回読み出したそれぞれの画像信号を加算したものとなる。一方、動体領域ｈ２０に関しては１．５倍のゲインが乗算されるだけになる。このため、動体領域ｈ２０においては従来の撮像装置と比べてＳ／Ｎの向上は期待できないが、静止被写体領域ｈ１０は実施の形態１と同様にＳ／Ｎが改善された画像となる。このように、画像処理部１６０は、画像信号内における動体領域ｈ２０と、静止被写体領域ｈ１０とを区別し、静止被写体領域ｈ１０に対してノイズ抑制処理を施している。
　つまり、動体領域ｈ２０と静止被写体領域ｈ１０とでＳ／Ｎに差のある画像が得られることになるが、動画における一般的な３次元ノイズリダクション処理においても動体領域ｈ２０と静止被写体領域ｈ１０のＳ／Ｎに差のある画像が得られるため、あまり違和感は無いと考えられる。
　なお、上記では被写体Ｈが等速で移動する場合を例に説明したが、加減速を伴う移動の場合でも、動き検出信号の値が正から負に変化する位置が変わるだけで、同様に成立する。
　また、前記変形例１及び２の場合でも同様の考え方が成立する。
　また、動体領域ｈ２０のＳ／Ｎを静止被写体領域ｈ１０のＳ／Ｎに近づけるために、動体領域ｈ２０、すなわち上記説明における信号Ｄが０でない領域に限定してＬＰＦなどの２次元ノイズリダクション処理を局所的に行っても良い。
　また、動体領域ｈ２０と静止被写体領域ｈ１０とを判別するための方法は、上記した信号Ａ、信号Ｂに対する加減算に限定されるものではない。その他の判別方法としては、動きベクトルを用いて判別する方法などが挙げられる。
　（補足）
　以上のように、本出願において開示する技術の例示として、実施の形態について説明した。しかしながら、本開示における技術は、これらに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。
　（Ａ）本開示には、実施の形態１、２における撮像装置１が内蔵された電子機器も含まれるのは言うまでもない。
　図１に示されるように、カメラ１００は、撮像装置１と、光学系１１０と、とを含んで構成される。
　光学系１１０は、ズームレンズ１１１、手振れ補正レンズ１１２、フォーカスレンズ１１３、絞り１１４、などの光学素子からなり、撮像素子１０に外部の光を集光する。
　使用者からの操作を受け付けると、画像処理部１６０は、撮像素子１０からの出力信号に対して、各種信号処理を施し、カードスロット１９０に挿入されたメモリカード２００に、画像データを記録する。
　（Ｂ）撮像装置１における各構成要素（機能ブロック）は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＤＳＰ（Digital Signal Processor）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
　また、上記各種処理の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、撮像装置１に含まれるプロセッサがメモリに記憶されたプログラムを実行することにより実現されるものである。また、そのプログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。
　（Ｃ）実施の形態１、２において、撮像素子１０は有機ＭＯＳイメージセンサを一例として説明したが、グローバルシャッタ駆動が可能なＭＯＳ型イメージセンサとして、フォトダイオードで発生した電荷を不揮発性メモリトランジスタに書き込む構成を有し、データを非破壊で読み出すことが可能なイメージセンサであってもよく、フローティングゲートアンプ（ＦＧＡ）を応用したＣＣＤイメージセンサやＣＭＯＳイメージセンサであってもよい。露光中に画像信号を非破壊で出力可能な撮像素子であればよい。
　また、撮像素子１０は、Ａ／Ｄコンバータ１５０と一体に構成されていても良い。
　（Ｄ）実施の形態１において、目標レベルを２倍とした場合を例にして、ビット精度劣化について説明したが、ゲインは２倍に限定されない。実施の形態１において、ゲインを２ｍ倍（ｍ＞０）とすれば、ビット精度劣化は、式（７）で求められ、ビット精度劣化はｍｂｉｔとなる。
　ｌｏｇ２（２ｎ＋ｍ）－ｌｏｇ２（２ｎ）＝（ｎ＋ｍ）－ｎ＝ｍ・・・（７）
　これに対して、一回の露光期間Ｌで同じ露光開始時刻で露光時間の異なる画像信号を二回読み出した場合のビット精度劣化は、式（８）で求められる。
　ｌｏｇ２（２ｎ＋ｍ）－ｌｏｇ２（１．５×２ｎ）＝（ｎ＋ｍ）－（ｎ＋０．５８）
　　　　　　　　　　　　　　　　　　　　　 ＝ｍ－０．５８・・・（８）
　したがって、ビット精度劣化は、ｍｂｉｔより０．５８だけ小さく抑えられる。このため、ノイズが低減できる。
　さらに、一回の露光期間Ｌで露光期間を均等に分割し、画像信号を２ｃ回(ｃ＞１)読み出し、目標レベルを２ｃ倍とした場合のビット精度劣化は、式（９）で求められる。
　ｌｏｇ２（２ｎ＋ｃ）－ｌｏｇ２（（２ｃ＋１）／２×２ｎ）
　　＝ｌｏｇ２（２ｎ＋ｃ）－ｌｏｇ２（（２ｃ＋１）×２ｎ－１）
　　＝（ｎ＋ｃ）－（ｎ－１）－ｌｏｇ２（２ｃ＋１）
　　＝ｃ－（ｌｏｇ２（２ｃ＋１）－１）　　　　　　　　　　・・・（９）
　したがって、ビット精度劣化は、ｃｂｉｔよりｌｏｇ２（２ｃ＋１）－１だけ小さく抑えられる。このため、ノイズが低減できる。
　（Ｅ）実施の形態１において、説明を簡略化するためセンサの受光量が露光期間Ｌ内において一定（変化しない）の被写体光を受光するものとして説明したが、これに限定されない。例えば、閃光撮影時や、暗いトンネルから出た場合等で急激に露光量が変化する場合でもノイズは低減できる。
　図１３は、暗部での閃光撮影時における画像信号の読み出しタイミングを示す説明図である。露光期間Ｌにおいて暗部での露光期間が０から０．５Ｔでの信号レベルが０．１Ｓであり、時刻０．５Ｔから時刻０．７５Ｔの露光期間に閃光が行われ、露光０．７５Ｔから再び暗くなる場合の時間と蓄積電荷に関するグラフである。目標ゲイン値を２倍とすると、ビット精度劣化は、式（１０）で求められる。
　ｌｏｇ２（２ｎ＋１）－ｌｏｇ２（１．１×２ｎ）＝（ｎ＋１）－（ｎ＋０．１４）＝０．８６・・・（１０）
　したがって、ビット精度劣化は、０．１４だけ小さく抑えられる。
　露光期間Ｌ内の一部で蓄積電荷が全く変わらない様な特殊な露光期間で非破壊読み出ししない限り、蓄積電荷は蓄積スピードこそ異なるが、ｑ１、ｑ２、ｑ３に示すように時間と共に増加するため、露光期間Ｌに画像信号を複数回非破壊読み出しすることで、１回だけ読み出した画像信号に比べて、ビット精度劣化を小さくできる。
　なお、露光期間Ｌ内の一部または全てにおいて蓄積電荷量が全く変わらない特殊な露光状態であっても、複数回読み出した画像信号を加算した加算信号は、最後に読み出した画像信号のレベルより大きくなるため、ビット精度劣化を小さくする効果は同様に成立する。
　また、上述した実施の形態１、２で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。
　以上のように、本開示における技術の例示として、実施の形態１、２を説明した。そのために、添付図面及び詳細な説明を提供した。したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態１、２は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、静止画または動画を撮影できる撮像装置に対して適用可能である。具体的には、レンズ交換式デジタルカメラ、コンパクトデジタルカメラ、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ、監視カメラ等の静止画または動画が撮影できる種々の撮像装置に対して適用することができる。
１　撮像装置
１０　撮像素子
２０　制御部（コントローラ）
１００　カメラ
１１０　光学系
１１０Ａ　光軸
１１１　ズームレンズ
１１２　補正レンズ
１１３　フォーカスレンズ
１１４Ａ　開口部
１２０　レンズ駆動部
１５０　Ａ／Ｄコンバータ
１６０　画像処理部
１７０　メモリ
１９０　カードスロット
２００　メモリカード
２１０　操作部材
２２０　表示モニタ
２２０Ａ　画面
２２０Ｂ　タッチパネル
２４０　内部メモリ
３００　処理部
Ｇ　背景
Ｈ　被写体
ｈ１、ｈ２　移動軌跡
ｈ３　被写体軌跡
ｈ４　共通領域
ｈ５　非共通領域
ｈ１０　静止被写体領域（動体領域以外の領域）
ｈ２０　動体領域
Ｌ　露光期間
Ｌ１　期間
Ｔｒ　読み出し時間
Ｔ　時刻

Claims (8)

  1. 　画像信号を非破壊で出力可能な撮像素子と、
    　前記撮像素子により生成された画像信号に所定の処理を行い、画像データを生成する画像処理部と、
    　前記画像処理部を制御するコントローラと、を備え、
    　前記画像処理部は、前記コントローラの制御により、一回の露光期間内に前記撮像素子から画像信号を複数回読み出し、前記一回の露光期間における最後の読み出し画像信号の信号レベルから算出される目標レベルと、前記複数回読み出したそれぞれの画像信号を加算した加算信号とに基づいて目標となる目標ゲイン値を算出し、前記加算信号に対して前記目標ゲイン値を乗算して前記画像データを生成する、
    　撮像装置。
  2. 　前記画像処理部は、前記一回の露光期間を均等となるように分割したタイミングで前記それぞれの画像信号を読み出す
    　請求項１に記載の撮像装置。
  3. 　前記一回の露光期間をＬとすると、
    　前記画像処理部は、前記一回の露光期間のうち、Ｌ／２以上の期間で前記画像信号を複数回読み出す
    　請求項１に記載の撮像装置。
  4. 　前記画像信号の一回あたりの読み出し時間をＴｒとすると、
    　前記画像処理部は、前記一回の露光期間内での前記画像信号の読み出し回数のうち、最後の回での読み出しタイミングを露光期間の最終時点とし、当該最後の回以外の回での読み出しタイミングを、当該露光期間のＬ／２以上、Ｌ－Ｔｒ未満の期間内に収める
    　請求項３に記載の撮像装置。
  5. 　前記画像処理部は、過去に算出した前記目標ゲイン値に基づいて、今回の露光期間内における前記画像信号の読み出し回数を決定する
    　請求項１～４のいずれか一項に記載の撮像装置。
  6. 　前記画像処理部は、前記画像信号内における、動体領域または前記動体領域以外の領域のいずれか一方を検出し、前記加算信号は、前記動体領域以外の領域に対して前記複数回読み出したそれぞれの画像信号を加算したものである、
    　請求項１～５のいずれか一項に記載の撮像装置。
  7. 　前記画像処理部は、前記一回の露光期間における最後の読み出し画像信号から、当該画像信号よりも前に読み出された画像信号である基準画像信号を減算し、当該減算結果を、前記基準画像信号から減算することで、前記動体領域または前記動体領域以外の領域のいずれか一方を検出する、
    　請求項６に記載の撮像装置。
  8. 　請求項１～７のいずれか一項に記載の撮像装置と、
    　前記撮像素子に外部の光を集光する少なくとも一つの光学素子を有する光学系とを備える
    　カメラ。
PCT/JP2018/025956 2017-07-13 2018-07-10 撮像装置及びカメラ WO2019013184A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880004558.3A CN110024378B (zh) 2017-07-13 2018-07-10 摄像装置以及摄像机
EP18831418.1A EP3654636B1 (en) 2017-07-13 2018-07-10 Imaging device and camera
JP2019529721A JP6624580B2 (ja) 2017-07-13 2018-07-10 撮像装置及びカメラ
US16/416,205 US10785420B2 (en) 2017-07-13 2019-05-18 Imaging device and camera for minimizing a digital gain value to be multiplied and suppressing noise

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-136688 2017-07-13
JP2017136688 2017-07-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/416,205 Continuation US10785420B2 (en) 2017-07-13 2019-05-18 Imaging device and camera for minimizing a digital gain value to be multiplied and suppressing noise

Publications (1)

Publication Number Publication Date
WO2019013184A1 true WO2019013184A1 (ja) 2019-01-17

Family

ID=65001362

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/025956 WO2019013184A1 (ja) 2017-07-13 2018-07-10 撮像装置及びカメラ

Country Status (5)

Country Link
US (1) US10785420B2 (ja)
EP (1) EP3654636B1 (ja)
JP (1) JP6624580B2 (ja)
CN (1) CN110024378B (ja)
WO (1) WO2019013184A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0250584A (ja) * 1988-08-11 1990-02-20 Olympus Optical Co Ltd ダイナミックレンジ拡大システム
JP2002280537A (ja) 2001-03-22 2002-09-27 Fuji Film Microdevices Co Ltd 固体撮像装置とその駆動方法
JP2004015291A (ja) 2002-06-05 2004-01-15 Sony Corp 固体撮像装置及びその駆動方法
JP2008042180A (ja) 2006-07-13 2008-02-21 Matsushita Electric Ind Co Ltd イメージセンサ
JP2013258557A (ja) * 2012-06-12 2013-12-26 Canon Inc 放射線撮影装置、放射線撮影装置の制御方法、およびプログラム
WO2015045828A1 (ja) 2013-09-27 2015-04-02 富士フイルム株式会社 撮像装置及び撮像方法
JP2016213775A (ja) * 2015-05-13 2016-12-15 オリンパス株式会社 撮像装置、撮像方法、およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6038988A (ja) 1983-08-12 1985-02-28 Victor Co Of Japan Ltd 固体撮像素子を用いた静止画像撮像装置
JP2002290814A (ja) 2001-03-26 2002-10-04 Minolta Co Ltd デジタルカメラ
US20070041063A1 (en) 2005-08-18 2007-02-22 Matsushita Electric Industrial Co., Ltd. Image sensor
JP5132386B2 (ja) * 2008-03-25 2013-01-30 キヤノン株式会社 撮像装置及び固定パタンノイズの補正方法
JP5806511B2 (ja) * 2011-05-31 2015-11-10 オリンパス株式会社 撮像装置、撮像方法
JP5749224B2 (ja) 2012-07-13 2015-07-15 株式会社東芝 カメラモジュール
JP6415532B2 (ja) * 2013-03-15 2018-10-31 ラムバス・インコーポレーテッド 閾値を監視する条件付きリセットイメージセンサ
CN105594197A (zh) * 2013-09-27 2016-05-18 富士胶片株式会社 摄像装置及摄像方法
JP5895270B2 (ja) 2014-03-28 2016-03-30 パナソニックＩｐマネジメント株式会社 撮像装置
JP6089232B2 (ja) 2014-03-28 2017-03-08 パナソニックＩｐマネジメント株式会社 撮像装置
JP2017163260A (ja) 2016-03-08 2017-09-14 東芝デベロップメントエンジニアリング株式会社 撮像制御装置
JP2018107734A (ja) 2016-12-27 2018-07-05 パナソニックＩｐマネジメント株式会社 撮像装置、および、カメラ

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0250584A (ja) * 1988-08-11 1990-02-20 Olympus Optical Co Ltd ダイナミックレンジ拡大システム
JP2002280537A (ja) 2001-03-22 2002-09-27 Fuji Film Microdevices Co Ltd 固体撮像装置とその駆動方法
JP2004015291A (ja) 2002-06-05 2004-01-15 Sony Corp 固体撮像装置及びその駆動方法
JP2008042180A (ja) 2006-07-13 2008-02-21 Matsushita Electric Ind Co Ltd イメージセンサ
JP2013258557A (ja) * 2012-06-12 2013-12-26 Canon Inc 放射線撮影装置、放射線撮影装置の制御方法、およびプログラム
WO2015045828A1 (ja) 2013-09-27 2015-04-02 富士フイルム株式会社 撮像装置及び撮像方法
JP2016213775A (ja) * 2015-05-13 2016-12-15 オリンパス株式会社 撮像装置、撮像方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3654636A4

Also Published As

Publication number Publication date
JPWO2019013184A1 (ja) 2019-11-07
CN110024378B (zh) 2021-04-27
US20190273874A1 (en) 2019-09-05
EP3654636A1 (en) 2020-05-20
JP6624580B2 (ja) 2019-12-25
EP3654636A4 (en) 2020-07-08
CN110024378A (zh) 2019-07-16
EP3654636B1 (en) 2022-06-22
US10785420B2 (en) 2020-09-22

Similar Documents

Publication Publication Date Title
US9160934B2 (en) Image capturing apparatus obtaining high-exposure and low-exposure images, and method for controlling the same
US20120026348A1 (en) Digital photographing apparatus and method of controlling sleep mode thereof
CN104683687B (zh) 摄像装置和摄像方法
CN104683688B (zh) 摄像装置和摄像方法
US10573681B2 (en) Imaging device, camera, and imaging method
JP2010147816A5 (ja)
CN101489037A (zh) 摄像设备及其控制方法
EP2538659B1 (en) Image pickup apparatus
US20130188071A1 (en) Electronic apparatus and photography control method
JP2008289032A (ja) 撮像装置
JP2015220716A (ja) 撮像素子、その制御方法、および制御プログラム、並びに信号処理装置
JP2003259184A (ja) 撮像装置
JP5701942B2 (ja) 撮像装置、カメラシステム及び画像処理方法
JP2010273335A (ja) ぶれ補正装置とそれを備えた撮像装置
JP7451795B2 (ja) ブレ検出装置、撮像装置、レンズ装置及び撮像装置本体
JP2009008936A (ja) 撮像装置
JP6624580B2 (ja) 撮像装置及びカメラ
JP4844220B2 (ja) 露出補正装置、撮影装置、露出値設定装置、露出補正値算出方法および制御プログラム
JP2008288723A (ja) 撮像装置、撮像方法、プログラムおよび集積回路
US20100118155A1 (en) Digital image processing apparatus
JP2007028496A (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP6079196B2 (ja) 撮像装置
JP5482444B2 (ja) 撮像装置
JP3968255B2 (ja) 撮像装置
JP2012023475A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18831418

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019529721

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018831418

Country of ref document: EP

Effective date: 20200213