WO2023162470A1 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

撮像装置及びその制御方法、プログラム、記憶媒体 Download PDF

Info

Publication number
WO2023162470A1
WO2023162470A1 PCT/JP2022/048564 JP2022048564W WO2023162470A1 WO 2023162470 A1 WO2023162470 A1 WO 2023162470A1 JP 2022048564 W JP2022048564 W JP 2022048564W WO 2023162470 A1 WO2023162470 A1 WO 2023162470A1
Authority
WO
WIPO (PCT)
Prior art keywords
gain
analog
control
image
digital
Prior art date
Application number
PCT/JP2022/048564
Other languages
English (en)
French (fr)
Inventor
文人 唐橋
浩輔 松原
俊行 ▲高▼田
健人 飯森
敏治 上田
陽平 神田
隼 亀田
尚平 兎澤
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022159718A external-priority patent/JP2023124785A/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2023162470A1 publication Critical patent/WO2023162470A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present invention relates to an imaging device and its control method.
  • Patent Document 1 discloses an imaging device capable of reading out a signal obtained by amplifying the output signal of the same pixel with a first analog gain and a signal amplified with a second analog gain. Then, an image with an expanded dynamic range can be obtained by using the image with the first gain and the image with the second gain.
  • the present invention has been made in view of the above-mentioned problems, and provides an imaging apparatus capable of acquiring a dynamic range-enlarged image with little variation in noise feeling regardless of the set shooting sensitivity.
  • An imaging apparatus includes analog amplification means for amplifying one pixel signal with a plurality of types of analog gains, digital amplification means for amplifying the one pixel signal with a plurality of types of digital gains, and analog gains only.
  • the analog amplification means performs the first control for amplifying the pixel signal with the first gain and the second gain, and the target gain can be obtained only with the analog gain.
  • a control means for controlling to perform a second control for amplifying the pixel signal with the first gain and the second gain by using the analog amplification means and the digital amplification means when there is no analog amplification means and the digital amplification means; is provided.
  • FIG. 1 is a block diagram showing the configuration of an imaging device according to a first embodiment of the present invention
  • FIG. 2 is a diagram showing the configuration of an imaging element used in an imaging apparatus
  • FIG. 2 is a diagram showing the configuration of one pixel of an image sensor
  • FIG. 4 is a diagram showing the configuration of a column circuit; The figure which shows the structure of an analog-digital converter. 4 is a flow chart showing a photographing operation in the first embodiment
  • 9 is a flow chart showing a photographing operation in the second embodiment
  • 9 is a flow chart showing a photographing operation in the third embodiment
  • FIG. 1 is a block diagram showing the configuration of an imaging device 150 according to the first embodiment of the invention.
  • the first lens 100 is arranged at the tip of the imaging optical system 120 .
  • the aperture 101 is driven by an aperture actuator 118, which will be described later, and adjusts the aperture diameter to adjust the amount of light during photography.
  • the second lens 102 and the third lens 103 are driven by a focus actuator 116, which will be described later, and adjust the focus of the imaging optical system 120 by advancing and retreating in the optical axis direction.
  • the focal plane shutter 104 is driven by a shutter drive circuit 114, which will be described later, and adjusts the exposure time of the image sensor 106 during still image shooting.
  • the image sensor 106 may have an electronic shutter function, and may be configured to adjust the exposure time with a control pulse.
  • the optical low-pass filter 105 is provided to reduce false colors and moiré in the captured image.
  • the imaging device 106 converts the optical image of the subject formed by the imaging optical system 120 into an electrical signal.
  • the imaging device 106 is controlled by a CPU 109 which will be described later.
  • a DSP (Digital Signal Processor) 107 performs image processing such as correction processing and HDR synthesis processing (HDR image generation processing) on image data captured by the imaging device 106 .
  • the DSP 107 also has a function (digital amplification function) of applying multiple types of digital gains to pixel signals (details of which will be described later) output from the imaging element 106 and amplified with multiple types of analog gains.
  • the RAM 108 has the function of signal holding means for holding the output data of the image sensor 106, the function of image data storage means for storing image data processed by the DSP 107, and the function of a work memory when the CPU 109, which will be described later, operates.
  • these functions are implemented by the RAM 108, but other types of memory may be used as long as the access speed is sufficiently high and the operation is not problematic.
  • the RAM 108 is arranged outside the DSP 107 and the CPU 109 , but part or all of its functions may be built in the DSP 107 or the CPU 109 .
  • the CPU 109 comprehensively controls the operation of the imaging device 150 .
  • the CPU 109 executes programs for controlling each unit of the imaging device 150 . That is, it also has a function of controlling the focus drive circuit 115 using the result of the correlation calculation output from the DSP 107 and adjusting the focus of the photographic optical system 120 .
  • the CPU 109 serves as the focus detection unit, but it may be provided inside the image sensor 106 .
  • the display unit 110 displays captured still images, moving images, menus, and the like.
  • An operation unit 111 instructs the CPU 109 to set a photographing command and photographing conditions input by a user.
  • a recording medium 112 is a detachable recording medium for recording still image data and moving image data.
  • the ROM 113 stores programs that are loaded and executed by the CPU 109 to control the operation of each unit.
  • the shutter drive circuit 114 drives and controls the focal plane shutter 104 based on the output of the CPU 109 .
  • the focus driving circuit 115 is focal position changing means for changing the focal position of the imaging optical system 120 .
  • the focus actuator 116 is controlled based on the output of the CPU 109 to drive the second lens 102 and the third lens 103 forward and backward in the optical axis direction for focus adjustment.
  • the aperture drive circuit 117 controls the aperture of the aperture 101 by controlling the aperture actuator 118 based on the output of the CPU 109 .
  • FIG. 2 is a diagram showing an example of the circuit configuration of the imaging device 106.
  • a plurality of pixels 200 are arranged in a matrix in the pixel array 250 .
  • R means red
  • G means green
  • B means that a blue color filter is arranged on the pixel.
  • R(G, B)m_n indicates the pixel on the m-th row and n-th column in the pixel section 250 .
  • pixels in odd rows are connected to column output lines 202 and pixels in even rows are connected to column output lines 206 .
  • the column output line 202 is connected to the column circuit 203 and the column output line 206 is connected to the column circuit 207.
  • a column circuit switch 205 is provided between the column output line 202 and the column output line 206 .
  • the column circuit switch 205 When the column circuit switch 205 is turned on, the pixel signals output from the odd-numbered pixels 200 are input to the column circuits 203 and 207 via the column output line 202 and the column circuit switch 205, respectively. Similarly, pixel signals output from pixels 200 in even rows are also input to column circuits 203 and 207 via column output lines 206 and column circuit switches 205, respectively. When the column circuit switch 205 is turned on, the signals of the pixels 200 in the odd rows and the signals of the pixels 200 in the even rows are read alternately and sequentially.
  • a photodiode (hereinafter abbreviated as PD) 301 photoelectrically converts incident light and accumulates electric charges according to the amount of incident light.
  • the transfer switch 302 transfers the charges accumulated in the PD 301 to the floating diffusion section 303 when the drive signal tx is at High level.
  • floating diffusion is described as FD.
  • the FD section 303 is connected to the gate of the transistor forming the FD amplifier 304 .
  • the FD amplifier 304 converts the amount of charge transferred from the PD 301 into a voltage value.
  • the FD reset switch 305 is a switch element for resetting the FD section 303, and resets the FD section 303 when the drive signal res is at High level.
  • both the transfer switch 302 and the FD reset switch 305 are turned on, and the PD 301 is reset via the FD section 303 .
  • the FDinc switch 307 is turned on when the drive signal fdinc is at High level, and connects the additional capacitor 308 to the FD section 303 . Also, when the level of the drive signal fdinc is at Low level, the FDinc switch 307 is turned off, and the additional capacitor 308 and the FD section 303 are disconnected. As a result, the capacitance generated in the FD section 303 changes. In other words, the FDinc switch 307 and the additional capacitor 308 function as capacitance variable means for varying the capacitance value of the input node.
  • the FDinc switch 307 By turning on/off the FDinc switch 307, the conversion ratio of the output voltage of the FD amplifier 304 to the charge transferred to the FD section 303, that is, the gain (hereinafter referred to as FD gain) can be switched.
  • the additional capacitor 308 When the additional capacitor 308 is connected to the FD section 303, the capacitance value increases and the gain becomes smaller than when it is not connected.
  • the imaging device 150 of the present embodiment can change the amount of charge held in the FD unit 303 according to the drive signal fdinc and switch the gain of the pixel 200 (analog amplification function). Therefore, it is possible to output a plurality of types of analog gains.
  • the pixel selection switch 306 outputs the pixel signal vout converted into a voltage by the FD amplifier 304 when the drive signal sel is at High level.
  • Output signals of the pixels 200 are input to the column circuits 203 and 207 via the column output lines 202 and 206 for each column as described above.
  • one pixel 200 is connected to one column output line, but one pixel 200 may be connected to a plurality of column output lines.
  • two column circuits 203 and 207 can be connected to one column output line, and the output signal of one pixel 200 can be output from a plurality of types. It becomes possible to amplify with different analog gains.
  • An output signal vout from the pixel 200 is input to the column circuit 203 via the column output line 202 .
  • a column output line 202 provided for each column is grounded via a current source 204 .
  • a source follower circuit is configured by the current source 204 and the FD amplifier 304 of the pixel 200 connected to the column output line 202 .
  • the clamp capacitor 401 has a capacitance C1 and the feedback capacitor 402 has a capacitance C2.
  • An output signal vout of the pixel 200 is input to the inverting input terminal of the operational amplifier 403 via the clamp capacitor 401 .
  • a reference voltage Vref is supplied to the non-inverting input terminal of the operational amplifier 403 .
  • a switch 404 is connected in parallel with the feedback capacitor 402 connected to the inverting input terminal and output terminal of the operational amplifier 403 .
  • a switch 404 is a switch element for short-circuiting both ends of the feedback capacitor 402, and is controlled by a drive signal cfs. Since the gain setting can be changed by on/off control of the switch 404, it is possible to output signals amplified with a plurality of types of analog gains.
  • the S signal transfer switch 405 is a switch element for transferring the pixel signal (S signal) read out from the pixel 200 to the S signal holding capacitor 407 .
  • S signal pixel signal
  • the N signal transfer switch 406 is a switch element for transferring the noise signal (N signal) read out from the pixel 200 to the N signal holding capacitor 408 .
  • N signal noise signal
  • the S signal held in the S signal holding capacitor 407 is output as the output voltage vs
  • the N signal held in the N signal holding capacitor 408 is output as the output voltage vn.
  • the difference between the output voltage vs of the S signal and the output voltage vn of the N signal is converted into a digital signal by an AD converter (analog-digital converter), which will be described later.
  • Driving signals such as cfs, ts, and tn are supplied from the TG 210 to the column circuit 203 under the control of the CPU 109 .
  • FIG. 5 is a diagram showing the configuration of an AD converter.
  • the AD converter has a comparator 801 , a counter circuit 802 , a latch circuit 803 and an arithmetic circuit 804 .
  • a ramp signal generator 806 (hereinafter referred to as RAMP) is a circuit that generates a ramp signal that changes with time.
  • the comparator 801 compares the pixel signal amplified by the analog amplification function of the column circuit 203 described with reference to FIG. Outputs an inverted signal at the timing.
  • the counter circuit 802 performs a count operation based on the clock supplied from the connected counter control line pCNT.
  • the counter circuit 802 starts counting at the timing when the comparator 801 starts comparing the pixel signal and the ramp signal, and outputs a count value at the timing when the output of the comparator 801 is inverted.
  • the latch circuit 803 temporarily holds the count value output by the counter circuit 802 and outputs the held count value based on control via the connected latch control line pLTC.
  • the arithmetic circuit 804 stores the count value output by the latch circuit 803 as a pixel digital signal based on control via the connected arithmetic control line pCAL. In addition, the arithmetic circuit 804 outputs the stored digital signal of the pixel.
  • the gain setting in the AD converter will be explained.
  • the pixel signals may be amplified with different gains during AD conversion by changing the time change of the ramp signal in the AD converter in the subsequent stage. good. That is, if the time change of the ramp signal is slow, the inversion of the output of the comparator 801 is delayed and the count value is increased. Since the rate of change of the ramp signal over time corresponds to the amplification factor of the output signal of the unit pixel 200, this is called a RAMP gain, and the RAMP gain can be switched by changing the degree of change over time.
  • the image data output from the column circuit 203 or the column circuit 207 is held in the memory 211 according to the write signal memwr output from the timing generator (TG) 210 .
  • the image data held in the memory 211 are sequentially transferred to the data output section 213 by scanning of the horizontal scanning circuit 212 .
  • a data output unit 213 outputs image data to the outside of the image sensor 106 by a transmission method such as LVDS (Low Voltage Differential Signaling).
  • FIG. 6 is a flowchart for explaining the HDR shooting operation in the imaging device of the first embodiment.
  • the operations of this flowchart are implemented by the CPU 109 executing a program stored in the ROM 113 .
  • the output signal of the same pixel 200 obtained by one exposure is amplified with different analog gains to acquire a HIGH image and a LOW image, thereby performing HDR imaging.
  • HDR imaging is started in response to a user's imaging instruction from the operation unit 111 .
  • step S500 the CPU 109 controls the shutter drive circuit 114 according to the user's instruction input from the operation unit 111 to open and close the shutter 104, expose the image sensor 106 once, and obtain an image signal.
  • step S501 the CPU 109 determines whether the currently set shooting sensitivity is the first sensitivity.
  • the first sensitivity is set when the target gain (hereinafter referred to as the main gain) can be obtained only with the analog gain.
  • the analog gain shown here indicates a gain for obtaining the main gain, and a digital gain may be used for the gain used for fine adjustment or the like.
  • step S502 When it is determined that the currently set shooting sensitivity is the first sensitivity, the process proceeds to step S502, and when it is determined that it is different from the first sensitivity, the process proceeds to step S510.
  • step S502 the CPU 109, in accordance with a user instruction from the operation unit 111, calculates the step number difference (gain ratio) between the high-gain image (HIGH image) and the low-gain image (LOW image) required for HDR synthesis processing. ). For example, when the step number difference between the HIGH image and the LOW image is set to "3", the HIGH image is set to gain 8 times, and the LOW image is set to gain 1 time.
  • the combination pattern of the gains of the HIGH image and the LOW image may be analog gains that can be set inside the image sensor 106 . That is, in the above explanation, the gain of the HIGH image is 8 times and the gain of the LOW image is 1 time. But I don't mind.
  • step S503 the CPU 109 sets analog gains for the HIGH image and the LOW image based on the gain step difference between the HIGH image and the LOW image determined in step S502.
  • the analog gain of the HIGH image is called “A setting”
  • the analog gain of the LOW image is called “B setting”.
  • a setting is a gain setting such as an 8-fold analog gain
  • B setting is a 1-fold analog gain.
  • analog gains obtained by using the additional capacitance 308 and the feedback capacitance 402 are assumed for both the HIGH image and the LOW image at the first sensitivity.
  • the present invention is not limited to this, and other means for setting the analog gain may be selected.
  • step S504 the HIGH image and the LOW image are respectively read out with the gain set in step S503.
  • the column circuit switch 205 is turned on as described above, and the output signal of one pixel 200 obtained by one exposure (single exposure) is amplified with different analog gains using the column circuits 203 and 207. By doing so, it is possible to read out each of the HIGH image and the LOW image.
  • step S505 the CPU 109 performs HDR synthesis processing using the read HIGH and LOW images to obtain an image with an expanded dynamic range.
  • step S506 the CPU 109 determines whether or not HDR imaging should be continued.
  • step S501 If it is determined in step S501 that the currently set shooting sensitivity is different from the first sensitivity, the process proceeds to step S510.
  • step S510 the CPU 109 determines whether the currently set shooting sensitivity is the second sensitivity. For example, in a relatively dark environment where sunlight or natural light does not enter, such as indoors, if analog gain and digital gain are used together and digital gain is used to compensate for the lack of analog gain, this gain can be obtained. , a second sensitivity is set.
  • step S511 When it is determined that the currently set shooting sensitivity is the second sensitivity, the process proceeds to step S511, and when it is determined that it is different from the second sensitivity, the process returns to step S501.
  • both the analog gain and the digital gain are used to obtain the main gain, but the digital gain used for fine adjustment or the like may also be applied.
  • step S511 the CPU 109 determines the step number difference (gain ratio) between the HIGH image and the LOW image required for HDR synthesis processing, in accordance with the user's instruction from the operation unit 111, as in step S502. For example, when the step number difference between the HIGH image and the LOW image is set to "3", the HIGH image is set to gain 8 times, and the LOW image is set to gain 1 time.
  • the combination pattern of the gains of the HIGH image and the LOW image may be any gain that can be set inside the image sensor 106 or by the DSP 107 . That is, in the above description, the gain of the HIGH image is 8 times and the gain of the LOW image is 1 time, but a combination of three steps such as 64 times the gain of the HIGH image and 8 times the gain of the LOW image may be used.
  • step S512 the CPU 109 sets the analog gains of the HIGH image and the LOW image in the column circuits 203 and 207 based on the gain level difference between the HIGH image and the LOW image determined in step S511.
  • the analog gain of the HIGH image is called "A setting”
  • the analog gain of the LOW image is called "B setting”.
  • the A setting is set to the maximum value obtained by the analog gain.
  • analog gain is applied by the additional capacitor 308, the feedback capacitor 402, etc. for both the HIGH image and the LOW image at the second sensitivity.
  • step S513 the CPU 109 sets digital gains for the HIGH image and the LOW image.
  • the digital gain of the HIGH image is called “C setting”
  • the digital gain of the LOW image is called “D setting”.
  • digital gain is applied to both the HIGH image and the LOW image at the second sensitivity using a DSP or the like, but the present invention is not limited to this, and may be applied inside the image sensor 106. .
  • the analog gain "A setting" determined in step S512 is the maximum value of the analog gain as described above, so it is multiplied by 32.
  • the step determined in step S511 is three steps, the "B setting" is multiplied by four. Therefore, in order to obtain this gain, it is necessary to set a double digital gain for each of the HIGH image and the LOW image. That is, the "C setting" of the digital gain is set to double, and the "D setting" is set to double.
  • both HIGH and LOW images are obtained by using both analog gain and digital gain. Therefore, it is possible to maintain the gain level difference between the HIGH image and the LOW image regardless of the set photographic sensitivity, and obtain an image with an expanded dynamic range and less variation in noise sensation.
  • FIG. 7 is a flowchart for explaining the HDR shooting operation in the imaging device of the second embodiment.
  • the operations of this flowchart are implemented by the CPU 109 executing a program stored in the ROM 113 .
  • the HDR shooting setting is started by the user's shooting instruction from the operation unit 111 .
  • Steps S600 to S606, steps S610, and S611 are the same as steps S500 to S506, steps S510, and S511 shown in the first embodiment, so description thereof will be omitted.
  • step S612 the CPU 109 determines whether or not to maintain the analog gain ratio between the HIGH image and the LOW image at the first sensitivity according to the shooting mode and shooting conditions. For example, when the shooting mode is a continuous shooting mode such as a moving image, if the analog gain ratio differs between frames, the sense of noise differs between frames, and the screen may appear to flicker.
  • analog gain and digital gain are compared, there is less noise when amplifying using analog gain than when amplifying using digital gain. This is because the analog gain can be applied relatively before the imaging element 106, so that the influence of circuit noise and the like is small. Therefore, in the above case, it is possible to obtain a moving image with less flickering by maintaining the analog gain ratio.
  • the analog gain when acquiring the LOW image can also be used up to the maximum gain. For example, when shooting still images one by one, differences in noise are less noticeable depending on the shooting sensitivity, and analog gain can be used up to the maximum gain when acquiring LOW images, resulting in images with reduced noise. can.
  • the example shown above is merely an example, and it may be determined whether or not to maintain the analog gain ratio according to other shooting modes and shooting conditions.
  • step S613 if the analog gain ratio between the HIGH image and the LOW image with the first sensitivity is to be maintained, the process proceeds to step S613, and if the analog gain ratio is not to be maintained, the process proceeds to step S615.
  • step S613 the CPU 109 maintains the analog gain ratio between the HIGH image and the LOW image at the setting used at the first sensitivity.
  • step S512 the same processing as in step S512 is performed, and the same processing as in step S513 is performed in the next step S614.
  • the analog gain when acquiring a HIGH image is set to "A setting", and when acquiring a LOW image, The analog gain is set to "B setting". Also, let the digital gain for acquiring a HIGH image be "C setting” and the digital gain for acquiring a LOW image be "D setting”.
  • step S615 the analog gain when obtaining a HIGH image is set to "E setting", the analog gain when obtaining a LOW image is set to "F setting", and an analog gain ratio different from the first sensitivity is set.
  • the analog gain when acquiring the LOW image may be used to the limit, and the gain difference due to the analog gain may be eliminated.
  • step S616 the step number difference between the HIGH image and the LOW image determined in step S611 is set to be compensated by using the digital gain.
  • the digital gain when obtaining a HIGH image is set as "G setting”
  • the digital gain when obtaining a LOW image is set as "H setting”.
  • the difference in noise feeling is less noticeable depending on the shooting sensitivity, and the analog gain can be used to the limit for LOW images, so noise is reduced. A reduced image can be obtained.
  • the second sensitivity when the second sensitivity is set during HDR shooting, whether or not to maintain the analog gain ratio between the HIGH image and the LOW image when the first sensitivity is set is It can be changed according to the shooting mode and shooting conditions.
  • the analog gain ratio When the analog gain ratio is maintained, it is possible to obtain an image with an expanded dynamic range and little variation in noise feeling regardless of the shooting sensitivity.
  • the analog gain ratio when changing the analog gain ratio, it is possible to reduce the noise of the LOW image, and it is possible to obtain an image with less noise and an expanded dynamic range.
  • the parameters for image correction whose characteristics change according to the amount of analog gain need to be switched in the same manner as the analog gain ratio. For example, there is a possibility that the linearity of the luminance output differs between when the analog gain is 1 ⁇ and when the analog gain is 64 ⁇ , and it is necessary to perform correction to match the linearity according to the analog gain amount.
  • FIG. 8 is a flowchart for explaining the shooting operation in the imaging device of the third embodiment. The operations of this flowchart are implemented by the CPU 109 executing a program stored in the ROM 113 . HDR imaging is started in response to a user's imaging instruction from the operation unit 111 .
  • steps S700 to S706 and steps S710 to S716 are the same as steps S600 to S606 and steps S610 to S616 shown in the second embodiment, descriptions thereof will be omitted.
  • step S720 when the set shooting sensitivity is the second sensitivity and it is determined in step S712 to maintain the analog gain ratio between the HIGH image and the LOW image at the first sensitivity will be described. Note that the judgment criteria in step S712 are the same as those in step S612 of FIG.
  • step S713 and S714 the analog gains of the HIGH image and the LOW image are set to "A setting” and “B setting", respectively, and the digital gains are set to "C setting” and “D setting”, respectively.
  • the image correction parameter to be changed according to the gain setting is "X” like the linearity correction of the luminance output as described above.
  • "X” at this time is a parameter corresponding to the analog gain "A setting” when obtaining a HIGH image and the analog gain "B setting" when obtaining a LOW image.
  • step S721 when the set shooting sensitivity is the second sensitivity and it is determined in step S712 to set a gain ratio different from the analog gain ratio of the HIGH image and the LOW image at the first sensitivity will be described. do.
  • step S715 and S716 the analog gains when obtaining the HIGH image and the LOW image are set to "E setting” and “F setting”, respectively, and the digital gains are set to "G setting” and “H setting”, respectively.
  • the image correction parameter to be changed according to the gain setting is "Y", like the linearity correction of the luminance output as described above.
  • the correction parameter is switched depending on whether to maintain the analog gain ratio between the HIGH image and the LOW image at the first sensitivity. becomes possible. Therefore, it is possible to acquire a high-quality image with an expanded dynamic range.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads the program. It can also be realized by executing processing. It can also be implemented by a circuit (eg, ASIC) that implements one or more functions.
  • a program that implements one or more functions of the above-described embodiments to a system or device via a network or a storage medium, and one or more processors in the computer of the system or device reads the program. It can also be realized by executing processing. It can also be implemented by a circuit (eg, ASIC) that implements one or more functions.
  • ASIC application specific integrated circuit

Abstract

本発明は、撮影感度によらず画面内でノイズ感のバラつきの少ないダイナミックレンジを拡大した画像を取得できる撮像装置を提供する。 撮像装置は、１つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅部と、１つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅部と、アナログゲインのみで目標とするゲインが得られる場合には、アナログ増幅部により画素信号を第１のゲインと第２のゲインで増幅する第１の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、アナログ増幅部とデジタル増幅部とを用いて、画素信号を第１のゲインと第２のゲインで増幅する第２の制御を行うように制御する制御部とを備える。

Description

撮像装置及びその制御方法、プログラム、記憶媒体
　本発明は、撮像装置及びその制御方法に関する。
　従来、一般的なデジタルカメラに使われているＣＣＤイメージセンサや、ＣＭＯＳイメージセンサ等の撮像素子を用いて、階調に関するダイナミックレンジを拡大する技術が提案されている。
　特許文献１には、同一画素の出力信号を第１のアナログゲインで増幅した信号と第２のアナログゲインで増幅した信号とを読み出すことが可能な撮像装置が開示されている。そして、第１のゲインの画像と第２のゲインの画像を用いてダイナミックレンジを拡大した画像を取得することができる。
特開２０２０－４３３９１号公報
　しかしながら、上記の特許文献１に記載された方法では、ダイナミックレンジ拡大を行う際の増幅率が第１および第２のゲインに限られているため、様々な撮影感度におけるダイナミックレンジ拡大処理には対応していない。
　本発明は上述した課題に鑑みてなされたものであり、設定された撮影感度にかかわらず、ノイズ感のバラつきが少ないダイナミックレンジ拡大画像を取得できる撮像装置を提供する。
　本発明に係わる撮像装置は、１つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、前記１つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段と、アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第１のゲインと第２のゲインで増幅する第１の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第１のゲインと前記第２のゲインで増幅する第２の制御を行うように制御する制御手段と、を備えることを特徴とする。
　本発明によれば、設定された撮影感度にかかわらず、ノイズ感のバラつきが少ないダイナミックレンジ拡大画像を取得することが可能となる。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 撮像装置で使用される撮像素子の構成を示す図。 撮像素子の１画素の構成を示す図。 列回路の構成を示す図。 アナログ－デジタル変換器の構成を示す図。 第１の実施形態における撮影動作を示すフローチャート。 第２の実施形態における撮影動作を示すフローチャート。 第３の実施形態における撮影動作を示すフローチャート。
　以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
　（第１の実施形態）
　図１は、本発明の第１の実施形態に係わる撮像装置１５０の構成を示すブロック図である。
　図１において、第１レンズ１００は、撮影光学系１２０の先端に配置されている。絞り１０１は、後述する絞りアクチュエータ１１８によって駆動され、その開口径を調節することにより撮影時の光量調節を行う。第２レンズ１０２、第３レンズ１０３は、後述するフォーカスアクチュエータ１１６によって駆動され、光軸方向に進退することにより、撮影光学系１２０の焦点を調節する。
　フォーカルプレーンシャッタ１０４は、後述するシャッタ駆動回路１１４によって駆動され、静止画撮影時に撮像素子１０６の露光秒時を調節する。なお、撮像素子１０６が電子シャッタ機能を有し、制御パルスで露光秒時を調節するように構成されていてもよい。光学的ローパスフィルタ１０５は、撮影画像の偽色やモアレを低減するために設けられている。撮像素子１０６は、撮影光学系１２０で形成された被写体の光学像を電気信号に変換する。撮像素子１０６は、後述するＣＰＵ１０９によって制御される。
　ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）１０７は、撮像素子１０６で撮影された画像データの、補正処理、ＨＤＲ合成処理（ＨＤＲ画像生成処理）等の画像処理を行う。また、ＤＳＰ１０７は、撮像素子１０６から複数種類のアナログゲインで増幅された出力された画素信号（詳細については後述する）に対して複数種類のデジタルゲインをかける機能（デジタル増幅機能）を有する。
　ここで、本実施形態では、複数種類のデジタルゲインをＤＳＰ１０７でかける場合について説明するが、撮像素子１０６の内部で複数種類のデジタルゲインをかける構成でも構わない。ＲＡＭ１０８は、撮像素子１０６の出力データを保持する信号保持手段の機能と、ＤＳＰ１０７で処理された画像データを記憶する画像データ記憶手段の機能と、後述のＣＰＵ１０９が動作を行う際のワークメモリの機能を兼備する。
　なお、本実施形態では、これらの機能をＲＡＭ１０８によって実現する構成であるが、アクセス速度が十分に速く動作上問題のないレベルのメモリであれば、他の種類のメモリを用いることも可能である。また、本実施形態では、ＲＡＭ１０８は、ＤＳＰ１０７、ＣＰＵ１０９の外部に配置されているが、その一部または全部の機能をＤＳＰ１０７やＣＰＵ１０９に内蔵する構成であってもよい。
　ＣＰＵ１０９は、撮像装置１５０の動作を統括的に制御する。ＣＰＵ１０９は、撮像装置１５０の各部を制御するためのプログラムを実行する。すなわち、ＤＳＰ１０７から出力される相関演算の結果を用いて、フォーカス駆動回路１１５を制御し、撮影光学系１２０の焦点を調節する機能も有する。本実施形態では、焦点検出部はＣＰＵ１０９が担っているが、撮像素子１０６の内部に設けられていてもよい。
　表示部１１０は、撮影した静止画像や動画像およびメニュー等の表示を行う。操作部１１１は、ユーザにより入力される撮影命令や撮影条件等の設定をＣＰＵ１０９に対して指示する。記録媒体１１２は、静止画データ及び動画データを記録する着脱可能な記録媒体である。ＲＯＭ１１３は、ＣＰＵ１０９が各部の動作を制御するためにロードして実行するプログラムを格納する。
　ＣＰＵ１０９の出力に基づいてシャッタ駆動回路１１４は、フォーカルプレーンシャッタ１０４を駆動制御する。フォーカス駆動回路１１５は、撮影光学系１２０の焦点位置を変更する焦点位置変更手段である。そして、ＣＰＵ１０９の出力に基づいてフォーカスアクチュエータ１１６を制御し、第２レンズ１０２及び第３レンズ１０３を光軸方向に進退駆動して焦点調節を行う。絞り駆動回路１１７は、ＣＰＵ１０９の出力に基づいて絞りアクチュエータ１１８を制御して絞り１０１の開口を制御する。
　図２は、撮像素子１０６の回路構成の一例を示す図である。画素配列２５０には、複数の画素２００が行列状に配置されている。画素２００の各々におけるＲは赤色、Ｇは緑色、Ｂは青色のカラーフィルタが画素上に配置されることを意味する。また、Ｒ（Ｇ，Ｂ）ｍ＿ｎ（ｍ、ｎは任意の整数）は、画素部２５０における第ｍ行第ｎ列の画素であることを示す。また、同じ列の画素２００のうち奇数行の画素は列出力線２０２に接続されており、偶数行の画素は列出力線２０６に接続されている。
　列出力線２０２は列回路２０３に接続されており、列出力線２０６は列回路２０７に接続されている。また、列出力線２０２と列出力線２０６の間には、列回路スイッチ２０５が設けられている。
　列回路スイッチ２０５がオフの場合、奇数行の画素２００から出力される画素信号は、列出力線２０２を介して列回路２０３のみに入力される。偶数行の画素２００から出力される画素信号も同様に、列出力線２０６を介して列回路２０７のみに入力される。列回路スイッチ２０５がオフの場合、奇数行の画素２００の信号と偶数行の画素２００の信号を同時に読み出すことができる。
　また、列回路スイッチ２０５がオンの場合には、奇数行の画素２００から出力される画素信号は、列出力線２０２および列回路スイッチ２０５を介して列回路２０３と列回路２０７にそれぞれ入力される。偶数行の画素２００から出力される画素信号も同様に、列出力線２０６および列回路スイッチ２０５を介して列回路２０３と列回路２０７にそれぞれ入力される。列回路スイッチ２０５がオンの場合には、奇数行の画素２００の信号と偶数行の画素２００の信号が交互に順次読み出される。
　各駆動信号ＲＥＳ、ＴＸ、ＳＥＬ、ＦＤＩＮＣは、垂直走査回路２０１から画素２００にそれぞれ供給される。これらの駆動信号については、行に対応する数字を表す自然数ｍ（＝１，２，・・・，ｎ）が付加されたＲＥＳ＿ｍ、ＴＸ＿ｍ、ＳＥＬ＿ｍ、ＦＤＩＮＣ＿ｍと表記する。
　ここで、画素２００の構成について図３を用いて説明する。
　フォトダイオード（以下、ＰＤと略記する）３０１は、入射光を光電変換し、入射光量に応じた電荷を蓄積する。転送スイッチ３０２は、駆動信号ｔｘのレベルがＨｉｇｈレベルであるときに、ＰＤ３０１に蓄積されている電荷をフローティングディフュージョン部３０３に転送する。以下では、フローティングディフュージョンをＦＤと表記する。ＦＤ部３０３は、ＦＤアンプ３０４を構成するトランジスタのゲートに接続されている。ＦＤアンプ３０４は、ＰＤ３０１から転送される電荷量を電圧値に変換する。
　ＦＤリセットスイッチ３０５は、ＦＤ部３０３をリセットするためのスイッチ素子であり、駆動信号ｒｅｓのレベルがＨｉｇｈレベルであるときに、ＦＤ部３０３のリセットを行う。また、駆動信号ｔｘと駆動信号ｒｅｓのレベルを同時にＨｉｇｈレベルにすると、転送スイッチ３０２およびＦＤリセットスイッチ３０５の両方がオンとなって、ＦＤ部３０３を経由してＰＤ３０１のリセットが行われる。
　ＦＤｉｎｃスイッチ３０７は、駆動信号ｆｄｉｎｃのレベルがＨｉｇｈレベルであるときにオンになり、付加容量３０８をＦＤ部３０３と接続する。また、駆動信号ｆｄｉｎｃのレベルがＬｏｗレベルであるときには、ＦＤｉｎｃスイッチ３０７がオフになり、付加容量３０８とＦＤ部３０３とが非接続状態となる。これにより、ＦＤ部３０３に生じる容量が変化する。言い換えると、ＦＤｉｎｃスイッチ３０７および付加容量３０８は、入力ノードの容量値を可変とする容量可変手段として機能する。
　ＦＤｉｎｃスイッチ３０７のオン・オフによって、ＦＤ部３０３に転送された電荷に対するＦＤアンプ３０４の出力電圧の変換比、すなわちゲイン（以下、ＦＤゲインという）を切り替えることができる。付加容量３０８がＦＤ部３０３に接続された接続状態では静電容量値が増加し、非接続状態の場合と比べてゲインが小さくなる。
　逆に、付加容量３０８とＦＤ部３０３とが非接続状態になると静電容量値が減少し、接続状態と比べてゲインが大きくなる。このように、本実施形態の撮像装置１５０は、駆動信号ｆｄｉｎｃに応じてＦＤ部３０３に保持される電荷量を可変とし、画素２００のゲインを切り替える（アナログ増幅機能）ことができる。そのため、複数種類のアナログゲインの出力が可能となる。
　画素選択スイッチ３０６は、駆動信号ｓｅｌのレベルがＨｉｇｈレベルであるときに、ＦＤアンプ３０４で電圧に変換された画素信号ｖｏｕｔを出力する。画素２００の出力信号は、前述したように列ごとの列出力線２０２，２０６を介して列回路２０３，２０７に入力される。なお、本実施形態では、１つの画素２００が１つの列出力線に接続されている構成であるが、１つの画素２００が複数の列出力線に接続されていても構わない。また、列回路スイッチ２０５をオンで使用することで、１つの列出力線に対して２つの列回路２０３，２０７を接続することが可能であり、１つの画素２００の出力信号を、複数種類の異なるアナログゲインで増幅することが可能となる。
　次に、図４を参照して、列回路２０３の構成について説明する。なお、列回路２０７についても列回路２０３と同様の構成であるため、ここでは説明を省略する。画素２００の出力信号ｖｏｕｔは、列出力線２０２を介して列回路２０３に入力される。列ごとに設けられた列出力線２０２は電流源２０４を介して接地されている。電流源２０４と、列出力線２０２に接続された画素２００のＦＤアンプ３０４とによってソースフォロワ回路が構成される。
　列回路２０３において、クランプ容量４０１は静電容量Ｃ１を有し、フィードバック容量４０２は静電容量Ｃ２を有する。画素２００の出力信号ｖｏｕｔは、クランプ容量４０１を介して演算増幅器４０３の反転入力端子に入力される。演算増幅器４０３の非反転入力端子には基準電圧Ｖｒｅｆが供給される。
　演算増幅器４０３の反転入力端子と出力端子に接続されたフィードバック容量４０２と並列にスイッチ４０４が接続されている。スイッチ４０４は、フィードバック容量４０２の両端をショートさせるためのスイッチ素子であり、駆動信号ｃｆｓにより制御される。スイッチ４０４のオン・オフ制御によってゲイン設定を変更することができるため、複数種類のアナログゲインで増幅した信号の出力が可能となる。
　Ｓ信号転送スイッチ４０５は、画素２００から読み出される画素信号（Ｓ信号）を、Ｓ信号保持容量４０７に転送するためのスイッチ素子である。駆動信号ｔｓのレベルをＨｉｇｈレベルにすることにより、演算増幅器４０３で増幅されたＳ信号がＳ信号転送スイッチ４０５を介してＳ信号保持容量４０７に保持される。
　Ｎ信号転送スイッチ４０６は、画素２００から読み出されるノイズ信号（Ｎ信号）をＮ信号保持容量４０８に転送するためのスイッチ素子である。駆動信号ｔｎのレベルをＨｉｇｈレベルにすることにより、演算増幅器４０３で増幅されたＮ信号がＮ信号転送スイッチ４０６を介してＮ信号保持容量４０８に保持される。
　Ｓ信号保持容量４０７に保持されたＳ信号は出力電圧ｖｓとして出力され、Ｎ信号保持容量４０８に保持されたＮ信号は出力電圧ｖｎとして出力される。そして、Ｓ信号の出力電圧ｖｓとＮ信号の出力電圧ｖｎの差分が後述するＡＤ変換器（アナログ－デジタル変換器）によってデジタル信号に変換される。ｃｆｓ、ｔｓ、ｔｎ等の駆動信号は、ＣＰＵ１０９の制御にしたがってＴＧ２１０から列回路２０３に供給される。
　図５は、ＡＤ変換器の構成を示す図である。ＡＤ変換器は、比較器８０１、カウンタ回路８０２、ラッチ回路８０３、および演算回路８０４を備えている。ランプ信号生成部８０６（以下ＲＡＭＰ）は、時間に対して変化するランプ信号を生成する回路である。
　比較器８０１は、図４で説明した列回路２０３のアナログ増幅機能によって増幅された画素信号とランプ信号生成部８０６により生成されたランプ信号を比較し、時間変化するランプ信号と画素出力が一致したタイミングで反転信号を出力する。
　カウンタ回路８０２は、接続されているカウンタ制御線ｐＣＮＴから供給されるクロックに基づいてカウント動作を行う。カウンタ回路８０２は、比較器８０１が画素信号とランプ信号の比較を開始したタイミングからカウント動作を開始し、比較器８０１の出力が反転したタイミングでのカウント値を出力する。
　ラッチ回路８０３は、カウンタ回路８０２が出力するカウント値を一時的に保持すると共に、接続されているラッチ制御線ｐＬＴＣを介した制御に基づいて保持しているカウント値を出力する。
　演算回路８０４は、接続されている演算制御線ｐＣＡＬを介した制御に基づいて、ラッチ回路８０３が出力するカウント値を画素のデジタル信号として記憶する。加えて、演算回路８０４は記憶している画素のデジタル信号を出力する。
　ここで、ＡＤ変換器におけるゲイン設定について説明する。上述したように列アンプ２０３、２０７におけるアナログゲインに限らず、後段のＡＤ変換器でランプ信号の時間変化を変更することにより、画素信号のＡＤ変換時に異なるゲインで増幅するように構成してもよい。すなわち、ランプ信号の時間変化が遅ければ比較器８０１の出力の反転が遅れ、カウント値が増加する。ランプ信号の時間変化の速度は単位画素２００の出力信号の増幅率に相当するので、これをＲＡＭＰゲインと称し、時間変化の程度を変えることでＲＡＭＰゲインを切り替えることができる。
　図２に戻り、列回路２０３または列回路２０７から出力される画像データは、タイミングジェネレータ（ＴＧ）２１０から出力される書き込み信号ｍｅｍｗｒに従ってメモリ２１１に保持される。メモリ２１１に保持された画像データは、水平走査回路２１２の走査によりデータ出力部２１３へ順次転送される。データ出力部２１３は、ＬＶＤＳ（Low Voltage Differential Signaling）等の伝送方式により、撮像素子１０６の外部へ画像データを出力する。
　次に、第１の実施形態の撮像装置の動作について説明する。図６は、第１の実施形態の撮像装置におけるＨＤＲ撮影動作を説明するためのフローチャートである。このフローチャートの動作は、ＣＰＵ１０９がＲＯＭ１１３に記憶されているプログラムを実行することにより実現される。
　本実施形態では、１回の露光（単一露光）で得られる同じ画素２００の出力信号を異なるアナログゲインで増幅することで、ＨＩＧＨ画像とＬＯＷ画像を取得することで、ＨＤＲ撮影を行うものである。操作部１１１からのユーザの撮影指示によりＨＤＲ撮影が開始される。
　まず、ステップＳ５００では、ＣＰＵ１０９は、操作部１１１から入力されるユーザの指示に従ってシャッタ駆動回路１１４を制御することでシャッタ１０４を開閉し、撮像素子１０６を１回露光させて画像信号を取得する。
　ステップＳ５０１では、ＣＰＵ１０９は、現在設定されている撮影感度が第１の感度であるか否かを判断する。例えば、太陽光や自然光が入る比較的明るい環境において、アナログゲインのみで目標とするゲイン（以下、本ゲイン）を得ることができる場合には、第１の感度が設定される。なお、ここで示すアナログゲインとは本ゲインを得るためのゲインを指しており、微調整等に用いるゲインにはデジタルゲインを用いても構わない。
　現在設定されている撮影感度が第１の感度であると判断された場合にステップＳ５０２へ進み、第１の感度と異なると判断された場合にはステップＳ５１０へ進む。
　ステップＳ５０２では、ＣＰＵ１０９は、操作部１１１からのユーザ指示に応じて、ＨＤＲ合成処理に必要となる高ゲイン側の画像（ＨＩＧＨ画像）と低ゲイン側の画像（ＬＯＷ画像）の段数差（ゲイン比）を決定する。例えば、ＨＩＧＨ画像とＬＯＷ画像の段数差を「３」と設定した場合に、ＨＩＧＨ画像に８倍のゲイン、ＬＯＷ画像に１倍のゲインがかかるように設定する。
　ここでは「３」段差を例として挙げているが、段数差はこれに限定されるものではない。また、ＨＩＧＨ画像とＬＯＷ画像のそれぞれのゲインの組み合わせパターンは、撮像素子１０６の内部で設定可能なアナログゲインであれば構わない。つまり、上記ではＨＩＧＨ画像のゲインが８倍、ＬＯＷ画像のゲインが１倍であるものとして説明したが、例えばＨＩＧＨ画像のゲインが６４倍、ＬＯＷ画像のゲインが８倍というような３段差の組み合わせでも構わない。
　ステップＳ５０３では、ＣＰＵ１０９は、ステップＳ５０２で決定されたＨＩＧＨ画像とＬＯＷ画像のゲイン段数差をもとに、ＨＩＧＨ画像とＬＯＷ画像のアナログゲインを設定する。ここでは、ＨＩＧＨ画像のアナログゲインを「Ａ設定」、ＬＯＷ画像のアナログゲインを「Ｂ設定」と呼ぶ。例えば、「Ａ設定」は８倍のアナログゲイン、「Ｂ設定」は１倍のアナログゲインといったゲイン設定となる。
　なお、本実施形態では、第１の感度においてＨＩＧＨ画像、ＬＯＷ画像ともに付加容量３０８やフィードバック容量４０２を使用することで得られるアナログゲインを想定している。しかし、本発明はこれに限定されるものではなく、アナログゲインを設定できる他の手段を選択してもよい。
　ステップＳ５０４では、ステップＳ５０３で設定したゲインでＨＩＧＨ画像とＬＯＷ画像それぞれの読み出しを行う。このとき、前述したように列回路スイッチ２０５をオンにし、１回の露光（単一露光）で得られる１つの画素２００の出力信号を列回路２０３と列回路２０７を用いて異なるアナログゲインで増幅することで、ＨＩＧＨ画像とＬＯＷ画像それぞれの読み出しを可能にしている。
　ステップＳ５０５では、ＣＰＵ１０９は、読み出されたＨＩＧＨ画像とＬＯＷ画像を用いたＨＤＲ合成処理を行い、ダイナミックレンジを拡大した画像を取得する。
　ステップＳ５０６では、ＣＰＵ１０９は、続けてＨＤＲ撮影を行うか否かを判断し、ＨＤＲ撮影を行わない場合は終了し、続ける場合はステップＳ５０１へ戻る。
　次に、現在設定されている撮影感度が第１の感度とは異なる場合について説明する。
　ステップＳ５０１において、現在設定されている撮影感度が第１の感度とは異なると判断された場合、ステップＳ５１０へ進む。
　ステップＳ５１０では、ＣＰＵ１０９は、現在設定されている撮影感度が第２の感度であるか否かを判断する。例えば、室内などの太陽光や自然光が入らない比較的暗い環境において、アナログゲインとデジタルゲインを併用し、アナログゲインで足りない部分をデジタルゲインで補うことで本ゲインを得ることができる場合には、第２の感度が設定される。
　現在設定されている撮影感度が第２の感度であると判断された場合にステップＳ５１１へ進み、第２の感度と異なると判断された場合にはステップＳ５０１へ戻る。
　前述したように、第２の感度設定では、本ゲインを得るためにアナログゲインとデジタルゲインを併用するが、微調整等に用いるデジタルゲインをさらにかけても構わない。
　ステップＳ５１１では、ＣＰＵ１０９は、ステップＳ５０２と同様に、操作部１１１からのユーザ指示に従って、ＨＤＲ合成処理に必要となるＨＩＧＨ画像とＬＯＷ画像の段数差（ゲイン比）を決定する。例えば、ＨＩＧＨ画像とＬＯＷ画像の段数差を「３」と設定した場合に、ＨＩＧＨ画像に８倍のゲイン、ＬＯＷ画像に１倍のゲインがかかるように設定する。
　ここでは「３」段差を例として挙げているが、段数差はこれに限定されるものではない。また、ＨＩＧＨ画像とＬＯＷ画像のそれぞれのゲインの組み合わせパターンは、撮像素子１０６の内部またはＤＳＰ１０７で設定可能なゲインであれば構わない。つまり、上記ではＨＩＧＨ画像のゲインが８倍、ＬＯＷ画像のゲインが１倍としたが、ＨＩＧＨ画像のゲインが６４倍、ＬＯＷ画像のゲインが８倍といったような３段差の組み合わせでも構わない。
　ステップＳ５１２では、ＣＰＵ１０９は、ステップＳ５１１で決定されたＨＩＧＨ画像とＬＯＷ画像のゲイン段数差をもとに、列回路２０３と列回路２０７にＨＩＧＨ画像とＬＯＷ画像のアナログゲインを設定する。ここでは、ＨＩＧＨ画像のアナログゲインを「Ａ設定」、ＬＯＷ画像のアナログゲインを「Ｂ設定」と呼ぶ。このとき、Ａ設定をアナログゲインで得られる最大値とする。本実施形態では、第２の感度においてＨＩＧＨ画像、ＬＯＷ画像ともに付加容量３０８やフィードバック容量４０２等でアナログゲインをかける。
　ステップＳ５１３では、ＣＰＵ１０９は、ＨＩＧＨ画像とＬＯＷ画像のデジタルゲインを設定する。ここで、ＨＩＧＨ画像のデジタルゲインを「Ｃ設定」、ＬＯＷ画像のデジタルゲインを「Ｄ設定」と呼ぶ。なお、本実施形態では、第２の感度においてＨＩＧＨ画像、ＬＯＷ画像ともにＤＳＰ等でデジタルゲインをかけることを想定しているが、それに限定されるものではなく、撮像素子１０６内部でかけても構わない。
　ＨＩＧＨ画像のゲインが６４倍、ＬＯＷ画像のゲインが８倍、ＨＩＧＨ画像とＬＯＷ画像のゲイン差が３段、アナログゲインの最大値が３２倍である場合を考える。
　ステップＳ５１２において決定したアナログゲイン「Ａ設定」は、前述したようにアナログゲインの最大値となるので３２倍となる。また、「Ｂ設定」はステップＳ５１１において決定した段差が３段差であるため、４倍となる。したがって本ゲインを得るためには、ＨＩＧＨ画像、ＬＯＷ画像それぞれに２倍のデジタルゲインを設定する必要がある。つまり、デジタルゲインの「Ｃ設定」を２倍、「Ｄ設定」を２倍と設定することになる。
　上述したように、アナログゲインとデジタルゲインを併用することで、ＨＩＧＨ画像とＬＯＷ画像の本ゲインを得ることが可能となる。
　第１の実施形態によれば、ＨＤＲ撮影時において、第１の感度ではＨＩＧＨ画像、ＬＯＷ画像ともにアナログゲインのみを使用することで画像を取得する。また、第２の感度ではＨＩＧＨ画像、ＬＯＷ画像ともにアナログゲインとデジタルゲインを併用することで画像を取得する。そのため、設定されている撮影感度によらず、ＨＩＧＨ画像とＬＯＷ画像のゲイン段数差を維持することができ、ノイズ感のばらつきが少ないダイナミックレンジを拡大した画像を得ることができる。
　（第２の実施形態）
　次に、本発明の第２の実施形態について、第１の実施形態との差分を中心に説明する。設定されている撮影感度が第１の感度である場合の処理については第１の実施形態で説明した処理と同じであるため、設定されている撮影感度が第２の感度である場合を中心に説明する。
　図７は、第２の実施形態の撮像装置におけるＨＤＲ撮影動作を説明するためのフローチャートである。このフローチャートの動作は、ＣＰＵ１０９がＲＯＭ１１３に記憶されているプログラムを実行することにより実現される。操作部１１１からのユーザの撮影指示によりＨＤＲ撮影設定が開始される。
　ステップＳ６００～ステップＳ６０６、ステップＳ６１０、ステップＳ６１１では、第１の実施形態で示したステップＳ５００～ステップＳ５０６、ステップＳ５１０、ステップＳ５１１と同様の処理を行うため、説明を省略する。
　ステップＳ６１２では、ＣＰＵ１０９は、撮影モードや撮影条件に応じて、第１の感度におけるＨＩＧＨ画像とＬＯＷ画像のアナログゲイン比を維持するか否かを判断する。例えば、撮影モードが動画のように連続撮影するモードの場合、フレーム間でアナログゲイン比が異なってしまうと、フレーム間でノイズ感が異なり、画面がちらついて見えることがある。
　一般的にアナログゲインとデジタルゲインを比較したときに、アナログゲインを使用して増幅した方がデジタルゲインを使用して増幅した場合よりもノイズが少ない。これは、アナログゲインを撮像素子１０６の比較的前段でかけられるため、回路のノイズ等の影響が少ないためである。そのため、上記のような場合では、アナログゲイン比を維持した方がちらつきの少ない動画が得られる。
　また、第１の実施形態でも説明したが、第２の感度において、ＨＩＧＨ画像を取得する際のアナログゲインが最大である場合、ＬＯＷ画像を取得する際のアナログゲインにはまだ余力があることが想定される。そのため、アナログゲイン比を維持しなければ、ＬＯＷ画像を取得する際のアナログゲインも最大ゲインまで使用することができる。
例えば静止画のように１枚ずつの撮影であれば、撮影感度によってノイズ感の違いが目立ちにくく、ＬＯＷ画像を取得する際のアナログゲインも最大ゲインまで使用でき、ノイズが低減された画像を取得できる。
　上記で示した例はあくまで一例であり、他の撮影モードや撮影条件によってアナログゲイン比を維持するか否かを判断しても構わない。
　図７の説明に戻り、第１の感度のＨＩＧＨ画像とＬＯＷ画像のアナログゲイン比を維持する場合はステップＳ６１３へ進み、アナログゲイン比を維持しない場合にはステップＳ６１５へ進む。
　ステップＳ６１３では、ＣＰＵ１０９は、ＨＩＧＨ画像とＬＯＷ画像のアナログゲイン比を第１の感度で使用した設定に維持する。ステップＳ５１２と同様の処理を行い、その次の、ステップＳ６１４においても、ステップＳ５１３と同様の処理を行う。
　つまり、第２の感度が設定された場合において、第１の感度と同様のアナログゲイン比を維持する場合、ＨＩＧＨ画像を取得する際のアナログゲインを「Ａ設定」、ＬＯＷ画像を取得する際のアナログゲインを「Ｂ設定」とする。また、ＨＩＧＨ画像を取得する際のデジタルゲインを「Ｃ設定」、ＬＯＷ画像を取得する際のデジタルゲインを「Ｄ設定」とする。
　このとき、アナログゲイン比が第１の感度と第２の感度で常に一定になるため、設定された撮影感度によらずノイズ感のバラつきが小さいＨＤＲ画像を取得することができる。そのため、前述したように動画のような連続したフレームでのＨＤＲ撮影において、フレーム毎に撮影感度が変わる場合にもノイズ感が一定になり、フレーム間のちらつきを抑制することが可能となる。
　次に、第２の感度において、第１の感度設定のＨＩＧＨ画像とＬＯＷ画像のアナログゲイン比と異なるゲイン比を設定する場合について説明する。
　ステップＳ６１５では、ＨＩＧＨ画像を取得する際のアナログゲインを「Ｅ設定」、ＬＯＷ画像を取得する際のアナログゲインを「Ｆ設定」とし、第１の感度とは異なるアナログゲイン比を設定する。例えばＬＯＷ画像を取得する際のアナログゲインを限界まで使用し、アナログゲインによるゲイン差がなくなっても構わない。
　その場合、ステップＳ６１１で決定したＨＩＧＨ画像とＬＯＷ画像の段数差を、ステップＳ６１６において、デジタルゲインを使用することで補うように設定する。このとき、ＨＩＧＨ画像を取得する際のデジタルゲインを「Ｇ設定」、ＬＯＷ画像を取得する際のデジタルゲインを「Ｈ設定」とする。これらはステップＳ６１４で設定したデジタルゲインとは異なる。
　前述したように、静止画のように画像を１枚ずつ撮影するようなシーンでは、撮影感度によってノイズ感の違いが目立ちにくく、ＬＯＷ画像においてアナログゲインを限界まで使用することができる分、ノイズが低減された画像を得ることができる。
　第２の実施形態によれば、ＨＤＲ撮影時に第２の感度が設定された場合において、第１の感度が設定された場合のＨＩＧＨ画像とＬＯＷ画像のアナログゲイン比を維持するか否かを、撮影モードや撮影条件に応じて変更できる。アナログゲイン比を維持する場合は、撮影感度によらずノイズ感のバラつきが少ないダイナミックレンジを拡大した画像を取得できる。また、アナログゲイン比を変更する場合は、ＬＯＷ画像のノイズを低減することが可能であり、ノイズが少ないダイナミックレンジを拡大した画像を取得できる。
　（第３の実施形態）
　次に、本発明の第３の実施形態について、第２の実施形態との差分を中心に説明する。第３の実施形態では、設定された撮影感度が第２の感度である場合の補正パラメータについて説明する。第２の実施形態でも説明したが、第２の感度において撮影モードや撮影条件に応じてアナログゲイン比を維持するか否かを切り替えることで、高品位なＨＤＲ画像を取得することが可能である。
　このとき、アナログゲイン量に応じて特性が変化する画像補正用のパラメータについては、アナログゲイン比と同様に切り替える必要がある。例えば、アナログゲイン１倍時と６４倍時では、輝度出力のリニアリティ（直線性）が異なる可能性があり、アナログゲイン量に応じてそれぞれリニアリティを揃えるような補正を行う必要がある。
　図８は、第３の実施形態の撮像装置における撮影動作を説明するためのフローチャートである。このフローチャートの動作は、ＣＰＵ１０９がＲＯＭ１１３に記憶されているプログラムを実行することにより実現される。操作部１１１からのユーザの撮影指示によりＨＤＲ撮影が開始される。
　ステップＳ７００～ステップＳ７０６、ステップＳ７１０～ステップＳ７１６は第２の実施形態で示したステップＳ６００～ステップＳ６０６、ステップＳ６１０～ステップＳ６１６と同様の処理を行うため、説明を省略する。
　設定された撮影感度が第２の感度で、且つステップＳ７１２で第１の感度におけるＨＩＧＨ画像とＬＯＷ画像のアナログゲイン比を維持すると判断した場合のステップＳ７２０の処理について説明する。なお、ステップＳ７１２での判断基準は、図７のステップＳ６１２と同様である。
　ステップＳ７１３、ステップＳ７１４によりＨＩＧＨ画像とＬＯＷ画像のアナログゲインをそれぞれ「Ａ設定」「Ｂ設定」、デジタルゲインをそれぞれ「Ｃ設定」「Ｄ設定」とする。このとき、前述したような輝度出力のリニアリティ補正のように、ゲイン設定に応じて変更する画像補正パラメータを、「Ｘ」とする。このときの「Ｘ」とは、ＨＩＧＨ画像を取得する際のアナログゲイン「Ａ設定」、ＬＯＷ画像を取得する際のアナログゲイン「Ｂ設定」に対応したパラメータである。
　次に、設定された撮影感度が第２の感度で、且つステップＳ７１２で第１の感度におけるＨＩＧＨ画像とＬＯＷ画像のアナログゲイン比と異なるゲイン比に設定すると判断した場合のステップＳ７２１の処理について説明する。
　ステップＳ７１５、ステップＳ７１６において、ＨＩＧＨ画像とＬＯＷ画像を取得する際のアナログゲインをそれぞれ「Ｅ設定」、「Ｆ設定」、デジタルゲインをそれぞれ「Ｇ設定」、「Ｈ設定」とする。このとき、前述したような輝度出力のリニアリティ補正のように、ゲイン設定に応じて変える画像補正パラメータを、「Ｙ」とする。
　このときの「Ｙ」とはＨＩＧＨ画像を取得する際のアナログゲイン「Ｅ設定」、ＬＯＷ画像を取得する際のアナログゲイン「Ｆ設定」に対応したパラメータである。また、本実施形態では「Ｘ」、「Ｙ」をアナログゲインに起因した補正パラメータとして例示したが、デジタルゲインの「Ｃ設定」、「Ｄ設定」、「Ｇ設定」、「Ｈ設定」に起因した補正パラメータでも構わない。
　上記で説明したように、本実施形態では、ステップＳ７１３、ステップＳ７１４で設定した「Ａ設定」～「Ｄ設定」とステップＳ７１５、ステップＳ７１６で設定した「Ｅ設定」～「Ｈ設定」にそれぞれ対応した画像補正パラメータ「Ｘ」、「Ｙ」を用意し、撮影モードや撮影条件に応じて切り替える。
　第３の実施形態によれば、ＨＤＲ撮影時に第２の感度が設定された場合において、第１の感度におけるＨＩＧＨ画像とＬＯＷ画像のアナログゲイン比を維持するかどうかに応じて補正パラメータを切り替えることが可能になる。そのため、高品質なダイナミックレンジを拡大した画像を取得することが可能となる。
　（他の実施形態）
　また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。
　発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
　本願は、２０２２年２月２５日提出の日本国特許出願特願２０２２－０２８３８５、２０２２年１０月３日提出の日本国特許出願特願２０２２－１５９７１８を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (12)

  1. 　１つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、
    　前記１つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段と、
    　アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第１のゲインと第２のゲインで増幅する第１の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第１のゲインと前記第２のゲインで増幅する第２の制御を行うように制御する制御手段と、
    を備えることを特徴とする撮像装置。
  2. 　前記制御手段は、前記第２の制御において、前記第１の制御における前記アナログ増幅手段のアナログゲイン比を維持することを特徴とする請求項１に記載の撮像装置。
  3. 　前記制御手段は、前記第２の制御において、前記第１の制御における前記アナログ増幅手段のアナログゲイン比と異なるアナログゲイン比を用いることを特徴とする請求項１に記載の撮像装置。
  4. 　前記制御手段は、前記第２の制御において、撮影の条件に応じて、前記第１の制御における前記アナログ増幅手段のアナログゲイン比を維持するか、前記第１の制御における前記アナログ増幅手段のアナログゲイン比と異なるアナログゲイン比を用いるかを切り替えることを特徴とする請求項１に記載の撮像装置。
  5. 　前記制御手段は、前記第２の制御において、前記アナログゲイン比を維持するか否かに応じて、画像補正用のパラメータをさらに切り替えること特徴とする請求項４に記載の撮像装置。
  6. 　前記制御手段は、前記アナログ増幅手段のアナログゲインの前記第１のゲインと前記第２のゲインに対して足りない部分を、前記デジタル増幅手段のデジタルゲインにより補うことを特徴とする請求項１に記載の撮像装置。
  7. 　前記第１のゲインと前記第２のゲインの段数差を設定する設定手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
  8. 　前記第１のゲインで増幅した画素信号からなる第１の画像と、前記第２のゲインで増幅した画素信号からなる第２の画像を合成する合成手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
  9. 　前記合成手段は、前記第１の画像と前記第２の画像を合成して、ＨＤＲ画像を生成することを特徴とする請求項８に記載の撮像装置。
  10. 　１つの画素信号を、複数種類のアナログゲインで増幅するアナログ増幅手段と、前記１つの画素信号を複数種類のデジタルゲインで増幅するデジタル増幅手段とを備える撮像装置を制御する方法であって、
    　アナログゲインのみで目標とするゲインが得られる場合には、前記アナログ増幅手段により前記画素信号を第１のゲインと第２のゲインで増幅する第１の制御を行い、アナログゲインのみで目標とするゲインが得られない場合には、前記アナログ増幅手段と前記デジタル増幅手段とを用いて、前記画素信号を前記第１のゲインと前記第２のゲインで増幅する第２の制御を行うように制御する制御工程を有することを特徴とする撮像装置の制御方法。
  11. 　請求項１０に記載の制御方法をコンピュータに実行させるためのプログラム。
  12. 　請求項１０に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
PCT/JP2022/048564 2022-02-25 2022-12-28 撮像装置及びその制御方法、プログラム、記憶媒体 WO2023162470A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2022028385 2022-02-25
JP2022-028385 2022-02-25
JP2022-159718 2022-10-03
JP2022159718A JP2023124785A (ja) 2022-02-25 2022-10-03 撮像装置及びその制御方法、プログラム、記憶媒体

Publications (1)

Publication Number Publication Date
WO2023162470A1 true WO2023162470A1 (ja) 2023-08-31

Family

ID=87765328

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/048564 WO2023162470A1 (ja) 2022-02-25 2022-12-28 撮像装置及びその制御方法、プログラム、記憶媒体

Country Status (1)

Country Link
WO (1) WO2023162470A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019193150A (ja) * 2018-04-26 2019-10-31 キヤノン株式会社 撮像素子およびその制御方法、撮像装置
JP2020043391A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 撮像装置およびその制御方法
JP2020115604A (ja) * 2019-01-17 2020-07-30 キヤノン株式会社 撮像装置およびその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019193150A (ja) * 2018-04-26 2019-10-31 キヤノン株式会社 撮像素子およびその制御方法、撮像装置
JP2020043391A (ja) * 2018-09-06 2020-03-19 キヤノン株式会社 撮像装置およびその制御方法
JP2020115604A (ja) * 2019-01-17 2020-07-30 キヤノン株式会社 撮像装置およびその制御方法

Similar Documents

Publication Publication Date Title
JP5784426B2 (ja) 撮像装置
JP5946421B2 (ja) 撮像装置及びその制御方法
JP7353783B2 (ja) 撮像装置とその制御方法及び撮像素子とその制御方法
JP2008016976A (ja) 撮像装置及びその制御方法並びに撮像システム
US11830890B2 (en) Image sensor, image capturing apparatus and image processing apparatus
JP7332302B2 (ja) 撮像装置及びその制御方法
JP6815777B2 (ja) 撮像装置及び撮像装置の制御方法
JP2014219588A (ja) 撮像装置およびその制御方法
US20200021744A1 (en) Image sensor, focus detection method and storage medium
US10999521B2 (en) Imaging device and control method therefor
US8325246B2 (en) Imaging apparatus and imaging method capable of imaging at a low frame rate
WO2023162470A1 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2020092346A (ja) 撮像装置およびその制御方法
JP2023124785A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2007088842A (ja) 撮像装置、および撮像素子の駆動方法
JP2018019139A (ja) 撮像装置及び撮像装置の制御方法
JP2011009834A (ja) 撮像装置及び撮像方法
JP2020129755A (ja) 画像処理装及び方法、及び撮像装置
JP2020057882A (ja) 撮像装置
WO2023162483A1 (ja) 撮像装置及びその制御方法
WO2023162469A1 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US11974058B2 (en) Image capturing apparatus and control method thereof
US11595571B2 (en) Control apparatus, control method, image capturing apparatus, and image capturing system
US11539903B2 (en) Imaging apparatus and method of controlling the same and non-transitory computer-readable storage medium
US8330842B2 (en) Amplifier control device and recording non-transitory medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22928985

Country of ref document: EP

Kind code of ref document: A1