WO2016194622A1 - 撮像装置、および撮像方法、並びにプログラム - Google Patents

撮像装置、および撮像方法、並びにプログラム Download PDF

Info

Publication number
WO2016194622A1
WO2016194622A1 PCT/JP2016/064832 JP2016064832W WO2016194622A1 WO 2016194622 A1 WO2016194622 A1 WO 2016194622A1 JP 2016064832 W JP2016064832 W JP 2016064832W WO 2016194622 A1 WO2016194622 A1 WO 2016194622A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
gain
pixel
black level
clamp
Prior art date
Application number
PCT/JP2016/064832
Other languages
English (en)
French (fr)
Inventor
萩原　秀平
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2016194622A1 publication Critical patent/WO2016194622A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Definitions

  • the present technology relates to an imaging apparatus, an imaging method, and a program, and more particularly, to an imaging apparatus, an imaging method, and a program that can capture a stable image that does not sink black.
  • image processing is performed using the pixel value of a pixel (OB (Optical Black) pixel) that blocks the pixel portion as a black level reference.
  • OB Optical Black
  • the pixel value of the OB pixel is integrated and fed back to CDS (Correlated Double Double Sampling) via DAC (Digital Analog Converter) to clamp the black level.
  • CDS Correlated Double Double Sampling
  • DAC Digital Analog Converter
  • the output of the solid-state imaging device includes noise, and the amount varies depending on the operating conditions of the image sensor.
  • the noise includes random noise and fixed pattern noise such as shading.
  • the black level is set by using the average value of the pixel values of the OB pixels, but black sink occurs because the average value becomes larger than the actual black level by amplifying noise by the gain amplifier.
  • the image processing unit (ISP) also adjusts the black level based on the pixel value information of the OB pixel.
  • noise is amplified by the gain amplifier, resulting in a larger value. Therefore, a value higher than the actual black level is drawn as the black level, resulting in an image in which black is sunk.
  • the present technology has been made in view of such a situation, and in particular, makes it possible to capture a stable image that does not sink black.
  • An information processing apparatus includes an image sensor including effective pixels and OB (OpticalOptBlack) pixels, a clamp unit that sets a clamp value based on a distribution of pixel values of the OB pixels, and the effective An adjustment unit that adjusts a pixel signal of a pixel with a clamp value set by the clamp unit, an amplification unit that multiplies the adjusted pixel signal by gain, and amplifies a black level corresponding to the gain. And an adding unit that adds to the pixel signal multiplied by the gain.
  • OB OpticalOptBlack
  • the black level corresponding to the gain of the amplifying unit is an average value of the pixel signal of the OB pixel set before the gain is multiplied by the gain of the amplifying unit multiplied by the pixel signal of the OB pixel, and
  • the average black level of the pixel signal of the OB pixel after the gain is multiplied can be set to the maximum black level that does not increase.
  • a control unit that reads the gain of the amplifying unit and supplies a black level corresponding to the gain to the adding unit can be further included.
  • the adding unit includes a black level supplied from the control unit. Can be added to the pixel signal amplified and gained by the amplifying unit.
  • the control unit controls the clamp unit and changes the clamp value to change the gain of the amplification unit while changing the black level of the amplification unit preceding stage.
  • the gain at which the black level at the subsequent stage of the amplifying unit increases from the black level is determined for each black level at the previous stage of the amplifying unit, and
  • a calibration unit that executes a calibration process for obtaining and storing a control curve obtained from the black level distribution can be included, and the gain is obtained using the control curve stored in the calibration unit.
  • a black level corresponding to the pixel value is obtained, the obtained black level is supplied to the adding unit, and added to the pixel signal of the effective pixel multiplied by the gain by the amplifying unit. It can be made to be.
  • the control unit may be configured to supply the black level corresponding to the gain supplied to the adding unit to the subtracting unit.
  • An OB pixel average value calculation unit that calculates an average value of pixel values of OB pixels according to the gain may be further included, and the subtraction unit is multiplied by a gain by the amplification unit, and the addition An average value of pixel values of the OB pixels corresponding to the gain can be subtracted as the black level from the pixel signal to which the black level is added by the unit.
  • the clamp unit sets a clamp value for each of the plurality of gains based on a distribution of pixel values of the OB pixels.
  • the clamp unit is based on the distribution of pixel values of the OB pixels only under the respective conditions of the plurality of gains. You may make it comprise from the some clamp part which sets a clamp value.
  • An imaging method is an imaging method of an imaging device including an image sensor including effective pixels and OB (Optical Black) pixels, and determines a clamp value based on a distribution of pixel values of the OB pixels. Set, adjust the pixel signal of the effective pixel with a set clamp value, multiply the adjusted pixel signal by gain, and amplify the black level according to the gain by the gain.
  • An imaging method including a step of adding to a signal.
  • a program includes an image sensor including an effective pixel and an OB (Optical ⁇ Black) pixel, a clamp unit that sets a clamp value based on a distribution of pixel values of the OB pixel, and the effective pixel
  • a computer that controls an imaging apparatus including an adjustment unit that adjusts a pixel signal with a clamp value set by the clamp unit, and an amplification unit that amplifies the adjusted pixel signal by multiplying the gain according to the gain. The black level is added to the pixel signal multiplied by the gain by the amplifying unit.
  • an image sensor including an effective pixel and an OB (Optical Black) pixel
  • a clamp value is set based on a distribution of pixel values of the OB pixel
  • a pixel signal of the effective pixel Is adjusted with the clamp value set by the clamp unit the adjusted pixel signal is multiplied by a gain and amplified, and a black level corresponding to the gain is added to the pixel signal multiplied by the gain.
  • the imaging device may be an independent device or a block that functions as an imaging device.
  • FIG. 2 is a diagram illustrating a configuration example of a general imaging device. It is a figure explaining the cause which black sink by OB clamp arises. It is a figure explaining the outline
  • FIG. 6 is a flowchart for describing imaging processing in the imaging apparatus of FIG. 4. It is a figure explaining the structural example of 2nd Embodiment of the imaging device to which this technique is applied.
  • 11 is a flowchart for describing imaging processing in the imaging apparatus of FIG. 10. It is a figure explaining the modification in 2nd Embodiment.
  • FIG. 11 is a diagram illustrating a configuration example of a general-purpose personal computer.
  • a clamp unit 36 and a DAC (Digital / Analog Converter) 37 are provided.
  • the image sensor 31 is a sensor in units of a plurality of pixels provided on a two-dimensional plane such as a CMOS (Complementary Metal Oxide Semiconductor), and generates an image signal corresponding to incident light on a pixel basis and outputs the image signal to the CDS 32.
  • the image sensor 31 is provided with a normal pixel in a region used as an image signal and an OB (Optical Black) pixel composed of pixels in a light shielding region.
  • the image sensor 31 When outputting an image signal, the image sensor 31 outputs a pixel signal from the normal pixel.
  • the pixel signal of the OB pixel is output.
  • a CDS (Correlated Double Sampling) 32 detects the difference in voltage level before and after the signal charge of the image sensor 31 flows as a signal by correlated double sampling, and outputs a pixel signal with reduced thermal noise noise to the PGA 33 To do. At this time, a pixel signal obtained by subtracting a pixel signal corresponding to a black level composed of an average value of the pixel values of the OB pixels supplied from the OB clamp unit 36 via the DAC 37 is output to the PGA 33.
  • a PGA (Programming Gain Amplifier) 33 amplifies the pixel signal supplied from the CDS 32 by applying a gain and outputs it to the ADC 34.
  • ADC Analog / Digital Converter
  • An ISP (Image Signal Processor) 35 performs pixel unit processing such as correction processing of an optical system such as a lens (not shown) or flaw correction caused by variations in each pixel of the image sensor 31 when a pixel signal from a normal pixel is output. The signal processing at is performed and output.
  • the OB (Optical Black) clamp unit 36 obtains the distribution of the pixel signal of the black level (black data) as shown in the left part of FIG. Obtained as C1. Further, as shown in the central part of FIG. 2, the OB clamp unit 36 is arranged so that the distribution of the black signal pixel signal coincides with the minimum value of the signal level, that is, from the distribution center C1 of the black level pixel signal. Clamped to the distribution center C2 (OB clamped) and output to the DAC 37.
  • a DAC (Digital / Analog Converter) 37 converts a digital signal into an analog signal, and supplies a properly adjusted black level pixel signal to the CDS 32.
  • the CDS 32 is OB-clamped via the DAC 37, and outputs the pixel signal from the image sensor 31 in an offset state using an appropriately set black level. Thereby, the black level shift due to the thermal noise noise of each pixel in the image sensor 31 is corrected.
  • the gain of the black level signal is also amplified by the gain applied by the PGA 33, so that FIG.
  • the distribution is output as shown in the right part.
  • the signal in the region indicated by the range Z2 in the right part of FIG. 2 is a signal that is half-wave rectified and cannot be appropriately AD converted. Therefore, the distribution average of the black level signal distribution is the signal indicated by the range Z2. Is removed, the gain increases as a whole, and changes from the original distribution average C2 to the distribution average C3, as indicated by the range Z1. As a result, the black level cannot be adjusted appropriately.
  • the level of the OB clamp by the OB clamp unit 36 is set to, for example, FIG. 3 so that the entire range of the black level signal distribution can be output after the gain is applied by the PGA 33.
  • the distribution center C11 is adjusted to be higher than the distribution center C2.
  • the center of the signal distribution becomes the distribution center C12, which can be made substantially the same as the distribution center C11.
  • the left part of FIG. 3 is the same as the left part of FIG.
  • the OB clamp is adjusted, and the level of the difference between the distribution centers C11 and C2 is subtracted to thereby increase the fluctuation of the distribution center that is increased by the gain by the PGA 33. It is possible to appropriately correct the black level while avoiding it.
  • a 4 includes an image sensor 71, a CDS (Correlated Double Sampling) 72, a PGA (Programming Gain Amplifier) 73, an adder 74, an ADC (Analog / Digital Converter) 75, an ISP (Image Signal Signal Processor) 76, a control.
  • a unit 77, an OB (Optical Black) clamp unit 78, a DAC (Digital / AnalognaConverter) 79, and an integration circuit 80 are provided.
  • the image sensor 71, CDS 72, PGA 73, ADC (Analog / Digital Converter) 75, OB (Optical ⁇ Black) clamp unit 78, and DAC (Digital / Analog Converter) 79 are the image sensor 31 and CDS 32 in the imaging device 11 in FIG. 1.
  • the PGA 33, the ADC (Analog / Digital Converter) 34, the OB (Optical Black) clamp unit 36, and the DAC (Digital / Analog Converter) 37 have the same functions, and the description thereof will be omitted. .
  • the control unit 77 controls the entire operation of the imaging device 51.
  • the control unit 77 includes a calibration unit 77a.
  • an appropriate black level corresponding to the gain of the PGA 73 is obtained by calibration at the time of startup or the like. And stored as a control curve.
  • the black level distribution center C2 set by the OB clamp is multiplied by a gain by the PGA 73 to amplify the noise as shown in the central portion of FIG.
  • the black level distribution increases as indicated by the range Z1, and the center thereof also increases to the distribution center C3.
  • the black level has a range that does not affect the gain of the PGA 73 (the level of the PGA gain is In a range smaller than G1, the default black level is set so that the black level increases in proportion to the gain when the PGA gain is G1 or later.
  • the black level at which the gain is about G2 which is about 50%, is set as the upper limit.
  • how the black level is affected by the gain of the PGA 73 changes according to the set value. That is, as shown in FIG. 6, the black level does not increase at the gain up to the gain G11 in the figure even if the gain is changed to some extent, and after the predetermined gain G11. , Half-wave rectification occurs and the black level rises.
  • This gain G11 changes according to the set black level. That is, as shown in FIG. 7, when the set value of the black level is 256, the gain starts to increase at about 30 dB as indicated by the range Z11. Further, when the set value of the black level is 512, the gain starts to increase at about 34 dB as indicated by the range Z12. Further, when the set value of the black level is 1200, the gain starts to increase at about 41 dB as indicated by the range Z13.
  • the gain is gradually increased, and the gain at which the black level starts to increase is plotted, so that an appropriate black for the gain of the PGA 73 as shown in FIG.
  • a control curve indicating the level can be set. 5 to 7, the horizontal axis represents the gain of the PGA 73, and the vertical axis represents the black level set by the OB clamp unit 78. However, in FIG. 7, a scale different from those in FIGS. 5 and 6 is provided.
  • the control unit 77 uses the control curve information obtained by the calibration stored in the calibration unit 77a to read out an appropriate black level corresponding to the gain of the PGA 73, and controls the adder 74, An appropriate black level of the analog value is added to the output value of the PGA 73.
  • the control unit 77 also controls a subtractor 76 a provided in the ISP 76 to subtract a digital value corresponding to an appropriate black level analog value added by the adder 74 from the signal output from the ADC 75.
  • the control unit 77 supplies an OB pixel selection pulse to the ISP 76 and the OB clamp unit 78.
  • ISP 76 and OB clamp unit 78 can recognize that the pixel signal currently being processed is an OB pixel, and recognize that it is a pixel signal from an effective pixel at other times. can do.
  • the integration circuit 80 integrates the pixel signal for setting the clamp value output from the OB clamp unit 78 converted into an analog signal via the DAC 79 and outputs the integrated signal to the CDS 72.
  • step S11 the calibration unit 77a of the control unit 77 controls the OB clamp unit 78 to set the black level to be set to the minimum value, and controls the PGA 73 to set the gain to the minimum value.
  • step S12 the calibration unit 77a controls the ISP 76 to calculate the average value of the pixel values of the OB pixels.
  • step S13 the calibration unit 77a determines whether or not the average value of the pixel values of the OB pixels is larger than a value (black level set value + ⁇ ) slightly larger than the black level set value. The process proceeds to step S15.
  • step S15 the calibration unit 77a determines whether or not the gain of the PGA 73 is the maximum value. If the gain is not the maximum value, the process proceeds to step S16.
  • step S16 the calibration unit 77a increases the gain of the PGA 73 by a predetermined value, and the process returns to step S12. That is, until it is determined in step S13 that the average value of the pixel values of the OB pixels is larger than a value (black level setting value + ⁇ ) slightly larger than the black level setting value, steps S12, S13, S15, and S16 are performed. The process is repeated. If it is determined in step S13 that the average value of the OB pixel values is slightly larger than the black level setting value (black level setting value + ⁇ ), the process proceeds to step S14.
  • step S14 the calibration unit 77a stores the average value of the OB pixel values and the gain of the PGA 73 in association with each other, and the process proceeds to step S15.
  • step S15 changes in the gain of the PGA 73 and the average value of the pixel values of the OB pixels with respect to the black level setting value at this time are recorded. If it is determined in step S15 that the gain of the PGA 73 is the maximum value, the process proceeds to step S17.
  • step S17 the calibration unit 77a sets the gain of the PGA 73 to the minimum value.
  • step S18 the calibration unit 77a determines whether or not the black level setting value is the maximum value. If it is determined that the black level setting value is not the maximum value, the process proceeds to step S19.
  • step S19 the calibration unit 77a controls the OB clamp unit 78 to increase the black level setting value by a predetermined value, the process proceeds to step S12, and the subsequent processes are repeated.
  • step S18 If it is determined in step S18 that the black level setting value has reached the maximum value, the process proceeds to step S20.
  • step S20 the calibration unit 77a calculates the inflection point of the average value of the pixel values of the OB pixels with respect to the gain change of the PGA 73 for each black level setting value. That is, the inflection point of the average value of the pixel values of the OB pixels with respect to the PGA 73 gain at each black level setting value as indicated by the ranges Z11 to Z13 in FIG.
  • step S21 the calibration unit 77a calculates a control curve using the obtained inflection point.
  • step S22 the calibration unit 77a stores the obtained control curve.
  • a control curve as shown in FIG. 5 is obtained from the inflection points as shown by ranges Z11 to Z13 in FIG. 7, and stored in the calibration unit 77a.
  • the black level corresponding to the gain of the PGA 73 indicated by the control curve is the gain obtained by multiplying the gain applied to the pixel signal of the OB pixel by the PGA 73 with the average value of the pixel signal of the OB pixel set before multiplying the gain. It can be said that the maximum black level at which the average value of the black level of the pixel signal of the OB pixel after being multiplied does not change. By using the control curve thus obtained, it is possible to set an appropriate black level that does not change even if the PGA 73 is multiplied.
  • Imaging processing will be described with reference to the flowchart of FIG.
  • processing when an image signal captured by an effective pixel in the image sensor 71 is supplied will be described.
  • the distribution of all the OB pixels and the distribution center serving as an average value thereof are obtained at predetermined time intervals, and the clamp value of the OB clamp unit 78 is set to the distribution center. To do.
  • step S51 the image sensor 71 sets an unprocessed pixel as a processing target pixel.
  • step S52 the image sensor 71 acquires the pixel value of the processing target pixel and outputs it to the CDS 72.
  • step S53 the OB clamp unit 78 applies the OB clamp with a predetermined clamp value. That is, as shown in the left part and the center part of FIG. 2, the OB clamp part 78 outputs a pixel signal that is a default value of the black level so that the distribution center C1 obtained in advance becomes the distribution center C2. .
  • step S54 the DAC 79 converts the signal from the OB clamp unit 78 into an analog signal and outputs it.
  • step S55 the integrating circuit 80 integrates the signal supplied from the DAC 79 and outputs the integrated signal to the CDS 72 and the control unit 77.
  • step S56 the CDS 72 multiplies the target pixel by CDS, and then adjusts the pixel level using the signal set with the default black level from the integration circuit 80, and outputs a pixel signal.
  • step S57 the PGA 73 multiplies the pixel signal of the processing target pixel supplied from the CDS 72 by a gain and outputs the result to the adder 74.
  • step S58 the control unit 77 obtains an appropriate black level corresponding to the gain of the PGA 73 using the control curve stored in the calibration unit 77a.
  • step S59 the control unit 77 controls the adding unit 74 to add an appropriate black level of the analog value to the pixel signal, and outputs it to the ADC 75.
  • the black level distribution is changed from the state of the distribution center C2 shown in the center of FIG. 2 to the state of the distribution center C11 shown in the center of FIG. Therefore, at this time, the pixel signal can be appropriately converted into a digital signal without causing half-wave rectification in the ADC 75.
  • step S60 the ADC 75 converts the pixel signal supplied from the adder 74 into a digital signal and outputs the digital signal to the ISP 76.
  • step S61 the control unit 77 controls the subtraction unit 76a in the ISP 76 to digitize an appropriate black level, and subtracts the digitized appropriate black level from the pixel signal converted into a digital signal. At this time, the black level corresponding to the clamp value set by the OB clamp unit 78 is restored.
  • step S62 the ISP 76 processes the pixel signal and outputs it.
  • step S63 the image sensor 71 determines whether there is an unprocessed pixel. If there is an unprocessed pixel, the process returns to step S51. That is, the processes in steps S51 to S63 are repeated until there are no unprocessed pixels. If it is determined in step S63 that there are no unprocessed pixels, the process ends.
  • the black level is adjusted to an appropriate black level and converted to a digital signal by the ADC 75, so that it is prevented from being converted to a digital signal by half-wave rectification. It is possible to capture a stable image.
  • FIG. 10 shows a configuration example of the imaging apparatus 51 in which there are two types of exposure conditions and two clamp loops corresponding to the gains of the respective exposure conditions are provided.
  • symbol are attached
  • two adders 74, subtractors 76a, OB clamp units 78, and two integration circuits 80 constituting the clamp loop in the image pickup apparatus 51 of FIG. 4 are provided.
  • “ ⁇ ” is added and reference numerals are added with 1 or 2. That is, adders 74-1 and 74-2, subtractors 76a-1 and 76a-2, OB clamp units 78-1 and 78-2, and integrating circuits 80-1 and 80-2 are provided.
  • the configuration with “ ⁇ 1” is the configuration used for the first clamp value corresponding to the first gain
  • the configuration with “ ⁇ 2” is the second gain. This is a configuration used when the second clamp value corresponds to.
  • the switches 91-1 to 91-5 are provided with terminals 91a-1 to 91a-5 and 91b-1 to 91b-5.
  • the switches 91-1 to 91-5 are controlled by the control unit 77, and for the first clamp value corresponding to the first gain, the switches 91-1 to 91-5 are all switches 91a- 1 to 91a-5. Further, the switches 91-1 to 91-5 are controlled by the control unit 77, and for the second clamp value corresponding to the second gain, the switches 91-1 to 91-5 are all switches. 91b-1 to 91b-5 are connected.
  • the ISP 76 further includes a combining unit 76b, and combines the first gain image and the second gain image with respective gain ratios in the PGA 73.
  • Imaging processing by the imaging device 51 of FIG. 10 will be described with reference to the flowchart of FIG.
  • step S91 the control unit 77 connects the switches 91-1 to 91-5 to the terminals 91a-1 to 91a-5, respectively, in order to form a clamp loop with the first clamp value corresponding to the first gain. To do.
  • step S92 the control unit 77 executes an imaging process using the first clamp value corresponding to the first gain.
  • the imaging process is the same as the process described with reference to the flowchart of FIG.
  • step S93 the control unit 77 connects the switches 91-1 to 91-5 to the terminals 91b-1 to 91b-5, respectively, in order to form a clamp loop with the second clamp value according to the second gain. To do.
  • step S94 the control unit 77 executes an imaging process using a second clamp value corresponding to the second gain.
  • the imaging process is the same as the process described with reference to the flowchart of FIG.
  • step S95 the combining unit 76b of the ISP 76 combines the image captured with the first clamp value and the image captured with the second clamp value based on the gain of the PGA 73 with the gain ratio.
  • step S96 the synthesis unit 76b outputs the synthesized image.
  • the ISP 76 has an OB pixel value average calculation unit 101-1 and a subtractor 102-1 corresponding to the first gain, and an OB pixel value average corresponding to the second gain.
  • a calculation unit 101-2 and a subtractor 102-2 are provided, and a synthesis unit 103 for synthesizing the respective images is provided.
  • the OB pixel value average calculation unit 101-1 calculates the average value of the OB pixel values in the first gain clamp loop, and supplies the average value to the subtractor 102-1.
  • the subtractor 102-1 subtracts the average value of the pixel values of the OB pixels supplied from the OB pixel value average calculation unit 101-1 from each pixel of the image captured by the clamp loop at the first gain, The data is output to the combining unit 103.
  • the OB pixel value average calculating unit 101-2 calculates the average value of the OB pixel values in the second gain clamp loop, and supplies the average value to the subtractor 102-2.
  • the subtractor 102-2 subtracts the average value of the pixel values of the OB pixels supplied from the OB pixel value average calculation unit 101-2 from each pixel of the image captured in the clamp loop at the second gain, The data is output to the combining unit 103.
  • the synthesizing unit 103 synthesizes an image captured by the first gain clamp loop and an image captured by the second gain clamp loop with a gain ratio, and outputs the combined image.
  • ⁇ Example executed by software> By the way, the series of processes described above can be executed by hardware, but can also be executed by software.
  • a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
  • FIG. 13 shows a configuration example of a general-purpose personal computer.
  • This personal computer incorporates a CPU (Central Processing Unit) 1001.
  • An input / output interface 1005 is connected to the CPU 1001 via a bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for a user to input an operation command, an output unit 1007 for outputting a processing operation screen and an image of the processing result to a display device, programs, and various types.
  • a storage unit 1008 including a hard disk drive for storing data, a LAN (Local Area Network) adapter, and the like are connected to a communication unit 1009 that executes communication processing via a network represented by the Internet.
  • magnetic disks including flexible disks
  • optical disks including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disks (including MD (Mini Disc)), or semiconductors
  • a drive 1010 for reading / writing data from / to a removable medium 1011 such as a memory is connected.
  • the CPU 1001 is read from a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 1001) can be provided by being recorded on the removable medium 1011 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by attaching the removable medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can also take the following structures.
  • an image sensor including effective pixels and OB (Optical Black) pixels; Based on the distribution of pixel values of the OB pixels, a clamp unit that sets a clamp value; An adjustment unit that adjusts the pixel signal of the effective pixel with a clamp value set by the clamp unit; An amplifying unit for amplifying the adjusted pixel signal by applying a gain; An image pickup apparatus comprising: an addition unit that adds a black level corresponding to the gain to the pixel signal multiplied by the gain by the amplification unit.
  • the black level corresponding to the gain of the amplifying unit is an average of the pixel signals of the OB pixels set before the gain is multiplied by the gain applied to the pixel signals of the OB pixels.
  • the imaging device wherein the average value of the black level of the pixel signal of the OB pixel after being multiplied by the value and the gain is a maximum black level that does not increase.
  • (3) further includes a control unit that reads the gain of the amplification unit and supplies a black level corresponding to the gain to the addition unit;
  • the imaging device according to (1) or (2), wherein the adding unit adds the black level supplied from the control unit to the pixel signal amplified by the amplification unit with a gain.
  • the control unit By controlling the clamp unit and changing the clamp value, the gain of the amplification unit is changed while changing the black level of the previous stage of the amplification unit, and the black level of the previous stage of the amplification unit is more than the black level.
  • a gain at which the black level at the subsequent stage of the amplifying unit increases is determined for each black level at the previous stage of the amplifying unit, and the gain at which the black level at the subsequent stage of the amplifying unit is increased Including a calibration unit for performing a calibration process for obtaining and storing a required control curve; Using the control curve stored in the calibration unit, a black level corresponding to the gain is obtained, the obtained black level is supplied to the addition unit, and the effective pixel multiplied by the gain by the amplification unit
  • the imaging device according to (3) wherein the imaging device is added to the pixel signal.
  • the imaging apparatus further including a subtracting unit that subtracts the black level from a pixel signal that has been gained by the amplifying unit and added with the black level by the adding unit.
  • the control unit also supplies the black level corresponding to the gain supplied to the addition unit to the subtraction unit.
  • (7) further includes an OB pixel average value calculation unit that calculates an average value of pixel values of the OB pixels according to the gain;
  • the subtracting unit subtracts, as the black level, an average value of pixel values of OB pixels according to the gain from a pixel signal to which a gain is applied by the amplifying unit and the black level is added by the adding unit.
  • the imaging device according to (5).
  • the clamp unit sets a clamp value for each of the plurality of gains based on a distribution of pixel values of the OB pixels,
  • the imaging apparatus according to any one of (1) to (7), further including a combining unit that combines images captured under the respective conditions of the plurality of gains with respective gain ratios.
  • the clamp unit includes a plurality of clamp units that set the clamp value based on a distribution of pixel values of the OB pixels only under each condition of the plurality of gains.
  • An imaging method of an imaging apparatus including an image sensor including effective pixels and OB (Optical Black) pixels, Based on the pixel value distribution of the OB pixel, set the clamp value, The pixel signal of the effective pixel is adjusted with a set clamp value, Amplifying the adjusted pixel signal by gain, An imaging method including a step of adding a black level corresponding to the gain to the pixel signal multiplied by the gain.
  • OB Optical Black
  • an image sensor including effective pixels and OB (Optical Black) pixels; Based on the distribution of pixel values of the OB pixels, a clamp unit that sets a clamp value, and an adjustment unit that adjusts the pixel signal of the effective pixel with the clamp value set by the clamp unit, A computer that controls an imaging device including an amplification unit that amplifies the adjusted pixel signal by applying a gain; A program for causing a black level corresponding to the gain to function as an addition unit that adds the pixel level multiplied by the gain by the amplification unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本技術は、黒沈みしない安定した画像を撮像できるようにする撮像装置、および撮像方法、並びにプログラムに関する。 有効画素とOB（Optical Black）画素とを含むイメージセンサが設けられており、OB画素の画素値の分布に基づいて、クランプ値を設定し、有効画素の画素信号を、設定されたクランプ値で調整し、調整した画素信号にゲインを掛けて増幅し、ゲインに応じた黒レベルを、ゲインを掛けた画素信号に加算するようにした。これにより半波整流の発生が抑制されて黒レベルの平均値の上昇を抑制できるので、黒沈みを抑制できる。本技術は、撮像装置に適用することができる。

Description

撮像装置、および撮像方法、並びにプログラム
　本技術は、撮像装置、および撮像方法、並びにプログラムに関し、特に、黒沈みしない安定した画像を撮像できるようにした撮像装置、および撮像方法、並びにプログラムに関する。
　CCD（Charge Coupled Device）等の固体撮像素子を使った画像処理では、画素部を遮光した画素（OB（Optical Black）画素）の画素値を黒レベルの基準として画像処理を行う。この黒レベルの生成では、OB画素の画素値を積分し、DAC（Digital Analog Converter）を介してCDS（Correlated Double Sampling）にフィードバックすることで、黒レベルをクランプしている。
　ところが、固体撮像素子の出力は、ノイズを含んでおり、イメージセンサの動作条件によってその量は異なる。ノイズには、ランダムノイズやシェーディング等の固定パターンノイズなどがある。
　そこで、OB画素が水平方向にシェーディングをしているときに、垂直方向のOB画素の水平方向に基準点をとって、シェーディングに合わせた基準点と比較することで黒沈みを防ぐようにする技術が提案されている（特許文献１参照）。
特開２００５－３４７９５６号公報
　しかしながら、上述したようなクランプループでは、ゲインによりノイズが増幅されることでOB画素の画素値の一部が半端整流となり、正しくAD（Analog/Digital）変換できず、OB画素値の平均値が実際より大きく出てしまう。
　通常、OB画素の画素値の平均値を使って黒レベルを設定するが、ゲインアンプによりノイズが増幅されることで平均値が実際の黒レベルより大きくなることで黒沈みが発生してしまう。また、画像処理部（ISP）でもOB画素の画素値の情報をもとに黒レベルを合わせるが、OB画素の画素値の平均値を使用すると、ゲインアンプによりノイズが増幅されて、より大きな値になるため、実際の黒レベル以上に高い値が黒レベルとして引かれてしまい、黒が沈んだ画になってしまう。
　本技術は、このような状況に鑑みてなされたものであり、特に、黒沈みしない安定した画像を撮像できるようにするものである。
　本技術の一側面の情報処理装置は、有効画素とOB（Optical Black）画素とを含むイメージセンサと、前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と、前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、前記調整された画素信号にゲインを掛けて増幅する増幅部と、前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部とを含む撮像装置である。
　前記増幅部のゲインに応じた黒レベルは、前記増幅部が、前記OB画素の画素信号に掛けるゲインに対して、前記ゲインを掛ける前に設定された前記OB画素の画素信号の平均値と、前記ゲインが掛けられた後の前記OB画素の画素信号の黒レベルの平均値が上昇しない最大の黒レベルとすることができる。
　前記増幅部のゲインを読み取り、前記ゲインに対応する黒レベルを前記加算部に供給する制御部をさらに含ませるようにすることができ、前記加算部には、前記制御部より供給される黒レベルを前記増幅部によりゲインを掛けて増幅された画素信号に加算させるようにすることができる。
　前記制御部には、前記クランプ部を制御して、前記クランプ値を変えることで、前記増幅部前段の前記黒レベルを変化させながら、前記増幅部のゲインを変化させて、前記増幅部前段の黒レベルよりも、前記増幅部の後段の黒レベルが上昇するゲインを、前記増幅部前段の前記黒レベル毎に求め、前記増幅部の後段の黒レベルが上昇するゲインに対する、前記増幅部前段の前記黒レベルの分布より求められる制御曲線を求めて記憶するキャリブレーション処理を実行するキャリブレーション部を含ませるようにすることができ、前記キャリブレーション部に記憶された制御曲線を用いて、前記ゲインに応じた黒レベルを求め、求めた前記黒レベルを前記加算部に供給して、前記増幅部によりゲインが掛けられた前記有効画素の画素信号に加算させるようにすることができる。
　前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記黒レベルを減算する減算部をさらに含ませるようにすることができる。
　前記制御部には、前記加算部に供給する、前記ゲインに応じた前記黒レベルを、前記減算部にも供給させるようにすることができる。
　前記ゲインに応じたOB画素の画素値の平均値を算出するOB画素平均値算出部をさらに含ませるようにすることができ、前記減算部には、前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記ゲインに応じたOB画素の画素値の平均値を、前記黒レベルとして減算させるようにすることができる。
　前記増幅部が複数のゲインに切り替えて複数の画像を撮像し、合成する場合、前記クランプ部は、前記複数のゲインのそれぞれについて、前記OB画素の画素値の分布に基づいて、クランプ値を設定し、前記複数のゲインのそれぞれの条件で撮像された画像を、それぞれのゲイン比で合成する合成部をさらに含ませるようにすることができる。
　前記増幅部が複数のゲインに切り替えて複数の画像を撮像し、合成する場合、前記クランプ部は、前記複数のゲインのそれぞれの条件でのみ、前記OB画素の画素値の分布に基づいて、前記クランプ値を設定する複数のクランプ部より構成されるようにしてもよい。
　本技術の一側面の撮像方法は、有効画素とOB（Optical Black）画素とを含むイメージセンサを含む撮像装置の撮像方法であって、前記OB画素の画素値の分布に基づいて、クランプ値を設定し、前記有効画素の画素信号を、設定されたクランプ値で調整し、前記調整された画素信号にゲインを掛けて増幅し、前記ゲインに応じた黒レベルを、前記ゲインが掛けられた画素信号に加算するステップを含む撮像方法である。
　本技術の一側面のプログラムは、有効画素とOB（Optical Black）画素とを含むイメージセンサと、前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と、前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、前記調整された画素信号にゲインを掛けて増幅する増幅部とを含む撮像装置を制御するコンピュータを、前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部として機能させるプログラムである。
　本技術の一側面においては、有効画素とOB（Optical Black）画素とを含むイメージセンサが設けられ、前記OB画素の画素値の分布に基づいて、クランプ値が設定され、前記有効画素の画素信号が、前記クランプ部により設定されたクランプ値で調整され、前記調整された画素信号にゲインが掛けられて増幅され、前記ゲインに応じた黒レベルが、ゲインが掛けられた画素信号に加算される。
　本技術の一側面の撮像装置は、それぞれ独立した装置であっても良いし、撮像装置として機能するブロックであっても良い。
　本技術の一側面によれば、黒沈みしない安定した画像を撮像することが可能となる。
一般的な撮像装置の構成例を説明する図である。 OBクランプによる黒沈みが生じる原因を説明する図である。 本技術を適用した撮像装置の概要を説明する図である。 本技術を適用した撮像装置の第１の実施の形態の構成例を説明する図である。 PGAのゲインに対する適切な黒レベルを説明する図である。 OBクランプにより黒レベルを調整してもゲインの上昇に伴って黒レベルが上昇することを説明する図である。 黒レベルの設定値毎にゲインを上昇させるときの黒レベルの変化を説明する図である。 キャラブレーション処理を説明するフローチャートである。 図４の撮像装置における撮像処理を説明するフローチャートである。 本技術を適用した撮像装置の第２の実施の形態の構成例を説明する図である。 図１０の撮像装置における撮像処理を説明するフローチャートである。 第２の実施の形態における変形例を説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。
　＜一般的な撮像装置の構成例＞
　本技術の撮像装置を説明するにあたって、まず、一般的な撮像装置の構成例について説明する。
　図１の撮像装置１１は、イメージセンサ３１、CDS（Correlated Double Sampling）３２、PGA（Programming Gain Amplifier）３３、ADC（Analog/Digital Converter）３４、ISP（Image Signal Processor）３５、OB（Optical Black）クランプ部３６、およびDAC（Digital/Analog Converter）３７を備えている。
　イメージセンサ３１は、CMOS（Complementary Metal Oxide Semiconductor）などの２次元平面に設けられた複数の画素単位のセンサであり、画素単位で入射光に応じた画像信号を生成し、CDS３２に出力する。イメージセンサ３１は、画像信号として使用する領域の通常画素と、遮光領域の画素からなるOB（Optical Black）画素とが設けられており、画像信号を出力する場合、通常画素からの画素信号を出力し、黒レベルを調整する場合、OB画素の画素信号を出力する。
　CDS（Correlated Double Sampling）３２は、相関二重サンプリングにより、イメージセンサ３１の信号電荷が流入する前後の電圧レベルの差を信号として検出することで、熱雑音ノイズを低減した画素信号をPGA３３に出力する。この際、DAC３７を介してOBクランプ部３６より供給されてくるOB画素の画素値の平均値からなる黒レベル分の画素信号を減算した画素信号をPGA３３に出力する。
　PGA（Programming Gain Amplifier）３３は、CDS３２より供給されてくる画素信号にゲインを掛けて増幅しADC３４に出力する。
　ADC（Analog/Digital Converter）３４は、アナログ信号をデジタル信号に変換し、ISP３５、およびOBクランプ３６に出力する。
　ISP（Image Signal Processor）３５は、通常画素からの画素信号が出力されるとき、図示せぬレンズなど光学系の補正処理や、イメージセンサ３１の各画素のばらつきなどから生じる傷補正など、画素単位での信号処理を施して出力する。
　OB（Optical Black）クランプ部３６は、OB画素からの画素信号が出力されるとき、図２の左部で示されるように、黒レベル（黒データ）の画素信号の分布を求め、その分布中心Ｃ１として求める。さらに、OBクランプ部３６は、図２の中央部で示されるように、黒データの画素信号の分布が信号レベルの最小値と一致するように、すなわち、黒レベルの画素信号の分布中心Ｃ１から分布中心Ｃ２へとクランプして（OBクランプして）DAC３７に出力する。
　DAC（Digital/Analog Converter）３７は、デジタル信号をアナログ信号に変換して、CDS３２に適切に調整された黒レベルの画素信号を供給する。
　この結果、CDS３２は、DAC３７を介してOBクランプされることで、適切に設定された黒レベルを利用してイメージセンサ３１からの画素信号をオフセットした状態で出力する。これにより、イメージセンサ３１における各画素の熱雑音ノイズによる黒レベルのずれが補正される。
　しかしながら、上述したOBクランプにより黒レベルがオフセットされた状態で画素信号がCDS３２から出力されると、PGA３３でゲインが掛けられることにより、黒レベルの信号のノイズも増幅されることにより、図２の右部で示されるような分布となって出力される。図２の右部における範囲Ｚ２で示される領域の信号については、半波整流となり適切にAD変換することができない信号となるため、黒レベルの信号分布の分布平均は、範囲Ｚ２で示される信号が除去されることにより、ゲインが全体として上昇し、範囲Ｚ１で示されるように、本来の分布平均Ｃ２から分布平均Ｃ３へと変化する。この結果、適切に黒レベルが調整できない。
　＜本技術の撮像装置の概要＞
　そこで、本技術を適用した撮像装置においては、PGA３３によりゲインが掛けられた後、黒レベルの信号分布の全範囲が出力できるように、OBクランプ部３６によるOBクランプのレベルを、例えば、図３の中央部で示されるように、分布中心Ｃ２よりも高い分布中心Ｃ１１となるように調整する。このようにすることで、図３の右部で示されるように、PGA３３によりゲインが掛けられた後、黒レベルの信号分布の全範囲が出力されるようにすることができる。この結果、図３の右部で示されるように、信号分布の中心は、分布中心Ｃ１２となり、分布中心Ｃ１１とほぼ同一にすることができる。尚、図３の左部は、図２の左部と同一のものである。
　この後、デジタル信号に変換された後、OBクランプを調整して、分布中心Ｃ１１とＣ２との差分となるレベルを減算することで、PGA３３によるゲインが掛けられることで上昇する分布中心の変動を避けつつ、適切に黒レベルを補正することが可能となる。
　＜第１の実施の形態＞
　次に、図４を参照して、本技術を適用した撮像装置の第１の実施の形態の構成例について説明する。
　図４の撮像装置５１は、イメージセンサ７１、CDS（Correlated Double Sampling）７２、PGA（Programming Gain Amplifier）７３、加算器７４、ADC（Analog/Digital Converter）７５、ISP（Image Signal Processor）７６、制御部７７、OB（Optical Black）クランプ部７８、DAC（Digital/Analog Converter）７９、および積分回路８０を備えている。
　イメージセンサ７１、CDS７２、PGA７３、ADC（Analog/Digital Converter）７５、OB（Optical Black）クランプ部７８、およびDAC（Digital/Analog Converter）７９については、図１における撮像装置１１におけるイメージセンサ３１、CDS３２、PGA３３、ADC（Analog/Digital Converter）３４、OB（Optical Black）クランプ部３６、およびDAC（Digital/Analog Converter）３７と同一の機能を備えたものであるので、その説明は省略するものとする。
　制御部７７は、撮像装置５１の動作の全体を制御する。また、制御部７７は、キャリブレーション部７７ａを備えており、PGA７３のゲインに応じて、黒レベルを調整するため、起動時などにPGA７３のゲインに応じた適正な黒レベルをキャリブレーションにより求めさせ、制御曲線として記憶させる。
　より詳細には、上述した図２の中央部で示されるように、OBクランプにより設定される黒レベルの分布中心Ｃ２に対して、PGA７３でゲインが掛けられることによりノイズも増幅されることで黒レベルの分布が広がって、範囲Ｚ２で示される部分において半波整流が生じることで、範囲Ｚ１で示されるように、黒レベルの分布が上昇して、その中心も分布中心Ｃ３へと上昇する。
　この上昇のレベルは、PGA７３のゲインの大きさに応じたものであるので、例えば、黒レベルは、図５で示されるように、PGA７３のゲインに対して影響がない範囲（PGAゲインのレベルがＧ１よりも小さい範囲）においては、デフォルトの黒レベルとして、PGAゲインがＧ１以降においては、ゲインに比例して黒レベルを上昇するように設定する。ただし、熱雑音ノイズの量によっては、ゲインがある値以上になると黒レベル設定値を上げても半波整流が発生してしまうので、例えば、図５で示されるように、ADC７５のレンジに対して、その50%程度となる、ゲインがＧ２となる黒レベルを上限に設定する。
　ここで、黒レベルは、設定された値に応じて、PGA７３のゲインによる影響の受け方が変化する。すなわち、黒レベルは、図６で示されるように、ある程度のゲインに変化があっても、図中のゲインＧ１１に至るまでのゲインでは、黒レベルの上昇がみられず、所定のゲインＧ１１以降において、半波整流が発生し、黒レベルが上昇する。
　このゲインＧ１１は、設定された黒レベルに応じて変化する。すなわち、図７で示されるように、黒レベルの設定値が２５６である場合、範囲Ｚ１１で示されるようにゲインが30dB程度で上昇し始める。また、黒レベルの設定値が５１２である場合、範囲Ｚ１２で示されるようにゲインが34dB程度で上昇し始める。さらに、黒レベルの設定値が1200である場合、範囲Ｚ１３で示されるようにゲインが41dB程度で上昇し始める。
　このことから、キャリブレーションにおいては、黒レベル設定値毎に、徐々にゲインを上昇させ、黒レベルが上昇し始めるゲインをプロットすることにより、図５で示されるようなPGA７３のゲインに対する適正な黒レベルを示す制御曲線を設定することができる。尚、図５乃至図７においては、横軸がPGA７３のゲインであり、縦軸は、OBクランプ部７８により設定される黒レベルを示している。ただし、図７においては、図５，図６とは異なるスケールが設けられている。
　制御部７７は、キャリブレーション部７７ａに記憶されているキャリブレーションにより求められた制御曲線の情報を利用して、PGA７３のゲインに応じた適正な黒レベルを読み出し、加算器７４を制御して、PGA７３の出力値にアナログ値の適正な黒レベルを加算させる。また、制御部７７は、ISP７６に設けられている減算器７６ａを制御して、加算器７４に加算させた適正な黒レベルのアナログ値に相当するデジタル値を、ADC７５より出力される信号から減算させる。さらに、制御部７７は、OP画素の画素信号がイメージセンサ７１より出力されるとき、ISP７６、およびOBクランプ部７８にOB画素選択パルスを供給する。このOB画素選択パルスにより、ISP７６、およびOBクランプ部７８は、現在処理されている画素信号がOB画素であることを認識することができ、それ以外のとき有効画素による画素信号であることを認識することができる。
　積分回路８０は、DAC７９を介してアナログ信号に変換されたOBクランプ部７８より出力されるクランプ値を設定する画素信号を積分して、CDS７２に出力する。
　＜キャリブレーション処理＞
　次に、図８のフローチャートを参照して、キャリブレーション処理について説明する。ここでは、OB画素からの画素信号のみがイメージセンサ７１より供給されてくるものとし、制御部７７からは、OB画素選択パルスが出力されているものとする。
　ステップＳ１１において、制御部７７のキャリブレーション部７７ａは、OBクランプ部７８を制御して、設定する黒レベルを最小値に設定させると共に、PGA７３を制御して、ゲインを最小値に設定させる。
　ステップＳ１２において、キャリブレーション部７７ａは、ISP７６を制御して、OB画素の画素値の平均値を計算させる。
　ステップＳ１３において、キャリブレーション部７７ａは、OB画素の画素値の平均値が、黒レベル設定値よりも僅かに大きな値（黒レベル設定値＋ε）より大きいか否かを判定し、大きくない場合、処理は、ステップＳ１５に進む。
　ステップＳ１５において、キャリブレーション部７７ａは、PGA７３のゲインが最大値であるか否かを判定し、最大値ではない場合、処理は、ステップＳ１６に進む。
　ステップＳ１６において、キャリブレーション部７７ａは、PGA７３のゲインを所定値だけ上げて、処理は、ステップＳ１２に戻る。すなわち、ステップＳ１３において、OB画素の画素値の平均値が、黒レベル設定値よりも僅かに大きな値（黒レベル設定値＋ε）よりも大きいと判定されるまで、ステップＳ１２，Ｓ１３，Ｓ１５，Ｓ１６の処理が繰り返される。そして、ステップＳ１３において、OB画素の画素値の平均値が、黒レベル設定値よりも僅かに大きな値（黒レベル設定値＋ε）よりも大きいと判定された場合、処理は、ステップＳ１４に進む。
　ステップＳ１４において、キャリブレーション部７７ａは、OB画素の画素値の平均値とPGA７３のゲインとを対応付けて記憶し、処理は、ステップＳ１５に進む。
　すなわち、ステップＳ１２乃至Ｓ１６の処理が繰り返されることにより、このときの黒レベル設定値に対する、PGA７３のゲインと、OB画素の画素値の平均値との変化が記録されていくことになる。そして、ステップＳ１５において、PGA７３のゲインが最大値であると判定された場合、処理は、ステップＳ１７に進む。
　ステップＳ１７において、キャリブレーション部７７ａは、PGA７３のゲインを最小値に設定する。
　ステップＳ１８において、キャリブレーション部７７ａは、黒レベル設定値が最大値であるか否かを判定し、最大値ではないと判定された場合、処理は、ステップＳ１９に進む。
　ステップＳ１９において、キャリブレーション部７７ａは、OBクランプ部７８を制御して、黒レベル設定値を所定値だけ上げて、処理は、ステップＳ１２に進み、以降の処理が繰り返される。
　すなわち、この黒レベル設定値でステップＳ１２乃至Ｓ１６の処理が繰り返されることにより、黒レベル設定値毎のPGA７３のゲインの変化に対するOB画素の画素値の平均値が求められる。
　そして、ステップＳ１２乃至Ｓ１９の処理が繰り返されることにより、各黒レベル設定値において、PGA７３のゲインの上昇に伴って、増加するOB画素の画素値の平均値との関係が求められる。
　そして、ステップＳ１８において、黒レベル設定値が最大値になったと判定された場合、処理は、ステップＳ２０に進む。
　ステップＳ２０において、キャリブレーション部７７ａは、黒レベル設定値毎のPGA７３のゲインの変化に対する、OB画素の画素値の平均値の変曲点を算出する。すなわち、図７における範囲Ｚ１１乃至Ｚ１３で示されるような、各黒レベル設定値における、PGA７３ゲインに対するOB画素の画素値の平均値の変曲点が求められることになる。
　ステップＳ２１において、キャリブレーション部７７ａは、求められた変曲点を用いて制御曲線を算出する。
　ステップＳ２２において、キャリブレーション部７７ａは、求められた制御曲線を記憶する。
　すなわち、図７における範囲Ｚ１１乃至Ｚ１３で示されるような変曲点から、図５で示されるような制御曲線が求められて、キャリブレーション部７７ａに記憶される。
　この制御曲線で示されるPGA７３のゲインに応じた黒レベルは、PGA７３が、OB画素の画素信号に掛けるゲインに対して、ゲインを掛ける前に設定されたOB画素の画素信号の平均値と、ゲインが掛けられた後のOB画素の画素信号の黒レベルの平均値が変化しない最大の黒レベルを示したものであるともいえる。このように求められた制御曲線を利用することで、PGA７３を掛けても黒レベルが変化しない適切な黒レベルを設定することが可能となる。
　＜撮像処理＞
　次に、図９のフローチャートを参照して、撮像処理について説明する。尚、ここでは、イメージセンサ７１における有効画素により撮像された画像信号が供給されてきたときの処理について説明する。また、OB画素の全画素の分布とその平均値となる分布中心については所定の時間間隔で求められているものとし、OBクランプ部７８のクランプ値は、この分布中心に設定されているものとする。
　ステップＳ５１において、イメージセンサ７１は、未処理の画素を処理対象画素に設定する。
　ステップＳ５２において、イメージセンサ７１は、処理対象画素の画素値を取得し、CDS７２に出力する。
　ステップＳ５３において、OBクランプ部７８は、所定のクランプ値でOBクランプを掛ける。すなわち、図２の左部および中央部で示されるように、OBクランプ部７８は、予め求められている分布中心Ｃ１を分布中心Ｃ２となるように黒レベルのデフォルト値となる画素信号を出力する。
　ステップＳ５４において、DAC７９は、OBクランプ部７８からの信号をアナログ信号に変換して出力する。
　ステップＳ５５において、積分回路８０は、DAC７９より供給されてきた信号を積分してCDS７２、および制御部７７に出力する。
　ステップＳ５６において、CDS７２は、処理対象画素についてCDSを掛けた後、積分回路８０からのデフォルトの黒レベルが設定された信号を用いて、画素レベルを調整して画素信号を出力する。
　ステップＳ５７において、PGA７３は、CDS７２より供給されてくる処理対象画素の画素信号にゲインを掛けて加算器７４に出力する。
　ステップＳ５８において、制御部７７は、キャリブレーション部７７ａに記憶されている制御曲線を利用して、PGA７３のゲインに対応する適正な黒レベルを求める。
　ステップＳ５９において、制御部７７は、加算部７４を制御して、画素信号に対してアナログ値の適正な黒レベルを加算させて、ADC７５に出力する。この処理により、黒レベルの分布は、図２の中央部で示される分布中心Ｃ２の状態から、図３の中央部で示される分布中心Ｃ１１の状態にされる。したがって、この時点で画素信号は、ADC７５において半波整流を起こすことなく、適切にデジタル信号に変換できる状態となる。
　ステップＳ６０において、ADC７５は、加算部７４より供給されてきた画素信号をデジタル信号に変換し、ISP７６に出力する。
　ステップＳ６１において、制御部７７は、ISP７６内の減算部７６ａを制御して、適正な黒レベルをデジタル化し、デジタル信号に変換された画素信号から、デジタル化された適正な黒レベルを減算する。この時点で、OBクランプ部７８により設定されたクランプ値に相当する黒レベルに戻される。
　ステップＳ６２において、ISP７６は、画素信号を信号処理して出力する。
　ステップＳ６３において、イメージセンサ７１は、未処理の画素がないか判定し、未処理の画素がある場合、処理は、ステップＳ５１に戻る。すなわち、未処理の画素がなくなるまで、ステップＳ５１乃至Ｓ６３の処理が繰り返される。そして、ステップＳ６３において、未処理の画素がないと判定された場合、処理が終了する。
　以上の処理により、PGA７３によりゲインが掛けられた後、適切な黒レベルに調整されて、ADC７５においてデジタル信号に変換されるため、半波整流によりデジタル信号に変換できないといったことが防止され、黒沈みしない安定した画像を撮像することが可能となる。
　＜第２の実施の形態＞
　以上においては、単一露光における構成について説明してきたが、WD（Wide Dynamic Range）センサを使用する場合、露光条件に応じたゲインで撮像される複数の画像の枚数に合わせてクランプループを増やす、または、クランプループをトグルさせて制御させるようにしてもよい。
　図１０は、露光条件が２種類であり、それぞれの露光条件のゲインに応じた２系統のクランプループを設けるようにした撮像装置５１の構成例を示している。尚、図１０の撮像装置５１の各構成において、図４における撮像装置５１の各構成と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。
　すなわち、図１０の撮像装置５１においては、図４の撮像装置５１におけるクランプループを構成する加算器７４、減算器７６ａ、OBクランプ部７８、および積分回路８０が、それぞれ２個ずつ設けられている。尚、図１０においては、２個の構成を区別するため、「－」を付して１または２を付した符号としている。すなわち、加算器７４－１，７４－２、減算器７６ａ－１，７６ａ－２、OBクランプ部７８－１，７８－２、および積分回路８０－１，８０－２とされている。ここで、「－１」が付された構成は、第１のゲインに対応する第１のクランプ値のとき使用される構成であり、「－２」が付された構成は、第２のゲインに対応する第２のクランプ値のとき使用される構成である。
　また、図１０の撮像装置５１においては、加算器７４－１，７４－２、減算器７６ａ－１，７６ａ－２、OBクランプ部７８－１，７８－２、および積分回路８０－１，８０－２のクランプループを切り替えるためのスイッチ９１－１乃至９１－５が設けられている。
　スイッチ９１－１乃至９１－５は、端子９１ａ－１乃至９１ａ－５，９１ｂ－１乃至９１ｂ－５が設けられている。スイッチ９１－１乃至９１－５は、制御部７７により制御されて、第１のゲインに応じた第１のクランプ値に対しては、スイッチ９１－１乃至９１－５が、いずれもスイッチ９１ａ－１乃至９１ａ－５に接続される。また、スイッチ９１－１乃至９１－５は、制御部７７により制御されて、第２のゲインに応じた第２のクランプ値に対しては、スイッチ９１－１乃至９１－５が、いずれもスイッチ９１ｂ－１乃至９１ｂ－５に接続される。
　また、ISP７６は、さらに、合成部７６ｂを備えており、第１のゲインの画像と、第２のゲインの画像とを、PGA７３におけるそれぞれのゲイン比で合成する。
　＜図１０の撮像装置による撮像処理＞
　次に、図１１のフローチャートを参照して、図１０の撮像装置５１による撮像処理について説明する。
　ステップＳ９１において、制御部７７は、第１のゲインに応じた第１のクランプ値でのクランプループを構成するため、スイッチ９１－１乃至９１－５をそれぞれ端子９１ａ－１乃至９１ａ－５に接続する。
　ステップＳ９２において、制御部７７は、第１のゲインに応じた第１のクランプ値による撮像処理を実行する。尚、撮像処理については、図９のフローチャートを参照して説明した処理と同一であるので、その説明は省略するものとする。
　ステップＳ９３において、制御部７７は、第２のゲインに応じた第２のクランプ値でのクランプループを構成するため、スイッチ９１－１乃至９１－５をそれぞれ端子９１ｂ－１乃至９１ｂ－５に接続する。
　ステップＳ９４において、制御部７７は、第２のゲインに応じた第２のクランプ値による撮像処理を実行する。尚、撮像処理については、図９のフローチャートを参照して説明した処理と同一であるので、その説明は省略するものとする。
　ステップＳ９５において、ISP７６の合成部７６ｂは、PGA７３のゲインに基づいて、第１のクランプ値で撮像された画像と、第２のクランプ値で撮像された画像とをゲイン比で合成する。
　ステップＳ９６において、合成部７６ｂは、合成した画像を出力する。
　以上の処理により、露光の異なる複数の画像を合成する処理において、前段で個々にそれぞれのゲインを掛けても黒のレベルをずれないようにすることが可能となる。また、黒沈みを防止する際、黒レベルを上昇させることで、黒沈みが防止可能となるが、ダイナミックレンジが小さくなる。しかしながら、上述したように、露光の異なる複数の画像を撮像することで、ダイナミックレンジを確保しつつ、黒沈みを低減させることが可能となる。さらに、以上においては、２種類の露光で２枚の画像を撮像して合成する例について説明してきたが、さらに、大きなダイナミックレンジの画像に対応する場合、より多くの種類の露光からなる３枚以上の画像を撮像して合成するようにしてもよい。
　＜変形例＞
　以上においては、黒レベルを減算した後の画像をゲイン比で合成する例について説明してきたが、例えば、それぞれのゲインの画像より、それぞれのゲインにおけるOB画素値の平均値を減算して、ゲイン比で合成するようにしてもよい。
　すなわち、図１２で示されるように、ISP７６には、第１のゲインに対応するOB画素値平均算出部１０１－１および減算器１０２－１、並びに、第２のゲインに対応するOB画素値平均算出部１０１－２および減算器１０２－２が設けられており、それぞれの画像を合成する合成部１０３が設けられている。
　OB画素値平均算出部１０１－１は、第１のゲインのクランプループにおけるOB画素の画素値の平均値を算出し、減算器１０２－１に供給する。減算器１０２－１は、第１のゲインにおけるクランプループで撮像された画像の各画素より、OB画素値平均算出部１０１－１より供給されてきたOB画素の画素値の平均値を減算し、合成部１０３に出力する。
　OB画素値平均算出部１０１－２は、第２のゲインのクランプループにおけるOB画素の画素値の平均値を算出し、減算器１０２－２に供給する。減算器１０２－２は、第２のゲインにおけるクランプループで撮像された画像の各画素より、OB画素値平均算出部１０１－２より供給されてきたOB画素の画素値の平均値を減算し、合成部１０３に出力する。
　合成部１０３は、第１のゲインのクランプループで撮像された画像と、第２のゲインのクランプループで撮像された画像とをゲイン比で合成して出力する。
　この処理により、第１のゲインがゲイン高であり、第２のゲインがゲイン低である場合、ゲイン高における有効データのうち、範囲Ｚ３１で示されるように、飽和してしまうことでデータとして切れてしまう部分を無くすことが可能となる。
　尚、図１２の例においては、第２のゲインであるゲイン低の画像については、ゲインが大きくないので、範囲Ｚ３２において、半波整流の発生がないので、黒レベルの調整はなされていない。
　さらに、以上においては、アナログクランプとアナログゲインにおいて黒レベルを調整する例について説明してきたが、ADC後のデジタルデータでクランプすることでも同様の効果を奏することが可能となる。ただし、ゲインによるノイズの増幅分を踏まえてADCの解像度を上げておくことが望ましい。
　＜ソフトウェアにより実行させる例＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
　図１３は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本技術は、以下のような構成も取ることができる。
（１）　有効画素とOB（Optical Black）画素とを含むイメージセンサと、
　前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と、
　前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、
　前記調整された画素信号にゲインを掛けて増幅する増幅部と、
　前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部と
　を含む撮像装置。
（２）　前記増幅部のゲインに応じた黒レベルは、前記増幅部が、前記OB画素の画素信号に掛けるゲインに対して、前記ゲインを掛ける前に設定された前記OB画素の画素信号の平均値と、前記ゲインが掛けられた後の前記OB画素の画素信号の黒レベルの平均値が上昇しない最大の黒レベルである
　（１）に記載の撮像装置。
（３）　前記増幅部のゲインを読み取り、前記ゲインに対応する黒レベルを前記加算部に供給する制御部をさらに含み、
　前記加算部は、前記制御部より供給される黒レベルを前記増幅部によりゲインを掛けて増幅された画素信号に加算する
　（１）または（２）に記載の撮像装置。
（４）　前記制御部は、
　　前記クランプ部を制御して、前記クランプ値を変えることで、前記増幅部前段の前記黒レベルを変化させながら、前記増幅部のゲインを変化させて、前記増幅部前段の黒レベルよりも、前記増幅部の後段の黒レベルが上昇するゲインを、前記増幅部前段の前記黒レベル毎に求め、前記増幅部の後段の黒レベルが上昇するゲインに対する、前記増幅部前段の前記黒レベルの分布より求められる制御曲線を求めて記憶するキャリブレーション処理を実行するキャリブレーション部を含み、
　　前記キャリブレーション部に記憶された制御曲線を用いて、前記ゲインに応じた黒レベルを求め、求めた前記黒レベルを前記加算部に供給して、前記増幅部によりゲインが掛けられた前記有効画素の画素信号に加算する
　（３）に記載の撮像装置。
（５）　前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記黒レベルを減算する減算部をさらに含む
　（３）に記載の撮像装置。
（６）　前記制御部は、前記加算部に供給する、前記ゲインに応じた前記黒レベルを、前記減算部にも供給する
　（５）に記載の撮像装置。
（７）　前記ゲインに応じたOB画素の画素値の平均値を算出するOB画素平均値算出部をさらに含み、
　前記減算部は、前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記ゲインに応じたOB画素の画素値の平均値を、前記黒レベルとして減算する
　（５）に記載の撮像装置。
（８）　前記増幅部が複数のゲインに切り替えて複数の画像を撮像し、合成する場合、
　前記クランプ部は、前記複数のゲインのそれぞれについて、前記OB画素の画素値の分布に基づいて、クランプ値を設定し、
　前記複数のゲインのそれぞれの条件で撮像された画像を、それぞれのゲイン比で合成する合成部をさらに含む
　（１）乃至（７）のいずれかに記載の撮像装置。
（９）　前記増幅部が複数のゲインに切り替えて複数の画像を撮像し、合成する場合、
　前記クランプ部は、前記複数のゲインのそれぞれの条件でのみ、前記OB画素の画素値の分布に基づいて、前記クランプ値を設定する複数のクランプ部より構成される
　（１）乃至（８）のいずれかに記載の撮像装置。
（１０）　有効画素とOB（Optical Black）画素とを含むイメージセンサを含む撮像装置の撮像方法であって、
　前記OB画素の画素値の分布に基づいて、クランプ値を設定し、
　前記有効画素の画素信号を、設定されたクランプ値で調整し、
　前記調整された画素信号にゲインを掛けて増幅し、
　前記ゲインに応じた黒レベルを、前記ゲインが掛けられた画素信号に加算する
　ステップを含む撮像方法。
（１１）　有効画素とOB（Optical Black）画素とを含むイメージセンサと、
　前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と
　前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、
　前記調整された画素信号にゲインを掛けて増幅する増幅部とを含む撮像装置を制御するコンピュータを、
　前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部として機能させるプログラム。
　１１　撮像装置，　３１　イメージセンサ，　３２　CDS，　３３　PGA，　３４　ADC，　３５　ISP，　３６　OBクランプ部，　３７　DAC，　５１　撮像装置，　７１　イメージセンサ，　７２　CDS，　７３　PGA，　７４　加算器，　７５　ADC，　７６　ISP，　７７　制御部，　７８，７８－１，７８－２　OBクランプ部，　７９　DAC，　８０，８０－１，８０－２　積分回路，　９１，９１－乃至９１－５　スイッチ，　９１ａ－１乃至９１ａ－５，９１ｂ－１乃至９１ｂ－５　端子，　１０１，１０１－１，１０１－２　OB画素値平均算出部，　１０２，１０２－１，１０２－２　減算器，　１０３　合成部

Claims (11)

  1. 　有効画素とOB（Optical Black）画素とを含むイメージセンサと、
    　前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と、
    　前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、
    　前記調整された画素信号にゲインを掛けて増幅する増幅部と、
    　前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部と
    　を含む撮像装置。
  2. 　前記増幅部のゲインに応じた黒レベルは、前記増幅部が、前記OB画素の画素信号に掛けるゲインに対して、前記ゲインを掛ける前に設定された前記OB画素の画素信号の平均値と、前記ゲインが掛けられた後の前記OB画素の画素信号の黒レベルの平均値が上昇しない最大の黒レベルである
    　請求項１に記載の撮像装置。
  3. 　前記増幅部のゲインを読み取り、前記ゲインに対応する黒レベルを前記加算部に供給する制御部をさらに含み、
    　前記加算部は、前記制御部より供給される黒レベルを前記増幅部によりゲインを掛けて増幅された画素信号に加算する
    　請求項１に記載の撮像装置。
  4. 　前記制御部は、
    　　前記クランプ部を制御して、前記クランプ値を変えることで、前記増幅部前段の前記黒レベルを変化させながら、前記増幅部のゲインを変化させて、前記増幅部前段の黒レベルよりも、前記増幅部の後段の黒レベルが上昇するゲインを、前記増幅部前段の前記黒レベル毎に求め、前記増幅部の後段の黒レベルが上昇するゲインに対する、前記増幅部前段の前記黒レベルの分布より求められる制御曲線を求めて記憶するキャリブレーション処理を実行するキャリブレーション部を含み、
    　　前記キャリブレーション部に記憶された制御曲線を用いて、前記ゲインに応じた黒レベルを求め、求めた前記黒レベルを前記加算部に供給して、前記増幅部によりゲインが掛けられた前記有効画素の画素信号に加算する
    　請求項３に記載の撮像装置。
  5. 　前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記黒レベルを減算する減算部をさらに含む
    　請求項３に記載の撮像装置。
  6. 　前記制御部は、前記加算部に供給する、前記ゲインに応じた前記黒レベルを、前記減算部にも供給する
    　請求項５に記載の撮像装置。
  7. 　前記ゲインに応じたOB画素の画素値の平均値を算出するOB画素平均値算出部をさらに含み、
    　前記減算部は、前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記ゲインに応じたOB画素の画素値の平均値を、前記黒レベルとして減算する
    　請求項５に記載の撮像装置。
  8. 　前記増幅部が複数のゲインに切り替えて撮像された画素信号より生成される複数の画像を合成する場合、
    　前記クランプ部は、前記複数のゲインのそれぞれについて、前記OB画素の画素値の分布に基づいて、クランプ値を設定し、
    　前記複数のゲインのそれぞれの条件で撮像された画素信号より生成される複数の画像を、それぞれのゲイン比で合成する合成部をさらに含む
    　請求項１に記載の撮像装置。
  9. 　前記増幅部が複数のゲインに切り替えて撮像された画素信号より生成される複数の画像を合成する場合、
    　前記クランプ部は、前記複数のゲインのそれぞれの条件でのみ、前記OB画素の画素値の分布に基づいて、前記クランプ値を設定する複数のクランプ部より構成される
    　請求項１に記載の撮像装置。
  10. 　有効画素とOB（Optical Black）画素とを含むイメージセンサを含む撮像装置の撮像方法であって、
    　前記OB画素の画素値の分布に基づいて、クランプ値を設定し、
    　前記有効画素の画素信号を、設定されたクランプ値で調整し、
    　前記調整された画素信号にゲインを掛けて増幅し、
    　前記ゲインに応じた黒レベルを、前記ゲインが掛けられた画素信号に加算する
    　ステップを含む撮像方法。
  11. 　有効画素とOB（Optical Black）画素とを含むイメージセンサと、
    　前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と
    　前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、
    　前記調整された画素信号にゲインを掛けて増幅する増幅部とを含む撮像装置を制御するコンピュータを、
    　前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部として機能させるプログラム。
PCT/JP2016/064832 2015-06-01 2016-05-19 撮像装置、および撮像方法、並びにプログラム WO2016194622A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-111293 2015-06-01
JP2015111293A JP2016225867A (ja) 2015-06-01 2015-06-01 撮像装置、および撮像方法、並びにプログラム

Publications (1)

Publication Number Publication Date
WO2016194622A1 true WO2016194622A1 (ja) 2016-12-08

Family

ID=57440565

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/064832 WO2016194622A1 (ja) 2015-06-01 2016-05-19 撮像装置、および撮像方法、並びにプログラム

Country Status (2)

Country Link
JP (1) JP2016225867A (ja)
WO (1) WO2016194622A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021143480A1 (en) * 2020-01-15 2021-07-22 Shenzhen GOODIX Technology Co., Ltd. Pixel-wise gain-adjusted digital conversion for digital image sensors
WO2022137790A1 (ja) * 2020-12-23 2022-06-30 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、センシング装置、および、固体撮像素子の制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005101985A (ja) * 2003-09-25 2005-04-14 Sony Corp 固体撮像装置および画像入力装置
JP2011009834A (ja) * 2009-06-23 2011-01-13 Fujifilm Corp 撮像装置及び撮像方法
JP2013030832A (ja) * 2011-07-26 2013-02-07 Toshiba Corp 黒レベル調整制御装置および固体撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005101985A (ja) * 2003-09-25 2005-04-14 Sony Corp 固体撮像装置および画像入力装置
JP2011009834A (ja) * 2009-06-23 2011-01-13 Fujifilm Corp 撮像装置及び撮像方法
JP2013030832A (ja) * 2011-07-26 2013-02-07 Toshiba Corp 黒レベル調整制御装置および固体撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021143480A1 (en) * 2020-01-15 2021-07-22 Shenzhen GOODIX Technology Co., Ltd. Pixel-wise gain-adjusted digital conversion for digital image sensors
US11172157B2 (en) 2020-01-15 2021-11-09 Shenzhen GOODIX Technology Co., Ltd. Pixel-wise gain-adjusted digital conversion for digital image sensors
CN114342356A (zh) * 2020-01-15 2022-04-12 深圳市汇顶科技股份有限公司 用于数字图像传感器的像素级增益调整的数字转换
CN114342356B (zh) * 2020-01-15 2023-04-18 深圳市汇顶科技股份有限公司 用于数字图像传感器的像素级增益调整的数字转换
WO2022137790A1 (ja) * 2020-12-23 2022-06-30 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、センシング装置、および、固体撮像素子の制御方法

Also Published As

Publication number Publication date
JP2016225867A (ja) 2016-12-28

Similar Documents

Publication Publication Date Title
JP4311181B2 (ja) 半導体装置の制御方法および信号処理方法並びに半導体装置および電子機器
US20140321766A1 (en) Image processing apparatus, image processing method, and program
US7750947B2 (en) Image sensor and method for controlling image brightness distribution therein
JP2007104107A (ja) 半導体集積装置及びイメージセンサの黒レベル補正方法
US7701494B2 (en) Image pickup device and noise reduction method thereof
US10397473B2 (en) Image processing apparatus having an image synthesis unit that generates synthesized image data depending on an object brightness, and related image-pickup apparatus
US11184565B2 (en) Image pickup apparatus and its control method
US10284796B2 (en) Image capture apparatus and control method thereof
US20100231749A1 (en) Image signal processing device having a dynamic range expansion function and image signal processing method
JP2008263547A (ja) 撮像装置
JP2010081511A (ja) 撮像装置、設定値変更方法およびプログラム
US11165978B2 (en) Imaging device, control method thereof, and imaging apparatus
WO2016194622A1 (ja) 撮像装置、および撮像方法、並びにプログラム
US20200195857A1 (en) Image capturing device and control method thereof and medium
JP5115602B2 (ja) 半導体装置およびその制御方法
US11496688B2 (en) Image capturing apparatus, control method of image capturing apparatus which determines charge accumulation time based on histogram of a pixel value for each area
US20110164146A1 (en) Adaptive Frame Rate Control System and Method for an Image Sensor
JP5115601B2 (ja) 半導体装置およびその制御方法
JP7055792B2 (ja) ハイダイナミックレンジ・デジタル二重サンプリング用のシステムおよび方法
JP2006345458A (ja) 撮像装置
JP2015109502A (ja) イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム
US7990437B2 (en) Color correction in CMOS image sensor
US20230386000A1 (en) Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium
JP2022175624A (ja) 撮像装置およびプログラム
JP2016096403A (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16803057

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16803057

Country of ref document: EP

Kind code of ref document: A1