WO2018037674A1 - 撮像装置及び異常画素検出補間方法及び撮像装置調整方法 - Google Patents

撮像装置及び異常画素検出補間方法及び撮像装置調整方法 Download PDF

Info

Publication number
WO2018037674A1
WO2018037674A1 PCT/JP2017/021624 JP2017021624W WO2018037674A1 WO 2018037674 A1 WO2018037674 A1 WO 2018037674A1 JP 2017021624 W JP2017021624 W JP 2017021624W WO 2018037674 A1 WO2018037674 A1 WO 2018037674A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
dark current
interpolation
imaging
white
Prior art date
Application number
PCT/JP2017/021624
Other languages
English (en)
French (fr)
Inventor
中村 和彦
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to JP2018535474A priority Critical patent/JP6730436B2/ja
Publication of WO2018037674A1 publication Critical patent/WO2018037674A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Definitions

  • the present invention relates to an imaging apparatus such as a television camera, and particularly relates to abnormal pixel detection and interpolation of an imaging element.
  • a conventional method for detecting pixel defects in a solid-state image sensor of a television camera is to compare multiple image signals obtained by spectrally separating imaging light at the same imaging position or near imaging positions for each spectral light and comparing the output video signals. Depending on the result, there is one that detects and interpolates whether or not a pixel defect has occurred in an image sensor that picks up one of the spectral lights (see Patent Document 1). See FIG. 11 of the entire configuration diagram of a conventional imaging device. FIG.
  • CMOS Complementary Metal Oxide Semiconductor
  • AFE Analog Front End
  • OB shading pixel signal
  • the image pickup device generally has a dark current that is about twice as the temperature rises by 6 ° C., and the dark current fluctuates in proportion to the exponential function of the image pickup device temperature. Therefore, the dark current of the imaging pixel (hereinafter referred to as a complete black scratch) whose sensitivity is abnormally low and the dark current is only about the leakage current among the pixel defects is reliably identified and detected. Is difficult. If the imaging element temperature has a large amount of dark current, it is relatively easy to distinguish an imaging pixel (hereinafter referred to as a white defect) having an abnormally large dark current among pixel defects from a dark current of a normal pixel.
  • a white defect an imaging pixel having an abnormally large dark current among pixel defects from a dark current of a normal pixel.
  • the dark current of an imaging pixel (hereinafter referred to as a complete black scratch) whose sensitivity is abnormally low and the dark current is only about the leakage current, and the dark current is about twice as high as the temperature rises by 6 ° C.
  • the objective is to interpolate a complete black defect during normal imaging by reliably identifying and detecting the dark current of a normal pixel that varies greatly in proportion to the function.
  • An image pickup apparatus includes an image pickup element (an image pickup element with a color separation optical system and three or more image pickup elements or an R, G1, G2, B Bayer array on-chip color filter or a monochrome), and ( Means for interpolating independently for each pixel of dark current larger than a first predetermined level of each red-green-blue primary color video signal or (monochrome) video signal using a signal level of surrounding pixels, and video signal processing And an image signal processing means for correcting a light-shielded pixel signal (hereinafter referred to as OB) for subtracting a representative value of the light-shielded pixel video signal from the effective pixel video signal.
  • OB light-shielded pixel signal
  • Means for detecting the dark current of the normal pixel (means for calculating the average value from the Nth to the N + Mth from the minimum value of the OB pixel) or the means for detecting the temperature of the image sensor (temperature) Sensor), and the accumulated time is inversely proportional to the dark current of a normal pixel corresponding to the detected image sensor temperature (which is approximately doubled by a 6 ° C. increase) (approximately 1 second to 16384 seconds), and light is accumulated.
  • a pixel of dark current smaller than a second predetermined level an imaging pixel whose sensitivity is abnormally low and the dark current is only about a leakage current (hereinafter referred to as a complete black defect)) before OB correction of video signal processing Means for detecting (identified as dark current of normal pixels), and means for interpolating independently using the signal level of the surrounding pixels for each pixel of a complete black defect having a dark current smaller than the second predetermined level at the time of photographing It is characterized by having.
  • an image sensor a means for detecting a dark current at the time of shading for each pixel of a video signal of the image sensor, and a signal level of surrounding pixels are independently used for each pixel having a dark current larger than a first predetermined level.
  • an image signal processing means for correcting a light-shielded pixel signal (hereinafter referred to as OB) for subtracting a representative value of the light-shielded pixel video signal from the effective pixel video signal by video signal processing.
  • Means for detecting dark current of normal pixels (means for calculating the Nth to N + Mth average values from the minimum value of the OB pixel) or means for detecting the temperature of the image sensor, and corresponding to the detected image sensor temperature Means for shading and accumulating the accumulation time in inverse proportion to the dark current of normal pixels; Means for distinguishing and detecting a pixel of dark current smaller than a second predetermined level (hereinafter referred to as a complete black defect) from the dark current of the normal pixel before OB correction of the video signal processing; Means for interpolating independently using the signal level of the surrounding pixels for each pixel of a complete black defect having a dark current smaller than a second predetermined level at the time of photographing.
  • a second predetermined level hereinafter referred to as a complete black defect
  • the image pickup apparatus is the above-described image pickup apparatus, which is about 15 times or more of a vertical scanning period (corresponding to the detected image pickup element temperature (approximately twice as high as 6 ° C.)).
  • the vertical scanning period is approximately 0.25 to 4096 seconds, or the vertical scanning period is approximately 60 times as long as the vertical scanning period is approximately 60 Hz with the accumulation time being inversely proportional to the dark current and approximately 15 to 245760 times the vertical scanning period.
  • Means for detecting pixel defects hereinafter referred to as white scratches
  • a light-shielding accumulation time of about 60 seconds (fixed time of about 1 second at about 60 Hz), and the detected image sensor temperature of about 2 at 6 ° C.
  • Means for interpolating white defect before OB correction by inversely proportional to the dark current of the normal pixel that doubles (approximately 1 second to 16384 seconds) and shading accumulation (removing the influence of random noise) Means for detecting a pixel having a dark current smaller than a second predetermined level after white dot interpolation (an imaging pixel having an abnormally low sensitivity (hereinafter referred to as a complete black scratch)) (identified as a dark current of a normal pixel) And means for independently interpolating using signal levels of surrounding pixels for each complete black defect at the time of photographing, and means for performing OB correction after complete black defect interpolation.
  • Means for detecting a pixel defect (hereinafter referred to as a white defect) having a dark current greater than or equal to a predetermined value in a predetermined shading accumulation time; Means for inversely proportionally accumulating the dark time of a normal pixel corresponding to the detected image sensor temperature and shading and accumulating the white defect before OB correction; Means for discriminating and detecting the complete black defect from the dark current of the normal pixel after white defect interpolation; Means for interpolating using the signal level of surrounding pixels independently for each complete black defect at the time of shooting; And a means for performing OB correction after complete black defect interpolation.
  • the white scratch reference level in accumulation of white scratch detection or the white scratch interpolation level in standard imaging and the determination level are switched, and the white scratch video signal timing (address) determination and standard are performed.
  • the white scratch interpolation determination at the time of imaging is performed by the same means.
  • an input signal (such as the surrounding pixel signal and imaging signal of the imaging signal, or the surrounding pixel signal and white defect interpolation signal of the white defect interpolation signal) is input.
  • white scratch interpolation By changing the control signal (such as the white scratch video signal timing (address) at the time of determination below the white scratch level or the complete black scratch video signal timing (address)), white scratch interpolation and It is characterized by having means for performing white scratch interpolation and complete black scratch interpolation in the same circuit by performing the complete black scratch interpolation twice.
  • control signal such as the white scratch video signal timing (address) at the time of determination below the white scratch level or the complete black scratch video signal timing (address)
  • white scratch interpolation and It is characterized by having means for performing white scratch interpolation and complete black scratch interpolation in the same circuit by performing the complete black scratch interpolation twice.
  • the adjustment method of the image pickup apparatus of the present invention includes a color separation optical system and three or more image pickup elements or an image pickup element with an on-chip color filter of R, G1, G2, B Bayer arrangement, and each red of the image pickup element.
  • the adjustment method of the image pickup apparatus includes a color separation optical system and three or more image pickup elements or R, G1, G2, and B Bayer array color filter image pickup elements, and red, green, and blue of each of the image pickup elements.
  • Means for detecting a dark current at the time of shading for each pixel of a primary color video signal means for interpolating independently using a signal level of surrounding pixels for each pixel having a dark current larger than a first predetermined level, and video signal processing
  • an image signal processing unit for correcting a light-shielded pixel signal (hereinafter referred to as OB) for subtracting a representative value of the light-shielded pixel video signal from the video signal of the effective pixel.
  • OB light-shielded pixel signal
  • a pixel having a dark current smaller than a second predetermined level (hereinafter, referred to as a complete black scratch) is identified and detected as a dark current of a normal pixel, Interpolation is performed using the signal levels of the surrounding pixels independently for each pixel of the complete black defect at the time of shooting.
  • a complete black defect an imaging pixel signal
  • the dark current is only about a leakage current
  • OB correction operates stably without being affected by white scratches and complete black scratches. The black of the video signal is stabilized, and the wide dynamic range of the TV camera becomes easy.
  • FIG. 1 is a block diagram illustrating an example of the overall configuration of an imaging apparatus according to the present invention (a CMOS image sensor integrated with an AFE; a light-shielded pixel signal (hereinafter referred to as a pixel value for subtracting a representative value of a light-shielded pixel video signal from an effective pixel video signal in video signal processing); , OB)), and a color imaging device using a three-plate imaging element of R, G, B.
  • It is a block diagram which shows another Example of the whole structure of the imaging device of this invention, and is a color imaging device using R, G1, G2, B 4 plate image sensors.
  • An image at the time of light-shielding an imaging pixel (hereinafter referred to as a white defect) having an abnormally large dark current and a normal pixel and an imaging pixel (hereinafter referred to as a complete black defect) whose sensitivity is abnormally low and the dark current is only about a leakage current.
  • FIG. 6 is a schematic diagram illustrating a change in image signal of a completely black scratch from the time when the imaging apparatus is activated until the saturation of the internal temperature rise, and output saturation due to a 14-bit output of the imaging element in an accumulation time in units of vertical scanning periods.
  • the ratio of the dark current ratio in inverse proportion to the dark current ratio of the normal pixel that is twice as high as the image sensor temperature ratio and dark current ratio of the image sensor before the OB correction at the time of light shielding FIG.
  • FIG. 6 is a schematic diagram illustrating a light-shielding accumulation time for detecting complete black scratches. It is a detailed block diagram of white defect detection and interpolation of one Example of this invention. It is a detailed block diagram of the complete black defect detection and interpolation of one Example of this invention. It is a schematic diagram for demonstrating one Example of this invention. It is a detailed block diagram which calculates the median value of 8 pixels around the white defect of one Example of this invention, and interpolates a white defect. It is a detailed block diagram which calculates the median value of 8 pixels around a perfect black defect of one Example of this invention, and interpolates a complete black defect. 4 is a flowchart of white defect detection and complete black defect detection according to an embodiment of the present invention.
  • FIG. 5 is a flowchart of white defect interpolation and complete black defect interpolation according to an embodiment of the present invention. It is a whole block diagram of the conventional imaging device (ABO integrated CMOS imaging device is OB corrected by video signal processing). An average detection unit from N (4) th to N (4) + M (3) th from the minimum value of the OB pixel signal as an example of the representative value detection unit of the OB pixel signal as an example of the OB correction according to the embodiment of the present invention. And OB correction for dark current calculation OB correction.
  • OB correction for dark current calculation OB correction The average of the N (4) th to N (4) + M (3) th from the minimum value of the H-OB pixel signal as an example of the representative value detection unit of the OB pixel signal as an example of the OB correction according to the embodiment of the present invention. This is dark current calculation OB correction of the detection unit and H-OB correction.
  • dark current calculation OB correction including V-OB correction.
  • FIG. 1A, 1B, 1C, and 1D are block diagrams showing an embodiment of the overall configuration of an imaging apparatus according to the present invention, and a CMOS imaging device in which noise reduction, gain correction, and analog-digital conversion AFE are integrated
  • OB correction is performed by subtracting the representative value of the video signal of the light-shielded pixel from the effective pixel video signal in the video signal processing.
  • the television camera 30 in FIG. 1A is a color image pickup apparatus that uses R, G, and B three-plate image pickup elements in post-gamma matrix video signal processing.
  • FIG. 1A is a color image pickup apparatus that uses R, G, and B three-plate image pickup elements in post-gamma matrix video signal processing.
  • FIG. 1B is a block diagram showing another embodiment of the overall configuration of the imaging apparatus of the present invention, which is a color imaging apparatus using R, G1, G2, and B four-plate imaging elements.
  • FIG. 1C is a block diagram showing another embodiment of the overall configuration of the image pickup apparatus of the present invention, which is a color image pickup apparatus using an image pickup device with an on-chip color filter of R, G1, G2, B Bayer arrangement.
  • FIG. 1D is a block diagram showing another embodiment of the entire configuration of the imaging apparatus of the present invention, which is a monochrome imaging apparatus using a monochrome imaging element.
  • the image sensor is not limited to a CMOS, but may be a CCD (Charge Coupled Device) or the like.
  • incident light from a subject is imaged by a lens unit 31, and is decomposed into red light, green light, and blue light by a prism unit 32, and CMOS image sensor units 33R, 33G, 33G1, 33G2, Photoelectric conversion is performed at 33B.
  • the photoelectrically converted R / G / B signal is subjected to noise reduction, gain correction and analog-digital conversion in the CMOS image sensor, and sent to the video signal processing unit 35 with a white defect complete black defect detection correction function.
  • Various video signal processing such as color correction, contour correction, gamma correction, and knee correction are performed.
  • the temperature sensor 20 is provided in the vicinity of the CMOS image sensor sections 33R, 33G, 33G1, 33G2, 33B, 58, and 59 to detect the temperature.
  • the image sensor control 54 controls accumulation (exposure) and reading of the CMOS image sensor units 33R, 33G, 33G1, 33G2, 33B, 58, and 59 in accordance with instructions from a CPU (Central Processing Unit) 39.
  • the lens unit 31 controls light shielding or standard imaging with an optical diaphragm or variable optical attenuation (hereinafter referred to as a diaphragm) in accordance with an instruction from the CPU 39.
  • reference numeral 57 denotes a parallel-serial conversion unit (P / S).
  • the parallel-serial conversion unit (P / S) 57 generates a G imaging signal from the G1 and G2 imaging signals. Is done.
  • 59 is a monochrome image sensor
  • 60 is gamma contour correction
  • only a monochrome luminance (Y) signal is output.
  • P / S parallel-serial converter
  • the CPU 39 controls each part of the television camera 30.
  • the image display unit 40 of the viewfinder or the monitor display has a menu for setting the imaging device, an imaging pixel having an abnormally large dark current (hereinafter referred to as white scratch), a normal pixel, an abnormally low sensitivity, and a dark current leaking current.
  • white scratch an imaging pixel having an abnormally large dark current
  • normal pixel a normal pixel
  • abnormally low sensitivity an abnormally low sensitivity
  • a dark current leaking current a dark current leaking current.
  • An automatic interpolation operation with an imaging pixel having only a degree (hereinafter, referred to as a complete black scratch) or an interpolation operation at a peripheral pixel manually of an arbitrary pixel is displayed.
  • the menu screen is superimposed on the subject image, and the user can automatically detect white scratches and complete black scratches while looking at the menu screen, and manually interpolate any pixel at surrounding pixels. Display operations.
  • FIG. 2 shows a video signal at the time of shading of a white scratch and a normal pixel with an abnormally large dark current, and an imaging pixel (hereinafter referred to as a complete black scratch) whose sensitivity is abnormally low and the dark current is only about a leakage current.
  • OB correction horizontal scanning line
  • FIG. 6A is a schematic diagram illustrating an imaging device for an imaging pixel (hereinafter, referred to as a complete black defect) having an abnormally low sensitivity in an imaging signal (horizontal scanning line) before OB correction at the time of light shielding.
  • FIG. 6B is a schematic diagram showing a change from the start-up of the image sensor to the saturation of the internal temperature rise
  • FIG. It is a schematic diagram which shows the change to saturation.
  • the image pickup device has a dark current about twice as high as the temperature rises by 6 ° C.
  • the internal temperature rise is generally saturated in about 2 hours and is about 12 ° C. For this reason, even when the ambient temperature is constant, the internal temperature rise is 12 ° C., which is four times as high as the internal temperature rise when saturated, compared to the startup.
  • the middle is a dark current about twice as high as the temperature rises by 6 ° C.
  • FIG. 3A shows an image sensor temperature, accumulation time, and dark current of an imaging signal before correcting a shading pixel signal (hereinafter referred to as OB) for subtracting a representative value of the shading pixel video signal at the time of shading from an effective pixel video signal.
  • FIG. 4 is a schematic diagram showing changes in the image signal of a white defect, normal pixel, and complete black defect from the start of the imaging apparatus to the saturation of the internal temperature rise and the output saturation due to the accumulation time of the 14-bit output of the image sensor in the vertical scanning cycle unit. is there.
  • the vertical scanning period is mainly about 60 Hz or 50 Hz.
  • the vertical scanning cycle is about 60 Hz, and the relationship between the vertical scanning cycle and the accumulation time will be described.
  • FIG. 3B is a schematic diagram illustrating the ratio of the image sensor temperature to the accumulation time and the dark current ratio of the image signal before OB correction at the time of light shielding, the temperature of the image sensor, and the light shielding accumulation time for detecting a complete black defect.
  • the accumulation time of white scratch detection is a medium time during which white scratches are not saturated (approximately 1 second, which is 60 times the vertical scanning period of 60 Hz).
  • the accumulation time for detection of complete black flaws is set to a long time (from 1 second to 163894 seconds) in inverse proportion to the dark current of a normal pixel that is twice as high as the temperature of the image sensor at 6 ° C. It is definitely distinguished from the dark current of a completely black scratch that has only a dark current equivalent to the leakage current.
  • the detection immediately before photographing is a practical limit of a low temperature of about 128 seconds at an imaging element temperature of 22 ° C.
  • the imaging device is heat-run after assembly adjustment or high-temperature aging, etc., heat is radiated at a maximum operating temperature of 45 ° C. If the internal temperature rise is about 12 ° C. and the image sensor temperature is 57 ° C., the light-blocking accumulation time for complete black flaw detection is about 2 seconds.
  • a camera that is not designed for heat dissipation at a maximum operating temperature of 45 ° C has an internal temperature rise of about 19 ° C and an image sensor temperature of 64 ° C.
  • the shading accumulation time for complete black flaw detection is about 1 that is 60 times the vertical scanning cycle of about 60 Hz.
  • a camera that is particularly devised for heat dissipation at a maximum operating temperature of 40 ° C. has an internal temperature rise of about 8 ° C., an image sensor temperature of 48 ° C., and a light-blocking accumulation time for detection of complete black scratches is about 16 seconds. If the shading accumulation time for detecting complete black scratches during heat run or high temperature aging is about 1 second to about 16 seconds, there is almost no increase in cost.
  • a temperature sensor 20 may be provided to detect the temperature of the CMOS image sensor, and the light-shielding accumulation time for detecting a complete black defect may be inversely proportional to the dark current of a normal pixel that is twice as high as the image sensor temperature at 6 ° C.
  • a representative value of the dark current of a normal pixel shielded from light by the dark current calculation OB correction 52 may be calculated.
  • the shading accumulation time for detecting the complete black defect is 2 at 6 ° C. at the temperature of the image sensor.
  • the present invention provides a color separation optical system and three or more image sensors, or an R, G1, G2, B Bayer array on-chip color filter-equipped image sensor or monochrome image sensor, and each red of the image sensor.
  • An image pickup apparatus having means for interpolating using and video signal processing means for correcting a light-shielded pixel signal (hereinafter referred to as OB) for subtracting a representative value of the light-shielded pixel video signal from the effective pixel video signal in video signal processing,
  • OB light-shielded pixel signal
  • means for detecting a dark current of a normal pixel corresponding to the imaging element temperature (approximately doubled by 6 ° C. increase) (N to N + M average values are calculated from the minimum value of the OB pixel).
  • An image pickup apparatus comprising: a detecting unit; and a unit that interpolates using a signal level of a surrounding pixel independently for each pixel having a complete black defect at the time of photographing. (Specific measures will be described in Example 3.)
  • FIG. 4 is a detailed configuration diagram of white defect detection and interpolation according to an embodiment of the present invention.
  • FIG. 5 is a detailed configuration diagram of complete black defect detection and interpolation according to an embodiment of the present invention.
  • FIG. 6 is a schematic view for explaining an embodiment of the present invention.
  • FIG. 6A is an example of the present invention, and is a schematic diagram for interpolating a complete black defect before OB correction at the time of shading with a median value of 8 surrounding pixels (normal pixels surrounding a complete black defect in a standard imaging signal) Interpolation).
  • FIG. 6B is an example of the present invention, and is a schematic diagram for interpolating a complete black defect before OB correction at the time of light shielding by a median value of eight surrounding pixels (a peripheral black defect of a complete black defect in a standard imaging signal). Interpolation with normal pixels).
  • FIG. 6A is an example of the present invention, and is a schematic diagram for interpolating a complete black defect before OB correction at the time of shading with a median value of 8 surrounding pixels (normal pixels surrounding a complete black defect in a standard imaging signal) Interpolation).
  • FIG. 6B is an example of the present invention, and is a schematic diagram for interpolating a complete black defect
  • FIG. 6C is an embodiment of the present invention, and is a schematic diagram for interpolating white scratches in an image signal before OB correction at the time of light shielding by a median value of eight surrounding pixels (around white scratches in a standard image signal) Interpolation with normal pixels).
  • FIG. 6D is an embodiment of the present invention, and is a schematic diagram for interpolating white scratches in an image signal before OB correction at the time of light shielding by a median value of eight surrounding pixels (around white scratches in a standard image pickup signal) Interpolation with normal pixels including white flaws).
  • FIG. 7 is a detailed configuration diagram for calculating a median value of eight pixels around a white defect and interpolating the white defect according to an embodiment of the present invention.
  • FIG. 8 is a detailed configuration diagram for calculating a median value of 8 pixels around a complete black defect and interpolating the complete black defect according to an embodiment of the present invention.
  • FIG. 9 is a flowchart of white defect detection and complete black defect detection according to an embodiment of the present invention.
  • FIG. 10 is a flowchart of white defect interpolation and complete black defect interpolation according to an embodiment of the present invention.
  • FIG. 4 is a detailed block diagram of detection and interpolation of an imaging pixel (so-called white defect) having an abnormally large dark current according to an embodiment of the present invention
  • FIG. FIG. 3 is a detailed configuration diagram of detection of an imaging pixel (hereinafter referred to as a complete black scratch) having only a leakage current level. 4 and 5, the complete black defect reference level in the long-time accumulation of complete black defect detection is subtracted from the R white defect interpolation signal, the G white defect interpolation signal, and the B white defect interpolation signal to obtain a complete black defect.
  • Video signal timing (address) is determined, and during standard imaging, interpolation is not performed for the complete black scratch video signal timing (address) at the time of standard imaging. Do.
  • reference numerals 12, 13, and 14 denote subtractors
  • 10 is a white scratch detection and interpolation unit
  • 11 is a black scratch detection and interpolation unit
  • 15 is a white scratch video signal timing (address).
  • Determination and white scratch interpolation determination at the time of standard imaging 16 is interpolation at surrounding pixels of white scratch, 17 is video signal timing (address) determination of black scratch, and 18 is interpolation at surrounding pixels of black scratch.
  • the CPU 39 closes the aperture of the lens 31 and the CMOS image pickup devices 33R, 33G, An instruction to shield 33B is given.
  • the CPU 39 instructs the light-shielding image sensor control 54 to store about 1 second of medium time, and the image sensor control 54 generates a white scratch detection medium-time intermittent pulse and supplies it to the CMOS image sensors 33R, 33G, and 33B.
  • 15 is the video signal timing of the white scratch. Perform (address) determination.
  • the CPU 39 then instructs the image sensor control 54 to store for a long time (1 second to 163894 seconds) in inverse proportion to the dark current of normal pixels.
  • the element control 54 generates a complete black flaw detection long-term intermittent pulse and supplies it to the CMOS image sensors 33R, 33G, and 33B.
  • the R, G, and B image signals accumulated for a long time after shading are completely interpolated with the R, G, and B interpolation signals obtained by interpolating the surrounding pixels of the white defect at 16 based on the video signal timing (address) of the white defect.
  • 17 From the subtracter difference of 12, 13, 14 from the complete black scratch reference level in the long-time accumulation of black scratch detection, 17 performs video signal timing (address) determination of the complete black scratch.
  • the CPU 39 opens the aperture of the lens 31 and instructs the light-shielding imaging device control 54 to perform standard imaging, and the imaging device control 54 generates a standard imaging pulse and supplies it to the CMOS imaging devices 33R, 33G, and 33B. .
  • the subtractor difference of 12, 13, and 14 between the R, G, and B image signals that have been standard imaged and the white defect interpolation level at the time of standard image capture 15 performs white defect video signal timing (address) determination.
  • Reference numeral 16 denotes an image pickup signal having a white scratch interpolation level or less, and performs interpolation at surrounding pixels of the white scratch at the white scratch video signal timing (address).
  • the interpolated signals of R, G, and B that have been interpolated at the surrounding pixels of the white defect at 16 are interpolated at the median value of the surrounding pixels based on the video signal timing (address) of the complete black defect at 18. . Interpolation level judgment is not performed at the time of standard imaging.
  • a white defect detection middle time (approximately 15 times or more of the vertical scanning period) (according to the detected imaging element temperature (approximately twice as high as 6 ° C.) is accumulated in the dark current of normal pixels.
  • the vertical scanning period is approximately 15 to 245760 times and the vertical scanning period is approximately 60 Hz as a variable time of 0.25 seconds to 4096 seconds or the vertical scanning period is approximately 60 times as the vertical scanning period is approximately 60 Hz.
  • the white scratch reference level in the shading accumulation time or the white scratch interpolation level in standard imaging and the judgment level are interchanged to determine the video signal timing (address) judgment of white scratch and white in standard imaging. Scratch interpolation determination can be performed by the same means, and the circuit can be reduced in size and price.
  • FIG. 6A is an example of the present invention, and is a schematic diagram for interpolating a complete black defect before OB correction at the time of shading with a median value of 8 surrounding pixels (normal pixels surrounding a complete black defect in a standard imaging signal)
  • the center complete black scratch imaging signal 0 is interpolated with the median value 64 or 80 of the surrounding normal pixel imaging signals 32, 48.56, 64.80, 96, 102, 128.
  • FIG. 6B is an example of the present invention, and is a schematic diagram for interpolating a complete black defect before OB correction at the time of light shielding by a median value of eight surrounding pixels (a peripheral black defect of a complete black defect in a standard imaging signal). Interpolation of normal pixels including the same), and the center full black flaw imaging signal 0 is the surrounding normal pixel imaging signal 32, 48.56, 64.80, 102, except for the surrounding full black flaw imaging signal 0. Interpolated with a median value of 128.
  • FIG. 6C is an embodiment of the present invention, and is a schematic diagram for interpolating white scratches in an image signal before OB correction at the time of light shielding by a median value of eight surrounding pixels (around white scratches in a standard image signal)
  • the center white scratch imaging signal 1024 is interpolated with the median value 64 or 80 of the surrounding surrounding normal pixel imaging signals 32, 48.56, 64.80, 96, 102, 128. .
  • FIG. 6D is an embodiment of the present invention, and is a schematic diagram for interpolating white scratches in an image signal before OB correction at the time of light shielding by a median value of eight surrounding pixels (around white scratches in a standard image pickup signal) Interpolation of normal pixels including white flaws), and the center white flaw imaging signal 1024 is interpolated by the median value 80 of the surrounding normal pixel imaging signals 32, 48.56, 80, 96, 102, and 128. .
  • complete black defect interpolation is performed after white defect interpolation.
  • FIGS. 7 and 8 are detailed configuration diagrams for calculating and interpolating the median value of the surrounding eight pixels according to an embodiment of the present invention.
  • 7 and 8 9 is a surrounding pixel signal selection unit, 16 is interpolation with surrounding pixels of white scratches, 18 is interpolation with surrounding pixels of black scratches, 19 is a surrounding pixel median value detecting unit, 21, Reference numerals 22, 23, 24, 25, 26, 27, and 28 are comparison units, and 29 is a video signal switch.
  • 5 and 6 are line memories, 7 is a video signal switcher, and 8 is a delay unit.
  • the line memories 5 and 6 generate 1H and 2H image signals from the 0H image signal, and generate 1H2H white defect interpolation signals from the 0H white defect interpolation signal.
  • the video signal switching unit 7 selects 0H, 1H, and 2H imaging signals to generate surrounding pixel signals of the imaging signal, selects 0H, 1H, and 2H white defect interpolation signals and selects the surrounding pixels of the white defect interpolation signal. Generate a signal.
  • a frame memory (not shown) may be used instead of the line memories 5 and 6.
  • the delay unit 8 delays the imaging signal by the delay of the surrounding pixel median value detection unit 19 and delays the white defect interpolation signal. Then, the surrounding pixel median value detection unit 19 detects the surrounding pixel median value of the imaging signal or the white defect interpolation signal from the surrounding pixel signals of the imaging signal, and compares the surrounding pixel signal of the white defect interpolation signal. The comparison unit 21 to 28 detects the median value of surrounding pixels of the white defect interpolation signal.
  • the image pickup signal is interpolated to the median value of the surrounding pixels of the imaging signal by the switch 29 of the interpolation unit at the surrounding pixels.
  • the white scratch interpolation is performed by the switch 29 of the interpolation unit in the surrounding pixels of the complete black scratch in accordance with the complete black scratch video signal timing (address) from the black scratch video signal timing (address) determination 17 of FIG.
  • the signal is interpolated to the median value of surrounding pixels of the white scratch interpolation signal.
  • the white defect interpolation and the complete black defect interpolation can be performed by the same circuit, and the circuit can be reduced in size and cost.
  • FIG. 9 is a flowchart of white defect detection and detection of an image pickup pixel (hereinafter referred to as a complete black defect) whose sensitivity is abnormally low and the dark current is only a leakage current according to an embodiment of the present invention.
  • 2 is a flowchart of white scratch interpolation and interpolation of an imaging pixel (hereinafter referred to as a complete black scratch) whose sensitivity is abnormally low and dark current is only about a leakage current.
  • the CPU 39 performs shading accumulation and reading for a long time (from 1 second to 163894 seconds) in inverse proportion to the dark current of the normal pixel doubled at a temperature increase of 6 ° C. of the image sensor (S904), and the video signal of the pixel is It is determined whether the image timing (address) is white scratch (S905). If “NO”, the process proceeds to (S908). If “YES”, the median value of the surrounding 8 pixels is calculated (S906). Interpolation (S907) proceeds to (S908). Next, the CPU 39 determines whether or not the video signal of the pixel is below the black scratch level (S908). If “NO”, the process proceeds to the end, and if “YES”, the video timing (address) of the black scratch is stored (S909). Go to the end. This completes the process of detecting white and complete black flaws.
  • the CPU 39 reads out with standard imaging after starting interpolation of imaging pixels (hereinafter referred to as complete black scratches) with white defect interpolation and sensitivity that is abnormally low and the dark current is only about the leakage current (S1001).
  • the CPU 39 determines whether the video signal of the pixel is a black scratch video timing (address) (S1006). If “NO”, the process proceeds to the end. If “YES”, the median value of the surrounding eight pixels is calculated (S1007). Then, interpolation is performed with the median value of the surrounding 8 pixels (S1008), and the process proceeds to the end. This completes the interpolation of the detection of the white defect and the complete black defect.
  • the accumulation time is inversely proportional to the dark current of a normal pixel corresponding to the detected image pickup device temperature (approximately twice as high as 6 ° C.) at least 15 times the vertical scanning period.
  • the vertical scanning period is approximately 15 to 245760 times and the vertical scanning period is approximately 60 Hz, and the variable scanning time is 0.25 to 4096 seconds, or the vertical scanning period is approximately 60 times and the vertical scanning period is approximately 60 Hz and is fixed to approximately 1 second.
  • Means for detecting pixel defects (hereinafter referred to as white scratches) having an abnormally large dark current with a light-shielding accumulation time of medium time, and normal pixels (the image pickup device temperature increases approximately twice as the temperature rises by 6 ° C.)
  • Means for detecting the dark current (means for calculating the N to N + M-th average value from the minimum value of the OB pixels) or means for detecting the temperature of the image sensor (temperature sensor), and the detected image sensor Accumulation time is inversely proportional (approximately 1 second to 16384 seconds) to the dark current of a normal pixel that doubles when the temperature rises by 6 ° C (before removing the influence of random noise) and before OB correction
  • the white scratch reference level in accumulation of white scratch detection or the white scratch interpolation level in standard imaging and the determination level are switched, so that the video signal timing (address) judgment of white scratch and standard imaging are performed.
  • An imaging apparatus comprising: means for performing white defect interpolation determination by the same means.
  • an input signal (such as the surrounding pixel signal and imaging signal of the imaging signal, or the surrounding pixel signal and white defect interpolation signal of the white defect interpolation signal) is input.
  • the control signal such as the white scratch video signal timing (address) at the time of determination below the white scratch level or the complete black scratch video signal timing (address)
  • white scratch interpolation and An image pickup apparatus having means for performing white scratch interpolation and complete black scratch interpolation in the same circuit by performing two processes of complete black scratch interpolation.
  • FIG. 12A is an example of the OB correction 52 of an example of the present invention, and the N (4) th to N (th) from the minimum value of the OB pixel signal of an example of the representative value detection unit of the OB pixel signal. 4) It comprises a + M (3) th average detector 48 and a subtractor 4.
  • FIG. 12B illustrates the OB pixel signal representative value detection unit as an example of the OB pixel signal as an example of the OB correction according to the embodiment of the present invention from the N (2) th to the N (2) + M (1) th from the minimum value.
  • the dark current calculation OB correction is an average detection unit and OB correction.
  • FIG. 12C is an example of a representative value detection unit for an OB pixel signal as an example of OB correction according to an embodiment of the present invention.
  • the minimum value of the H-OB pixel signal is N (4) th to N (4) + M (3 ) Dark current calculation OB correction of the first average detection unit and H-OB correction.
  • FIG. 12D illustrates the OB pixel signal representative value detection unit as an example of the OB pixel signal as an example of the OB correction according to the embodiment of the present invention, from the N (4) th to the N (4) + M (3) th from the minimum value. This is a dark current calculation OB correction of the average detection unit and V-OB correction.
  • the delay unit 55 is not essential, but the effective pixel signal is delayed by the delay unit 55, and the correction is more stable with the V-OB after the effective pixel.
  • V-OB correction which also serves as vertical stripe correction and H Shading correction, can output a video signal in which black is stable with a small signal processing circuit, and the wide dynamic range of the TV camera becomes easy.
  • the average detection unit 48 from the N (4) th to the N (4) + M (3) th from the minimum value of the OB pixel signal is 21, 22, 23, 24, 25, 26, 27, Comparing with 28, adders with 43, 44, 45, 1/4 of 46 (2 bit shift), 47 comprises 4th to 4 + 3rd detecting units from the minimum value.
  • the average detection unit 47 from the N (4) th to the N (4) + M (3) th from the minimum value of the OB pixel signal is used to exclude white and complete black flaws.
  • the N (4) th to N (4) + M (3) th from the minimum value in the eight comparison units from the OB pixel signal adding, shifting by 2 bits and making 1/4, the white scratches are completely eliminated OB pixel signals excluding black flaws are added and averaged.
  • the N (2) th to N (2) + M (1) -th average detection unit 47 from the minimum value of the OB pixel signal outputs 8 OB pixel signals from the OB pixel signal in order to exclude white and complete black flaws.
  • the N (2) th to N (2) + M (1) th from the minimum value are detected by the number of comparison units, added, shifted by 1 bit and halved to eliminate white scratches and complete black scratches OB pixel signals are averaged.
  • the imaging element of a television camera becomes 2K, 4K, and 8K
  • the number of OB pixels decreases as compared to the effective pixels. Therefore, the OB pixel is easily affected by white scratches and complete black scratches.
  • the dark current of the normal pixel of the OB pixel signal that increases approximately twice when the temperature of the image sensor rises by 6 ° C. is detected without being affected by the white defect and the complete black defect of the OB pixel. Can do.
  • the accumulation time can be made inversely proportional to the detected dark current of the normal pixel (which is approximately doubled at 6 ° C. to the image sensor temperature).
  • the OB correction is stably performed in the video signal processing without being affected by the white defect and the complete black defect of the OB pixel.
  • the black color of the video signal becomes stable, and the wide dynamic range of the TV camera becomes easy.
  • the temperature of the image sensor can be detected without providing a separate temperature sensor.
  • the accumulation time inversely proportional to the detected dark current of the normal pixel (when the image sensor temperature increases by 6 ° C)
  • the dark current of the normal pixel at low temperature and leakage are reduced.
  • the dark current of an abnormally low-sensitivity pixel (complete black defect) that has only a dark current equivalent to the current is reliably identified, and the complete black defect is reliably detected.
  • the accumulation time is reversed to the middle time of the video signal processing (a fixed time of about 1 second or a dark current of a normal pixel in which the detected image pickup device temperature is about doubled when the detected image pickup device temperature is increased by 6 ° C.
  • Means for detecting pixel defects (hereinafter referred to as white scratches) with an abnormally large dark current with a light-shielding accumulation time of approximately 0.25 seconds to 4096 seconds (proportionally variable time); Means for detecting the dark current of normal pixels (means for calculating the average value from N to N + M from the minimum value of the OB pixel) or means for detecting the temperature of the image sensor (temperature sensor); Accumulate the dark time of the normal pixel, which is approximately doubled when the detected image sensor temperature is increased by 6 ° C.
  • an imaging device characterized by comprising:
  • the combination of the second embodiment and the third embodiment is such that in the imaging apparatus, a normal pixel in which a middle time of video signal processing (a fixed time of about 1 second or the detected temperature of the imaging device is about doubled when the detected image sensor temperature rises by 6 ° C.
  • Means for detecting dark current pixels imaging pixels having an abnormally low sensitivity (hereinafter referred to as complete black scratches)) and surrounding pixels independently for each complete black scratch during shooting Interpolating using the signal level of An imaging device including a stage.
  • the white scratch reference level for white scratch detection during medium time accumulation or the white scratch interpolation level for standard imaging and the judgment level are interchanged to determine the video signal timing (address) of white scratch and white scratch interpolation for standard imaging.
  • the determination can be performed by the same means, and the circuit can be reduced in size and price.
  • the same circuit 2 It is possible to perform white scratch interpolation and complete black scratch interpolation by the same means by performing the processing once, and it is possible to realize a reduction in circuit size and cost.
  • OB correction operates stably without being affected by white scratches and complete black scratches. The black of the video signal is stabilized, and the wide dynamic range of the TV camera becomes easy.
  • the image pickup device of a television camera becomes 2K (1920H ⁇ 1080V), 4K (3840H ⁇ 2160V), and 8K (7680H ⁇ 4320V), the number of OB pixels decreases compared to the effective pixels. Therefore, the OB pixel is easily affected by white scratches.
  • the imaging apparatus can automatically detect an imaging pixel signal whose sensitivity is abnormally low and the dark current is only about a leakage current, and can perform interpolation using surrounding pixels having a complete black defect.
  • Broadcast cameras for high-reliability and high-reliability cameras that detect full black flaws by interpolating with the surrounding pixels by accumulating the exposure (exposure) time in inverse proportion to the image sensor temperature. It can be applied to surveillance cameras (such as nuclear power plants and bullet trains) that require safety, and industrial cameras (such as confirmation of automobile body painting and fabrics).
  • surveillance cameras such as nuclear power plants and bullet trains
  • industrial cameras such as confirmation of automobile body painting and fabrics.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Abstract

感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の暗電流と正常画素の暗電流とを確実に識別して検出し、完全黒キズを補間する。撮像装置において、撮像素子温度に6℃でおよそ2倍となる正常な遮光画素の暗電流を検出する手段を有し、該検出した正常な遮光画素の暗電流に蓄積時間を逆比例させておよそ1秒から16384秒遮光蓄積して、遮光(OB)画素信号補正前の撮像信号で、感度が異常に低い撮像画素(以下、完全黒キズと称する)の暗電流とを正常画素の暗電流とを識別して検出し、通常撮像時は、完全黒キズは周囲画素の中央値で補間する。

Description

撮像装置及び異常画素検出補間方法及び撮像装置調整方法
 本発明は、テレビジョンカメラなどの撮像装置に係わり、特に撮像素子の異常画素検出と補間に関するものである。
 従来のテレビジョンカメラの固撮像素子の画素欠陥検出方法としては、撮像光を分光して得られた複数分光を分光光毎に同一撮像位置もしくは近傍撮像位置で撮像し出力した映像信号どうしを比較した結果に応じて、前記分光光のうちいずれの分光光を撮像した撮像素子で画素欠陥が発生しているか否かを検出し、補間するものがある(特許文献1参照)。
 従来の撮像装置の全体構成図の図11を参照。図11は、雑音低減、ゲイン補正およびアナログ-デジタル変換のAFE(Analog Front End)を集積したCMOS(Complementary Metal Oxide Semiconductor)撮像素子であり、映像信号処理で遮光画素信号(以下、OBと称する)補正を行う従来例である。
 しかしながら、撮像素子で撮像した映像信号には、複数の分光した映像信号毎にランダムノイズ成分が重畳されるため、画素欠陥検出信号に検出誤差を与える事になり、ランダムノイズより小さなレベルの画素欠陥の検出が困難であった。そのため用途がランダムノイズより画素欠陥信号が比較的大きい長時間露光型カメラ等の一部に限られていた(特許文献2参照)。
 さらに、撮像素子は一般に、6℃温度上昇で暗電流は2倍程度となっていて、撮像素子温度の指数関数に比例して暗電流は大きく変動する。そのため、画素欠陥の中で感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の暗電流と、正常画素の暗電流とを確実に識別して検出することが困難である。暗電流が多い撮像素子温度であれば、画素欠陥の中で暗電流が異常に多い撮像画素(以下、白キズと称する)と正常画素の暗電流との識別は比較的容易である。
特開2002-44688号公報 特開2009-232200号公報
 本発明は、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の暗電流と、6℃温度上昇で暗電流は2倍程度と撮像素子温度の指数関数に比例して暗電流は大きく変動する正常画素の暗電流とを確実に識別して検出して、通常撮像時の完全黒キズを補間することを目的とする。
 本発明の撮像装置は、(色分解光学系及び3個以上の撮像素子あるいはR,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子あるいはモノクロ)撮像素子と、該撮像素子の(各赤緑青の原色映像信号あるいは(モノクロの)輝度の)映像信号の第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、映像信号処理で遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正をする映像信号処理手段とを有する撮像装置であって、(撮像素子温度が6℃上昇でおよそ2倍となる)正常画素の暗電流を検出する手段(OB画素の最小値からN番目からN+M番目の平均値を算出する手段)または撮像素子の温度を検出する手段(温度センサ)を有し、該検出した撮像素子温度に対応する(6℃上昇でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させて(およそ1秒から16384秒)遮光蓄積する手段と、映像信号処理のOB補正前に、第二の所定のレベルより小さい暗電流の画素(感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する))を(正常画素の暗電流と識別して)検出する手段と、撮影時に第二の所定のレベルより小さい暗電流の完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、を有することを特徴とする。
 即ち、撮像素子と、該撮像素子の映像信号の画素ごとに遮光時の暗電流を検出する手段と、第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、映像信号処理で遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正をする映像信号処理手段と、を有する撮像装置において、
 正常画素の暗電流を検出する手段(OB画素の最小値からN番目からN+M番目平均値を算出する手段)または撮像素子の温度を検出する手段を有し、該検出した撮像素子温度に対応する正常画素の暗電流に蓄積時間を逆比例させて遮光蓄積する手段と、
 映像信号処理のOB補正前に、第二の所定のレベルより小さい暗電流の画素(以下、完全黒キズと称する)を前記正常画素の暗電流と識別して検出する手段と、
 撮影時に第二の所定のレベルより小さい暗電流の完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、を有することを特徴とする。
 また、本発明の撮像装置は、上述の撮像装置であって、垂直走査周期のおよそ15倍以上(の該検出した撮像素子温度に対応する(6℃上昇でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させて垂直走査周期のおよそ15倍からおよそ245760倍で垂直走査周期約60Hzとして0.25秒から4096秒の可変時間又は垂直走査周期のおよそ60倍で垂直走査周期約60Hzとしておよそ1秒の固定時間)の遮光蓄積時間で暗電流が異常に多い画素欠陥(以下、白キズと称する)の検出を行う手段と、上記検出した撮像素子温度が6℃でおよそ2倍となる正常画素の暗電流に蓄積時間を逆比例させて(およそ1秒から16384秒)遮光蓄積して(ランダムノイズの影響を除去して、)OB補正前に白キズ補間を行う手段と、白キズ補間後に第二の所定のレベルより小さい暗電流の画素(感度が異常に低い撮像画素(以下、完全黒キズと称する))を(正常画素の暗電流と識別して)検出する手段と、撮影時に完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段と、完全黒キズ補間後にOB補正を行う手段と、を有することを特徴とする。
 即ち、上述の撮像装置において、
 垂直走査周期に基づく前記検出した撮像素子温度に対応する正常画素の暗電流に蓄積時間を逆比例させて垂直走査周期の任意の倍数の範囲で垂直走査周期の所定の可変時間又は垂直走査周期の所定の遮光蓄積時間で暗電流が所定以上の画素欠陥(以下、白キズと称する)の検出を行う手段と、
 上記検出した撮像素子温度に対応する正常画素の暗電流に蓄積時間を逆比例させて遮光蓄積してOB補正前に白キズ補間を行う手段と、
 白キズ補間後に前記完全黒キズを前記正常画素の暗電流と識別して検出する手段と、
 撮影時に前記完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段と、
 完全黒キズ補間後にOB補正を行う手段と、を有することを特徴とする。
 さらに、上述の撮像装置であって、白キズ検出の蓄積での白キズ基準レベル又は標準撮像時の白キズ補間レベルと、判定レベルを入れ替えて、白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定とを同一手段で行うことを特徴とする。
 また、上記撮像装置において、白キズ補間後に完全黒キズ補間するので、(撮像信号の周囲画素信号及び撮像信号、又は白キズ補間信号の周囲画素信号及び白キズ補間信号の様に)入力信号を変えて、白キズのレベル以下判定時の白キズの映像信号タイミング(アドレス)、又は完全黒キズの映像信号タイミング(アドレス)の様に)制御信号を変えることにより、同一回路で白キズ補間と完全黒キズ補間と2回処理することで、白キズ補間と完全黒キズ補間とを同一回路で行う手段とを有することを特徴とする。
 また、本発明の撮像装置の調整方法は、色分解光学系及び3個以上の撮像素子あるいはR,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子と、該撮像素子の各赤緑青の原色映像信号の画素ごとに遮光時の暗電流を検出する手段と、第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、映像信号処理で遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正をする映像信号処理手段とを有する撮像装置であって、撮像装置を組立調整後の(ヒートランまたは高温エージング等)撮像素子温度が40℃以上の状態時に、およそ1秒から16秒遮光蓄積し、映像信号処理のOB補正前に、第二の所定のレベルより小さい暗電流の画素(感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する))を(正常画素の暗電流と識別して)検出し、撮影時に完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間することを特徴とする。
 即ち、本発明の撮像装置の調整方法は、色分解光学系及び3個以上の撮像素子あるいはR,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子と、該撮像素子の各赤緑青の原色映像信号の画素ごとに遮光時の暗電流を検出する手段と、第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、映像信号処理で遮光画素映像信号の代表値を有効画素の映像信号から減算する遮光画素信号(以下、OBと称する)補正をする映像信号処理手段とを有する撮像装置において、
 撮像装置を撮像素子温度が所定以上の温度の状態時に、所定時間範囲にて遮光蓄積し、
 映像信号処理のOB補正前に、第二の所定のレベルより小さい暗電流の画素(以下、完全黒キズと称する)を正常画素の暗電流と識別して検出し、
 撮影時に前記完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間することを特徴とする。
 本発明によれば、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)信号も自動検出でき、かつ完全黒キズの周囲画素を用いた補間が可能となる。
 また、白キズ補間後完全黒キズ補間後に映像信号処理で遮光画素信号(以下、OBと称する)補正するので、OB補正は白キズと完全黒キズの影響を受けないで安定に動作するので、映像信号の黒が安定し、テレビカメラのワイドダイナミックレンジ化が容易になる。
本発明の撮像装置の全体構成の一実施例を示すブロック図(AFEを集積したCMOS撮像素子で、映像信号処理で遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正を行う。)で、R,G,Bの3板撮像素子を用いたカラー撮像装置である。 本発明の撮像装置の全体構成の他の一実施例を示すブロック図で、R,G1,G2,Bの4板撮像素子を用いたカラー撮像装置である。 本発明の撮像装置の全体構成の他の一実施例を示すブロック図で、R,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子を用いたカラー撮像装置である。 本発明の撮像装置の全体構成の他の一実施例を示すブロック図で、モノクロ撮像素子を用いたモノクロ撮像装置である。 暗電流が異常に多い撮像画素(以下、白キズと称する)と正常画素と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の遮光時の、映像信号処理でOB画素の映像信号の代表値を有効画素映像信号から減算するOB補正前の撮像信号(水平走査線)での完全黒キズ映像信号の撮像装置起動時から内部温度上昇の飽和までの変化を示す模式図である。 (a)遮光時のOB補正前の撮像信号(水平走査線)での完全黒キズ映像信号の撮像装置の起動時から内部温度上昇の飽和までの変化を示す模式図である。 (b)撮像素子の温度と蓄積時間と暗電流との白キズの映像信号の撮像装置起動時から内部温度上昇の飽和までの変化を示す模式図である。 遮光時の遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正をする前の撮像信号の撮像素子の温度と蓄積時間と暗電流との白キズと完全黒キズの映像信号の撮像装置起動時から内部温度上昇の飽和までの変化と撮像素子の14bit出力の垂直走査周期単位の蓄積時間による出力飽和を示す模式図である。 遮光時のOB補正前の撮像信号の撮像素子の温度と蓄積時間の比と暗電流の比と撮像素子の温度に6℃で2倍の正常画素の暗電流に反比例させて、暗電流の比と完全黒キズを検出する遮光蓄積時間を示す模式図である。 本発明の一実施例の白キズ検出と補間の詳細構成図である。 本発明の一実施例の完全黒キズ検出と補間の詳細構成図である。 本発明の一実施例を説明するための模式図である。 本発明の一実施例の白キズの周囲8画素の中央値を算出し、白キズを補間する詳細構成図である。 本発明の一実施例の完全黒キズの周囲8画素の中央値を算出し、完全黒キズを補間する詳細構成図である。 本発明の一実施例の白キズ検出と完全黒キズ検出とのフローチャートである。 発明の一実施例の白キズ補間と完全黒キズ補間とのフローチャートである。 従来の撮像装置の全体構成図(AFE集積したCMOS撮像素子を映像信号処理でOB補正する)である。 本発明の一実施例のOB補正の一例のOB画素信号の代表値検出部の一例となるOB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部とOB補正との、暗電流算出OB補正である。 本発明の一実施例のOB補正の一例のOB画素信号の代表値検出部の一例となるOB画素信号の最小値からN(2)番目からN(2)+M(1)番目の平均検出部とOB補正との、暗電流算出OB補正である。 本発明の一実施例のOB補正の一例のOB画素信号の代表値検出部の一例となるH-OB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部とH-OB補正との、暗電流算出OB補正である。 本発明の一実施例のOB補正の一例のOB画素信号の代表値検出部の一例となるOB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部とV-OB補正との、暗電流算出OB補正である。
 以下、本発明の実施形態について図面を参照して詳細に説明する。
 図1Aと図1Bと図1Cと図1Dとは本発明の撮像装置の全体構成の一実施例を示すブロック図であり、雑音低減、ゲイン補正およびアナログ-デジタル変換のAFEを集積したCMOS撮像素子で、映像信号処理で遮光画素の映像信号の代表値を有効画素映像信号から減算するOB補正を行う。
 図1Aのテレビジョンカメラ30はガンマ後マトリクスの映像信号処理で、R,G,Bの3板撮像素子を用いたカラー撮像装置である。
 図1Bは本発明の撮像装置の全体構成の他の一実施例を示すブロック図で、R,G1,G2,Bの4板撮像素子を用いたカラー撮像装置である。
 図1Cは本発明の撮像装置の全体構成の他の一実施例を示すブロック図で、R,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子を用いたカラー撮像装置である。
 図1Dは本発明の撮像装置の全体構成の他の一実施例を示すブロック図で、モノクロ撮像素子を用いたモノクロ撮像装置である。
 なお、本発明は、撮像素子をCMOSに限定するものではなく、CCD(Charge Coupled Device)等であってもよい。
 図1Aと図1Bにおいて、被写体からの入射光はレンズ部31で結像され、プリズム部32で赤色光と緑色光および青色光に分解され、各々CMOS撮像素子部33R,33G,33G1、33G2、33Bで光電変換される。光電変換されたR/G/Bの信号は、CMOS撮像素子内で雑音低減、ゲイン補正およびアナログ-デジタル変換とを行い、白キズ完全黒キズ検出補正機能付映像信号処理部の35に送られ、色補正、輪郭補正、ガンマ補正、ニー補正等の各種映像信号処理が行われる。
 図1Aと図1Bと図1Cと図1Dにおいて、温度センサ20はCMOS撮像素子部33R,33G,33G1,33G2,33B,58,59の近傍に設けて温度を検出する。
 撮像素子制御54は、CPU(Central Processing Unit)39の指示に従いCMOS撮像素子部33R,33G,33G1,33G2,33B,58,59の蓄積(露光)や読出しを制御する。
 レンズ部31はCPU39の指示に従い遮光または標準撮像を光学絞りまたは可変光学減衰(以下、絞りと称する)で制御する。
 また、50は白キズ検出補間、51は完全黒キズ検出補間、52は暗電流算出OB補正、53はガンマ色輪郭補正である。
 図1Bと図1Cとにおいて、57はパラレル-シリアル変換部(P/S)であり、パラレル-シリアル変換部(P/S)の57により、G1とG2の撮像信号からGの撮像信号が生成される。
 図1Dにおいて、59はモノクロ撮像素子で、60はガンマ輪郭補正であり、モノクロの輝度(Y)信号のみが出力される。
 デジタル信号処理部5では各種映像信号処理などが施された後、
  Y=0.2126R+0.7152G+0.0722B   Pb=0.5389(B-Y)   Pr=0.6350(R-Y)の計算式により、R/G/Bから輝度信号(Y)と色差信号(Pb/Pr)に変換する。そしてパラレル-シリアル変換部(P/S)37でシリアル映像信号に変換され、外部に出力される。
 CPU39は、テレビジョンカメラ30の各部を制御する。また、ビューファインダまたはモニタディスプレイの画像表示部40は撮像装置の設定用メニューや暗電流が異常に多い撮像画素(以下、白キズと称する)と正常画素と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)との自動補間操作や任意の画素の手動での周囲画素での補間操作を表示する。
 ビューファインダまたはモニタディスプレイの40では被写体の映像にメニュー画面を重畳し、ユーザーはメニュー画面を見ながら白キズと完全黒キズとの自動検出補間操作や任意の画素の手動での周囲画素での補間操作を表示する。
(実施例1、検出と補間の概要)  以下、本発明の一実施例を図1Aと図1Bと図1Cと図1D、図2、図3A、図3Bを用いて説明する。
 ここで、図2は、暗電流が異常に多い白キズと正常画素と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の遮光時の、映像信号処理でOB画素の映像信号の代表値を有効画素映像信号から減算するOB補正前の撮像信号(水平走査線)での完全黒キズ映像信号の撮像装置起動時から内部温度上昇の飽和までの変化を示す模式図模式図であり、(a)は遮光時のOB補正前の撮像信号(水平走査線)での感度が異常に低い撮像画素(以下、完全黒キズと称する)映像信号の撮像装置の起動時から内部温度上昇の飽和までの変化を示す模式図であり、(b)は 撮像素子の温度と蓄積時間と暗電流との白キズの映像信号の撮像装置起動時から内部温度上昇の飽和までの変化を示す模式図である。
 撮像素子は一般に、6℃温度上昇で暗電流は2倍程度となっている。放熱に工夫しているカメラでは、一般に、内部温度上昇がおよそ2時間で飽和し12℃程度となっている。そのため、周囲温度が一定であっても、内部温度上昇12℃で、起動時に比べ、内部温度上昇の飽和時には4倍となる。通常はその中間となる。
 図3Aは、遮光時の遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正をする前の撮像信号の撮像素子の温度と蓄積時間と暗電流との白キズと正常画素と完全黒キズの映像信号の撮像装置起動時から内部温度上昇の飽和までの変化と撮像素子の14bit出力の垂直走査周期単位の蓄積時間による出力飽和を示す模式図である。垂直走査周期は一般に約60Hzや50HZが主である。約120Hzや150Hzや約180Hzや約240Hz等の高速も約24Hzや約30Hz等の低速もある。以下、垂直走査周期は約60Hzで垂直走査周期と蓄積時間との関係を説明する。
 図3Bは、遮光時のOB補正前の撮像信号の撮像素子の温度と蓄積時間の比と暗電流の比と撮像素子の温度と完全黒キズを検出する遮光蓄積時間を示す模式図である。
 漏れ電流相当の暗電流しかない完全黒キズを検出するため、白キズ検出の蓄積時間は白キズが飽和しない中時間(垂直走査周期の約60Hzの60倍のおよそ1秒)であるのに対し、完全黒キズ検出の蓄積時間は撮像素子の温度に6℃で2倍の正常画素の暗電流に反比例させて長時間(1秒から163894秒)とすることにより、正常画素の暗電流と、漏れ電流相当の暗電流しかない完全黒キズの暗電流と確実に識別する。
 白キズ検出と異なり、完全黒キズ信号検出は困難なので、検出時の長時間蓄積が許容される。
 具体的には、撮影直前の検出は、撮像素子温度22℃で128秒程度が低温の実用限界であるが、撮像装置を組立調整後のヒートランまたは高温エージング等なら、最高使用温度45℃で放熱に工夫しているカメラで内部温度上昇約12℃で撮像素子温度57℃なら完全黒キズ検出の遮光蓄積時間は約2秒となる。
 最高使用温度45℃で放熱に工夫していないカメラは内部温度上昇約19℃で撮像素子温度が64℃となり、完全黒キズ検出の遮光蓄積時間は垂直走査周期の約60Hzの60倍の約1秒となる。
 最高使用温度40℃で特に放熱に工夫しているカメラは内部温度上昇約8℃で撮像素子温度が48℃となり、完全黒キズ検出の遮光蓄積時間は約16秒となる。ヒートランまたは高温エージング等での完全黒キズ検出の遮光蓄積時間は約1秒から約16秒なら、原価上昇はほとんどない。
 本発明の撮像装置の全体構成の一実施例を示すブロック図の図1Aと図1Bと図1Cと図1Dの33R,33G,33G1,33G2,33Bまたは58または59のCMOS撮像素子の近傍に、温度センサ20を設けてCMOS撮像素子の温度を検出し、完全黒キズ検出の遮光蓄積時間は撮像素子の温度に6℃で2倍の正常画素の暗電流に反比例させても良い。暗電流算出OB補正52で遮光された正常画素の暗電流の代表値を算出しても良い。
 正常画素の暗電流が少ない低温時において、正常画素の暗電流と、完全黒キズの暗電流と確実に識別するために、完全黒キズ検出の遮光蓄積時間は撮像素子の温度に6℃で2倍の正常画素の暗電流に正確に反比例させるために、暗電流算出OB補正52で遮光された正常画素の暗電流の代表値を算出する方法は、後述の実施例3で説明する。
 以上のように本発明は、色分解光学系及び3個以上の撮像素子あるいはR,G1,G2,Bのベイヤ配列のオンチップカラーフィルタ付撮像素子あるいはモノクロ撮像素子と、該撮像素子の各赤緑青の原色映像信号あるいは(モノクロの)輝度映像信号の画素ごとに遮光時の暗電流を検出する手段と、第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、映像信号処理で遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正をする映像信号処理手段とを有する撮像装置において、
 撮像装置を組立調整後の(ヒートランまたは高温エージング等)撮像素子温度が40℃以上の状態時に、垂直走査周期の約60Hzの60倍のおよそ1秒から16秒(できれば周囲温度40℃以上、内部温度上昇11℃以上、撮像素子温度が51℃以上でおよそ4秒)遮光蓄積して映像信号処理のOB補正前に又はOB補正を中止して、第二の所定のレベルより小さい暗電流の画素(感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する))を(正常画素の暗電流と識別して)検出し、撮影時に第二の所定のレベルより小さい暗電流の完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間することを特徴とする撮像装置の調整方法である。
 また、上記撮像装置において、撮像素子温度に対応する(6℃上昇でおよそ2倍となる)正常画素の暗電流を検出する手段(OB画素の最小値からNからN+M番目の平均値を算出する手段)または撮像素子の温度を検出する手段(温度センサ)と、該検出した撮像素子温度に対応する(6℃でおよそ2倍となる)正常画素の暗電流に反比例させて長時間(1秒から163894秒)遮光蓄積し読出を行い、第二の所定のレベルより小さい暗電流の画素(感度が異常に低い撮像画素(以下、完全黒キズと称する))を(正常画素の暗電流と識別して)検出する手段と、撮影時に完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、を有することを特徴とする撮像装置である。(具体策は実施例3で説明する。)
(実施例2、検出と補間の詳細)  以下、本発明の他の1実施例を図1Aと図1Bと図1Cと図4~図10を用いて説明する。
 図4は本発明の一実施例の白キズ検出と補間の詳細構成図である。
 図5は本発明の一実施例の完全黒キズ検出と補間の詳細構成図である。
 図6は本発明の一実施例を説明するための模式図である。
 図6(A)は本発明の一実施例であり、遮光時のOB補正前の完全黒キズを周囲8画素の中央値で補間する模式図(標準撮像信号での完全黒キズの周囲正常画素での補間)である。
 図6(B)は本発明の一実施例であり、遮光時のOB補正前の完全黒キズを周囲8画素の中央値で補間する模式図(標準撮像信号での完全黒キズの周囲黒キズを含む正常画素での補間)である。
 図6(C)は本発明の一実施例であり、遮光時のOB補正前の撮像信号での白キズを周囲8画素の中央値で補間する模式図(標準撮像信号での白キズの周囲正常画素での補間)である。
 図6(D)は本発明の一実施例であり、遮光時のOB補正前の撮像信号での白キズを周囲8画素の中央値で補間する模式図(標準撮像信号での白キズの周囲白キズを含む正常画素での補間)である。
 図7は本発明の一実施例の白キズの周囲8画素の中央値を算出し、白キズを補間する詳細構成図である。
 図8は本発明の一実施例の完全黒キズの周囲8画素の中央値を算出し、完全黒キズを補間する詳細構成図である。
 図9は本発明の一実施例の白キズ検出と完全黒キズ検出とのフローチャートであり、図10は発明の一実施例の白キズ補間と完全黒キズ補間とのフローチャートである。
 図4は本発明の一実施例の暗電流が異常に多い撮像画素(いわゆる白キズ)検出と補間の詳細構成図であり、図5は本発明の一実施例の感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)検出の詳細構成図である。
 図4と図5において、Rの白キズ補間信号、Gの白キズ補間信号、Bの白キズ補間信号から完全黒キズ検出の長時間蓄積での完全黒キズ基準レベルを減算し、完全黒キズの映像信号タイミング(アドレス)を判定し、標準撮像時に、標準撮像時の完全黒キズ補間レベル判定はしないで、完全黒キズの映像信号タイミング(アドレス)で完全黒キズの周囲画素での補間を行う。
 図4と図5において、12,13,14は減算器であり、10は白キズの検出と補間部、11は黒キズの検出と補間部であり、15は白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定、16は白キズの周囲画素での補間、17は黒キズの映像信号タイミング(アドレス)判定、18は黒キズの周囲画素での補間である。
 本発明の撮像装置の全体構成の一実施例を示すブロック図の図1Aと図1Bと図1Cと図4と図5において、CPU39は、レンズ31に絞りを閉じてCMOS撮像素子33R,33G,33Bを遮光する指示をする。次にCPU39は、遮光撮像素子制御54へおよそ1秒の中時間蓄積を指示し、撮像素子制御54は白キズ検出用中時間間欠パルスを発生し、CMOS撮像素子33R,33G,33Bに供給する。そして、遮光中時間蓄積したR,G,Bの撮像信号と白キズ検出の中時間蓄積での白キズ基準レベルとの12,13,14の減算器差分から、15は白キズの映像信号タイミング(アドレス)判定を行う。
 図1Aと図1Bと図1Cと図4と図5において、次にCPU39は、撮像素子制御54へ正常画素の暗電流に反比例させて長時間(1秒から163894秒)蓄積を指示し、撮像素子制御54は完全黒キズ検出用長時間間欠パルスを発生し、CMOS撮像素子33R,33G,33Bに供給する。そして、遮光長時間蓄積したR,G,Bの撮像信号を白キズの映像信号タイミング(アドレス)に基づき16で白キズの周囲画素での補間を行ったR,G,Bの補間信号と完全黒キズ検出の長時間蓄積での完全黒キズ基準レベルとの12,13,14の減算器差分から、17は完全黒キズの映像信号タイミング(アドレス)判定を行う。
 標準撮像時に、CPU39は、レンズ31に絞りを開かせ、遮光撮像素子制御54へ標準撮像を指示し、撮像素子制御54は標準撮像パルスを発生し、CMOS撮像素子33R,33G,33Bに供給する。標準撮像したR,G,Bの撮像信号と標準撮像時の白キズ補間レベルとの12,13,14の減算器差分から、15は白キズの映像信号タイミング(アドレス)判定を行う。16は白キズ補間レベル以下の撮像信号で白キズの映像信号タイミング(アドレス)で白キズの周囲画素での補間を行う。16で白キズの周囲画素での補間を行ったR,G,Bの補間信号を18は完全黒キズの映像信号タイミング(アドレス)に基づき、完全黒キズを周囲画素の中央値で補間を行う。標準撮像時の完全黒キズ補間レベル判定はしない。
 また、図4において、白キズ検出の中時間(垂直走査周期のおよそ15倍以上(の該検出した撮像素子温度に対応する(6℃上昇でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させて垂直走査周期のおよそ15倍からおよそ245760倍で垂直走査周期約60Hzとして0.25秒から4096秒の可変時間又は垂直走査周期のおよそ60倍で垂直走査周期約60Hzとしておよそ1秒の固定時間)の)遮光蓄積時間での白キズ基準レベル又は標準撮像時の白キズ補間レベルと、判定レベルを入れ替えて、白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定とを同一手段で行うことが可能であり、回路の小型化と低価格化が実現できる。
 図6(A)は本発明の一実施例であり、遮光時のOB補正前の完全黒キズを周囲8画素の中央値で補間する模式図(標準撮像信号での完全黒キズの周囲正常画素での補間)であり、中央の完全黒キズ撮像信号0が、周囲の周囲正常画素撮像信号32,48.56,64.80,96,102,128の中央値64又は80で補間される。
 図6(B)は本発明の一実施例であり、遮光時のOB補正前の完全黒キズを周囲8画素の中央値で補間する模式図(標準撮像信号での完全黒キズの周囲黒キズを含む正常画素での補間)であり、中央の完全黒キズ撮像信号0が、周囲の完全黒キズ撮像信号0を除く周囲の周囲正常画素撮像信号32,48.56,64.80,102,128の中央値64で補間される。
 図6(C)は本発明の一実施例であり、遮光時のOB補正前の撮像信号での白キズを周囲8画素の中央値で補間する模式図(標準撮像信号での白キズの周囲正常画素での補間)であり、中央の白キズ撮像信号1024が、周囲の周囲正常画素撮像信号32,48.56,64.80,96,102,128の中央値64又は80で補間される。
 図6(D)は本発明の一実施例であり、遮光時のOB補正前の撮像信号での白キズを周囲8画素の中央値で補間する模式図(標準撮像信号での白キズの周囲白キズを含む正常画素での補間)であり、中央の白キズ撮像信号1024が、周囲の周囲正常画素撮像信号32,48.56,80,96,102,128の中央値80で補間される。
 ここで、完全黒キズ補間は白キズ補間後に行う。
 図7と図8は本発明の一実施例の周囲8画素の中央値を算出し、補間する詳細構成図である。
 図7と図8において、9は周囲画素信号選択部であり、16は白キズの周囲画素での補間、18は黒キズの周囲画素での補間、19は周囲画素中央値検出部、21,22,23,24,25,26,27,28は比較部、29は映像信号切替器である。
 図7と図8の周囲画素信号選択部9において、5と6はラインメモリ、7は映像信号切替器、8は遅延器である。ラインメモリ5と6は0Hの撮像信号から1H,2Hの撮像信号を生成し、0Hの白キズ補間信号から1H2Hの白キズ補間信号を生成する。
 映像信号切替器7は、0H,1H,2Hの撮像信号を選択して撮像信号の周囲画素信号を生成し、0H,1H,2Hの白キズ補間信号を選択して白キズ補間信号の周囲画素信号を生成する。ラインメモリ5と6の替わりに図示しないフレームメモリでも良い。
 図7と図8において、遅延器8は周囲画素中央値検出部19の遅延分撮像信号を遅延させ、白キズ補間信号を遅延させる。そして、周囲画素中央値検出部19は、撮像信号の周囲画素信号から21~28の比較部で撮像信号または白キズ補間信号の周囲画素中央値を検出し、白キズ補間信号の周囲画素信号から21~28の比較部で白キズ補間信号の周囲画素中央値を検出する。
 そして、図4の白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定15からの白キズのレベル以下判定時の白キズの映像信号タイミング(アドレス)に応じて白キズの周囲画素での補間部の切替器29で、撮像信号を撮像信号の周囲画素中央値に補間する。また、図4の黒キズの映像信号タイミング(アドレス)判定17からの完全黒キズの映像信号タイミング(アドレス)に応じて完全黒キズの周囲画素での補間部の切替器29で、白キズ補間信号を白キズ補間信号の周囲画素中央値に補間する。
 図7と図8において、周囲画素に複数の白キズが存在していたとしても、白キズ補間後に完全黒キズ補間するので、完全黒キズ補間は、白キズの影響を受けない。
 また、図7と図8において、白キズ補間後に完全黒キズ補間するので、(撮像信号の周囲画素信号及び撮像信号、又は白キズ補間信号の周囲画素信号及び白キズ補間信号の様に)入力信号を変えて、白キズのレベル以下判定時の白キズの映像信号タイミング(アドレス)、又は完全黒キズの映像信号タイミング(アドレス)の様に)制御信号を変えることにより、同一回路で白キズ補間と完全黒キズ補間と2回処理することで、白キズ補間と完全黒キズ補間とを同一回路で行うことが可能であり、回路の小型化と低価格化が実現できる。
 図9は本発明の一実施例の白キズ検出と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の検出とのフローチャートであり、図10は発明の一実施例の白キズ補間と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の補間とのフローチャートである。
 図9において、CPU39は、白キズ検出と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の検出との開始後に、およそ1秒遮光蓄積し読出を行い(S901)、画素の映像信号は白キズレベルを超えているかを判定(S902)し、“NO”なら(S904)に進み、“YES”なら白キズの映像タイミング(アドレス)を記憶(S903)して(S904)に進む。
 次に、CPU39は、撮像素子の温度上昇6℃で2倍の正常画素の暗電流に反比例させて長時間(1秒から163894秒)遮光蓄積し読出を行い(S904)、画素の映像信号は白キズの映像タイミング(アドレス)かを判定(S905)し、“NO”なら(S908)に進み、“YES”なら周囲8画素の中央値を算出(S906)し、周囲8画素の中央値で補間(S907)して(S908)に進む。
 次に、CPU39は、画素の映像信号は黒キズレベルを下回っているかを判定(S908)し、“NO”なら終了に進み、“YES”なら黒キズの映像タイミング(アドレス)を記憶(S909)し、終了に進む。
 以上で、白キズと完全黒キズとの検出の処理が終了となる。
 図10において、CPU39は、白キズ補間と感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)の補間の開始後に、標準撮像で読出を行い(S1001)、画素の映像信号は白キズ補間のレベルを以下かを判定(S1002)し、“NO”なら(S1006)に進み、“YES”なら白キズの映像タイミング(アドレス)かを判定(S1003)し、“NO”なら(S1006)に進み、“YES”なら周囲8画素の中央値を算出(S1004)し、周囲8画素の中央値で補間(S1005)して(S1006)に進む。
 次に、CPU39は、画素の映像信号は黒キズの映像タイミング(アドレス)かを判定(S1006)し、“NO”なら終了に進み、“YES”なら周囲8画素の中央値を算出(S1007)し、周囲8画素の中央値で補間(S1008)して終了に進む。
 以上で、白キズと完全黒キズとの検出の補間が終了となる。
 つまり、実施例1の撮像装置において、垂直走査周期のおよそ15倍以上(該検出した撮像素子温度に対応する(6℃上昇でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させて垂直走査周期のおよそ15倍からおよそ245760倍で垂直走査周期約60Hzとして0.25秒から4096秒の可変時間又は垂直走査周期のおよそ60倍で垂直走査周期約60Hzとしておよそ1秒の固定時間)の中時間の遮光蓄積時間で暗電流が異常に多い画素欠陥(以下、白キズと称する)の検出を行う手段と、(撮像素子温度が6℃上昇でおよそ2倍となる)正常画素の暗電流を検出する手段(OB画素の最小値からNからN+M番目の平均値を算出する手段)または撮像素子の温度を検出する手段(温度センサ)と、該検出した撮像素子温度が6℃上昇でおよそ2倍となる正常画素の暗電流に蓄積時間を逆比例させて(およそ1秒から16384秒)蓄積して(ランダムノイズの影響を除去して、)OB補正前に(又はOB補正を中止して、)白キズ補間を行う手段と、白キズ補間後に第二の所定のレベルより小さい暗電流の画素(感度が異常に低い撮像画素(以下、完全黒キズと称する)を(正常画素の暗電流と識別して)検出する手段と、撮影時に完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段と、完全黒キズ補間後にOB補正を行う手段と、を有することを特徴とする撮像装置である。
 また、上記撮像装置において、白キズ検出の蓄積での白キズ基準レベル又は標準撮像時の白キズ補間レベルと、判定レベルを入れ替えて、白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定とを同一手段で行う手段とを有することを特徴とする撮像装置である。
 また、上記撮像装置において、白キズ補間後に完全黒キズ補間するので、(撮像信号の周囲画素信号及び撮像信号、又は白キズ補間信号の周囲画素信号及び白キズ補間信号の様に)入力信号を変えて、白キズのレベル以下判定時の白キズの映像信号タイミング(アドレス)、又は完全黒キズの映像信号タイミング(アドレス)の様に)制御信号を変えることにより、同一回路で白キズ補間と完全黒キズ補間と2回処理することで、白キズ補間と完全黒キズ補間とを同一回路で行う手段とを有することを特徴とする撮像装置である。
(実施例3)  図12Aは、本発明の一実施例のOB補正52の一例であり、OB画素信号の代表値検出部の一例のOB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部48と減算器4からなる。
 図12Bは、本発明の一実施例のOB補正の一例のOB画素信号の代表値検出部の一例となるOB画素信号の最小値からN(2)番目からN(2)+M(1)番目の平均検出部とOB補正との、暗電流算出OB補正である。
 図12Cは、本発明の一実施例のOB補正の一例のOB画素信号の代表値検出部の一例となるH-OB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部とH-OB補正との、暗電流算出OB補正である。
 図12Dは、本発明の一実施例のOB補正の一例のOB画素信号の代表値検出部の一例となるOB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部とV-OB補正との、暗電流算出OB補正である。
 図12Aから図12DのV-OB補正において、遅延部55は必須ではないが、有効画素信号を遅延部55で遅延させ、有効画素後のV-OBで補正の方が安定する。
 V-OB補正は縦筋補正やH Shading補正も兼ねる方が小型の信号処理回路で黒が安定した映像信号が出力でき、テレビカメラのワイドダイナミックレンジ化が容易になる。
 図12Aから図12Dにおいて、OB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部48は、21,22,23,24,25,26,27,28との比較部と、43,44,45との加算器と、46の1/4(2bitシフト)、47は最小値から4から4+3番目検出部からなる。
 図12Aと図12Cと図12Dにおいて、OB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部47は、白キズと完全黒キズを除外するために、OB画素信号から8個の比較部で最小値からN(4)番目からN(4)+M(3)番目を検出し、加算し2bitシフトして1/4化することにより白キズと完全黒キズとを除外したOB画素信号を加算平均する。
 図12Bにおいて、OB画素信号の最小値からN(2)番目からN(2)+M(1)番目の平均検出部47は、白キズと完全黒キズを除外するために、OB画素信号から8個の比較部で最小値からN(2)番目からN(2)+M(1)番目を検出し、加算し1bitシフトして1/2化することにより白キズと完全黒キズとを除外したOB画素信号を加算平均する。
 テレビカメラの撮像素子は、2K,4K,8Kと高画素になるに従い、有効画素に比較してOB画素が少なくなる。そのため、OB画素の白キズと完全黒キズの影響を受けやすくなる。
 しかし、本発明では、OB画素の白キズと完全黒キズの影響を受けないで、撮像素子の温度が6℃上昇すると約2倍に増加するOB画素信号の正常画素の暗電流を検出することができる。その結果、検出した(撮像素子温度に6℃でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させることができる。
 また、検出したOB画素信号の正常画素の暗電流の信号を撮像有効画素信号から減算すれば、OB画素の白キズと完全黒キズの影響を受けないで、映像信号処理で安定にOB補正をすることができ、映像信号の黒が安定し、テレビカメラのワイドダイナミックレンジ化が容易になる。
 撮像素子の温度が6℃上昇すると約2倍に増加するOB画素信号の代表値を検出することにより、温度センサを別途設けなくても、撮像素子の温度を検出することができる。
 検出した(撮像素子温度が6℃上昇でおよそ2倍となる)正常画素の暗電流に蓄積時間を逆比例させることにより、正常画素の暗電流が少ない低温時の正常画素の暗電流と、漏れ電流相当の暗電流しかない異常低感度画素(完全黒キズ)の暗電流と確実に識別し、完全黒キズを確実に検出する。
 白キズ検出と異なり、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)信号検出は困難なので、低温度における検出時の長時間蓄積が許容される。
 つまり、実施例1の撮像装置において、映像信号処理の中時間(およそ1秒の固定時間又は該検出した撮像素子温度が6℃上昇でおよそ2倍となる正常画素の暗電流に蓄積時間を逆比例させておよそ0.25秒から4096秒可変時間)の遮光蓄積時間で暗電流が異常に多い画素欠陥(以下、白キズと称する)の検出を行う手段と、(撮像素子温度が6℃上昇でおよそ2倍となる)正常画素の暗電流を検出する手段(OB画素の最小値からNからN+M番目の平均値を算出する手段)または撮像素子の温度を検出する手段(温度センサ)と、該検出した撮像素子温度が6℃上昇でおよそ2倍となる正常画素の暗電流に蓄積時間を逆比例させて(およそ1秒から16384秒)蓄積して(ランダムノイズの影響を除去して、)OB補正前に(又はOB補正を中止して、)白キズ補間を行う手段と、白キズ補間後に第二の所定のレベルより小さい暗電流の画素(感度が異常に低い撮像画素(以下、完全黒キズと称する))を(正常画素の暗電流と識別して)検出する手段と、撮影時に完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段と、完全黒キズ補間後にOB補正を行う手段と、を有することを特徴とする撮像装置である。
 また、実施例2と実施例3の組合せは、上記撮像装置において、映像信号処理の中時間(およそ1秒の固定時間又は該検出した撮像素子温度が6℃上昇でおよそ2倍となる正常画素の暗電流に蓄積時間を逆比例させておよそ0.25秒から4096秒可変時間)の遮光蓄積時間で白キズ検出を行う手段と、該白キズ検出後で、白上記撮像素子温度に蓄積時間を逆比例させておよそ4秒から4096秒蓄積して(ランダムノイズの影響を除去して、)OB補正前又はOB補正を中止して、白キズ補間を行い、第二の所定のレベルより小さい暗電流の画素(感度が異常に低い撮像画素(以下、完全黒キズと称する))を(正常画素の暗電流と識別して)検出する手段と、撮影時に完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段とを有することを特徴とする撮像装置である。
 以上は、図1AのR,G,Bの3撮像素子を用いたカラーカメラを中心に説明したが、図1BのR,G1,G2,Bの4板式撮像素子を用いたカラーカメラでも、図1Cのオンチップカラーフィルタの撮像素子を用いたカラーカメラでも、図1Dのオンチップカラーフィルタのない撮像素子を用いたモノクロカメラでも、映像信号処理でOB補正をしていれば、構わない。
 また、白キズ検出の中時間蓄積での白キズ基準レベル又は標準撮像時の白キズ補間レベルと、判定レベルを入れ替えて、白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定とを同一手段で行うことが可能であり、回路の小型化と低価格化が実現できる。
 さらに、入力信号を変えて、白キズのレベル以下判定時の白キズの映像信号タイミング(アドレス)、又は完全黒キズの映像信号タイミング(アドレス)の様に)制御信号を変えて同一回路で2回処理して、白キズ補間と完全黒キズ補間とを同一手段で行うことが可能であり、回路の小型化と低価格化が実現できる。
 図7と図8において、周囲画素に複数の白キズが存在していたとしても、白キズ補間後に完全黒キズ補間するので、完全黒キズ補間は、白キズの影響を受けない。
 また、白キズ補間後完全黒キズ補間後に映像信号処理で遮光画素信号(以下、OBと称する)補正するので、OB補正は白キズと完全黒キズの影響を受けないで安定に動作するので、映像信号の黒が安定し、テレビカメラのワイドダイナミックレンジ化が容易になる。
 テレビカメラの撮像素子は、2K(1920H×1080V),4K(3840H×2160V),8K(7680H×4320V)と高画素になるに従い、有効画素に比較してOB画素が少なくなる。そのため、OB画素の白キズの影響を受けやすくなる。しかし、本発明では、OB画素の白キズの影響を受けないで、撮像素子の温度が6℃上昇すると約2倍に増加するOB画素信号の代表値を検出することができる。
 従来は、白キズ検出と異なり、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素(以下、完全黒キズと称する)信号検出と補間との自動化は困難で手動補間を行っていた。
 本発明によれば、完全黒キズの検出と補間とが自動で可能で、CCD撮像素子に比べ、高画素化と高速読出しとが容易で安価なMOS撮像素子の完全黒キズが許容できない放送用カメラや高い信頼性が要求される(原子力発電所や新幹線等の)監視用カメラや(自動車塗装や織物等の確認の)産業用カメラ等への適用が加速される。
 本発明の実施形態である撮像装置は、感度が異常に低く暗電流が漏れ電流程度しかない撮像画素信号も自動検出でき、かつ完全黒キズの周囲画素を用いた補間が可能となる。
 以上、本発明の一実施形態について詳細に説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更して実施することができる。
 撮像素子温度に蓄積(露光)時間を逆比例して長時間蓄積することによって、完全黒キズを検出し、周囲画素で補間して高画質の映像信号を生成する用途の放送用カメラや高い信頼性が要求される(原子力発電所や新幹線等の)監視用カメラや(自動車の車体塗装や織物等の確認の)産業用カメラ等に適用できる。この出願は、2016年8月25日に出願された日本出願特願2016-164619を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。
 4:減算器、5,6:ラインメモリ、7:映像信号切替器、8:遅延器、9:周囲画素信号選択部、12,13,14:減算器、15:白キズの映像信号タイミング(アドレス)判定と標準撮像時の白キズ補間判定、16:白キズの周囲画素での補間、17:完全黒キズの映像信号タイミング(アドレス)判定、18:完全黒キズの周囲画素での補間、19:周囲画素中央値検出部、20:温度センサ、21,22,23,24,25,26,27,28:比較部、29:映像信号切替器、30:テレビジョンカメラ、31:レンズ、32:プリズム、33R,33G,33G1,33G2,33B:CMOS撮像素子、34:白キズ補間、35:白キズ完全黒キズ検出補間機能付映像信号処理部、36:MATRIX部、37:パラレル-シリアル変換部(P/S)、38:白キズ完全黒キズ検出補間部、39:CPU、40:ビューファインダ、41:白キズ検出補間機能付映像信号処理部、42:白キズ検出補間部、43,44,45:加算器、46:1/4(2bitシフト)、47:最小値から4から4+3番目検出部、48:OB画素信号の最小値からN(4)番目からN(4)+M(3)番目の平均検出部、49:OB補正、50:白キズ検出補間、51:完全黒キズ検出補間、52:暗電流算出OB補正、53:ガンマ色輪郭補正、54:撮像素子制御、55:遅延部、56:1/2(1bitシフト)、57:パラレル-シリアル変換部(P/S)、58:オンチップカラーフィルタ付撮像素子、59:モノクロ撮像素子、60:ガンマ輪郭補正、61:ラインメモリ、71:ライン加算平均部。

Claims (3)

  1.  撮像素子と、該撮像素子の映像信号の画素ごとに遮光時の暗電流を検出する手段と、第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、映像信号処理で遮光画素映像信号の代表値を有効画素映像信号から減算する遮光画素信号(以下、OBと称する)補正をする映像信号処理手段と、を有する撮像装置において、
     正常画素の暗電流を検出する手段(OB画素の最小値からN番目からN+M番目平均値を算出する手段)または撮像素子の温度を検出する手段を有し、該検出した撮像素子温度に対応する正常画素の暗電流に蓄積時間を逆比例させて遮光蓄積する手段と、
     映像信号処理のOB補正前に、第二の所定のレベルより小さい暗電流の画素(以下、完全黒キズと称する)を前記正常画素の暗電流と識別して検出する手段と、
     撮影時に第二の所定のレベルより小さい暗電流の完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、を有することを特徴とする撮像装置。
  2.  請求項1の撮像装置において、
     垂直走査周期に基づく前記検出した撮像素子温度に対応する正常画素の暗電流に蓄積時間を逆比例させて垂直走査周期の任意の倍数の範囲で垂直走査周期の所定の可変時間又は垂直走査周期の所定の遮光蓄積時間で暗電流が所定以上の画素欠陥(以下、白キズと称する)の検出を行う手段と、
     上記検出した撮像素子温度に対応する正常画素の暗電流に蓄積時間を逆比例させて遮光蓄積してOB補正前に白キズ補間を行う手段と、
     白キズ補間後に前記完全黒キズを前記正常画素の暗電流と識別して検出する手段と、
     撮影時に前記完全黒キズごとに独立に周囲画素の信号レベルを用いて補間する手段と、
     完全黒キズ補間後にOB補正を行う手段と、を有することを特徴とする撮像装置。
  3.  色分解光学系及び3個以上の撮像素子あるいはR,G1,G2,Bのベイヤ配列のカラーフィルタ付撮像素子と、該撮像素子の各赤緑青の原色映像信号の画素ごとに遮光時の暗電流を検出する手段と、第一の所定のレベルより大きい暗電流の画素ごとに独立に周囲画素の信号レベルを用いて補間する手段と、映像信号処理で遮光画素映像信号の代表値を有効画素の映像信号から減算する遮光画素信号(以下、OBと称する)補正をする映像信号処理手段とを有する撮像装置において、
     撮像装置を撮像素子温度が所定以上の温度の状態時に、所定時間範囲にて遮光蓄積し、
     映像信号処理のOB補正前に、第二の所定のレベルより小さい暗電流の画素(以下、完全黒キズと称する)を正常画素の暗電流と識別して検出し、
     撮影時に前記完全黒キズの画素ごとに独立に周囲画素の信号レベルを用いて補間することを特徴とする撮像装置の調整方法。
PCT/JP2017/021624 2016-08-25 2017-06-12 撮像装置及び異常画素検出補間方法及び撮像装置調整方法 WO2018037674A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018535474A JP6730436B2 (ja) 2016-08-25 2017-06-12 撮像装置及び撮像装置の調整方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016164619 2016-08-25
JP2016-164619 2016-08-25

Publications (1)

Publication Number Publication Date
WO2018037674A1 true WO2018037674A1 (ja) 2018-03-01

Family

ID=61245738

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/021624 WO2018037674A1 (ja) 2016-08-25 2017-06-12 撮像装置及び異常画素検出補間方法及び撮像装置調整方法

Country Status (2)

Country Link
JP (1) JP6730436B2 (ja)
WO (1) WO2018037674A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000358195A (ja) * 1999-06-15 2000-12-26 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2003244547A (ja) * 2002-02-13 2003-08-29 Sharp Corp 固体撮像装置、その画素不良変換方法および傷補正方法
JP2016029759A (ja) * 2014-07-25 2016-03-03 キヤノン株式会社 撮像装置の欠陥画素検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000358195A (ja) * 1999-06-15 2000-12-26 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP2003244547A (ja) * 2002-02-13 2003-08-29 Sharp Corp 固体撮像装置、その画素不良変換方法および傷補正方法
JP2016029759A (ja) * 2014-07-25 2016-03-03 キヤノン株式会社 撮像装置の欠陥画素検出方法

Also Published As

Publication number Publication date
JPWO2018037674A1 (ja) 2019-06-20
JP6730436B2 (ja) 2020-07-29

Similar Documents

Publication Publication Date Title
JP5526014B2 (ja) 撮像装置
US9071781B2 (en) Image capturing apparatus and defective pixel detection method
JP5541718B2 (ja) 撮像装置及びその欠陥画素検出方法
US20080129848A1 (en) Imaging apparatus having temperature sensor within image sensor
TWI520606B (zh) 影像處理設備及影像處理設備之控制方法
JP2007189544A (ja) 撮像装置
JP2018196083A (ja) 画像処理装置
JP2005328421A (ja) 撮像装置および撮像方法
US20140307130A1 (en) Imaging device
JP2008306565A (ja) 撮像装置及びその信号補正方法
JP6991809B2 (ja) 撮像装置
JP4719442B2 (ja) 画像信号処理回路、カメラ、及び画像信号処理方法
US10623674B2 (en) Image processing device, image processing method and computer readable recording medium
JP2011114473A (ja) 画素欠陥補正装置
JP2013150144A (ja) 撮像方法および撮像装置
WO2018037674A1 (ja) 撮像装置及び異常画素検出補間方法及び撮像装置調整方法
JP2018182366A (ja) 撮像装置及び暗電流変動の検出補正方法及び撮像装置調整方法
JP2009105582A (ja) ノイズ補正回路、撮像装置及びノイズ補正方法
US7800663B2 (en) Image pickup device and image pickup method
JP4047000B2 (ja) 撮像装置及び撮像方法
JP2006121165A (ja) 撮像装置、画像形成方法
JP6358607B2 (ja) 画像処理装置及び画像処理方法
JP4498086B2 (ja) 画像処理装置および画像処理方法
JP4745680B2 (ja) 撮像装置および撮像方法
JP2010178384A (ja) 画像信号処理回路、カメラ、及び画像信号処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17843162

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018535474

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17843162

Country of ref document: EP

Kind code of ref document: A1