WO2020003488A1 - 撮像装置及びライン変動ノイズ低減装置 - Google Patents

撮像装置及びライン変動ノイズ低減装置 Download PDF

Info

Publication number
WO2020003488A1
WO2020003488A1 PCT/JP2018/024779 JP2018024779W WO2020003488A1 WO 2020003488 A1 WO2020003488 A1 WO 2020003488A1 JP 2018024779 W JP2018024779 W JP 2018024779W WO 2020003488 A1 WO2020003488 A1 WO 2020003488A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
value
unit
variance
detection
Prior art date
Application number
PCT/JP2018/024779
Other languages
English (en)
French (fr)
Inventor
俊樹 藤野
康平 栗原
山下 孝一
大祐 鈴木
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2018/024779 priority Critical patent/WO2020003488A1/ja
Priority to CN201880094902.2A priority patent/CN112313935B/zh
Priority to EP18924114.4A priority patent/EP3817352B1/en
Priority to US15/734,993 priority patent/US11082650B1/en
Priority to JP2020526848A priority patent/JP6821093B2/ja
Publication of WO2020003488A1 publication Critical patent/WO2020003488A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/677Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Definitions

  • the present invention relates to an imaging device and a line fluctuation noise reduction device.
  • An image sensor sequentially outputs pixel values of a plurality of pixels corresponding to the plurality of detection elements as video signals by capturing an image of a subject using a plurality of detection elements arranged two-dimensionally.
  • This video signal may include line fluctuation noise that is a level fluctuation of a pixel value for each horizontal scanning line due to a noise component for each horizontal scanning line (for example, see Patent Document 1).
  • the line fluctuation noise causes the image to flicker and lowers the visibility of the image.
  • a method of suppressing line fluctuation noise there is a method of correcting a video signal so that an average value of pixel values of each horizontal scanning line of the video signal is constant.
  • a line variation value which is an average value of the difference between the pixel value of each pixel and the pixel value of the same pixel in the same horizontal scan line in the previous frame, is used as the correction value.
  • the line fluctuation value calculated when the object includes a moving part includes a fluctuation component not caused by a noise component for each horizontal scanning line, that is, a movement component that is a fluctuation component caused by a moving part. For this reason, when a video signal is corrected using the line fluctuation value as a correction value, there is a problem that line fluctuation noise cannot be reduced appropriately.
  • the present invention has been made in order to solve the above-described problems of the related art, and has an imaging apparatus capable of appropriately reducing line fluctuation noise even when a subject includes a moving part, and It is an object of the present invention to provide a line fluctuation noise reduction device that can appropriately reduce line fluctuation noise even when a detection target includes a moving part.
  • An imaging device includes a plurality of detection elements which are two-dimensionally arranged in a horizontal scanning direction and a vertical direction, and captures a subject to form a plurality of pixels corresponding to the plurality of detection elements.
  • An imaging unit that outputs a pixel value; a pixel value change amount calculation unit that calculates a pixel value change amount that is a time-direction change amount of each of the pixel values; and N is an integer smaller than the total number of pixels of the horizontal scan line.
  • a partial line is a range of N pixels that are continuous in the horizontal scanning line, and a line for calculating a line fluctuation amount that is an average value of N pixel value fluctuation amounts of the N pixels in the partial line
  • a variation calculating unit ; a variance calculating unit configured to calculate a variance of the N pixel value variation from the N pixel value variation and the line variation; and a motion adaptive weight based on the variance.
  • Motion adaptive weight determining unit for calculating From the line fluctuation amount and the motion adaptive weight, using a correction amount calculation unit that calculates a line fluctuation noise correction amount corresponding to each of the pixel values output from the imaging unit, using the line fluctuation noise correction amount
  • a line fluctuation noise correction unit that corrects each of the pixel values output from the imaging unit and generates a corrected video signal.
  • a line fluctuation noise reduction device includes a plurality of detection elements arranged two-dimensionally in a horizontal scanning direction and a vertical direction, and detects the physical quantity of a detection target to detect the plurality of detection elements.
  • a value variation calculating unit wherein N is an integer smaller than the total number of detection points of the horizontal scanning line, and the partial line is a range of N detection points which are continuous in the horizontal scanning line;
  • a line variation calculator that calculates a line variation that is an average value of the N detection value variations at the detection points; and the N detection values from the N detection value variations and the line variation.
  • Calculate the variance of the variation A scatter value calculating unit, a motion adaptive weight determining unit that calculates a motion adaptive weight based on the variance value, and the line variation amount and the motion adaptive weight, to each of the detected values output from the detecting unit.
  • a correction amount calculating unit that calculates a corresponding line fluctuation noise correction amount, and corrects each of the detection values output from the detection unit using the line fluctuation noise correction amount to generate a corrected detection signal. And a line fluctuation noise correction unit.
  • the imaging apparatus of the present invention even when a moving part is included in the subject, it is possible to appropriately reduce the line fluctuation noise while suppressing the effect on the moving component of the video signal.
  • the line fluctuation noise reduction apparatus which concerns on this invention, the line fluctuation noise is reduced appropriately, suppressing the influence on the motion component of a detection signal, even when the detection target contains the moving part. be able to.
  • FIG. 1 is a block diagram schematically illustrating a configuration of an imaging device according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram schematically illustrating a configuration example of an imaging element of the imaging device illustrated in FIG. 1.
  • (A) And (b) is a figure which shows the outline of how to determine the range of a partial line by the moving average method.
  • (A) And (b) is a figure which shows the outline of how to determine the range of a partial line by the fixed division method.
  • FIG. 14 is a diagram illustrating a graph of a motion adaptive weighting characteristic when a standard reference variance value is 384.
  • FIG. 9 is a block diagram schematically showing a configuration of an imaging device according to a second embodiment of the present invention.
  • FIG. 11 is a block diagram schematically showing a configuration of a line fluctuation noise reduction device according to Embodiment 3 of the present invention.
  • FIG. 13 is a diagram schematically illustrating a hardware configuration of a modification of the first
  • FIG. 1 is a block diagram schematically showing a configuration of an imaging device 1 according to the first embodiment of the present invention.
  • the imaging device 1 according to the first embodiment includes an imaging element 20 as an imaging unit and a line fluctuation noise reduction unit 10 as a line fluctuation noise reduction device.
  • the image sensor 20 has a plurality of detection elements two-dimensionally arranged in the horizontal scanning direction and the vertical direction, and picks up an image of a subject with the plurality of detection elements to thereby obtain pixel values of a plurality of pixels corresponding to the plurality of detection elements. Is output as a video signal.
  • the video signal is represented by Yin.
  • Each pixel value forming the video signal Yin is represented by Yin (i).
  • Yin (i) the pixel value of the i-th pixel in the F-th frame (hereinafter also referred to as “F-th frame”) is represented as Yin (i) [F].
  • i in parentheses () is a positive integer indicating a pixel number in a certain frame.
  • F in square brackets [] is a positive integer indicating a frame number.
  • the line fluctuation noise reduction unit 10 is, for example, a signal processing circuit. As shown in FIG. 1, the line fluctuation noise reduction unit 10 includes a delay unit 101, a pixel value fluctuation amount calculation unit 102, a line fluctuation amount calculation unit 103, a variance value calculation unit 104, and a screen variance value average calculation. Unit 105, target reference variance value calculation unit 106, reference variance value calculation unit 107, scaling factor calculation unit 108, variance value index calculation unit 109, motion adaptive weight calculation unit 110, correction amount calculation unit 111, , A line fluctuation noise correction unit 112 and a frame delay unit 113. The screen variance value average calculation unit 105, the target reference variance value calculation unit 106, the reference variance value calculation unit 107, the scaling factor calculation unit 108, the variance index calculation unit 109, and the motion adaptive weight calculation unit 110 114.
  • the pixel value variation calculation unit 102 calculates a pixel value variation d (i), which is a variation in the time direction of each pixel value.
  • the line fluctuation amount corresponding to the pixel value of the i-th pixel in the F-th frame is represented as ave (i) [F]. A specific example of the partial line will be described later.
  • the variance calculating unit 104 calculates the variance var (i) of the N pixel value fluctuation amounts from the N pixel value fluctuation amounts and the line fluctuation amounts of the N pixels in the partial line.
  • the variance of the pixel value variation is denoted as var (i) [F].
  • the motion adaptive weight determination unit 114 calculates the motion adaptive weight w (i) based on the variance var (i).
  • the motion adaptive weight corresponding to the pixel value of the i-th pixel in the F-th frame is expressed as w (i) [F].
  • the motion adaptive weight w (i) [F] has a small value when there are many moving parts included in the subject, and the motion adaptive weight w when there are few moving parts included in the subject. (I) [F] becomes a large value.
  • the correction amount calculation unit 111 calculates a line fluctuation noise correction amount c_lfn (i) corresponding to each of the pixel values output from the imaging unit 20 from the line fluctuation amount ave (i) and the motion adaptive weight w (i). I do.
  • the line fluctuation noise correction amount corresponding to the pixel value of the i-th pixel in the F-th frame is expressed as c_lfn (i) [F].
  • the line fluctuation noise correction amount c_lfn (i) [F] has a small value when there are many moving parts included in the subject, and the line fluctuation noise correction amount when there are few moving parts included in the subject.
  • the noise correction amount c_lfn (i) [F] has a large value.
  • the line fluctuation noise correction unit 112 corrects each of the pixel values Yin (i) output from the imaging unit 20 using the line fluctuation noise correction amount c_lfn (i), and outputs the corrected video signal Yout (i). Generate.
  • the pixel value of the video signal after correction corresponding to the pixel value of the i-th pixel of the F-th frame is expressed as Yout (i) [F].
  • the line fluctuation noise correction amount c_lfn (i) [F] becomes a small value, and the moving part included in the subject becomes smaller.
  • the line fluctuation noise correction amount c_lfn (i) [F] has a large value. For this reason, when the subject includes many moving parts, it is difficult to reduce the moving component of the video signal. Further, when there are few moving parts included in the subject, the line fluctuation noise is appropriately reduced.
  • the imaging element 20 has a plurality of detection elements having sensitivity in a predetermined wavelength range.
  • the plurality of detection elements are arranged in a plurality of rows and a plurality of columns on a two-dimensional plane.
  • the imaging element 20 performs imaging every predetermined frame period.
  • the predetermined wavelength range is, for example, a wavelength range of 8 ⁇ m to 14 ⁇ m, that is, an infrared range.
  • the predetermined wavelength range may be another wavelength range.
  • the predetermined wavelength range may be a wavelength range from 200 nm to 400 nm, that is, an ultraviolet range. In the first embodiment, a case will be described in which the predetermined wavelength range is the infrared range.
  • FIG. 2 is a diagram schematically showing the configuration of the image sensor 20 of FIG.
  • a plurality of pixels that is, a plurality of detection elements
  • 401 to 425 are arranged in a matrix in the row direction and the column direction.
  • the pixels in each row aligned in the row direction (the pixels 401, 402, 403, 404, and 405 in the first row) are connected to a common drive line (the drive line 301 in the first row).
  • the pixels in each column arranged in the column direction (pixels 401, 406, 411, 416, and 421 in the first column) are connected to a common signal line (signal line 201 in the first column).
  • the drive lines 301, 302, 303, 304, and 305 in each row are sequentially driven (that is, drive pulses are applied) by a vertical scanning circuit 300 as a vertical scanning unit. While the drive lines 301, 302, 303, 304, 305 of each row are being driven (ie, during one horizontal scanning period), the pixels of the row (in the case of the drive line 301, the pixels 401, 402, 403, 404, The signal 405) (that is, the pixel value or the detected value) is sequentially output via the signal lines 201, 202, 203, 204, and 205 and the horizontal scanning circuit 200 as a horizontal scanning unit. Note that FIG. 2 shows pixels in 5 rows and 5 columns, but the number of pixels of the image sensor 20 is not limited to this example. The number of pixels of the image sensor may be, for example, 240 rows and 320 columns.
  • the imaging device 1 may include a lens unit as an imaging optical system that forms an image of a subject on the imaging device 20.
  • the lens unit has, for example, a lens group including one lens or a plurality of lenses.
  • the lens unit may have a function of transmitting a light component in a predetermined wavelength range.
  • Light emitted from the subject is condensed by the lens unit and forms an image on a plurality of detection elements of the image sensor 20, that is, on a plurality of pixels.
  • Each detection element of the imaging element 20 outputs a signal of a value (that is, a pixel value) according to the intensity of the incident light as a video signal Yin.
  • the image sensor 20 outputs a plurality of pixel values as video signals Yin in the order of raster scan.
  • the delay unit 101 shown in FIG. 1 converts a pixel value Yin (i) [F], which is a video signal Yin output from the image sensor 20, into a delay time and a delay determined based on a line fluctuation noise correction process described later. Let it.
  • the pixel value fluctuation amount calculation unit 102 calculates the pixel value Yin (i) [F] of the i-th pixel in the F-th frame, which is the video signal Yin output from the image sensor 20, and one frame, which is a line fluctuation noise correction signal. From the pixel value Yout (i) [F-1] of the same pixel in the previous frame (that is, the F-1st frame), the pixel value variation d (i) of the i-th pixel is obtained.
  • the F-th frame here is defined as a reference frame.
  • the pixel value variation calculating unit 102 calculates the same i in the F-1 frame of the video signal Yout from the pixel value Yin (i) [F] of the ith pixel in the F frame of the video signal Yin.
  • the pixel value variation d (i) [F] of the i-th pixel in the F-th frame is obtained by subtracting the pixel value Yout (i) [F-1] of the i-th pixel.
  • the pixel value fluctuation amount d (i) [F] is calculated by, for example, the following Expression 1.
  • the pixel value change amount calculation unit 102 calculates the ninth frame (that is, 1 of the tenth frame) from the fifth pixel Yin (5) [10] of the tenth frame of the video signal Yin output from the image sensor 20. By subtracting the fifth pixel Yout (5) [9] of the line fluctuation noise correction signal Yout which is the video signal (before the frame), the pixel of the fifth pixel Yin (5) [10] of the tenth frame is subtracted. The value variation d (5) [10] is calculated.
  • the line variation calculation unit 103 averages the pixel value variation d (i) [F] output from the pixel value variation calculation unit 102 in the range of the partial line. That is, the line fluctuation amount calculation unit 103 calculates the line fluctuation amount ave (i) [F] that is the average value of the pixel values of the N pixels included in the range of the partial line.
  • FIGS. 3A and 3B are diagrams showing an outline of how to determine the range of the partial line by the moving average method.
  • the range of the partial line that is, the section of the partial line
  • the line variation amount ave (i) is shifted in the partial line range.
  • FIGS. 4A and 4B are diagrams showing an outline of how to determine the range of the partial line by the fixed division method.
  • the range of the partial line that is, the section of the partial line
  • the range of the partial line is shifted by the number of pixels included in the partial line while the range of the partial line is changed.
  • N which is the range of the partial line, that is, the number of pixels included in the partial line
  • N indicating the range of the partial line is 16 pixels which is 1/20 of the number of pixels in one horizontal scan line.
  • the number N of pixels included in the partial line is equal to the number of pixels other than 16 (for example, 32 pixels which is one tenth of the number of pixels of one horizontal scan line or ⁇ of the number of pixels of one horizontal scan line). 64 pixels, which is 1).
  • the number of pixels included in the partial line can be determined within a range of 1/20 to 1/5 of the number of pixels of one horizontal scanning line.
  • the number N of pixels included in the partial line can be set to another number of pixels smaller than the number of pixels in one horizontal scanning line.
  • the range of the partial line may be increased as the image size increases. Alternatively, even when the image size increases, the range of the partial line does not need to be changed.
  • the number of pixels included in the range of the partial line may be appropriately determined based on the angle of view and the number of pixels of the imaging device 1, the size of the subject in the scene captured by the imaging device 1, the distance to the subject, and the like.
  • the line variation ave (i) hardly causes unnaturalness according to the movement of the subject.
  • the amount of calculation increases.
  • the fixed division method since the smoothing process is performed in the horizontal scanning direction, the unnaturalness of the boundary between the adjacent partial lines can be made inconspicuous.
  • the fixed division method the amount of calculation can be reduced.
  • the circuit scale of the line fluctuation amount calculation unit 103 can be smaller than when the moving average method is used.
  • the line fluctuation amount ave (i) [F] which is the average value of the pixel values of the N pixels included in the range of the partial line, is calculated by, for example, Expression 2 below.
  • the variance value calculation unit 104 calculates the pixel value change amount d (i) [F] output from the pixel value change amount calculation unit 102 and the line change amount ave (i) [F] output from the line change amount calculation unit 103. From this, the variance value var (i) [F] of the partial line is calculated. The variance value calculation unit 104 can calculate the variance value var (i) [F] by the square mean of the difference from the average value.
  • the variance value calculation unit 104 first calculates the square mean s_ave (i) [F] of the pixel value fluctuation amounts d (i) [F] for the range of the partial line, and then calculates the line fluctuation amounts ave ( i)
  • the variance var (i) [F] may be obtained by subtracting (ave (i) [F]) 2 which is the square of [F].
  • the variance value var (i) [F] output from the variance value calculation unit 104 is calculated by, for example, Expression 3 below.
  • the average screen variance value calculation unit 105 calculates the average screen variance value AVE_VAR [F of the F-th frame, which is the average of the variance values of the partial lines in the entire screen, from the variance value var (i) output from the variance value calculation unit 104. ] Is calculated.
  • the average screen variance value AVE_VAR [F] of the F-th frame output from the average screen variance value calculation unit 105 is calculated by, for example, Expression 4 below.
  • M is the total number of pixels in one frame. If one frame is 320 pixels horizontally and 240 pixels vertically, M is 320 ⁇ 240 pixels.
  • the average screen variance value AVE_VAR [F] is an index indicating a random noise level including a motion component in the screen of the F-th frame.
  • the target reference variance value calculation unit 106 adds the moving object (that is, the moving object) and the stationary object (that is, the stationary object) to the screen variance value average AVE_VAR [F] output from the screen variance value average calculation unit 105.
  • the target reference variance value TVAR [F is obtained by multiplying a set value Rv used for adjusting a threshold value (for example, a first threshold value and a second threshold value shown in FIG. 5 described later) for determining the object. ] Is calculated. That is, the set value Rv is a value for adjusting the threshold value used for distinguishing between a moving object and a stationary object.
  • the default value of the set value Rv is, for example, 1.0.
  • the reference variance calculating unit 107 indicates a threshold used to determine a moving object and a stationary object for each screen, that is, for each frame, from the target reference variance TVAR [F] output from the target reference variance calculating unit 106.
  • a reference variance RVAR [F] is calculated.
  • RVAR [F] is a reference variance value in the F-th frame.
  • the reference dispersion value is exponentially smoothed in the time direction, thereby suppressing a large fluctuation in the time direction. If the reference variance value in the F-th frame is represented by RVAR [F] and the acquired reference variance value in the F-1 frame which is one frame before is represented by RVAR [F-1], the reference variance value calculation unit 107
  • the output reference variance value RVAR [F] is calculated by, for example, Expression 6 below.
  • represents an exponential smoothing coefficient.
  • the default value of ⁇ is, for example, 0.25. ⁇ may be a value input from the outside, but may be stored in the storage unit of the imaging device 1 in advance.
  • FIG. 5 is a diagram showing a graph of the motion adaptive weighting characteristic when the standard reference variance is 384.
  • the scaling factor calculation unit 108 uses the standard motion adaptive weighting characteristic shown in FIG. 5, and determines a predetermined standard reference variance value and the reference variance value RVAR [F] output from the reference variance value calculation unit 107. Is calculated from the ratio.
  • the scaling factor Rs [F] in the F-th frame output from the scaling factor calculation unit 108 is calculated by, for example, the following Expression 7.
  • the variance index calculation unit 109 multiplies the variance value var (i) [F] calculated by the variance value calculation unit 104 by the scaling factor Rs [F] calculated by the scaling factor calculation unit 108, and calculates the variance value
  • the index i_var (i) [F] is calculated.
  • the variance index i_var (i) [F] is an index used for calculating the motion adaptive weight w (i) [F] based on the standard motion adaptive weight characteristic.
  • the variance index calculating unit 109 calculates the variance index i_var (i) [F] in the F-th frame by, for example, the following Expression 8.
  • the motion adaptive weight calculation unit 110 calculates a weight that is a coefficient applied to each of the moving object and the stationary object from the variance value index i_var (i) [F] output from the variance value index calculation unit 109, that is, the motion adaptive weight w (I) Calculate [F]. If only a stationary object is present in the video and no moving object is present, the variance is the amount of random noise in the video. If there is a moving object in the video, the variance is "(random noise) + (motion amount). )"become. The motion adaptive weight calculation unit 110 determines the amount of motion based on the variance, and controls the motion adaptive weight w (i) [F].
  • the variance when the motion adaptive weight w (i) [F] is 0.5 when the range of the motion adaptive weight w (i) [F] is 0.0 to 1.0 is determined as a moving object or a stationary object. Is defined as a reference variance value of a threshold value used for the threshold value.
  • the range of the motion adaptive weight w (i) [F] is, for example, a range from 0.0 to 1.0.
  • the video signal is not corrected, and when the value of the motion adaptive weight w (i) [F] is 1.0, the line variation is reduced.
  • the video signal is corrected using the amount as it is.
  • FIG. 5 shows a graph of an example of the characteristic of the motion adaptive weight w (i) [F].
  • the graph of the motion adaptive weight w (i) [F] may be expressed by a quartic equation.
  • the motion adaptive weight w (i) output by the motion adaptive weight calculator 110 is calculated by, for example, the following Expression 9.
  • the minimum weight that is the minimum value of the motion adaptive weight w (i) [F] Wmin
  • w (i) [F] Wmin
  • a saturation limit of the minimum weight may be provided.
  • the default value of the minimum weight Wmin is, for example, 0.0, but may be set to a value larger than 0.0.
  • the range of the motion adaptive weight may be 0 to 100 instead of 0.0 to 1.0.
  • the value of the motion adaptive weight w (i) is used in the correction amount calculation unit 111, it is preferable to normalize the image signal Yin [F] so that the image signal Yin [F] can be directly multiplied.
  • the correction amount calculation unit 111 multiplies the motion adaptive weight w (i) [F] output from the motion adaptive weight calculation unit 110 by the line variation ave (i) [F] output from the line variation calculation unit 103.
  • the line fluctuation noise correction amount c_lfn (i) [F] is calculated.
  • the motion adaptive weight When the motion adaptive weight is 0.0, no correction is performed, so that inappropriate correction due to a motion component in the video signal can be prevented, but line fluctuation noise cannot be reduced.
  • the motion adaptation weight w (i) when the motion adaptation weight w (i) is 1.0, the line fluctuation amount ave (i) is used as it is for the correction of the video signal. Therefore, if the subject is a stationary object, the line fluctuation noise is appropriately corrected. You. However, when a moving object is included in the subject, line fluctuations (that is, line fluctuations other than line fluctuation noise) due to the motion component of the video signal are reduced, and thus improper correction is performed.
  • the line fluctuation noise correction amount c_lfn (i) [F] output from the correction amount calculation unit 111 is calculated by, for example, Expression 10 below.
  • the line fluctuation noise correction unit 112 corrects the line fluctuation noise by subtracting the line fluctuation noise correction amount c_lfn (i) [F] output from the correction amount calculation unit 111 from the video signal output from the delay unit 101.
  • the corrected digital signal that is, the corrected video signal Yout (i) [F] is output.
  • subtracting the line fluctuation noise correction amount c_lfn (i) [F] it is desirable to subtract the line fluctuation noise correction amount Rc * c_lfn (i) [F] multiplied by the correction ratio Rc.
  • the correction ratio Rc is set to 1.0 and corrected by 100%, the offset deviation (horizontal stripe pattern) between the vertical lines of the reference image does not disappear and remains.
  • the correction ratio Rc is set to less than 1.0, perform correction (leak) less than 100%, and converge the line offset of the reference image to the average value of the fluctuation.
  • Rc is, for example, 0.875.
  • Rc may be input from the outside, or may be stored in a storage unit provided in the imaging device 1 in advance.
  • the frame delay unit 113 also has a processing delay amount so that the pixel value Yout (i) [F] of the video signal output from the line fluctuation noise correction unit 112 can be calculated as a difference from the pixel at the same pixel position one frame before. One frame delay is taken into account.
  • the amount of line variation is calculated for a partial line that is a part of one horizontal scanning line instead of the entire one horizontal scanning line. Even when a moving object exists, line fluctuation noise can be appropriately suppressed.
  • the line fluctuation noise reduction unit 10 If the line fluctuation noise reduction unit 10 according to the first embodiment is used, the amount of random noise is estimated using the average variance value AVE_VAR [F] of the screen of one frame. For this reason, the estimation accuracy of the motion amount in one frame can be increased, and the appropriate correction amount c_lfn (i) [F] according to the motion amount can be calculated.
  • the motion adaptive weighting characteristic graph (shown in FIG. 6) can be changed to a more appropriate graph according to the input video scene according to the screen variance value average value.
  • FIG. 6 is a block diagram schematically showing a configuration of an imaging device 2 according to Embodiment 2 of the present invention.
  • the imaging device 2 includes, in addition to the imaging device 20, the lens unit 21, and the line fluctuation noise reduction unit 10, an open state for passing light from a subject or a closed state for blocking light from a subject.
  • a fixed pattern noise calculating unit (FPN calculating unit) 50 for calculating a fixed pattern noise (FPN) component generated in the image sensor 20, a control unit 60 for controlling the operation of the shutter 40, and an image. It has a subtraction unit 30 for subtracting the FPN component from the signal Yin (i) [F].
  • the shutter 40 is disposed in front of the lens unit 21 (that is, on the subject side), and transmits light (for example, infrared light, ultraviolet light, or visible light) of a wavelength range component that can be detected by the image sensor 20 to the image sensor 20. It is used as a light transmission / blocking unit that can switch between an open state in which light is allowed to enter and a closed state in which light is not allowed to enter.
  • the shutter 40 may be disposed between the lens unit 21 and the image sensor 20. In this case, at the time of the correction process for removing the FPN component, it is desirable to additionally perform a process in which the influence of the lens unit 21 is considered.
  • the shutter 40 When the shutter 40 is in the open state, the light emitted from the subject is condensed by the lens unit 21 and forms an image on a plurality of detection elements of the image sensor 20.
  • the image sensor 20 sequentially outputs pixel values at levels corresponding to the intensities of light incident on the plurality of detection elements as video signals (for example, in raster scan order).
  • the video signal output from the image sensor 20 includes not only the signal component corresponding to the light emitted from the subject but also the FPN component and the drive signal of the image sensor 20. And a variation component caused by the variation of the peak value of the vertical drive pulse to be performed.
  • the shutter 40 When the shutter 40 is in the closed state, the incidence of light on the image sensor 20 is blocked. In this closed state, the video signal output from the image sensor 20 does not include a signal component, but includes only an FPN component and a component due to a variation in the peak value of the vertical drive pulse.
  • the control unit 60 is, for example, a control circuit including a timing generation unit 601 and a shutter control unit 602.
  • the FPN calculation unit 50 is, for example, a processing circuit including an addition unit 501, a frame memory 502 as a storage unit, a frame memory control unit 503, and a division unit 504.
  • the timing generation unit 601 is a timing signal indicating whether the imaging device 2 is in an update mode for updating a correction value based on a noise component such as an FPN component or a normal imaging mode for imaging a subject.
  • An operation mode signal ST is output.
  • the shutter control unit 602 performs control for switching the shutter 40 to the open state (during the normal imaging mode) or the closed state (during the update mode) according to the operation mode signal ST output from the timing generation unit 601.
  • the imaging device 2 sets the operation mode to the update mode when the power of the imaging device 2 is turned on and when the user instructs the update mode by an operation input unit (not shown). For example, when the timing generation unit 601 sets the operation mode signal ST to a low level lower than the normal level, the shutter control unit 602 closes the shutter 40, and the frame memory control unit 503 performs writing to the frame memory 502. For example, control for updating the value of the FPN component stored in the frame memory 502 is performed.
  • the FPN calculator 50 calculates an FPN component included in the video signal output from the image sensor 20, holds the calculation result, and outputs a signal corresponding to the held FPN component.
  • the shutter 40 When the operation mode signal ST is the update mode for instructing the update of the FPN component stored in the frame memory 502, the shutter 40 is in the closed state, and the output from the line fluctuation noise correction unit 112 in the line fluctuation noise reduction unit 10 is output.
  • the added video signal Yout (i) [F] is added by the adder 501 by a predetermined number of frames (for example, 64 frames), and the added video signal is stored in the frame memory 502.
  • the division unit 504 reads the added video signal from the frame memory 502, divides each pixel value of the added video signal by a predetermined number of frames, and supplies the result to the subtraction unit 30 as an FPN component.
  • the shutter 40 When the operation mode signal ST indicates the normal imaging mode, the shutter 40 is in the open state, and the divider 504 reads the added video signal from the frame memory 502, and outputs the pixel values of the added video signal. Is divided by a predetermined number of frames and supplied to the subtraction unit 30 as an FPN component. The number of frames to be added may be arbitrarily determined by the user according to the performance or amplitude of random noise.
  • the addition unit 501 adds the signal read from the frame memory 502 and the video signal Yout (i) [F] output from the line fluctuation noise correction unit 112, and stores the result of the addition in the frame memory 502.
  • the frame memory control unit 503 determines in advance the operation of storing the addition result output from the addition unit 501 in the frame memory 502. When the addition result of the predetermined number of frames is repeatedly stored in the frame memory 502, the storage of the addition result in the frame memory 502 is stopped.
  • the division unit 504 divides each pixel value of the video signal output from the frame memory 502 by the same value as the number of added frames.
  • the division unit 504 provides the result of the division to the subtraction unit 30 as an input signal.
  • the subtraction unit 30 is used for calculating a difference from the video signal in the next frame.
  • the following effects can be obtained in addition to the effects obtained by the imaging device 1 according to the embodiment.
  • the imaging device 2 since the shutter 40 is provided, the video signal from which the FPN component has been removed is input to the line fluctuation noise reduction unit 10, so that the line fluctuation noise can be appropriately suppressed.
  • FPN is removed first, and then line fluctuation noise is removed.
  • the line fluctuation noise is removed first, and then , FPN may be removed.
  • the signal input to the line fluctuation noise reduction unit 10 is a video signal output from the imaging element 20 having a plurality of detection elements for detecting light that is an electromagnetic wave having an arbitrary wavelength.
  • the imaging device 20 for imaging the subject instead of the imaging device 20 for imaging the subject, a distance to a detection unit or a detection target having a plurality of two-dimensionally arranged detection elements for measuring the temperature of the detection target is measured (as a result, the surface of the detection target is measured). (A shape of which is measured)
  • a detection unit having a plurality of detection elements arranged two-dimensionally may be used.
  • the pixel value obtained by imaging the subject to be detected, the temperature at each position of the detection target, and the distance to each position of the detection target are examples of the physical quantity of the detection target.
  • FIG. 7 is a block diagram schematically showing a configuration of a detection device 1a and a line fluctuation noise reduction unit 10a according to Embodiment 3 of the present invention.
  • the detection device 1a according to the third embodiment includes a detection unit 20a and a line fluctuation noise reduction device 10a.
  • the detection unit 20a includes a plurality of two-dimensionally arranged detection elements, like the imaging element 20 in the first and second embodiments.
  • the plurality of detection elements detect a physical quantity such as a temperature of a detection target or a distance to the detection target.
  • the detection unit 20a outputs a plurality of detection values corresponding to a plurality of detection elements as detection signals.
  • the line fluctuation noise reduction device 10a performs the same correction processing as the line fluctuation noise reduction unit 10 in the first and second embodiments.
  • the line fluctuation noise reduction device 10a includes a delay unit 101a, a detection value fluctuation amount calculation unit 102a, a line fluctuation amount calculation unit 103a, a variance value calculation unit 104a, a variance value average calculation unit 105a, and a target reference variance value calculation.
  • the variance average calculating unit 105a, the target reference variance calculating unit 106a, the reference variance calculating unit 107a, the scaling factor calculating unit 108a, the variance index calculating unit 109a, and the motion adaptive weight calculating unit 110a include a motion adaptive weight determining unit 114a. Is composed.
  • Delay unit 101a detected value fluctuation amount calculation unit 102a, line fluctuation amount calculation unit 103a, variance value calculation unit 104a, variance value average calculation unit 105a, target reference variance value calculation unit 106a, reference variance value calculation unit according to the third embodiment.
  • 107a a scaling factor calculator 108a, a variance index calculator 109a, a motion adaptive weight calculator 110a, a correction amount calculator 111a, a line fluctuation noise corrector 112a, a frame delay unit 113a, and a motion adaptive weight determiner 114a, respectively.
  • Delay section 101 pixel value variation calculation section 102, line variation calculation section 103, variance value calculation section 104, screen variance value average calculation section 105, target reference variance value calculation section 106, reference variance in the first and second embodiments.
  • Value calculation section 107 scaling magnification calculation section 108, variance index calculation section 109, motion adaptive weight calculation 110, the correction amount calculation unit 111, a line variation noise corrector 112, frame delay unit 113, and the same processing as the motion adaptive weight determining unit 114 performs.
  • the use of the line fluctuation noise reduction device 10a according to the third embodiment makes it possible to appropriately suppress line fluctuation noise even when a moving object is present as a detection target.
  • the line fluctuation noise reduction device 10a according to the third embodiment is the same as the line fluctuation noise reduction unit 10 according to the first and second embodiments.
  • FIG. 8 is a diagram schematically illustrating an example of a hardware configuration of the line fluctuation noise reduction unit according to the first or second embodiment or the line fluctuation noise reduction device according to the third embodiment.
  • the line fluctuation noise reduction unit 10 shown in FIG. 1 and the line fluctuation noise reduction device 10a shown in FIG. 7 execute a memory 91 as a storage device for storing a program as software, and a program stored in the memory 91. It can be realized (for example, by a computer) using the processor 92 as an information processing unit. Also, a part of the line fluctuation noise reduction unit 10 shown in FIG. 1 and a part of the line fluctuation noise reduction device 10a shown in FIG. 7 are realized by a memory 91 shown in FIG. 8 and a processor 92 executing a program. Is also good.
  • 1,2 imaging device ⁇ 10 ⁇ line fluctuation noise reduction unit (line fluctuation noise reduction device), ⁇ 20 ⁇ imaging device (imaging unit), ⁇ 21 ⁇ lens unit, ⁇ 30 ⁇ subtraction unit, ⁇ 40 ⁇ shutter, ⁇ 50 ⁇ fixed pattern noise calculation unit, ⁇ 60 ⁇ control unit, 101 delay unit, ⁇ 102 ⁇ pixel value variation calculator, ⁇ 103 ⁇ line variation calculator, ⁇ 104 ⁇ variance calculator, ⁇ 105 ⁇ screen variance calculator, ⁇ 106 ⁇ target reference variance calculator, ⁇ 107 ⁇ reference variance calculator, ⁇ 108 ⁇ scaling Magnification calculator, ⁇ 109 ⁇ variance index calculator, ⁇ 110 ⁇ motion adaptive weight calculator, ⁇ 111 ⁇ correction amount calculator, ⁇ 112 ⁇ line fluctuation noise corrector, ⁇ 113 ⁇ frame delay unit, ⁇ 114 ⁇ motion adaptive weight determiner, ⁇ 501 ⁇ adder, ⁇ 502 ⁇ frame memory , ⁇ 503 ⁇ ⁇ Memory ⁇ control unit, ⁇ 504 ⁇ division unit, ⁇ 601 ⁇ timing generation unit, ⁇ 602 ⁇ shutter control unit, ⁇ 10a ⁇ line fluctuation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

撮像装置(1)は、画素値の各々の時間方向の変動量である画素値変動量(d(i)[F])を算出する画素値変動量算出部(102)と、部分ライン内における画素の画素値変動量の平均値であるライン変動量(ave(i)[F])を算出するライン変動量算出部(103)と、画素値変動量とライン変動量とから画素値変動量の分散値(var(i)[F])を算出する分散値算出部(104)と、分散値に基づいて動き適応重み(w(i)[F])を算出する動き適応重み決定部(114)と、ライン変動量と動き適応重みとから、撮像部(20)から出力された画素値の各々に対応するライン変動ノイズ補正量(c_lfn(i)[F])を算出する補正量算出部(111)と、ライン変動ノイズ補正量を用いて撮像部から出力された画素値の各々を補正して、補正後の映像信号を生成するライン変動ノイズ補正部(112)とを有する。

Description

撮像装置及びライン変動ノイズ低減装置
 本発明は、撮像装置及びライン変動ノイズ低減装置に関する。
 撮像素子(例えば、イメージセンサ)は、2次元配列された複数の検出素子によって被写体を撮像することで、複数の検出素子に対応する複数の画素の画素値を映像信号として順に出力する。この映像信号には、水平走査ライン毎のノイズ成分に起因する水平走査ライン毎の画素値のレベル変動であるライン変動ノイズが含まれることがある(例えば、特許文献1参照)。
 ライン変動ノイズは、映像にちらつきを生じさせ、映像の視認性を低下させる。ライン変動ノイズを抑制する方法として、映像信号の水平走査ライン毎の画素値の平均値が一定となるように、映像信号を補正する方法がある。この方法では、1つの水平走査ラインの全画素の画素値の平均値と1フレーム前のフレームにおける同一の水平走査ラインの全画素の画素値の平均値との差、又は1つの水平走査ラインの各画素の画素値と1フレーム前のフレームにおける同じ水平走査ラインの同じ画素の画素値との差分の平均値であるライン変動値を補正値として用いる。
特許第4749397号公報
 しかしながら、被写体が動く部分を含む場合に算出されるライン変動値は、水平走査ライン毎のノイズ成分に起因しない変動成分、すなわち、動く部分に起因する変動成分である動き成分を含んでいる。このため、上記ライン変動値を補正値として用いて映像信号を補正すると、ライン変動ノイズを適切に低減できないという課題がある。
 本発明は、上記従来技術の課題を解決するためになされたものであり、被写体に動く部分が含まれている場合であっても、ライン変動ノイズを適切に低減することができる撮像装置、及び検出対象に動く部分が含まれている場合であっても、ライン変動ノイズを適切に低減することができるライン変動ノイズ低減装置を提供することを目的とする。
 本発明の一態様に係る撮像装置は、水平走査方向と垂直方向とで2次元配列された複数の検出素子を有し、被写体を撮像することで前記複数の検出素子に対応する複数の画素の画素値を出力する撮像部と、前記画素値の各々の時間方向の変動量である画素値変動量を算出する画素値変動量算出部と、Nが水平走査ラインの画素の総数より少ない整数であり、部分ラインが水平走査ライン内において連続するN個の画素の範囲であり、前記部分ライン内におけるN個の画素のN個の画素値変動量の平均値であるライン変動量を算出するライン変動量算出部と、前記N個の画素値変動量と前記ライン変動量とから前記N個の画素値変動量の分散値を算出する分散値算出部と、前記分散値に基づいて動き適応重みを算出する動き適応重み決定部と、前記ライン変動量と前記動き適応重みとから、前記撮像部から出力された前記画素値の各々に対応するライン変動ノイズ補正量を算出する補正量算出部と、前記ライン変動ノイズ補正量を用いて前記撮像部から出力された前記画素値の各々を補正して、補正後の映像信号を生成するライン変動ノイズ補正部と、を有することを特徴とする。
 本発明の他の態様に係るライン変動ノイズ低減装置は、水平走査方向と垂直方向とで2次元配列された複数の検出素子を有し、検出対象の物理量を検出することで前記複数の検出素子に対応する複数の検出点の検出値を出力する検出部から出力される検出信号を受信する装置であって、前記検出値の各々の時間方向の変動量である検出値変動量を算出する検出値変動量算出部と、Nが水平走査ラインの検出点の総数より少ない整数であり、部分ラインが水平走査ライン内において連続するN個の検出点の範囲であり、前記部分ライン内におけるN個の検出点のN個の検出値変動量の平均値であるライン変動量を算出するライン変動量算出部と、前記N個の検出値変動量と前記ライン変動量とから前記N個の検出値変動量の分散値を算出する分散値算出部と、前記分散値に基づいて動き適応重みを算出する動き適応重み決定部と、前記ライン変動量と前記動き適応重みとから、前記検出部から出力された前記検出値の各々に対応するライン変動ノイズ補正量を算出する補正量算出部と、前記ライン変動ノイズ補正量を用いて前記検出部から出力された前記検出値の各々を補正して、補正後の検出信号を生成するライン変動ノイズ補正部と、を有することを特徴とする。
 本発明に係る撮像装置によれば、被写体に動く部分が含まれている場合であっても、映像信号の動き成分への影響を抑制しつつ、ライン変動ノイズを適切に低減することができる。
 本発明に係るライン変動ノイズ低減装置によれば、検出対象に動く部分が含まれている場合であっても、検出信号の動き成分への影響を抑制しつつ、ライン変動ノイズを適切に低減することができる。
本発明の実施の形態1に係る撮像装置の構成を概略的に示すブロック図である。 図1に示される撮像装置の撮像素子の構成例を概略的に示す図である。 (a)及び(b)は、部分ラインの範囲の移動平均法による決め方の概要を示す図である。 (a)及び(b)は、部分ラインの範囲の固定分割法による決め方の概要を示す図である。 標準基準分散値が384であるときの動き適応重み特性のグラフを示す図である。 本発明の実施の形態2に係る撮像装置の構成を概略的に示すブロック図である。 本発明の実施の形態3に係るライン変動ノイズ低減装置の構成を概略的に示すブロック図である。 実施の形態1から3の変形例のハードウェア構成を概略的に示す図である。
 以下に、本発明の実施の形態に係る撮像装置及びライン変動ノイズ低減装置を、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
《1》実施の形態1
《1-1》実施の形態1の主要な構成
 図1は、本発明の実施の形態1に係る撮像装置1の構成を概略的に示すブロック図である。図1に示されるように、実施の形態1に係る撮像装置1は、撮像部である撮像素子20と、ライン変動ノイズ低減装置であるライン変動ノイズ低減部10とを有する。
 撮像素子20は、水平走査方向と垂直方向とで2次元配列された複数の検出素子を有し、複数の検出素子で被写体を撮像することで複数の検出素子に対応する複数の画素の画素値を映像信号として出力する。映像信号は、Yinで表記される。映像信号Yinを構成する各画素値は、Yin(i)で表記される。映像信号Yinを構成する各画素値のうち、Fフレーム目のフレーム(以下「第Fフレーム」とも言う)におけるi番目の画素の画素値は、Yin(i)[F]と表記される。以下の説明において、丸括弧( )内のiは、あるフレームにおける画素の番号を示す正の整数である。また、角括弧[ ]内のFは、フレーム番号を示す正の整数である。
 ライン変動ノイズ低減部10は、例えば、信号処理回路である。図1に示されるように、ライン変動ノイズ低減部10は、遅延部101と、画素値変動量算出部102と、ライン変動量算出部103と、分散値算出部104と、画面分散値平均算出部105と、目標基準分散値算出部106と、基準分散値算出部107と、スケーリング倍率算出部108と、分散値指標算出部109と、動き適応重み算出部110と、補正量算出部111と、ライン変動ノイズ補正部112と、フレーム遅延部113とを有する。画面分散値平均算出部105、目標基準分散値算出部106、基準分散値算出部107、スケーリング倍率算出部108、分散値指標算出部109、及び動き適応重み算出部110は、動き適応重み決定部114を構成する。
 画素値変動量算出部102は、画素値の各々の時間方向の変動量である画素値変動量d(i)を算出する。第Fフレームのi番目の画素の画素値Yin(i)[F]が入力されたときの画素値変動量、すなわち、第Fフレームのi番目の画素の画素値に対応する画素値変動量はd(i)[F]と表記される。
 Nが水平走査ラインの画素の総数である総画素数Lより少ない整数であり、部分ラインが水平走査ライン内において連続するN個の画素の範囲であるとした場合、ライン変動量算出部103は、部分ライン内におけるN個の画素のN個の画素値変動量の平均値であるライン変動量ave(i)を算出する。第Fフレームのi番目の画素の画素値に対応するライン変動量は、ave(i)[F]と表記される。また、部分ラインの具体例は、後述される。
 分散値算出部104は、部分ライン内におけるN個の画素のN個の画素値変動量とライン変動量とから、N個の画素値変動量の分散値var(i)を算出する。第FフレームのN個の画素のN個の画素値変動量と第Fフレームのi番目の画素の画素値に対応するライン変動量ave(i)[F]とから算出された、N個の画素値変動量の分散値は、var(i)[F]と表記される。
 動き適応重み決定部114は、分散値var(i)に基づいて動き適応重みw(i)を算出する。第Fフレームのi番目の画素の画素値に対応する動き適応重みは、w(i)[F]と表記される。実施の形態1では、被写体に含まれる動く部分が多い場合には、動き適応重みw(i)[F]が小さな値になり、被写体に含まれる動く部分が少ない場合には、動き適応重みw(i)[F]が大きな値になる。
 補正量算出部111は、ライン変動量ave(i)と動き適応重みw(i)とから、撮像部20から出力された画素値の各々に対応するライン変動ノイズ補正量c_lfn(i)を算出する。第Fフレームのi番目の画素の画素値に対応するライン変動ノイズ補正量は、c_lfn(i)[F]と表記される。実施の形態1では、被写体に含まれる動く部分が多い場合には、ライン変動ノイズ補正量c_lfn(i)[F]が小さな値になり、被写体に含まれる動く部分が少ない場合には、ライン変動ノイズ補正量c_lfn(i)[F]が大きな値になる。
 ライン変動ノイズ補正部112は、ライン変動ノイズ補正量c_lfn(i)を用いて撮像部20から出力された画素値Yin(i)の各々を補正して、補正後の映像信号Yout(i)を生成する。第Fフレームのi番目の画素の画素値に対応する補正後の映像信号の画素値は、Yout(i)[F]と表記される。
 実施の形態1に係る撮像装置1によれば、被写体に含まれる動く部分が多い場合には、ライン変動ノイズ補正量c_lfn(i)[F]が小さな値になり、被写体に含まれる動く部分が少ない場合には、ライン変動ノイズ補正量c_lfn(i)[F]が大きな値になる。このため、被写体に動く部分が多く含まれている場合に、映像信号の動き成分は削減されにくい。また、被写体に含まれる動く部分が少ない場合に、ライン変動ノイズが適切に低減される。
《1-2》実施の形態1の構成及び動作
 撮像素子20は、予め決められた波長域に感度を有する複数の検出素子を有する。複数の検出素子は、2次元平面上に複数行複数列に配置される。撮像素子20は、予め決められたフレーム期間毎に撮像を行う。予め決められた波長域は、例えば、8μmから14μmの範囲の波長域、すなわち、赤外線域である。ただし、予め決められた波長域は、他の波長域であってもよい。予め決められた波長域は、200nmから400nmの範囲の波長域、すなわち、紫外線域であってもよい。実施の形態1では、予め決められた波長域が赤外線域である場合を説明する。
 図2は、図1の撮像素子20の構成を概略的に示す図である。図2に示されるように、撮像素子20では、複数の画素(すなわち、複数の検出素子)401~425が行方向及び列方向にマトリクス状に配置されている。行方向に整列した各行の画素(1行目の場合、画素401、402、403、404、405)は、共通の駆動線(1行目の場合、駆動線301)に接続されている。列方向に整列した各列の画素(1列目の場合、画素401、406、411、416、421)は、共通の信号線(1列目の場合、信号線201)に接続されている。各行の駆動線301、302、303、304、305は、垂直走査部としての垂直走査回路300により順に駆動される(すなわち、駆動パルスを印加される)。各行の駆動線301、302、303、304、305が駆動されている間(すなわち、1水平走査期間中)に、その行の画素(駆動線301の場合、画素401、402、403、404、405)の信号(すなわち、画素値又は検出値)は、信号線201、202、203、204、205及び水平走査部としての水平走査回路200を介して順に出力される。なお、図2には、5行5列の画素が示されているが、撮像素子20の画素数はこの例に限定されない。撮像素子の画素数は、例えば、240行320列であってもよい。
 撮像装置1は、撮像素子20に被写体の像を結像させる結像光学系としてのレンズ部を有してもよい。レンズ部は、例えば、1枚のレンズ又は複数枚のレンズからなるレンズ群を有する。レンズ部は、予め決められた波長域の光成分を透過させる機能を備えてもよい。被写体から放射される光は、レンズ部により集光され、撮像素子20の複数の検出素子、すなわち、複数の画素上に結像する。撮像素子20の各検出素子は、入射した光の強度に応じた値(すなわち、画素値)の信号を映像信号Yinとして出力する。実施の形態1では、撮像素子20は、映像信号Yinとして複数の画素値をラスタスキャンの順に出力する。
 図1に示される遅延部101は、撮像素子20から出力される映像信号Yinである画素値Yin(i)[F]を、後述のライン変動ノイズ補正処理に基づいて決められた遅延時間、遅延させる。
 画素値変動量算出部102は、撮像素子20から出力される映像信号Yinである第Fフレームにおけるi番目の画素の画素値Yin(i)[F]と、ライン変動ノイズ補正信号である1フレーム前のフレーム(すなわち、第F-1フレーム)における同じ画素の画素値Yout(i)[F-1]とから、i番目の画素の画素値変動量d(i)を求める。ここでの第Fフレームを基準のフレームと定義する。具体的には、画素値変動量算出部102は、映像信号Yinの第Fフレームにおけるi番目の画素の画素値Yin(i)[F]から、映像信号Youtの第F-1フレームにおける同じi番目の画素の画素値Yout(i)[F-1]を減算することで、第Fフレームにおけるi番目の画素の画素値変動量d(i)[F]を求める。この画素値変動量d(i)[F]は、例えば、以下の式1で算出される。
Figure JPOXMLDOC01-appb-M000001
 例えば、画素値変動量算出部102は、撮像素子20から出力される映像信号Yinの第10フレームの5番目の画素Yin(5)[10]から、第9フレーム(すなわち、第10フレームの1フレーム前)の映像信号であるライン変動ノイズ補正信号Youtの5番目の画素Yout(5)[9]を減算することによって、第10フレームの5番目の画素Yin(5)[10]についての画素値変動量d(5)[10]を算出する。
 ライン変動量算出部103は、画素値変動量算出部102から出力される画素値変動量d(i)[F]を部分ラインの範囲で平均する。すなわち、ライン変動量算出部103は、部分ラインの範囲に含まれるN個の画素の画素値の平均値であるライン変動量ave(i)[F]を計算する。
 図3(a)及び(b)は、部分ラインの範囲の移動平均法による決め方の概要を示す図である。移動平均法では、図3(a)及び(b)に示されるように、部分ラインの範囲(すなわち、部分ラインの区間)を1画素ずつずらしながら、部分ラインの範囲でライン変動量ave(i)[F]を計算する。
 図4(a)及び(b)は、部分ラインの範囲の固定分割法による決め方の概要を示す図である。固定分割法では、図4(a)及び(b)に示されるように、部分ラインの範囲(すなわち、部分ラインの区間)を部分ラインに含まれる画素の画素数ずつずらしながら、部分ラインの範囲でライン変動量ave(i)[F]を計算する。
 部分ラインの範囲、すなわち、部分ラインに含まれる画素の画素数であるNは、画像サイズの幅、すなわち、1水平走査ラインの画素数に応じて決定される。例えば、1水平走査ラインの画素数が320画素の場合、部分ラインの範囲を示すNは、1水平走査ラインの画素数の20分の1である16画素である。ただし、部分ラインに含まれる画素の画素数Nは、16画素以外の画素数(例えば、1水平走査ラインの画素数の10分の1である32画素又は1水平走査ラインの画素数の5分の1である64画素など)としてもよい。
このように、部分ラインに含まれる画素の画素数は、1水平走査ラインの画素数の20分の1から5分の1の範囲内で決めることができる。ただし、部分ラインに含まれる画素の画素数Nは、1水平走査ラインの画素数よりも少ない他の画素数とすることも可能である。また、画像サイズが大きくなるほど部分ラインの範囲を大きくしてもよい。あるいは、画像サイズが大きくなっても、部分ラインの範囲を変更しなくてもよい。撮像装置1の画角及び画素数と、撮像装置1が撮像するシーンにおける被写体の大きさ、被写体までの距離などから、適宜、部分ラインの範囲に含まれる画素の画素数を決めてもよい。
 移動平均法を用いる場合は、ライン変動量ave(i)に、被写体の移動に応じた不自然さは現われ難い。ただし、移動平均法を用いる場合は、演算量が増加する。固定分割法を用いる場合は、水平走査方向に平滑処理を行うので、隣り合う部分ライン間の境界の不自然さを目立たなくすることができる。固定分割法を用いる場合は、演算量が少なくできる。固定分割法を用いる場合は、移動平均法を用いる場合に比べ、ライン変動量算出部103の回路規模を小さくすることができる。
 ライン変動量算出部103は、部分ラインの範囲を、入力される映像信号に応じて変更してもよい。例えば、入力される映像に動き部分が多い場合は、部分ラインの範囲に含まれる画素の画素数を少ない値(例えば、N=16画素)にし、入力される映像に動き部分が多い場合は、部分ラインの範囲に含まれる画素の画素数を多い値(例えば、N=32画素の範囲)にしてもよい。部分ラインの範囲に含まれるN個の画素の画素値の平均値であるライン変動量ave(i)[F]は、例えば、以下の式2で算出される。
Figure JPOXMLDOC01-appb-M000002
 分散値算出部104は、画素値変動量算出部102から出力される画素値変動量d(i)[F]とライン変動量算出部103から出力されるライン変動量ave(i)[F]とから部分ラインの分散値var(i)[F]を算出する。分散値算出部104は、平均値との差の2乗平均で分散値var(i)[F]を求めることができる。また、分散値算出部104は、先に、部分ラインの範囲について画素値変動量d(i)[F]の2乗平均s_ave(i)[F]を算出して、これからライン変動量ave(i)[F]の2乗である(ave(i)[F])を減算することで、分散値var(i)[F]を求めてもよい。分散値算出部104から出力される分散値var(i)[F]は、例えば、以下の式3で算出される。
Figure JPOXMLDOC01-appb-M000003
 画面分散値平均算出部105は、分散値算出部104から出力される分散値var(i)から、画面全体における各部分ラインの分散値の平均である第Fフレームの画面分散値平均AVE_VAR[F]を算出する。画面分散値平均算出部105から出力される第Fフレームの画面分散値平均AVE_VAR[F]は、例えば、以下の式4で算出される。
Figure JPOXMLDOC01-appb-M000004
 式4において、Mは、1フレームの全画素数である。1フレームが横320画素、縦240画素である場合、Mは、320×240画素である。画面分散値平均AVE_VAR[F]は、第Fフレームの画面において動き成分も含むランダムノイズレベルを示す指標である。
 目標基準分散値算出部106は、画面分散値平均算出部105から出力される画面の分散値平均AVE_VAR[F]に、動いている物体(すなわち、動体)と静止している物体(すなわち、静止物体)の判別の閾値(例えば、後述する図5に示される第1の閾値と第2の閾値)を調整するために使用される設定値Rvを乗算することで、目標基準分散値TVAR[F]を算出する。つまり、設定値Rvは、動体と静止物体とを判別するために用いられる閾値を調整するための値である。設定値Rvのデフォルト値は、例えば、1.0である。設定値Rvは、外部から入力されてもよいが、撮像装置1内の記憶部に記憶されていてもよい。第Fフレームにおける目標基準分散値をTVAR[F]で表せば、目標基準分散値算出部106から出力される目標基準分散値TVAR[F]は、例えば、以下の式5で算出される。なお、Rv=1である場合には、目標基準分散値算出部106を備えずに、画面の分散値平均AVE_VAR[F]を基準分散値算出部107に供給するように構成してもよい。
Figure JPOXMLDOC01-appb-M000005
 基準分散値算出部107は、目標基準分散値算出部106から出力される目標基準分散値TVAR[F]から、画面毎すなわちフレーム毎に動体と静止物体とを判別するために用いられる閾値を示す基準分散値RVAR[F]を算出する。RVAR[F]は、第Fフレームにおける基準分散値である。基準分散値は、時間方向へ指数平滑することで、時間方向への大きい変動が抑えられる。第Fフレームにおける基準分散値をRVAR[F]で表し、1フレーム前である第F-1フレームにおける取得済みの基準分散値をRVAR[F-1]で表せば、基準分散値算出部107から出力される基準分散値RVAR[F]は、例えば、以下の式6で算出される。
Figure JPOXMLDOC01-appb-M000006
 RVAR[F]が小さくなると動き成分の割合が増え(すなわち、画素の画素値が動き成分を含むと判定される動判定の割合が増え)、RVAR[F]が大きくなると動き成分の割合が減り(すなわち、画素の画素値が動き成分を含むと判定される動判定の割合が減る)。ここで、αは、指数平滑係数を表す。αのデフォルト値は、例えば、0.25である。αは外部から入力された値でもよいが、撮像装置1の記憶部に予め記憶されていてもよい。
 図5は、標準の基準分散値が384であるときの動き適応重み特性のグラフを示す図である。スケーリング倍率算出部108は、図5に示される標準の動き適応重み特性を使うため、予め決められた標準の基準分散値と基準分散値算出部107から出力される基準分散値RVAR[F]との比からスケーリング倍率Rsを算出する。スケーリング倍率算出部108から出力される第Fフレームにおけるスケーリング倍率Rs[F]は、例えば、以下の式7で算出される。
Figure JPOXMLDOC01-appb-M000007
 分散値指標算出部109は、分散値算出部104で算出される分散値var(i)[F]とスケーリング倍率算出部108で算出されるスケーリング倍率Rs[F]とを乗算して、分散値指標i_var(i)[F]を算出する。分散値指標i_var(i)[F]は、標準の動き適応重み特性に基づく動き適応重みw(i)[F]の算出に用いられる指標である。分散値指標算出部109は、第Fフレームにおける分散値指標i_var(i)[F]を、例えば、以下の式8によって算出する。
Figure JPOXMLDOC01-appb-M000008
 動き適応重み算出部110は、分散値指標算出部109から出力される分散値指標i_var(i)[F]から動体及び静止物体のそれぞれに適用される係数である重み、すなわち、動き適応重みw(i)[F]を算出する。映像に静止物体のみが存在し動体が存在しない場合は、分散値が映像中のランダムノイズ量になり、映像中に動体が存在する場合は、分散値が「(ランダムノイズ量)+(動き量)」になる。動き適応重み算出部110は、分散値に基づいて動き量を判断して、動き適応重みw(i)[F]を制御する。動き適応重みw(i)[F]の範囲が0.0~1.0において動き適応重みw(i)[F]が0.5になるときの分散値を、動体と静止物体とを判別するために用いられる閾値の基準分散値と定義する。
 動き適応重みw(i)[F]の範囲は、例えば、0.0から1.0までの範囲である。動き適応重みw(i)[F]の値が0.0のときは、映像信号を補正をせず、動き適応重みw(i)[F]の値が1.0のときは、ライン変動量をそのまま用いて映像信号を補正する。
 また、動き適応重みw(i)[F]の範囲が0.0と1.0との間(すなわち、0.0より大きく1.0より小さいとき)は、線形的に動き適応重みw(i)[F]を変更する。図5には、動き適応重みw(i)[F]の特性の例のグラフが示されている。動き適応重みw(i)[F]のグラフは、4次式で表現されてもよい。動き適応重み算出部110によって出力される動き適応重みw(i)は、例えば、以下の式9で算出される。
Figure JPOXMLDOC01-appb-M000009
 ここで、動き適応重みw(i)[F]の最小値である最小の重みをWminとした場合には、w(i)[F]=Wminとし、最小重みの飽和制限を設けてもよい。最小の重みWminのデフォルト値は、例えば、0.0であるが、0.0より大きい値に設定してもよい。
 動き適応重みの範囲は、0.0~1.0ではなく、0から100であってもよい。ただし、補正量算出部111で動き適応重みw(i)の値を用いるため、映像信号Yin[F]に直接乗算できるようにするために、正規化することが望ましい。
 補正量算出部111は、動き適応重み算出部110から出力される動き適応重みw(i)[F]にライン変動量算出部103から出力されるライン変動量ave(i)[F]を乗算することでライン変動ノイズ補正量c_lfn(i)[F]を算出する。
 動き適応重みが0.0の場合は、補正をしないので、映像信号における動き成分に起因する不適切な補正を防ぐことができるが、ライン変動ノイズを低減することはできない。一方、動き適応重みw(i)が1.0の場合は、ライン変動量ave(i)をそのまま映像信号の補正に用いるので、被写体が静止物体であれば、ライン変動ノイズは適切に補正される。しかし、被写体に動体が含まれる場合は、映像信号の動き成分に起因するライン変動(すなわち、ライン変動ノイズ以外のライン変動)を低減することになるので、不適切な補正がなされる。
 そこで、本実施の形態では、補正量算出部111から出力されるライン変動ノイズ補正量c_lfn(i)[F]を、例えば、以下の式10で算出している。
Figure JPOXMLDOC01-appb-M000010
 ライン変動ノイズ補正部112は、遅延部101から出力される映像信号から補正量算出部111から出力されるライン変動ノイズ補正量c_lfn(i)[F]を減算することで、ライン変動ノイズが補正された補正後のデジタル信号、すなわち、補正後の映像信号Yout(i)[F]を出力する。ライン変動ノイズ補正量c_lfn(i)[F]を減算するときに、補正比率Rcをかけたライン変動ノイズ補正量Rc*c_lfn(i)[F]を減算することが望ましい。補正比率Rcを1.0に設定し、100%補正すると、基準となる画像の垂直ライン間オフセットずれ(横縞パターン)が消えずに、残り続ける。このため、補正比率Rcを1.0未満に設定し、100%より少なめに補正(リーク)し、基準の画像のラインオフセットを変動の平均値に収束させることが望ましい。ライン変動ノイズ補正後の映像信号をYout(i)[F]で表せば、ライン変動ノイズ補正部112から出力されるライン変動ノイズ補正後の映像信号Yout(i)[F]は、例えば、以下の式11で算出される。
Figure JPOXMLDOC01-appb-M000011
 Rcのデフォルト値は、例えば、0.875である。Rcは、外部から入力されてもよいが、撮像装置1に備えられた記憶部に予め記憶されていてもよい。
 フレーム遅延部113は、ライン変動ノイズ補正部112から出力される映像信号の画素値Yout(i)[F]を同じ画素位置の1フレーム前の画素との差分演算ができるように処理遅延量も考慮した1フレーム遅延を行う。
 以上に説明したように、実施の形態1に係る撮像装置1によれば、ライン変動量を1水平走査ライン全体ではなく、1水平走査ラインの一部分である部分ラインについて算出することにより、被写体に動体が存在する場合であっても、ライン変動ノイズを適切に抑制することができる。
  また、実施の形態1に係るライン変動ノイズ低減部10を用いれば、1フレームの画面分散値平均AVE_VAR[F]を用いてランダムノイズの量を推定している。このため、1フレーム内における動き量の推定精度を高くすることができ、動き量に応じた適切な補正量c_lfn(i)[F]を算出することができる。
 また、基準分散値を算出することで、画面分散値平均値に応じて、動き適応重み特性グラフ(図6に示される)を入力映像シーンに応じたより適切なグラフに変更することができる。
《2》実施の形態2
 図6は、本発明の実施の形態2に係る撮像装置2の構成を概略的に示すブロック図である。図6において、図1に示される構成要素と同一又は対応する構成要素には、図1に示される符号と同じ符号が付される。図6に示されるように、撮像装置2は、撮像素子20、レンズ部21、及びライン変動ノイズ低減部10に加え、被写体からの光を通過させる開状態又は被写体からの光を遮断する閉状態に状態を切り替えるシャッタ40、撮像素子20で発生する固定パターンノイズ(FPN)成分を算出する固定パターンノイズ算出部(FPN算出部)50、シャッタ40の動作を制御するための制御部60、及び映像信号Yin(i)[F]からFPN成分を減算する減算部30を有する。
 シャッタ40は、レンズ部21の前(すなわち、被写体側)に配置されており、撮像素子20が検出可能な波長域成分の光(例えば、赤外線、紫外線、又は可視光線など)の撮像素子20への入射を許可する開状態と光の入射を許可しない閉状態とを切り替え可能な光透過/遮断部として用いられる。シャッタ40は、レンズ部21と撮像素子20との間に配置されてもよい。この場合には、FPN成分を除去するための補正処理時において、レンズ部21の影響を考慮した処理が追加して行われることが望ましい。
 シャッタ40が開状態であるときには、被写体から放射される光は、レンズ部21により集光されて撮像素子20の複数の検出素子上に結像する。撮像素子20は、複数の検出素子に入射した光の強度に応じたレベルの画素値を、映像信号として順次(例えば、ラスタスキャン順に)出力する。シャッタ40が開状態のときに撮像素子20から出力される映像信号には、被写体から放射される光に対応した成分である信号成分だけでなく、FPN成分と、撮像素子20の駆動線に印加される垂直駆動パルスの波高値のバラツキに起因するバラツキ成分とが含まれる。
 シャッタ40が閉状態であるときには、撮像素子20への光の入射が遮断される。この閉状態では、撮像素子20から出力される映像信号は、信号成分を含まず、FPN成分及び垂直駆動パルスの波高値のバラツキに起因する成分のみを含む。
 制御部60は、例えば、タイミング生成部601と、シャッタ制御部602とを有する制御回路である。FPN算出部50は、例えば、加算部501と、記憶部としてのフレームメモリ502と、フレームメモリ制御部503と、除算部504とを有する処理回路である。
 タイミング生成部601は、撮像装置2が、FPN成分などのノイズ成分に基づく補正値を更新するための更新モードであるか、被写体を撮像するための通常撮像モードであるかを示すタイミング信号である動作モード信号STを出力する。シャッタ制御部602は、タイミング生成部601から出力される動作モード信号STに応じて、シャッタ40を開状態(通常撮像モード時)又は閉状態(更新モード時)に切り替えるための制御を行う。
 撮像装置2は、撮像装置2の電源が投入されたとき及び操作入力部(図示せず)によってユーザが更新モードを指示したときに、動作モードを更新モードに設定する。例えば、タイミング生成部601は、動作モード信号STを通常レベルより低い低レベルにすると、シャッタ制御部602は、シャッタ40を閉状態にし、フレームメモリ制御部503は、フレームメモリ502への書き込みを行うための、すなわち、フレームメモリ502に記憶されているFPN成分の値を更新するための制御を行う。
 FPN算出部50は、撮像素子20から出力される映像信号に含まれるFPN成分を算出し、この算出結果を保持し、保持されたFPN成分に対応する信号を出力する。
 動作モード信号STがフレームメモリ502に記憶されているFPN成分の更新を指示する更新モードであるときは、シャッタ40は閉状態であり、ライン変動ノイズ低減部10におけるライン変動ノイズ補正部112から出力される映像信号Yout(i)[F]を、加算部501にて、予め決められたフレーム数のフレーム(例えば、64フレーム)分加算し、加算された映像信号をフレームメモリ502に記憶する。除算部504は、フレームメモリ502から加算された映像信号を読み出し、加算された映像信号の各画素値を予め決められたフレーム数で除算して、FPN成分として減算部30に供給する。
 動作モード信号STが通常撮像モードを指示しているときは、シャッタ40は開状態であり、除算部504は、フレームメモリ502から加算された映像信号を読み出し、加算された映像信号の各画素値を予め決められたフレーム数で除算して、FPN成分として減算部30に供給する。加算するフレーム数は、ランダムノイズの性能又は振幅に応じてユーザが任意に決定してもよい。
 加算部501は、フレームメモリ502から読み出される信号と、ライン変動ノイズ補正部112から出力される映像信号Yout(i)[F]とを加算し、加算の結果をフレームメモリ502に記憶させる。
 フレームメモリ制御部503は、タイミング生成部601から出力される動作モード信号STが更新モードであるときに、加算部501から出力される加算の結果をフレームメモリ502に格納する動作を、予め決められたフレーム数分、繰り返し、予め決められたフレーム数分の加算の結果がフレームメモリ502へ格納されたときに、フレームメモリ502への加算の結果の格納を停止する。
 除算部504は、フレームメモリ502から出力される映像信号の各画素値を、加算したフレーム数と同じ値で除算する。除算部504は、この除算の結果を減算部30に入力信号として提供する。減算部30は、次のフレームにおける映像信号との差分演算に用いられる。
 以上説明したように、実施の形態2に係る撮像装置2によれば、実施の形態に係る撮像装置1によって得られる効果に加えて以下の効果が得られる。
 撮像装置2によれば、シャッタ40を設けることにより、FPN成分を除去した映像信号がライン変動ノイズ低減部10に入力されるので、ライン変動ノイズを適切に抑制することができる。
 なお、実施の形態2では、FPNの除去を先に行い、その後ライン変動ノイズの除去を行っている。しかし、FPN及びライン変動ノイズの各々の性質及び振幅、FPN及びライン変動ノイズの各々の補正部の処理に割り当てられるbit数又は信号ダイナミックレンジに応じて、ライン変動ノイズの除去を先に行い、その後、FPNの除去を行う構成としてもよい。
《3》実施の形態3
 上記実施の形態1及び2においては、ライン変動ノイズ低減部10に入力される信号が、任意の波長の電磁波である光を検出する複数の検出素子を有する撮像素子20から出力される映像信号である場合を説明した。しかしながら、被写体を撮像する撮像素子20に代えて、検出対象の温度を計測する2次元配列された複数の検出素子を有する検出部又は検出対象までの距離を計測する(その結果、検出対象の表面の形状が計測される)2次元配列された複数の検出素子を有する検出部を用いてもよい。検出対象である被写体を撮像して得られる画素値、検出対象の各位置の温度、及び検出対象の各位置までの距離は、検出対象の物理量の例である。
 図7は、本発明の実施の形態3に係る検出装置1a及びライン変動ノイズ低減部10aの構成を概略的に示すブロック図である。図7に示されるように、実施の形態3に係る検出装置1aは、検出部20aと、ライン変動ノイズ低減装置10aとを有する。
 検出部20aは、実施の形態1及び2における撮像素子20と同様に、2次元配列された複数の検出素子を有する。複数の検出素子は、検出対象の温度又は検出対象までの距離などの物理量を検出する。検出部20aは、複数の検出素子に対応する複数の検出値を検出信号として出力する。
 ライン変動ノイズ低減装置10aは、実施の形態1及び2におけるライン変動ノイズ低減部10と同様の補正処理を行う。
 ライン変動ノイズ低減装置10aは、遅延部101aと、検出値変動量算出部102aと、ライン変動量算出部103aと、分散値算出部104aと、分散値平均算出部105aと、目標基準分散値算出部106aと、基準分散値算出部107aと、スケーリング倍率算出部108aと、分散値指標算出部109aと、動き適応重み算出部110aと、補正量算出部111aと、ライン変動ノイズ補正部112aと、フレーム遅延部113aとを有する。分散値平均算出部105a、目標基準分散値算出部106a、基準分散値算出部107a、スケーリング倍率算出部108a、分散値指標算出部109a、及び動き適応重み算出部110aは、動き適応重み決定部114aを構成する。
 実施の形態3における遅延部101a、検出値変動量算出部102a、ライン変動量算出部103a、分散値算出部104a、分散値平均算出部105a、目標基準分散値算出部106a、基準分散値算出部107a、スケーリング倍率算出部108a、分散値指標算出部109a、動き適応重み算出部110a、補正量算出部111a、ライン変動ノイズ補正部112a、フレーム遅延部113a、及び動き適応重み決定部114aは、それぞれ実施の形態1及び2における遅延部101、画素値変動量算出部102、ライン変動量算出部103、分散値算出部104、画面分散値平均算出部105、目標基準分散値算出部106、基準分散値算出部107、スケーリング倍率算出部108、分散値指標算出部109、動き適応重み算出部110、補正量算出部111、ライン変動ノイズ補正部112、フレーム遅延部113、及び動き適応重み決定部114と同様の処理を行う。
 以上に説明したように、実施の形態3に係るライン変動ノイズ低減装置10aを用いれば、検出対象に動体が存在する場合であっても、ライン変動ノイズを適切に抑制することができる。
 また、実施の形態3に係るライン変動ノイズ低減装置10aを用いれば、1フレームの分散値平均AVE_VAR[F]を用いてランダムノイズの量を推定している。このため、1フレーム内における動き量の推定精度を高くすることができ、動き量に応じた適切な補正量c_lfn(i)[F]を算出することができる。
 上記以外の点に関して、実施の形態3に係るライン変動ノイズ低減装置10aは、実施の形態1及び2に係るライン変動ノイズ低減部10と同じである。
《4》変形例
 図8は、実施の形態1又は2におけるライン変動ノイズ低減部又は実施の形態3に係るライン変動ノイズ低減装置のハードウェア構成の例を概略的に示す図である。図1に示されるライン変動ノイズ低減部10及び図7に示されるライン変動ノイズ低減装置10aは、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ91と、メモリ91に格納されたプログラムを実行する情報処理部としてのプロセッサ92とを用いて(例えば、コンピュータにより)実現することができる。また、図1に示されるライン変動ノイズ低減部10及び図7に示されるライン変動ノイズ低減装置10aの一部を、図8に示されるメモリ91と、プログラムを実行するプロセッサ92とによって実現してもよい。
 1,2 撮像装置、 10 ライン変動ノイズ低減部(ライン変動ノイズ低減装置)、 20 撮像素子(撮像部)、 21 レンズ部、 30 減算部、 40 シャッタ、 50 固定パターンノイズ算出部、 60 制御部、 101 遅延部、 102 画素値変動量算出部、 103 ライン変動量算出部、 104 分散値算出部、 105 画面分散値平均算出部、 106 目標基準分散値算出部、 107 基準分散値算出部、 108 スケーリング倍率算出部、 109 分散値指標算出部、 110 動き適応重み算出部、 111 補正量算出部、 112 ライン変動ノイズ補正部、 113 フレーム遅延部、 114 動き適応重み決定部、 501 加算部、 502 フレームメモリ、 503 フレームメモリ制御部、 504 除算部、 601 タイミング生成部、 602 シャッタ制御部、 10a ライン変動ノイズ低減装置、 20a 検出部、 101a 遅延部、 102a 検出値変動量算出部、 103a ライン変動量算出部、 104a 分散値算出部、 105a 分散値平均算出部、 106a 目標基準分散値算出部、 107a 基準分散値算出部、 108a スケーリング倍率算出部、 109a 分散値指標算出部、 110a 動き適応重み算出部、 111a 補正量算出部、 112a ライン変動ノイズ補正部、 113a フレーム遅延部。

Claims (15)

  1.  水平走査方向と垂直方向とで2次元配列された複数の検出素子を有し、被写体を撮像することで前記複数の検出素子に対応する複数の画素の画素値を出力する撮像部と、
     前記画素値の各々の時間方向の変動量である画素値変動量を算出する画素値変動量算出部と、
     Nが水平走査ラインの画素の総数より少ない整数であり、部分ラインが水平走査ライン内において連続するN個の画素の範囲であり、前記部分ライン内におけるN個の画素のN個の画素値変動量の平均値であるライン変動量を算出するライン変動量算出部と、
     前記N個の画素値変動量と前記ライン変動量とから前記N個の画素値変動量の分散値を算出する分散値算出部と、
     前記分散値に基づいて動き適応重みを算出する動き適応重み決定部と、
     前記ライン変動量と前記動き適応重みとから、前記撮像部から出力された前記画素値の各々に対応するライン変動ノイズ補正量を算出する補正量算出部と、
     前記ライン変動ノイズ補正量を用いて前記撮像部から出力された前記画素値の各々を補正して、補正後の映像信号を生成するライン変動ノイズ補正部と、
     を有することを特徴とする撮像装置。
  2.  前記動き適応重み決定部は、
     前記分散値に対応する値である分散値指標を算出する分散値指標算出部と、
     前記分散値指標が予め決められた第1の閾値以上であり且つ予め決められた第2の閾値以下の範囲内にあるときに、前記分散値指標の増加するほど前記動き適応重みが小さくなるように前記動き適応重みを算出する動き適応重み算出部と、
     を有することを特徴とする請求項1に記載の撮像装置。
  3.  前記動き適応重み決定部は、
     前記分散値算出部から出力される分散値の画面平均である画面分散値平均を求める画面分散値平均算出部と、
     前記画面分散値平均の時間方向で指数平滑することで基準分散値を求める基準分散値算出部と、
     前記基準分散値に基づくスケーリング倍率と前記分散値を乗算して分散値指標を算出する分散値指標算出部と、
     前記分散値指標が予め決められた第1の閾値以上であり且つ予め決められた第2の閾値以下の範囲内にあるときに、前記分散値指標の増加するほど前記動き適応重みが小さくなるように前記動き適応重みを算出する動き適応重み算出部と、
     を有することを特徴とする請求項1に記載の撮像装置。
  4.  前記動き適応重み決定部は、予め決められた標準の基準分散値を前記基準分散値で除算することによって前記スケーリング倍率を算出するスケーリング倍率算出部をさらに有することを特徴とする請求項3に記載の撮像装置。
  5.  前記動き適応重み算出部は、
     前記分散値指標が前記第1の閾値以下であるときに、前記動き適応重みを予め決められた第1の値に設定し、
     前記分散値指標が前記第2の閾値以上であるときに、前記動き適応重みを、前記第1の値より小さい予め決められた第2の値に設定する
     ことを特徴とする請求項2から4のいずれか1項に記載の撮像装置。
  6.  前記第1の値は、1.0であり、
     前記第2の値は、0.0であり、
     前記分散値指標が前記第1の閾値以上であり且つ前記第2の閾値以下の範囲内にあるときに、前記動き適応重みは、1.0から0.0までの値である
     ことを特徴とする請求項5に記載の撮像装置。
  7.  前記ライン変動量算出部は、前記ライン変動量を前記部分ライン毎に算出する処理を、前記部分ラインを前記水平走査ラインの方向に1画素移動させる毎に繰り返すことを特徴とする請求項1から6のいずれか1項に記載の撮像装置。
  8.  前記ライン変動量算出部は、前記ライン変動量を前記部分ライン毎に算出する処理を、前記部分ラインを前記水平走査ラインの方向にN画素移動させる毎に繰り返すことを特徴とする請求項1から6のいずれか1項に記載の撮像装置。
  9.  前記ライン変動ノイズ補正部は、入力された映像信号の画素値から前記補正量算出部から出力されるライン変動ノイズ補正量を減算することで、又は、入力された映像信号の画素値から前記補正量算出部から出力されるライン変動ノイズ補正量に1より小さい補正比率を乗算した値を減算することで、ライン変動ノイズ補正後の映像信号を出力することを特徴とする請求項1から8のいずれか1項に記載の撮像装置。
  10.  前記画素値変動量算出部は、基準のフレームにおける画素の画素値と、前記基準のフレームより1フレーム前のフレームの同じ画素の画素値との間の変動量を前記画素値変動量として算出することを特徴とする請求項1から9のいずれか1項に記載の撮像装置。
  11.  前記撮像部は、予め決められた波長帯域の光を検出することを特徴とする請求項1から10のいずれか1項に記載の撮像装置。
  12.  前記撮像部で発生する固定パターンノイズ成分を算出する固定パターンノイズ算出部と、
     前記撮像部から出力された前記映像信号から前記固定パターンノイズ成分を減算する減算部と
     をさらに有することを特徴とする請求項1から11のいずれか1項に記載の撮像装置。
  13.  水平走査方向と垂直方向とで2次元配列された複数の検出素子を有し、検出対象の物理量を検出することで前記複数の検出素子に対応する複数の検出点の検出値を出力する検出部から出力される検出信号を受信するライン変動ノイズ低減装置であって、
     前記検出値の各々の時間方向の変動量である検出値変動量を算出する検出値変動量算出部と、
     Nが水平走査ラインの検出点の総数より少ない整数であり、部分ラインが水平走査ライン内において連続するN個の検出点の範囲であり、前記部分ライン内におけるN個の検出点のN個の検出値変動量の平均値であるライン変動量を算出するライン変動量算出部と、
     前記N個の検出値変動量と前記ライン変動量とから前記N個の検出値変動量の分散値を算出する分散値算出部と、
     前記分散値に基づいて動き適応重みを算出する動き適応重み決定部と、
     前記ライン変動量と前記動き適応重みとから、前記検出部から出力された前記検出値の各々に対応するライン変動ノイズ補正量を算出する補正量算出部と、
     前記ライン変動ノイズ補正量を用いて前記検出部から出力された前記検出値の各々を補正して、補正後の検出信号を生成するライン変動ノイズ補正部と、
     を有することを特徴とするライン変動ノイズ低減装置。
  14.  前記検出信号は、前記検出部の前記複数の検出素子によって検出された、前記検出対象の温度に基づく検出値を有することを特徴とする請求項13に記載のライン変動ノイズ低減装置。
  15.  前記検出信号は、前記検出部の前記複数の検出素子によって検出された、前記検出対象までの距離に基づく検出値を有することを特徴とする請求項13に記載のライン変動ノイズ低減装置。
PCT/JP2018/024779 2018-06-29 2018-06-29 撮像装置及びライン変動ノイズ低減装置 WO2020003488A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2018/024779 WO2020003488A1 (ja) 2018-06-29 2018-06-29 撮像装置及びライン変動ノイズ低減装置
CN201880094902.2A CN112313935B (zh) 2018-06-29 2018-06-29 摄像装置和线变动噪声降低装置
EP18924114.4A EP3817352B1 (en) 2018-06-29 2018-06-29 Imaging device and line-variation-noise-reducing device
US15/734,993 US11082650B1 (en) 2018-06-29 2018-06-29 Image capturing device and line variation noise reduction device
JP2020526848A JP6821093B2 (ja) 2018-06-29 2018-06-29 撮像装置及びライン変動ノイズ低減装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/024779 WO2020003488A1 (ja) 2018-06-29 2018-06-29 撮像装置及びライン変動ノイズ低減装置

Publications (1)

Publication Number Publication Date
WO2020003488A1 true WO2020003488A1 (ja) 2020-01-02

Family

ID=68986812

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/024779 WO2020003488A1 (ja) 2018-06-29 2018-06-29 撮像装置及びライン変動ノイズ低減装置

Country Status (5)

Country Link
US (1) US11082650B1 (ja)
EP (1) EP3817352B1 (ja)
JP (1) JP6821093B2 (ja)
CN (1) CN112313935B (ja)
WO (1) WO2020003488A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010220024A (ja) * 2009-03-18 2010-09-30 Hitachi Kokusai Electric Inc 横引きノイズ補正方法
JP2011134118A (ja) * 2009-12-24 2011-07-07 Canon Inc 情報処理装置、処理方法及びプログラム
JP4749397B2 (ja) 2007-08-23 2011-08-17 三菱電機株式会社 赤外線撮像装置
JP2013106186A (ja) * 2011-11-14 2013-05-30 Canon Inc 撮像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5121230A (en) * 1987-01-19 1992-06-09 Canon Kabushiki Kaisha Image reading apparatus having adjusting circuits for matching the level of and compensating for fluctuation among a plurality of sensing elements
KR100820507B1 (ko) * 2000-04-21 2008-04-10 마츠시타 덴끼 산교 가부시키가이샤 화상처리방법 및 화상처리장치
JP4945063B2 (ja) * 2004-03-15 2012-06-06 東芝モバイルディスプレイ株式会社 アクティブマトリクス型表示装置
US7769089B1 (en) * 2004-12-02 2010-08-03 Kolorific, Inc. Method and system for reducing noise level in a video signal
JP2009232402A (ja) * 2008-03-25 2009-10-08 Oki Semiconductor Co Ltd ノイズ低減回路及び方法
CN102007759B (zh) * 2008-07-24 2013-03-27 株式会社岛津制作所 光或放射线摄像装置
JP2011029793A (ja) * 2009-07-22 2011-02-10 Panasonic Corp 固体撮像装置およびカメラ
JP5834542B2 (ja) * 2011-06-30 2015-12-24 株式会社ニコン 撮像装置、画像処理装置、及びプログラム、並びに記録媒体
JP2013025364A (ja) * 2011-07-15 2013-02-04 Olympus Corp 撮像装置及び画像処理方法
JP5864958B2 (ja) * 2011-08-31 2016-02-17 キヤノン株式会社 画像処理装置、画像処理方法、プログラムおよびコンピュータ記録媒体
JP6451104B2 (ja) * 2014-07-04 2019-01-16 株式会社リコー 光電変換素子、画像読取装置、画像形成装置及び信号制御方法
JP6275334B2 (ja) 2015-05-21 2018-02-07 富士フイルム株式会社 赤外線撮像装置及び固定パターンノイズデータの更新方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4749397B2 (ja) 2007-08-23 2011-08-17 三菱電機株式会社 赤外線撮像装置
JP2010220024A (ja) * 2009-03-18 2010-09-30 Hitachi Kokusai Electric Inc 横引きノイズ補正方法
JP2011134118A (ja) * 2009-12-24 2011-07-07 Canon Inc 情報処理装置、処理方法及びプログラム
JP2013106186A (ja) * 2011-11-14 2013-05-30 Canon Inc 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3817352A4

Also Published As

Publication number Publication date
EP3817352B1 (en) 2022-05-11
JP6821093B2 (ja) 2021-01-27
EP3817352A4 (en) 2021-06-09
EP3817352A1 (en) 2021-05-05
US11082650B1 (en) 2021-08-03
US20210235033A1 (en) 2021-07-29
CN112313935B (zh) 2023-04-04
CN112313935A (zh) 2021-02-02
JPWO2020003488A1 (ja) 2021-01-07

Similar Documents

Publication Publication Date Title
US9454805B2 (en) Method and apparatus for reducing noise of image
JP4960605B2 (ja) 自動露出補正方法及び補正装置
JP6116272B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP5948073B2 (ja) 画像信号処理装置、画像信号処理方法
WO2014020970A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2016129405A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
US8989510B2 (en) Contrast enhancement using gradation conversion processing
JP6412386B2 (ja) 画像処理装置およびその制御方法、プログラムならびに記録媒体
JP2009188463A5 (ja)
US9019407B2 (en) Image processing apparatus and image processing method
WO2020003488A1 (ja) 撮像装置及びライン変動ノイズ低減装置
CN106973194A (zh) 拍摄装置、图像处理装置、图像处理方法
JP2017038139A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP2014098859A (ja) 撮像装置および撮像方法
JP6397261B2 (ja) 画像処理装置及び方法
JP5978829B2 (ja) 撮像素子の露光制御装置及び方法、並びに画像撮像装置
JP2012119997A (ja) 画像処理方法及び画像処理装置
US20120099007A1 (en) Image processing apparatus and control method thereof
JP6160416B2 (ja) 露出制御装置及び撮影装置
JP5366672B2 (ja) 固定パターンノイズ除去ユニット、撮像ユニット、および電子内視鏡システム
JP4958687B2 (ja) スミア補正装置
KR101535006B1 (ko) 역광을 보정하기 위한 영상 처리 장치 및 방법
JP2023124452A (ja) 画像処理装置
JP2010130612A (ja) 撮像装置
KR100631850B1 (ko) 평형잡음 보상 회로 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18924114

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020526848

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018924114

Country of ref document: EP