WO2013061626A1 - 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及び記録媒体 - Google Patents

画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及び記録媒体 Download PDF

Info

Publication number
WO2013061626A1
WO2013061626A1 PCT/JP2012/053791 JP2012053791W WO2013061626A1 WO 2013061626 A1 WO2013061626 A1 WO 2013061626A1 JP 2012053791 W JP2012053791 W JP 2012053791W WO 2013061626 A1 WO2013061626 A1 WO 2013061626A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
reference range
processing apparatus
magnification
Prior art date
Application number
PCT/JP2012/053791
Other languages
English (en)
French (fr)
Inventor
偉雄 藤田
大祐 鈴木
的場 成浩
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2013540676A priority Critical patent/JP5693743B2/ja
Priority to CN201280052201.5A priority patent/CN103907134B/zh
Priority to US14/346,347 priority patent/US9123105B2/en
Priority to GB1405126.2A priority patent/GB2509021B/en
Priority to DE201211004470 priority patent/DE112012004470T5/de
Publication of WO2013061626A1 publication Critical patent/WO2013061626A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Definitions

  • the present invention relates to an image processing technique for suppressing a noise component in an image signal, and more particularly to an image processing technique for suppressing a noise component in an image signal indicating a distorted image and correcting the distortion of the image.
  • Patent Document 1 discloses an image processing apparatus that can suppress noise components in an image signal while retaining edge components of a subject image.
  • FIG. 1 is a functional block diagram showing the configuration of the image processing apparatus 100 disclosed in Patent Document 1.
  • the image processing apparatus 100 includes low-pass filters 101, 102, and 103 that perform filtering on an input image signal, differentiators 104, 105, and 106, and base noise clip circuits 107, 108, and 109 and an adder 110.
  • the differencer 104 outputs a difference between the input image signal and the output of the low-pass filter 101
  • the differencer 105 outputs a difference between the outputs of the low-pass filters 101 and 102
  • the differencer 106 is a low-pass filter 102.
  • 103 is output.
  • the base noise clipping circuits 107, 108, and 109 receive the output signals of the differentiators 104, 105, and 106, and each output a constant value when the input value is within a predetermined range defined by a threshold value (clip level). To do.
  • the adder 110 adds the outputs of the base noise clip circuits 107, 108, and 109 to generate a pixel corresponding to the target pixel.
  • JP 2007-188346 A (FIG. 1, paragraphs 0009 to 0022)
  • a distortion may occur in a captured image due to distortion aberration of an imaging optical system such as a lens.
  • This distortion is caused by the difference in image forming magnification (particularly the lateral magnification) between the vicinity of the central axis of the angle of view and its peripheral portion in the image formed by the imaging optical system.
  • the amount of distortion tends to increase from the image center (pixel corresponding to the central axis of view angle of the imaging optical system) toward the periphery. Therefore, distortion correction can be performed by locally enlarging or reducing the captured image at a magnification according to the amount of distortion.
  • the distortion caused by the distortion of the fish-eye lens can be corrected by enlarging the peripheral part of the captured image from the central part. .
  • the enlargement magnification is set to increase from the center of the image toward the peripheral portion.
  • the enlargement magnification in the radial direction and the enlargement magnification in the concentric direction for distortion correction There is a difference between Therefore, when noise is superimposed on the captured image, the noise is stretched in a specific direction by distortion correction, and a visually unnatural corrected image is generated as if the background of the subject image is flowing. .
  • an object of the present invention is to provide an image processing apparatus, an imaging apparatus, an image processing method, and a computer that can suppress image quality deterioration caused by noise superimposed on an image having distortion distortion being stretched by distortion correction.
  • a program and a computer-readable recording medium are provided.
  • An image processing apparatus includes: a noise suppression unit that performs spatial filtering on a plurality of pixels within a reference range including a target pixel in an input image to generate a noise-reduced image; and the noise reduction A distortion correction processing unit that corrects distortion distortion of the noise-reduced image by locally deforming the noise-reduced image at a magnification according to a local distortion amount of the image; and a reference correction range of the reference range according to the magnification A filtering control unit that dynamically changes the area, and the filtering control unit narrows the reference range as the magnification increases.
  • An imaging apparatus includes the image processing apparatus according to the first aspect.
  • An image processing method includes a step of performing spatial filtering on a plurality of pixels within a reference range including a target pixel in an input image to generate a noise reduced image; Correcting the distortion of the noise-reduced image by locally deforming the noise-reduced image at a magnification according to the amount of local distortion, and dynamically changing the width of the reference range according to the magnification A step of dynamically changing the reference range, wherein the reference range is dynamically changed by narrowing the reference range as the magnification increases. .
  • a computer program according to the fourth aspect of the present invention is read from a memory, and causes a processor to execute steps included in the image processing method according to the third aspect.
  • a recording medium according to the fifth aspect of the present invention is a computer-readable recording medium in which the computer program according to the fourth aspect is recorded.
  • the reference range is changed to be narrower as the distortion amount is larger, so that noise superimposed on an image having distortion distortion is stretched by distortion correction. It is possible to suppress image quality degradation caused by the image quality.
  • FIG. 11 is a functional block diagram illustrating a configuration of an image processing device disclosed in Patent Document 1.
  • 1 is a functional block diagram schematically showing a configuration of an image processing apparatus according to a first embodiment of the present invention. It is a figure which shows the relationship between the image center of an output image, and a process target pixel.
  • (A) is a graph which shows an example of the relationship between distortion distortion amount (alpha) and the distance L from the image center
  • (B) is for demonstrating the method of calculating distortion distortion amount by a linear interpolation method.
  • FIG. It is a diagram for explaining a method of interpolating the pixel values in the weighted average of the reference coordinates by linear interpolation (x 0, y 0).
  • FIG. (A), (B) is a figure which illustrates standard reference range SA.
  • 6 is a diagram illustrating an example of input / output characteristics of a base noise clip processing unit according to Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of input / output characteristics of a high clip processing unit according to Embodiment 1.
  • FIG. 3 is a functional block diagram schematically illustrating an example of a noise suppression processing unit according to Embodiment 1.
  • (A) to (E) are diagrams showing candidate reference ranges of 3 ⁇ 3 pixels to be applied to the low-pass filter.
  • (A)-(C) are figures which show the example of the weighting coefficient (filter coefficient) which should be applied to a candidate reference range.
  • (A)-(I) is a figure which shows the candidate reference range which should be applied to a low-pass filter.
  • (A)-(I) is a figure which shows the candidate reference range which should be applied to a low-pass filter. It is a figure which shows an example of the look-up table for selecting the reference range which should be applied to a low-pass filter. It is a figure which shows the other example of the look-up table for selecting the reference range which should be applied to a low-pass filter.
  • FIG. 10 is a diagram illustrating a lookup table according to Embodiment 3.
  • FIG. It is a block diagram which shows schematic structure of the imaging device of Embodiment 4 which concerns on this invention.
  • FIG. FIG. 2 is a functional block diagram schematically showing the configuration of the image processing apparatus 21 according to the first embodiment of the present invention.
  • the image processing device 21 includes a parameter calculation processing unit 22, a noise suppression processing unit 23, and a distortion correction processing unit 24.
  • the noise suppression processing unit 23 uses the noise suppression parameters R, s, and t supplied from the parameter calculation processing unit 22 to perform spatial filtering, clipping processing, and noise suppression intensity adjustment processing on the input image Is. Thus, the noise component in the input image Is is reduced.
  • the parameter calculation processing unit 22 calculates noise suppression parameters R, s, and t based on the coordinate position information of the pixels constituting the input image Is.
  • the distortion correction processing unit 24 receives the noise reduced image NRs from the noise suppression processing unit 23.
  • the distortion correction processing unit 24 locally deforms (enlarges or reduces) the noise reduced image NRs at a magnification R corresponding to the local distortion amount ⁇ of the noise reduced image NRs, thereby distortion of the noise reduced image NRs. It has a function to correct.
  • the magnification R is one of noise suppression parameters. As will be described later, s and t mean values (direction parameters) of vectors (s, t) indicating the application direction of the magnification R.
  • the input image Is is a digital image obtained by photoelectric conversion of the optical image formed by the imaging optical system of the imaging apparatus by the solid-state imaging device.
  • the distortion amount ⁇ occurs due to distortion aberration of the imaging optical system, and is measured in advance according to the image height from the center of the field angle of the imaging optical system and the imaging conditions.
  • the distortion distortion amount ⁇ data is stored in a nonvolatile memory (not shown) inside or outside the distortion correction processing unit 24, and the distortion correction processing unit 24 refers to the nonvolatile memory and stores the pixel of interest.
  • the distortion amount ⁇ corresponding to the coordinate position can be acquired.
  • the distortion correction processing unit 24 sets each pixel of the output image DRs, which is an ideal image in which distortion distortion is corrected, as a target pixel, and corresponds to the target pixel and the center of the view angle as illustrated in FIG.
  • a distance L from the image center is calculated.
  • the distance L is an amount corresponding to an ideal image height from the center of the angle of view of the imaging optical system (image height when there is no distortion aberration).
  • the coordinates of an arbitrary pixel in the output image DRs are given as a set of a horizontal X coordinate and a vertical Y coordinate with respect to the origin coordinate (0, 0).
  • the coordinates of the pixel of interest are (x, y) and the coordinates of the image center are (X C , Y C )
  • the distance L is calculated according to the following equation (1).
  • FIG. 4A is a graph illustrating an example of the relationship between the distortion amount ⁇ and the distance L from the image center.
  • FIG. 4A shows an example in which the distortion amount ⁇ decreases as the distance from the center of the angle of view increases.
  • the distortion amount ⁇ corresponding to an arbitrary point between discrete points can be calculated by interpolation.
  • the distortion amount ⁇ ⁇ (k, k + 1, ⁇ ) corresponding to the distance L of the inner dividing point between the distances L k and L k + 1 is given by the following equation (2). .
  • is the distance between the point of distance L and the point of distance L k
  • n ⁇ is the distance between the point of distance L and the point of distance L k + 1.
  • the distortion correction processing unit 24 calculates reference coordinates (x 0 , y 0 ) of the pixel to be referred to in the noise reduced image NRs in order to calculate the pixel value of the target pixel. Distortion due to distortion occurs between the coordinates (x, y) of the output image DRs whose distortion has been corrected and the reference coordinates (x 0 , y 0 ) of the actually picked-up noise reduction image NRs. ing. In the present embodiment, it is assumed that the distortion aberration depends only on the distance (image height) from the center of the field angle of the imaging optical system.
  • the reference coordinates (x 0 , y 0 ) are calculated by the following equation (3) using the distortion amount ⁇ corresponding to the coordinates (x, y).
  • the reference coordinate values x 0 and y 0 do not always coincide with the coordinate values of pixels existing in the noise reduced image NRs. In other words, the reference coordinate values x 0 and y 0 are not necessarily integer values. For this reason, the distortion correction processing unit 24 samples the pixel value of the pixel to be referred to or a peripheral pixel thereof, and performs an interpolation process using the sampled pixel value, thereby performing the pixel value G (x , Y) can be calculated.
  • FIG. 5 is a diagram for explaining a method of interpolating pixel values of reference coordinates (x 0 , y 0 ) with a weighted average by a linear interpolation method. As shown in FIG.
  • the pixel values of the coordinates (i, j), (i + 1, j), (i, j + 1), (i + 1, j + 1) of the peripheral pixels with respect to the reference coordinates (x 0 , y 0 ) are used.
  • the pixel value of the reference coordinates (x 0 , y 0 ) that is, the pixel value of the target pixel can be interpolated.
  • the reference coordinates (x 0 , y 0 ) are assumed to be separated from the upper left coordinates (i, j) by ⁇ x in the horizontal direction and by ⁇ y in the vertical direction.
  • the pixel value of the target pixel in the output image DRs is expressed as g (p, q) and the pixel value of the target pixel in the output image DRs is expressed as G (x, y)
  • the pixel value of the target pixel G (x, y) is calculated using the following equation (4).
  • the distortion correction processing unit 24 corrects distortion distortion of the noise reduced image NRs by locally deforming (enlarging or reducing) the noise reduced image NRs at a magnification corresponding to the distortion distortion amount ⁇ .
  • H the distance from the image center of the target pixel in the noise reduced image NRs
  • L the distance from the image center of the target pixel in the noise reduced image NRs
  • R 1
  • the parameter calculation processing unit 22 calculates a distance Li between the target pixel in the input image Is and the image center.
  • the distance Li can be calculated according to the following equation (6).
  • the parameter calculation processing unit 22 calculates a magnification R based on the calculated distance Li, and a vector value of a vector (s, t) indicating an application direction of the magnification R (a direction in which enlargement or reduction occurs). s and t are calculated.
  • magnification R can be expressed by the following equation (7) similar to the above equation (5).
  • the magnification R can be calculated using the primary differential function.
  • the magnification R can be calculated using the approximate expression of the above expression (7).
  • FIG. 7 is a flowchart showing a procedure for calculating the magnification R using the approximate expression (7a).
  • the parameter calculation processing unit 22 first sets the variable k to “1” (step S11), and the distance Li is a distance ⁇ k ⁇ L before distortion correction corresponding to the distance L k. It is determined whether it is less than k (step S12). If the distance Li is not less than the distance ⁇ k ⁇ L k (NO in step S12), the parameter calculation processing unit 22 increments the variable k by 1 (step S13), and then returns the process to step S12.
  • step S12 If the distance Li is less than the distance ⁇ k ⁇ L k (YES in step S12), the distance L k satisfying the equation of first Li ⁇ alpha k ⁇ L k is detected. At this time, the magnification R is calculated according to the above equation (7a) (step S14).
  • the parameter calculation processing unit 22 can calculate the vector values s and t of the vector (s, t) indicating the application direction of the magnification R (direction in which enlargement or reduction occurs) according to the following equation (8). .
  • the parameter calculation processing unit 22 supplies the calculated magnification R and vector (s, t) to the noise suppression processing unit 23.
  • FIG. 8 is a functional block diagram schematically showing the basic configuration of the noise suppression processing unit 23.
  • the noise suppression processing unit 23 includes a filtering control unit 29 and a noise suppression unit 30.
  • the noise suppression unit 30 includes a spatial filter unit 31 including low-pass filters 31 1 to 31 Q (Q is an integer of 3 or more), subtractors 32 1 to 32 Q , base noise clip circuits 33 1 to 33 Q , high Clip processing units 34 1 to 34 Q and noise suppression intensity adjustment units 35 1 to 35 Q + 1 are included.
  • a spatial filter unit 31 including low-pass filters 31 1 to 31 Q (Q is an integer of 3 or more), subtractors 32 1 to 32 Q , base noise clip circuits 33 1 to 33 Q , high Clip processing units 34 1 to 34 Q and noise suppression intensity adjustment units 35 1 to 35 Q + 1 are included.
  • Each of the low-pass filters 31 1 to 31 Q performs spatial filtering on a plurality of pixels in the reference range (sampling range) including the target pixel in the input image Is.
  • smoothing low-pass filtering
  • the low-pass filters 31 1 to 31 Q have reference setting ranges with different widths, and the filtering control unit 29 can variably set the reference range based on the reference setting range.
  • the standard reference range SA is (2M + 1) ⁇ (2N + 1) pixels centered on the pixel of interest Pc (x, y) at coordinates (x, y). It consists of a matrix array.
  • N and M are integers of 1 or more. Since the low-pass filters 31 1 to 31 Q have standard reference ranges with different widths, the values of N and M are different for each low-pass filter.
  • Each of the low-pass filters 31 1 to 31 Q multiplies the pixel value g (xi, yj) in the reference reference range SA by a weighting coefficient (filter coefficient) K (i, j), and the multiplication result g
  • the pixel value D (x, y) of the filter image is calculated by adding (x ⁇ i, y ⁇ j) ⁇ K (i, j) to all the pixels in the standard reference range SA.
  • the pixel value D (x, y) of the filter image corresponding to the target pixel Pc (x, y) can be calculated according to the following equation (9).
  • the values of the weighting factors K (i, j) are all positive values, and the sum of the weighting factors K (i, j) is 1.
  • the weight coefficient K (0, 0) to be multiplied by the pixel value g (x, y) of the target pixel Pc (x, y) is set to have a larger value than other weight coefficients.
  • the filtering control unit 29 can change the reference range of the low-pass filters 31 1 to 31 Q by changing the set value of the weighting coefficient K (i, j). For example, when all the values of the weighting factor K (i, j) are non-zero, the reference range matches the standard reference range SA, and the reference range is maximized. By setting some values of the weighting coefficient K (i, j) to zero, the width of the reference range can be made narrower than the standard reference range SA.
  • the reference ranges of the low-pass filters 31 1 to 31 Q are different from each other. In this embodiment, the reference range of the low-pass filter 31 1 ⁇ 31 Q is as filter number q of the low-pass filter 31 q is large, is set to be wider.
  • the reference range of the low-pass filter 31 s with the larger filter number is more than the reference range of the low-pass filter 31 s with the smaller filter number. Is also wide. Therefore, the spatial frequency components of the outputs (filter images) of the low-pass filters 31 1 to 31 Q are not the same.
  • the subtractor 32 1 removes the spatial frequency component of the filter image output by the low-pass filter 31 1 from the input image Is to generate the difference image D 1 , and the difference image D 1 is used as the base noise clip processing unit 33 1.
  • the other differentiators 32 2 to 32 Q respectively remove the spatial frequency components of the filter images output from the low-pass filters 31 2 to 31 Q from the filter images output from the low - pass filters 31 1 to 31 Q-1.
  • Difference images D 2 to D Q are generated.
  • the difference images D 2 to D Q are supplied to the base noise clip processing units 33 2 to 33 Q , respectively.
  • the mth subtractor 32 m (m is a positive integer not less than 2 and not more than Q) is output by the mth low-pass filter 31 m from the filter image output by the m ⁇ 1th lowpass filter 31 m . It generates a difference image D m to remove spatial frequency components of the filtered image, and supplies the difference image D m to m-th base noise clip processing unit 33 m.
  • Each of the base noise clip processing units 33 1 to 33 Q has a clip processing function for converting an input signal level within an amplitude range equal to or less than a positive threshold THb into an output signal level having an amplitude lower than the threshold THb.
  • a positive threshold THb As a result, it is possible to suppress the noise component by cutting the signal component having a small amplitude from the signals separated for each frequency band by the low-pass filters 31 1 to 31 Q and the differentiators 32 1 to 32 Q.
  • FIG. 10 is a diagram illustrating an example of input / output characteristics of the base noise clip processing units 33 1 to 33 Q. As shown in FIG.
  • the noise component is reduced. There is repression.
  • the threshold value THb can be set individually for each of the base noise clip processing units 33 1 to 33 Q.
  • the high clip processing units 34 1 to 34 Q receive the outputs of the base noise clip processing units 33 1 to 33 Q as inputs, respectively, and input signal levels within an amplitude range greater than the threshold value THh and greater than the threshold value THb are output signals having a constant amplitude.
  • a clip processing function for converting to a level is provided. By clipping a signal having a certain amplitude or more in this way, it is possible to perform strong noise suppression in a specific frequency band.
  • FIG. 11 is a diagram illustrating an example of input / output characteristics of the high clip processing units 34 1 to 34 Q. As shown in FIG.
  • the threshold value THh can be set individually for each of the high clip processing units 34 1 to 34 Q.
  • the noise suppression intensity adjustment units 35 1 to 35 Q have the function of receiving the outputs of the high clip processing units 33 1 to 33 Q as inputs and multiplying the outputs of the high clip processing units 33 1 to 33 Q individually by correction coefficients. .
  • the noise suppression strength adjusting unit 35 Q + 1 has a function of multiplying the output of the low-pass filter 31 Q by a correction coefficient. In this way, by applying the correction coefficient individually to the signals separated for each frequency band by the low-pass filters 31 1 to 31 Q and the differentiators 32 1 to 32 Q , the intensity is high in a specific frequency band. Noise suppression can be performed. Then, the adder 36 adds the Q + 1 outputs of the noise suppression intensity adjustment units 35 1 to 35 Q + 1 to generate the noise reduced image NRs.
  • the filtering control unit 29 individually narrows the reference ranges (sampling ranges) of the low-pass filters 31 1 to 31 Q as the magnification R increases, and is parallel to the application direction (s, t) of the magnification R. Has a function of narrowing the reference range.
  • the distortion correction processing unit 24 in FIG. 2 can correct distortion in the pixel range by deforming (enlarging or reducing) the pixel range corresponding to the reference range in the noise reduced image NRs. For each of the low-pass filters 31 1 to 31 Q , the filtering control unit 29 sets the reference range so that the width of the pixel range after the modification is substantially equal to the width of the reference reference range regardless of the position of the target pixel. Determine. This is to make the noise characteristics after the distortion correction process uniform.
  • the filtering control unit 29 has a look-up table indicating the correspondence between the combinations of the values of the noise suppression parameters R, s, and t and the candidate reference ranges of the low-pass filters 31 1 to 31 Q. These look-up tables With reference to the table, a reference range corresponding to the current value of the noise suppression parameters R, s, and t can be dynamically selected from a plurality of candidate reference ranges.
  • FIG. 12 is a diagram schematically showing a configuration of a noise suppression processing unit 23 having a spatial filter unit 31 including three low-pass filters 31 1 to 31 3 .
  • FIGS. 13 (A) ⁇ (E) are diagrams showing a candidate reference range SA11, SA12, SA13, SA14, SA15 of 3 ⁇ 3 pixels to be applied to the low pass filter 31 1 in FIG. 12.
  • a standard reference range candidate reference range SA11 is of the low-pass filter 31 1 of FIG. 13 (A), a reference range is selected when distortion distortion is zero.
  • the hatched area with respect to the target pixel P (x, y) means a pixel area excluded from the reference range.
  • FIGS. 14A to 14C are diagrams showing examples of weighting coefficients (filter coefficients) to be applied to the candidate reference ranges SA11, SA12, and SA13.
  • FIG. 15 (A) ⁇ (I) is a diagram showing a candidate reference range SA21, SA22, SA23, SA24, SA25, SA26, SA27, SA28, SA29 to be applied to the low pass filter 31 2 of FIG. 12
  • FIG. 16 (a) ⁇ (I) is a diagram showing a candidate reference range SA31, SA32, SA33, SA34, SA35, SA36, SA37, SA38, SA39 to be applied to the low pass filter 31 3 of FIG. 12 .
  • the candidate reference range SA21 is standard reference range of the low-pass filter 31 2
  • candidate reference range SA31 is standard reference range of the low-pass filter 31 3.
  • These candidate reference ranges SA21 and SA31 are selected when the distortion is zero.
  • the hatched area with respect to the target pixel P (x, y) is a pixel area excluded from the reference range. Means that.
  • FIG. 17 is a diagram showing an example of a look-up table prepared in advance in order to select the reference range to be applied to the low pass filter 31 1 in FIG. 12.
  • FIG. 18 is a diagram illustrating an example of a lookup table prepared in advance for selecting a reference range to be applied to both the low-pass filters 31 2 and 31 3 in FIG.
  • represents the angle of the coordinates (s, t) with respect to the origin when the vector values s, t are plotted in the XY orthogonal coordinate system, 0 ° in the X-axis positive direction, The value expressed in the range of ⁇ 180 ° to 180 °, with the counterclockwise angle being positive.
  • the lookup tables in FIGS. 17 and 18 describe the reference codes of the candidate reference ranges in FIGS. 13A to 13E, 15A to 15I, and FIGS. 16A to 16I. ing.
  • the filtering control unit 29 in FIG. 12 refers to the look-up tables in FIG. 17 and FIG. 18, and selects a reference range corresponding to the combination of the current values of the noise suppression parameters R, s, and t from a plurality of candidate reference ranges. Can be selected dynamically. Further, as shown in the lookup tables of FIGS. 17 and 18, it can be seen that the reference ranges (sampling ranges) of the low-pass filters 31 1 to 31 3 become narrower in stages as the magnification R increases. For example, as shown in FIG.
  • the scope of the low-pass filter 31 1, scope SA11 is selected when R ⁇ 2.0, R When> 2.0, an application range SA12 that is narrower than the application range SA11 is selected. It can also be seen that when the magnification R is increased, the reference range of the low-pass filters 31 1 to 31 3 is gradually reduced in a direction parallel to the application direction (s, t) of the magnification R. For example, as shown in FIG.
  • the filtering control unit 29 dynamically changes the size of the reference range (sampling range) of the spatial filter unit 31 according to the magnification R, and the magnification R is The larger the value, the narrower the reference range.
  • the strength of the noise suppression processing can be locally increased for a portion with a large magnification R at which image noise is visually noticeable. Therefore, even when the distortion correction processing is performed in the distortion correction processing unit 24 of FIG. 2, image quality deterioration due to the noise superimposed on the input image Is having distortion is effectively suppressed. can do.
  • the filtering control unit 29 narrows the reference range mainly in a direction parallel to the application direction of the magnification R (the direction of the vector (s, t)), the noise component is stretched in a specific direction and visually. Can prevent unnatural characteristics.
  • the distortion correction processing unit 24 in FIG. 2 corrects distortion distortion of the pixel range by deforming (enlarging or reducing) the pixel range corresponding to the reference range in the noise reduced image NRs.
  • the reference range can be determined so that the size of the pixel range after modification is substantially equal to the width of the reference reference range regardless of the position of the target pixel.
  • the filtering control unit 29 narrows the width of the reference range so that the magnification is a reciprocal of the magnification R in a direction parallel to the deformation direction in the distortion correction processing unit 24. Thereby, it is possible to effectively suppress the occurrence of unnatural noise caused by the difference in the direction of deformation at the magnification R for each pixel by the distortion correction processing. Therefore, the noise characteristics after the distortion correction process can be made uniform.
  • Embodiment 2 a second embodiment according to the present invention will be described.
  • the configuration of the image processing apparatus according to the present embodiment is the same as the configuration of the image processing apparatus 21 according to the first embodiment except for part of the operation of the filtering control unit 29 in FIG. Therefore, the second embodiment will be described with reference to FIGS.
  • the filtering control unit 29 dynamically determines the reference range of the low-pass filters 31 1 to 31 Q with reference to the lookup table.
  • the filtering control unit 29 according to the present embodiment The pixel position that defines the reference range of the low-pass filters 31 1 to 31 Q is calculated by arithmetic processing using the magnification R and the direction parameters s and t as inputs.
  • FIG. 20 is a diagram schematically showing an example of the reference reference range SA of the present embodiment.
  • the reference reference range SA is composed of a matrix array of (2M + 1) ⁇ (2N + 1) pixels centered on the target pixel Pc.
  • M and N are integers of 1 or more.
  • the low-pass filters 31 1 to 31 Q have different reference reference ranges, and therefore the values of N and M are different for each low-pass filter.
  • FIG. 20 shows local coordinates for each pixel. The coordinates of the target pixel Pc are (0, 0).
  • the filtering control unit 29 coordinates (a, b) (a is an integer in the range of ⁇ M to + M, and b Is an integer in the range of ⁇ N to + N.) Is converted into coordinates (p, q) according to the following conversion formula (10).
  • R ( ⁇ ) is a rotation matrix that rotates coordinates so that the enlargement / reduction direction coincides with the X axis
  • S (1 / R) is the inverse of the magnification R in the X axis direction. This is a matrix for changing the coordinate position at a magnification of 1 / R
  • R ( ⁇ ) is an inverse matrix of R ( ⁇ ).
  • the filtering control unit 29 designates a range specified by a set of coordinates ⁇ (p, q) ⁇ calculated using the above equation (10a) as a reference range. Thereby, the filtering control unit 29 dynamically changes the width of the reference range (sampling range) of the spatial filter unit 31 according to the magnification R and the direction parameters s and t, and the reference range increases as the magnification R increases. Can be narrowed.
  • the filtering control unit 29 does not deform the reference range in the direction perpendicular to the deformation direction in the distortion correction processing unit 24, and is parallel to the application direction of the magnification R (the direction of the vector (s, t)).
  • the reference range can be narrowed in the direction.
  • the distortion correction processing unit 24 in FIG. 2 corrects distortion distortion in the pixel range by modifying (enlarging or reducing) the pixel range corresponding to the reference range in the noise reduced image NRs. 29, for each of the low-pass filters 31 1 to 31 Q , the reference range is defined so that the width of the pixel range after deformation is substantially equal to the width of the reference reference range regardless of the position of the target pixel. it can.
  • FIG. 21 is a diagram schematically showing the configuration of the noise suppression processing unit 23B of the third embodiment.
  • the configuration of the image processing apparatus of the present embodiment is the same as the configuration of the image processing apparatus 21 of the first embodiment except for the configuration of the noise suppression processing unit 23B.
  • the noise suppression processing unit 23B includes a filtering control unit 29 and a noise suppression unit 30 in the same manner as the noise suppression processing unit 23 of the first embodiment.
  • the noise suppression processing unit 23B further includes a noise suppression control unit 37.
  • the noise suppression control unit 37 dynamically changes the thresholds THb and THh in the base noise clip processing units 33 1 to 33 Q and the high clip processing units 34 1 to 34 Q according to the magnification R, and the noise suppression strength.
  • the adjustment units 35 1 to 35 Q + 1 have a function of dynamically changing the correction coefficient.
  • the noise suppression control unit 37 can obtain the base noise clip threshold THb, the high clip threshold THh, and the correction coefficient corresponding to the current value of the magnification R with reference to the lookup table of FIG. According to FIG.
  • the noise suppression parameter according to the current value of the magnification R, the noise of the image is locally noticeable for a portion with a large magnification R that is visually noticeable.
  • the intensity of the noise suppression process can be increased, and the image quality of the output image DRs after the distortion correction process can be improved.
  • FIG. 23 is a block diagram illustrating a schematic configuration of the imaging apparatus 1 according to the fourth embodiment.
  • the imaging apparatus 1 includes an imaging optical system (lens mechanism) 11, a CCD image sensor 12, a front end unit 13, an A / D converter (ADC) 14, and a control circuit 2.
  • the control circuit 2 includes a signal processing unit 20, an image processing unit 21B, a control unit 40, a memory 41, and an external interface unit (external I / F unit) 42. These processing blocks 20, 21 ⁇ / b> B, 40, 41, 42 are connected to each other via a bus 43.
  • the control unit 40 is an MPU (Micro Processing Unit) that controls the overall operation of the control circuit 2.
  • the image processing unit 21B has the same configuration as any of the image processing apparatuses according to the first to third embodiments.
  • the imaging optical system (lens mechanism) 11 includes a front lens 110, an aperture stop 111, and a rear lens 112.
  • the CCD image sensor 12 is a single plate type solid-state imaging device, and includes a single color filter array 121 and a single CCD device 122.
  • the color filter array 121 is formed by periodically and planarly arranging N types of color filters (N is a positive integer of 2 or more) that respectively transmit light of colors in N different wavelength ranges. That's fine.
  • N is a positive integer of 2 or more
  • a primary color Bayer array can be used as the color filter array of the color filter array 121, but the present invention is not limited to this, and a complementary color Bayer array may be used.
  • another solid-state imaging device such as a CMOS image sensor may be used.
  • the timing generator 16 generates a drive timing signal and supplies it to the drive circuit 15.
  • the drive circuit 15 generates a drive signal for driving the CCD image sensor 12 in accordance with the drive timing signal output from the timing generator 16.
  • the CCD image sensor 12 performs photoelectric conversion and charge transfer based on this drive signal.
  • the imaging optical system 11 focuses the optical image of the subject on the imaging surface of the CCD image sensor 12.
  • An imaging signal obtained by photoelectric conversion by the CCD image sensor 12 is transferred to the front end unit 13.
  • the front-end unit 13 performs correlated double sampling (CDS: Correlated Double Sampling) processing and programmable gain amplification (PGA: Programmable Gain Amplification) on the imaging signal, and outputs the analog signal obtained as a result to the ADC 14 To do.
  • the CDS process is a process of removing unnecessary components such as noise from the imaging signal output from the CCD image sensor 12.
  • the ADC 14 converts the output signal of the front end unit 13 into a digital signal, and supplies the digital signal to the signal processing unit 20 of the control circuit 2.
  • the signal processing unit 20 performs video synchronization processing, gradation correction processing, noise reduction processing, contour correction processing, white balance adjustment processing, signal amplitude adjustment processing, color correction processing, and the like on the output signal of the ADC 14.
  • the signal is output to the bus 43.
  • the bus 43 transfers the video signal to a RAM (Random Access Memory) 41B of the memory 41.
  • the image processing unit 21B can read the video signal from the RAM 41B and execute the above spatial filtering, clip processing, and noise suppression intensity adjustment processing.
  • the functions of the image processing unit 21B may be realized by a hardware configuration, or may be realized by a computer program executed by a microprocessor.
  • the function of the image processing unit 21B can be realized by loading and executing a computer program from a ROM (Read Only Memory) 41A, which is a nonvolatile memory, by the MPU 40 having a microprocessor.
  • ROM Read Only Memory
  • the distortion amount ⁇ is given as a value corresponding to the distance L as illustrated in FIG. 4, but instead of this, the X coordinate value and the Y coordinate It may be given as a value corresponding to a pair with a value.
  • SYMBOLS 1 Imaging device 1 Imaging device, 2 Control circuit, 11 Imaging optical system, 12 CCD image sensor, 13 Front end part (analog signal processing part), 14 A / D converter (ADC), 15 Drive circuit, 16 Timing generator, 20 Signal processing 21, 21B image processing device, 22 parameter calculation processing unit, 23 noise suppression processing unit, 24 distortion correction processing unit, 29 filtering control unit, 30 noise suppression unit, 31 spatial filter unit, 31 1 to 31 Q low-pass filter, 32 1 to 32 Q difference unit, 33 1 to 33 Q base noise clip processing unit, 34 1 to 34 Q high clip processing unit, 35 1 to 35 Q + 1 noise suppression intensity adjustment unit, 36 adder, 37 noise suppression control unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Geometry (AREA)

Abstract

 画像処理装置(21)は、入力画像(Is)中の注目画素を含む参照範囲内の複数画素に対して空間フィルタリングを実行してノイズ低減画像(NRs)を生成するノイズ抑圧処理部(23)と、ノイズ低減画像(NRs)の局所的な歪曲歪み量に応じた倍率(R)で局所的な拡大または縮小を実行することで歪曲歪みを補正する歪補正処理部(24)とを備える。前記参照範囲は、倍率(R)に応じて動的に変更される。また、倍率(R)が大きい程、前記参照範囲は狭くなるように制御される。

Description

画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及び記録媒体
 本発明は、画像信号中のノイズ成分を抑圧する画像処理技術に関し、特に、歪んだ画像を示す画像信号中のノイズ成分の抑圧と当該画像の歪みの補正とを行う画像処理技術に関する。
 画像信号中のノイズ成分を抑圧するために、ノイズ成分以外の空間周波数成分を画像信号から抽出するローパスフィルタが広く採用されているが、ローパスフィルタは、画像信号における被写体画像のエッジ成分をも抑圧させるという欠点がある。たとえば、特開2007-188346号公報(特許文献1)には、被写体画像のエッジ成分を保持しつつ画像信号中のノイズ成分を抑圧することができる画像処理装置が開示されている。
 図1は、特許文献1に開示されている画像処理装置100の構成を示す機能ブロック図である。図1に示されるように、画像処理装置100は、入力画像信号に対してフィルタリングを実行するローパスフィルタ101,102,103と、差分器104,105,106と、ベースノイズクリップ回路107,108,109と、加算器110とを備えている。差分器104は、入力画像信号とローパスフィルタ101の出力との間の差分を出力し、差分器105は、ローパスフィルタ101,102の出力間の差分を出力し、差分器106は、ローパスフィルタ102,103の出力間の差分を出力する。ローパスフィルタ101,102,103は、注目画素を中心とした互いに異なる範囲の画素を参照してフィルタリングを実行するので、差分器104,105,106は、互いに異なる空間周波数成分の信号を出力し得る。ベースノイズクリップ回路107,108,109は、これら差分器104,105,106の出力信号を入力とし、入力値が閾値(クリップレベル)で規定される所定範囲内にあるときにそれぞれ一定値を出力する。そして、加算器110は、これらベースノイズクリップ回路107,108,109の出力を加算して注目画素に対応する画素を生成する。ベースノイズクリップ回路107,108,109におけるクリップレベルを適切に設定することで、被写体画像のエッジ成分を保持しつつ入力画像信号中のノイズ成分を効果的に抑圧することができる。
特開2007-188346号公報(図1,段落0009~0022)
 ところで、ディジタルカメラでは、レンズなどの撮像光学系の歪曲収差などに起因して撮像画像に歪曲歪み(ディストーション)が生ずることがある。この歪曲歪みは、撮像光学系により結像された像において画角中心軸付近とその周辺部とで結像倍率(特に、横倍率)が異なることに起因して生じるものである。歪曲収差が発生した場合、撮像画像においては画像中心(撮像光学系の画角中心軸に相当する画素)から周辺部に向かうにつれて歪曲歪みの量は大きくなる傾向がある。そこで、その歪曲歪みの量に応じた倍率で撮像画像を局所的に拡大または縮小することで歪み補正を行うことが可能である。
 しかしながら、撮像画像にノイズが重畳されていた場合にそのような歪み補正が実行されると、そのノイズが引き伸ばされて画質を劣化させるという問題がある。たとえば、撮像光学系として魚眼レンズ(超広角レンズ)を使用する場合には、撮像画像の周辺部をその中心部よりも拡大することで、魚眼レンズの歪曲収差に起因する歪曲歪みを補正することができる。この場合、画像中心から当該周辺部に向かうにつれて拡大倍率が高くなるように設定される。ここで、画像中心から放射線方向(径方向)の歪曲歪み量は、同心円方向(周方向)の歪曲歪み量とは異なるので、歪み補正のための放射線方向の拡大倍率と同心円方向の拡大倍率との間に差が生じる。それ故、撮像画像にノイズが重畳されたときには、歪み補正により当該ノイズが特定方向に引き伸ばされ、あたかも被写体画像の背景が流れているかのような視覚的に不自然な補正画像が生成されてしまう。
 上記特許文献1の画像処理装置100の場合にも、出力画像信号に対して歪み補正が実行されると、重畳ノイズが引き伸ばされて画質が劣化するおそれがある。
 上記に鑑みて本発明の目的は、歪曲歪みを有する画像に重畳されたノイズが歪み補正により引き伸ばされることに起因する画質劣化を抑制することができる画像処理装置、撮像装置、画像処理方法、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体を提供することである。
 本発明の第1の態様による画像処理装置は、入力画像中の注目画素を含む参照範囲内の複数画素に対して空間フィルタリングを実行してノイズ低減画像を生成するノイズ抑圧部と、前記ノイズ低減画像の局所的な歪曲歪み量に応じた倍率で前記ノイズ低減画像を局所的に変形することで前記ノイズ低減画像の歪曲歪みを補正する歪補正処理部と、前記倍率に応じて前記参照範囲の広さを動的に変更するフィルタリング制御部とを備え、前記フィルタリング制御部は、前記倍率が大きい程、前記参照範囲を狭くすることを特徴とする。
 本発明の第2の態様による撮像装置は、前記第1の態様による画像処理装置を含むことを特徴とする。
 本発明の第3の態様による画像処理方法は、入力画像中の注目画素を含む参照範囲内の複数画素に対して空間フィルタリングを実行してノイズ低減画像を生成するステップと、前記ノイズ低減画像の局所的な歪曲歪み量に応じた倍率で前記ノイズ低減画像を局所的に変形することで前記ノイズ低減画像の歪曲歪みを補正するステップと、前記倍率に応じて前記参照範囲の広さを動的に変更するステップとを備え、前記参照範囲を動的に変更する当該ステップでは、前記倍率が大きい程、前記参照範囲を狭くすることで前記参照範囲が動的に変更されることを特徴とする。
 本発明の第4の態様によるコンピュータプログラムは、メモリから読み出されて、前記第3の態様による画像処理方法が備えるステップをプロセッサに実行させることを特徴とする。
 本発明の第5の態様による記録媒体は、前記第4の態様によるコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体である。
 本発明の第1乃至第5の態様によれば、歪曲歪み量が大きい程、参照範囲が狭くなるように変更されるので、歪曲歪みを有する画像に重畳されたノイズが歪み補正により引き伸ばされることに起因する画質劣化を抑制することができる。
特許文献1に開示されている画像処理装置の構成を示す機能ブロック図である。 本発明に係る実施の形態1の画像処理装置の構成を概略的に示す機能ブロック図である。 出力画像の画像中心と処理対象画素との間の関係を示す図である。 (A)は、歪曲歪み量αと画像中心からの距離Lとの間の関係の一例を示すグラフであり、(B)は、線形補間法により歪曲歪み量を算出する方法を説明するための図である。 線形補間法により参照座標(x,y)の画素値を加重平均で補間する方法を説明するための図である。 パラメータ演算処理部による処理手順を概略的に示すフローチャートである。 入力画像中の注目画素と画像中心との間の関係を示す図である。 実施の形態1のノイズ抑圧処理部の基本構成を概略的に示す機能ブロック図である。 (A),(B)は、基準参照範囲SAを例示する図である。 実施の形態1のベースノイズクリップ処理部の入出力特性の一例を示す図である。 実施の形態1のハイクリップ処理部の入出力特性の一例を示す図である。 実施の形態1のノイズ抑圧処理部の一例を概略的に示す機能ブロック図である。 (A)~(E)は、ローパスフィルタに適用されるべき3×3画素の候補参照範囲を示す図である。 (A)~(C)は、候補参照範囲に適用されるべき重み係数(フィルタ係数)の例を示す図である。 (A)~(I)は、ローパスフィルタに適用されるべき候補参照範囲を示す図である。 (A)~(I)は、ローパスフィルタに適用されるべき候補参照範囲を示す図である。 ローパスフィルタに適用されるべき参照範囲を選択するためのルックアップテーブルの一例を示す図である。 ローパスフィルタに適用されるべき参照範囲を選択するためのルックアップテーブルの他の例を示す図である。 方向パラメータs,tと角度θとの関係を示す図である。 本発明に係る実施の形態2の基準参照範囲の一例を概略的に示す図である。 本発明に係る実施の形態3のノイズ抑圧処理部の構成を概略的に示す図である。 実施の形態3のルックアップテーブルを表す図である。 本発明に係る実施の形態4の撮像装置の概略構成を示すブロック図である。
 以下、本発明に係る実施の形態について図面を参照しつつ説明する。
実施の形態1.
 図2は、本発明に係る実施の形態1の画像処理装置21の構成を概略的に示す機能ブロック図である。図2に示されるように、画像処理装置21は、パラメータ演算処理部22、ノイズ抑圧処理部23及び歪補正処理部24を備える。
 ノイズ抑圧処理部23は、パラメータ演算処理部22から供給されたノイズ抑圧パラメータR,s,tを用いて、入力画像Isに対して空間フィルタリングとクリップ処理とノイズ抑圧強度調整処理とを実行することにより入力画像Is中のノイズ成分を低減させる機能を有する。パラメータ演算処理部22は、入力画像Isを構成する画素の座標位置情報に基づいてノイズ抑圧パラメータR,s,tを算出する。
 歪補正処理部24は、ノイズ抑圧処理部23からノイズ低減画像NRsを受信する。歪補正処理部24は、このノイズ低減画像NRsの局所的な歪曲歪み量αに応じた倍率Rでノイズ低減画像NRsを局所的に変形(拡大または縮小)することでノイズ低減画像NRsの歪曲歪みを補正する機能を有する。倍率Rは、ノイズ抑圧パラメータの1つである。後述するように、s,tは、倍率Rの適用方向を示すベクトル(s,t)の値(方向パラメータ)を意味する。
 本実施の形態では、入力画像Isは、撮像装置の撮像光学系により結像された光学像を固体撮像素子が光電変換することで得られたデジタル画像である。歪曲歪み量αは、撮像光学系の歪曲収差に起因して発生し、撮像光学系の画角中心からの像高及び撮影条件に応じて予め測定されたものである。歪曲歪み量αのデータは、歪補正処理部24の内部または外部の不揮発性メモリ(図示せず)に格納されており、歪補正処理部24は、この不揮発性メモリを参照して注目画素の座標位置に対応する歪曲歪み量αを取得することができる。
 歪補正処理部24は、まず、歪曲歪みが補正された理想的な画像である出力画像DRsの画素の各々を注目画素とし、図3に示されるようにこの注目画素と画角中心に対応する画像中心との間の距離Lを算出する。距離Lは、撮像光学系の画角中心からの理想的な像高(歪曲収差が無い場合の像高)に対応する量である。図3において、出力画像DRs中の任意の画素の座標は、原点座標(0,0)に対して水平方向のX座標と垂直方向のY座標との組で与えられる。当該注目画素の座標を(x,y)とし、画像中心の座標を(X,Y)とするとき、距離Lは、次式(1)に従って算出される。
Figure JPOXMLDOC01-appb-M000001
 次に、歪補正処理部24は、算出された距離Lに対応する歪曲歪み量αを当該注目画素の歪曲歪み量として取得する。図4(A)は、歪曲歪み量αと画像中心からの距離Lとの間の関係の一例を示すグラフである。図4(A)は、画角中心から離れる程、歪曲歪み量αが小さくなる例を示している。図4(A)に示されるように、歪曲歪み量αは、単位距離nの間隔の離散的な点(座標)の距離L(=0),L,L,L,…にそれぞれ対応する離散的な値α,α,α,α,…として与えられている。離散的な点と点との間の任意の点に対応する歪曲歪み量αは、補間により算出することができる。たとえば線形補間法を使用する場合、距離L,Lk+1の間の内分点の距離Lに対応する歪曲歪み量α=α(k,k+1,Δ)は、次式(2)で与えられる。
Figure JPOXMLDOC01-appb-M000002
 上式(2)において、Δは、距離Lの点と距離Lの点との間の距離であり、n-Δは、距離Lの点と距離Lk+1の点との間の距離である(図4(B))。なお、上記方法に代えて、N次の補間多項式(Nは2以上の整数)を用いて任意の点に対応する歪曲歪み量αを算出することも可能である。
 次に、歪補正処理部24は、当該注目画素の画素値を算出するためにノイズ低減画像NRs内の参照すべき画素の参照座標(x,y)を算出する。歪曲歪みが補正された出力画像DRsの座標(x,y)と、実際に撮像されたノイズ低減画像NRsの参照座標(x,y)との間には歪曲収差に起因するズレが生じている。本実施の形態では、歪曲収差は、撮像光学系の画角中心からの距離(像高)のみに依存するものと想定されている。参照座標(x,y)は、当該座標(x,y)に対応する歪曲歪み量αを用いて次式(3)により算出される。
Figure JPOXMLDOC01-appb-M000003
 参照座標の値x,yは、ノイズ低減画像NRs内に実存する画素の座標値と一致するとは限らない。言い換えれば、参照座標の値x,yは、必ずしも整数値にならない。このため、歪補正処理部24は、参照すべき画素もしくはその周辺画素の画素値をサンプリングし、サンプリングした画素値を用いた補間処理を行うことにより出力画像DRsの注目画素の画素値G(x,y)を算出することができる。図5は、線形補間法により参照座標(x,y)の画素値を加重平均で補間する方法を説明するための図である。図5に示されるように、参照座標(x,y)に対する周辺画素の座標(i,j),(i+1,j),(i,j+1),(i+1,j+1)の画素値を用いて参照座標(x,y)の画素値すなわち注目画素の画素値を補間することができる。参照座標(x,y)は、左上の座標(i,j)から水平方向にδxだけ離間し、垂直方向にδyだけ離間しているものとする。ノイズ低減画像NRsにおける任意座標(p,q)の画素値をg(p,q)と表し、出力画像DRsにおける注目画素の画素値をG(x,y)と表すとき、注目画素の画素値G(x,y)は、次式(4)を用いて算出される。
Figure JPOXMLDOC01-appb-M000004
 以上に説明したように歪補正処理部24は、歪曲歪み量αに応じた倍率でノイズ低減画像NRsを局所的に変形(拡大または縮小)することでノイズ低減画像NRsの歪曲歪みを補正することができる。ここで、ノイズ低減画像NRsにおける注目画素の画像中心からの距離をHで表すとすると、この距離Hは、実像高に対応する量であり、理想的な像高に対応する距離Lとこれに対応する歪曲歪み量αとの積で与えられる(すなわち、H=α×L)。前述の通り、本実施の形態では、歪曲収差は、撮像光学系の画角中心からの距離(像高)のみに依存するものと想定されているので、距離Hは、距離Lを独立変数とする関数H=f(L)と表現することができる。よって、歪曲歪みを補正するための局所的な変形(拡大または縮小)倍率をRで表すとすると、倍率Rは、Lに関するHの1次微分の逆数として表現することができる。このとき、倍率Rは、次式(5)で与えられる。
Figure JPOXMLDOC01-appb-M000005
 ここで、R=1の場合は、等倍、すなわち拡大縮小を行わない場合を意味する。Rの値が1より大きい場合は、歪み補正処理によって注目画素を中心する局所的な画素領域が拡大されることを意味し、Rの値が1より小さい場合は、歪み補正処理によって注目画素を中心する局所的な画素領域が縮小されることを意味する。
 次に、パラメータ演算処理部22の動作について説明する。
 まず、パラメータ演算処理部22は、図6に示されるように、入力画像Is中の注目画素と画像中心との間の距離Liを算出する。注目画素の座標を(xi,yi)とし、画像中心の座標を(X,Y)とするとき、次式(6)に従って距離Liを算出することができる。
Figure JPOXMLDOC01-appb-M000006
 次に、パラメータ演算処理部22は、算出された距離Liに基づいて倍率Rを算出するとともに、倍率Rの適用方向(拡大または縮小が発生する方向)を示すベクトル(s,t)のベクトル値s,tを算出する。
 ところで、倍率Rは、上式(5)と同様の次式(7)で表現することができる。
Figure JPOXMLDOC01-appb-M000007
 よって、距離Liを、距離Lを独立変数とする多項式関数などの関数Li=f(L)として与えることができれば、その一次微分関数を用いて倍率Rを算出することができる。あるいは、上式(7)の近似式を用いて倍率Rを算出することも可能である。図4に例示されるように、歪曲歪み量αが離散的な値α,α,α,…として与えられている場合には、単位距離nが微小であるので、L=L(=n×k)のとき、上式(7)から以下の近似式を導出することができる。
Figure JPOXMLDOC01-appb-M000008
 よって、次の近似式(7a)を導出することができる。
Figure JPOXMLDOC01-appb-M000009
 図7は、近似式(7a)を用いて倍率Rを算出する手順を示すフローチャートである。図7に示されるように、パラメータ演算処理部22は、まず、変数kを「1」に設定し(ステップS11)、距離Liが、距離Lに対応する歪み補正前の距離α・L未満であるか否かを判定する(ステップS12)。距離Liが距離α・L未満ではない場合(ステップS12のNO)、パラメータ演算処理部22は、変数kを1だけインクリメントし(ステップS13)、その後、ステップS12に処理を戻す。距離Liが距離α・L未満となった場合は(ステップS12のYES)、最初にLi<α・Lの式を満たす距離Lが検出される。このとき、上式(7a)に従って倍率Rが算出される(ステップS14)。
 一方、パラメータ演算処理部22は、次式(8)に従って、倍率Rの適用方向(拡大または縮小が発生する方向)を示すベクトル(s,t)のベクトル値s,tを算出することができる。
Figure JPOXMLDOC01-appb-M000010
 なお、倍率Rとベクトル値s,tとを算出する順序は逆であってもよい。パラメータ演算処理部22は、算出された倍率Rとベクトル(s,t)とをノイズ抑圧処理部23に供給する。
 次に、ノイズ抑圧処理部23の動作について説明する。図8は、ノイズ抑圧処理部23の基本構成を概略的に示す機能ブロック図である。図8に示されるように、ノイズ抑圧処理部23は、フィルタリング制御部29とノイズ抑圧部30とを有する。
 ノイズ抑圧部30は、ローパスフィルタ31~31(Qは3以上の整数)からなる空間フィルタ部31と、差分器32~32と、ベースノイズクリップ回路33~33と、ハイクリップ処理部34~34と、ノイズ抑圧強度調整部35~35Q+1とを含む。
 ローパスフィルタ31~31の各々は、入力画像Is中の注目画素を含む参照範囲(サンプリング範囲)内の複数画素に対して空間フィルタリングを実行する。本実施の形態では、空間フィルタリングとして平滑化(ローパスフィルタリング)が実行される。ローパスフィルタ31~31は、互いに異なる広さの基準設定範囲を有し、フィルタリング制御部29はこの基準設定範囲を基準として参照範囲を可変に設定することができる。
 図9(A),(B)は、基準参照範囲SAを示す図である。図9(A),(B)に示されるように、基準参照範囲SAは、座標(x,y)での注目画素Pc(x,y)を中心とする(2M+1)×(2N+1)画素のマトリクス状配列からなる。ここで、N,Mは、1以上の整数である。ローパスフィルタ31~31は、互いに異なる広さの基準参照範囲を有するので、ローパスフィルタ毎にN,Mの値は異なる。ローパスフィルタ31~31の各々は、基準参照範囲SA内の画素値g(x-i,y-j)に重み係数(フィルタ係数)K(i,j)を乗算し、その乗算結果g(x-i,y-j)×K(i,j)を基準参照範囲SA内の全ての画素について加算することでフィルタ画像の画素値D(x,y)を算出する。具体的には、次式(9)に従って注目画素Pc(x,y)に対応するフィルタ画像の画素値D(x,y)を算出することができる。
Figure JPOXMLDOC01-appb-M000011
 ここで、重み係数K(i,j)の値は、全て正の値であり、重み係数K(i,j)の総和は1である。また、注目画素Pc(x,y)の画素値g(x,y)に乗ずるべき重み係数K(0,0)は、他の重み係数よりも大きな値を有するように設定される。
 フィルタリング制御部29は、重み係数K(i,j)の設定値を変えることでローパスフィルタ31~31の参照範囲を変更することが可能である。たとえば、重み係数K(i,j)の全ての値が非零のとき、参照範囲は基準参照範囲SAと一致し、参照範囲の広さは最大となる。重み係数K(i,j)のいくつかの値を零とすることで参照範囲の広さを基準参照範囲SAよりも狭くすることができる。ローパスフィルタ31~31の参照範囲の広さは互いに異なる。本実施の形態では、ローパスフィルタ31~31の参照範囲は、ローパスフィルタ31のフィルタ番号qが大きい程、広くなるように設定される。言い換えれば、任意の2つのローパスフィルタ31,31(r<s)について、フィルタ番号の大きい方のローパスフィルタ31の参照範囲は、フィルタ番号の小さい方のローパスフィルタ31の参照範囲よりも広い。したがって、ローパスフィルタ31~31の出力(フィルタ画像)の空間周波数成分は同一とはならない。
 差分器32は、入力画像Isから、ローパスフィルタ31により出力されたフィルタ画像の空間周波数成分を除去して差分画像Dを生成し、この差分画像Dをベースノイズクリップ処理部33に供給する。他の差分器32~32は、ローパスフィルタ31~31Q-1により出力されたフィルタ画像から、ローパスフィルタ31~31により出力されたフィルタ画像の空間周波数成分をそれぞれ除去して差分画像D~Dを生成する。これら差分画像D~Dは、ベースノイズクリップ処理部33~33にそれぞれ供給される。すなわち、m番目の差分器32(mは2以上Q以下の正整数)は、m-1番目のローパスフィルタ31により出力されたフィルタ画像から、m番目のローパスフィルタ31により出力されたフィルタ画像の空間周波数成分を除去して差分画像Dを生成し、この差分画像Dをm番目のベースノイズクリップ処理部33に供給する。
 ベースノイズクリップ処理部33~33の各々は、正の閾値THb以下の振幅範囲内の入力信号レベルをこの閾値THbよりも低い振幅の出力信号レベルに変換するクリップ処理機能を有する。これにより、ローパスフィルタ31~31と差分器32~32とで周波数帯域ごとに分離された信号のうち振幅の小さい信号成分をカットしてノイズ成分の抑圧を行うことができる。図10は、ベースノイズクリップ処理部33~33の入出力特性の一例を示す図である。図10に示されるように、入力信号振幅が閾値THb以下となる低振幅範囲内の入力信号レベル(-THb~+THbの信号レベル範囲内の入力信号レベル)を零に変換することでノイズ成分の抑圧が行われている。なお、閾値THbは、ベースノイズクリップ処理部33~33のそれぞれについて個別に設定することができる。
 ハイクリップ処理部34~34は、ベースノイズクリップ処理部33~33の出力をそれぞれ入力とし、閾値THbよりも大きな閾値THh以上の振幅範囲内の入力信号レベルを一定振幅の出力信号レベルに変換するクリップ処理機能を有する。このように一定の振幅以上の信号をクリップすることで、特定の周波数帯域で強度の強いノイズ抑圧を行うことができる。図11は、ハイクリップ処理部34~34の入出力特性の一例を示す図である。図11に示されるように、入力信号振幅が閾値THh以上となる高振幅範囲内の入力信号レベルをそれぞれ一定の出力信号レベルに変換することが行われている。すなわち、+THh以上の信号レベル範囲内の入力信号レベルが一定の出力信号レベル(=+Ms)に変換され、-THh以下の信号レベル範囲内の入力信号レベルが一定の出力信号レベル(=-Ms)に変換されている。なお、閾値THhは、ハイクリップ処理部34~34のそれぞれについて個別に設定することができる。
 ノイズ抑圧強度調整部35~35は、ハイクリップ処理部33~33の出力をそれぞれ入力とし、ハイクリップ処理部33~33の出力に補正係数を個別に乗算する機能を有する。一方、ノイズ抑圧強度調整部35Q+1は、ローパスフィルタ31の出力に補正係数を乗算する機能を有する。このように、ローパスフィルタ31~31と差分器32~32とで周波数帯域ごとに分離された信号に対して個別に補正係数を適用することで、特定の周波数帯域で強度の強いノイズ抑圧を行うことができる。そして、加算器36は、ノイズ抑圧強度調整部35~35Q+1のQ+1個の出力を加算することでノイズ低減画像NRsを生成する。
 フィルタリング制御部29は、上記倍率Rが大きい程、ローパスフィルタ31~31の参照範囲(サンプリング範囲)を個別に狭くし、且つ、倍率Rの適用方向(s,t)とは平行な方向にその参照範囲を狭くする機能を有する。図2の歪補正処理部24は、ノイズ低減画像NRsにおける当該参照範囲に相当する画素範囲を変形(拡大または縮小)することで当該画素範囲の歪曲歪みを補正することができる。フィルタリング制御部29は、ローパスフィルタ31~31の各々について、注目画素の位置に関わらず、その変形後の当該画素範囲の広さが基準参照範囲の広さと略等しくなるように当該参照範囲を定める。これは、歪み補正処理後のノイズ特性を均一化するためである。
 また、フィルタリング制御部29は、ノイズ抑圧パラメータR,s,tの値の組み合わせとローパスフィルタ31~31の候補参照範囲との対応関係を示すルックアップテーブルを有しており、これらルックアップテーブルを参照して、複数の候補参照範囲の中からノイズ抑圧パラメータR,s,tの現在値に対応する参照範囲を動的に選択することができる。
 以下、ローパスフィルタ31~31の個数が3個の場合のノイズ抑圧処理部23の構成について説明する。図12は、3個のローパスフィルタ31~31からなる空間フィルタ部31を有するノイズ抑圧処理部23の構成を概略的に示す図である。
 図13(A)~(E)は、図12のローパスフィルタ31に適用されるべき3×3画素の候補参照範囲SA11,SA12,SA13,SA14,SA15を示す図である。図13(A)の候補参照範囲SA11がローパスフィルタ31の基準参照範囲であり、歪曲歪みが零である場合に選択される参照範囲である。図13(A)~(E)において、注目画素P(x,y)に対して斜線でハッチングされた領域は、参照範囲から除かれた画素領域であることを意味する。図14(A)~(C)は、候補参照範囲SA11,SA12,SA13に適用されるべき重み係数(フィルタ係数)の例を示す図である。次に、図15(A)~(I)は、図12のローパスフィルタ31に適用されるべき候補参照範囲SA21,SA22,SA23,SA24,SA25,SA26,SA27,SA28,SA29を示す図であり、図16(A)~(I)は、図12のローパスフィルタ31に適用されるべき候補参照範囲SA31,SA32,SA33,SA34,SA35,SA36,SA37,SA38,SA39を示す図である。ここで、候補参照範囲SA21がローパスフィルタ31の基準参照範囲であり、候補参照範囲SA31がローパスフィルタ31の基準参照範囲である。これら、候補参照範囲SA21,SA31は、歪曲歪みが零である場合に選択される。図14(A)~(I)及び図15(A)~(I)において、注目画素P(x,y)に対して斜線でハッチングされた領域は、参照範囲から除かれた画素領域であることを意味する。
 図17は、図12のローパスフィルタ31に適用されるべき参照範囲を選択するために予め用意されたルックアップテーブルの一例を示す図である。また、図18は、図12のローパスフィルタ31,31の双方に適用されるべき参照範囲を選択するために予め用意されたルックアップテーブルの一例を示す図である。ここで、θは、図19に示されるように、ベクトル値s,tをXY直交座標系にプロットした際の、原点に対する座標(s,t)の角度を、X軸正方向を0°、半時計周りの角度を正として、-180°から180°の範囲で表した値とする。図17及び図18のルックアップテーブルには、図13(A)~(E),図15(A)~(I)及び図16(A)~(I)における候補参照範囲の符号が記載されている。
 図12のフィルタリング制御部29は、図17及び図18のルックアップテーブルを参照して、ノイズ抑圧パラメータR,s,tの現在値の組み合わせに対応する参照範囲を複数の候補参照範囲の中から動的に選択することができる。また、図17及び図18のルックアップテーブルに示されるように、倍率Rが大きくなる程、ローパスフィルタ31~31の参照範囲(サンプリング範囲)はそれぞれ段階的に狭くなることが分かる。たとえば、図17に示されるように、-180°<θ<-157.5°の範囲では、ローパスフィルタ31の適用範囲は、R≦2.0のときに適用範囲SA11が選択され、R>2.0のときには、適用範囲SA11よりも狭い適用範囲SA12が選択される。また、倍率Rが大きくなると、ローパスフィルタ31~31の参照範囲は、主に、倍率Rの適用方向(s,t)とは平行な方向に段階的に狭くなることも分かる。たとえば、図18に示されるように、θ=0°を中心とする-22.5°<θ<+22.5°の範囲内では、ローパスフィルタ31の参照範囲は、倍率Rが大きくなる程、基準参照範囲SA21から候補参照範囲SA22にあるいは候補参照範囲SA22から候補参照範囲SA23に切り換えられ、θ=0°の角度方向(±X軸方向)に段階的に狭くなる。
 次に、実施の形態1の効果について説明する。
 上記したように本実施の形態の画像処理装置21では、フィルタリング制御部29は、倍率Rに応じて空間フィルタ部31の参照範囲(サンプリング範囲)の広さを動的に変更し、倍率Rが大きい程、参照範囲を狭くする。これにより、画像のノイズが視覚的に目立ちやすくなる倍率Rの大きい部分に対して局所的にノイズ抑圧処理の強度を上げることができる。よって、図2の歪補正処理部24で歪み補正処理が行われる場合でも、歪曲歪みを有する入力画像Isに重畳されたノイズが歪み補正処理により引き伸ばされることに起因する画質劣化を効果的に抑制することができる。しかも、フィルタリング制御部29は、主に、倍率Rの適用方向(ベクトル(s,t)の方向)とは平行な方向に参照範囲を狭くするので、ノイズ成分が特定方向に引き伸ばされて視覚的に不自然な特性となることを防ぐことができる。
 図2の歪補正処理部24は、ノイズ低減画像NRsにおける当該参照範囲に相当する画素範囲を変形(拡大または縮小)することで当該画素範囲の歪曲歪みを補正するところ、フィルタリング制御部29は、ローパスフィルタ31~31の各々について、注目画素の位置に関わらず、変形後の当該画素範囲の広さが基準参照範囲の広さと略等しくなるように当該参照範囲を定めることができる。特に、フィルタリング制御部29は、歪補正処理部24での変形方向とは平行な方向に、倍率Rの逆数の倍率となるように参照範囲の幅を狭くしている。これにより、歪み補正処理により画素ごとに倍率Rで変形される方向が異なることに起因する不自然なノイズの発生を効果的に抑制することができる。したがって、歪み補正処理後のノイズ特性を均一化することが可能となる。
実施の形態2.
 次に、本発明に係る実施の形態2について説明する。本実施の形態の画像処理装置の構成は、図8のフィルタリング制御部29の一部の動作を除いて、実施の形態1の画像処理装置21の構成と同じである。このため、図2及び図8を参照しつつ実施の形態2について説明する。上記実施の形態1では、フィルタリング制御部29は、ルックアップテーブルを参照してローパスフィルタ31~31の参照範囲を動的に決定していたが、本実施の形態のフィルタリング制御部29は、倍率Rと方向パラメータs,tとを入力として、ローパスフィルタ31~31の参照範囲を定める画素位置を演算処理により算出する。
 図20は、本実施の形態の基準参照範囲SAの一例を概略的に示す図である。この基準参照範囲SAは、注目画素Pcを中心とする(2M+1)×(2N+1)画素のマトリクス状配列からなる。ここで、M,Nは、1以上の整数である。実施の形態1の場合と同様に、ローパスフィルタ31~31は、互いに異なる基準参照範囲を有するので、ローパスフィルタ毎にN,Mの値は異なる。また、図20には、各画素に局所的な座標が示されている。注目画素Pcの座標は(0,0)である。
 フィルタリング制御部29は、ローパスフィルタ31~31の各々について、基準参照範囲SA内の全ての画素の座標(a,b)(aは、-M~+Mの範囲内の整数であり、bは、-N~+Nの範囲内の整数である。)を次の変換式(10)に従って座標(p,q)に変換する。
Figure JPOXMLDOC01-appb-M000012
 式(10)において、R(θ)は、拡大縮小の方向がX軸と一致するように座標の回転を行う回転行列であり、S(1/R)は、X軸方向に倍率Rの逆倍率1/Rで座標位置を変化させる行列であり、R(-θ)は、R(θ)の逆行列である。
 上式(10)を整理すると、次式(10a)が得られる。
Figure JPOXMLDOC01-appb-M000013
 フィルタリング制御部29は、上式(10a)を用いて算出された座標の集合{(p,q)}で特定される範囲を参照範囲として指定する。これにより、フィルタリング制御部29は、倍率Rと方向パラメータs,tとに応じて空間フィルタ部31の参照範囲(サンプリング範囲)の広さを動的に変更し、倍率Rが大きい程、参照範囲を狭くすることができる。
 また、フィルタリング制御部29は、歪補正処理部24での変形方向に対し垂直な方向については参照範囲を変形せず、倍率Rの適用方向(ベクトル(s,t)の方向)とは平行な方向に参照範囲を狭くすることができる。さらには、図2の歪補正処理部24は、ノイズ低減画像NRsにおける当該参照範囲に相当する画素範囲を変形(拡大または縮小)することで当該画素範囲の歪曲歪みを補正するところ、フィルタリング制御部29は、ローパスフィルタ31~31の各々について、注目画素の位置に関わらず、変形後の当該画素範囲の広さが基準参照範囲の広さと略等しくなるように当該参照範囲を定めることができる。
 したがって、実施の形態2でも、実施の形態1の場合と同様に、歪曲歪みを有する画像に重畳されたノイズが歪み補正処理により引き伸ばされることに起因する画質劣化を抑制することができる。
 また、変換式(10a)を使用して参照範囲が動的に決定されるので、実施の形態1の場合のようにルックアップテーブルのデータを予め用意し保持する必要がないという利点がある。
実施の形態3.
 次に、本発明に係る実施の形態3について説明する。図21は、実施の形態3のノイズ抑圧処理部23Bの構成を概略的に示す図である。本実施の形態の画像処理装置の構成は、ノイズ抑圧処理部23Bの構成を除いて、上記実施の形態1の画像処理装置21の構成と同じである。
 図21に示されるように、ノイズ抑圧処理部23Bは、上記実施の形態1のノイズ抑圧処理部23と同様にフィルタリング制御部29とノイズ抑圧部30とを有する。ノイズ抑圧処理部23Bは、さらにノイズ抑圧制御部37を有する。このノイズ抑圧制御部37は、倍率Rに応じて、ベースノイズクリップ処理部33~33及びハイクリップ処理部34~34における閾値THb,THhを動的に変更するとともに、ノイズ抑圧強度調整部35~35Q+1における補正係数を動的に変更する機能を有する。
 図22は、Q=3の場合の、倍率Rと、ベースノイズクリップ閾値THb、ハイクリップ閾値THh及び補正係数の組み合わせとの対応関係を示すルックアップテーブルを表す図である。図22には、ベースノイズクリップ回路33~33とハイクリップ処理部34~34とノイズ抑圧強度調整部35~35との符号が示されている。ノイズ抑圧制御部37は、図22のルックアップテーブルを参照して、倍率Rの現在値に対応するベースノイズクリップ閾値THb、ハイクリップ閾値THh及び補正係数を得ることができる。図22によれば、ベースノイズクリップ処理部33,33,33に対するベースクリップ閾値THbは、倍率Rが大きくなる程、段階的に高くなる。また、ハイクリップ処理部34,34,34に対するハイクリップ閾値THhは、倍率Rが大きくなる程、段階的に低くなる。ノイズ抑圧強度調整部35,35,35に対する補正係数は、倍率Rが大きくなる程、段階的に小さくなるが、ノイズ抑圧強度調整部35に対する補正係数は、倍率Rの値に関わらず、一定値(=1.0)である。
 上記のように実施の形態4では、倍率Rの現在値に応じてノイズ抑圧処理のパラメータを変動させることにより、画像のノイズが視覚的に目立ちやすくなる倍率Rの大きい部分に対して局所的にノイズ抑圧処理の強度を上げ、歪み補正処理後の出力画像DRsの画質を向上させることができる。
実施の形態4.
 次に、本発明に係る実施の形態4について説明する。図23は、実施の形態4の撮像装置1の概略構成を示すブロック図である。図23に示されるように、撮像装置1は、撮像光学系(レンズ機構)11、CCD画像センサ12、フロントエンド部13、A/D変換器(ADC)14及び制御回路2を有している。制御回路2は、信号処理部20、画像処理部21B、制御部40、メモリ41及び外部インタフェース部(外部I/F部)42を有する。これら処理ブロック20,21B,40,41,42は、バス43を介して相互に接続されている。制御部40は、制御回路2の全体動作を制御するMPU(Micro Processing Unit)である。画像処理部21Bは、上記実施の形態1~3の画像処理装置のいずれかと同じ構成を有する。
 撮像光学系(レンズ機構)11は、前側レンズ110、開口絞り111及び後側レンズ112を有する。CCD画像センサ12は、単板式の固体撮像素子であり、単一の色フィルタアレイ121と単一のCCD素子122とを有する。色フィルタアレイ121は、互いに異なるN個の波長域の色の光をそれぞれ透過させるN種類の色フィルタ(Nは2以上の正整数)を周期的に且つ面状に配列してなるものであればよい。本実施の形態では、色フィルタアレイ121の色フィルタ配列として原色系のベイヤ配列を使用することができるが、これに限定されるものではなく、補色系のベイヤ配列を使用してもよい。なお、CCD画像センサに代えて、CMOS画像センサなどの他の固体撮像素子を使用してもよい。
 タイミングジェネレータ16は、駆動タイミング信号を発生して駆動回路15に供給する。駆動回路15は、タイミングジェネレータ16から出力された駆動タイミング信号に応じてCCD画像センサ12を駆動するための駆動信号を生成する。CCD画像センサ12は、この駆動信号に基づいて、光電変換及び電荷転送を行う。
 撮像光学系11は、被写体の光学像をCCD画像センサ12の撮像面上に合焦させる。CCD画像センサ12で光電変換して得られた撮像信号は、フロントエンド部13に転送される。フロントエンド部13は、撮像信号に対して、相関二重サンプリング(CDS:Correllated Double Sampling)処理やプログラマブル利得増幅(PGA:Programmable Gain Amplification)を実行し、その結果得られたアナログ信号をADC14に出力する。ここで、CDS処理は、CCD画像センサ12から出力される撮像信号からノイズなどの不要な成分を除去する処理である。ADC14は、フロントエンド部13の出力信号をデジタル信号に変換し、このデジタル信号を制御回路2の信号処理部20に供給する。
 信号処理部20は、ADC14の出力信号に、色同時化処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理及び色補正処理などを施して得られる映像信号をバス43に出力する。バス43は、制御部40による制御を受けて、当該映像信号をメモリ41のRAM(Random Access Memory)41Bに転送する。画像処理部21Bは、RAM41Bから映像信号を読み出して、上記の空間フィルタリングとクリップ処理とノイズ抑圧強度調整処理とを実行することができる。
 なお、上記画像処理部21Bの機能の全部または一部は、ハードウェア構成で実現されてもよいし、あるいは、マイクロプロセッサにより実行されるコンピュータプログラムで実現されてもよい。たとえば、マイクロプロセッサを有するMPU40が不揮発性メモリであるROM(Read Only Memory)41Aからコンピュータプログラムをロードし実行することによって画像処理部21Bの機能を実現することができる。
実施の形態1~4の変形例.
 以上、図面を参照して本発明に係る種々の実施の形態について述べたが、これらは本発明の例示であり、上記以外の様々な形態を採用することもできる。たとえば、ベースノイズクリップ処理部33~33及びハイクリップ処理部34~34に代えて、ルックアップテーブル回路を用いてもよい。
 また、上記実施の形態1~3では、歪曲歪み量αは、図4に例示したように距離Lに対応する値として与えられるものであったが、これに代えて、X座標値とY座標値との組に対応する値として与えられてもよい。
 1 撮像装置、 2 制御回路、 11 撮像光学系、 12 CCD画像センサ、 13 フロントエンド部(アナログ信号処理部)、 14 A/D変換器(ADC)、 15 駆動回路、 16 タイミングジェネレータ、 20 信号処理部、 21,21B 画像処理装置、 22 パラメータ演算処理部、 23 ノイズ抑圧処理部、 24 歪補正処理部、 29 フィルタリング制御部、 30 ノイズ抑圧部、 31 空間フィルタ部、 31~31 ローパスフィルタ、 32~32 差分器、 33~33 ベースノイズクリップ処理部、 34~34 ハイクリップ処理部、 35~35Q+1 ノイズ抑圧強度調整部、 36 加算器、 37 ノイズ抑圧制御部。

Claims (21)

  1.  入力画像中の注目画素を含む参照範囲内の複数画素に対して空間フィルタリングを実行してノイズ低減画像を生成するノイズ抑圧部と、
     前記ノイズ低減画像の局所的な歪曲歪み量に応じた倍率で前記ノイズ低減画像を局所的に変形することで前記ノイズ低減画像の歪曲歪みを補正する歪補正処理部と、
     前記倍率に応じて前記参照範囲の広さを動的に変更するフィルタリング制御部と
    を備え、
     前記フィルタリング制御部は、前記倍率が大きい程、前記参照範囲を狭くする
    ことを特徴とする画像処理装置。
  2.  請求項1に記載の画像処理装置であって、
     前記参照範囲は、前記歪曲歪み量が零のときに所定の基準参照範囲に設定され、
     前記歪補正処理部は、前記ノイズ低減画像における前記参照範囲に相当する画素範囲を変形することで前記画素範囲の歪曲歪みを補正し、
     前記フィルタリング制御部は、当該変形された画素範囲の広さが前記基準参照範囲の広さと等しくなるように前記参照範囲を定める
    ことを特徴とする画像処理装置。
  3.  請求項1または2に記載の画像処理装置であって、前記フィルタリング制御部は、前記倍率が大きい程、前記倍率の適用方向とは平行な方向に前記参照範囲を狭くすることを特徴とする画像処理装置。
  4.  請求項1から3のうちのいずれか1項に記載の画像処理装置であって、
     前記倍率の複数の値と複数の候補参照範囲との間の対応関係を示すルックアップテーブルをさらに備え、
     前記フィルタリング制御部は、前記ルックアップテーブルを参照して、前記複数の候補参照範囲の中から、前記倍率の現在値に対応する候補参照範囲を前記参照範囲として選択する
    ことを特徴とする画像処理装置。
  5.  請求項1から3のうちのいずれか1項に記載の画像処理装置であって、
     前記フィルタリング制御部は、前記倍率の現在値に基づいて、前記参照範囲を定める画素位置を演算処理により算出する
    ことを特徴とする画像処理装置。
  6.  請求項3に記載の画像処理装置であって、
     前記倍率の値と前記適用方向を示す方向パラメータの値との組の複数個と複数の候補参照範囲との間の対応関係を示すルックアップテーブルをさらに備え、
     前記フィルタリング制御部は、前記ルックアップテーブルを参照して、前記複数の候補参照範囲の中から、前記倍率の現在値と該現在値の適用方向との組に対応する候補参照範囲を前記参照範囲として選択する
    ことを特徴とする画像処理装置。
  7.  請求項3に記載の画像処理装置であって、前記フィルタリング制御部は、前記倍率の現在値と該現在値の適用方向とに基づいて、前記参照範囲を定める画素位置を演算処理により算出することを特徴とする画像処理装置。
  8.  請求項1から7のうちのいずれか1項に記載の画像処理装置であって、
     前記参照範囲は、互いに異なる広さの第1乃至第Q(Qは3以上の正整数)の参照範囲からなり、
     前記ノイズ抑圧部は、
     前記第1乃至第Qの参照範囲に対して個別に前記空間フィルタリングを実行することで第1乃至第Qのフィルタ画像をそれぞれ生成する第1乃至第Qの空間フィルタと、
     前記入力画像から前記第1のフィルタ画像の空間周波数成分を除去して第1の差分画像を生成する第1の差分器と、
     前記第1乃至第Q-1のフィルタ画像から前記第2乃至第Qのフィルタ画像の空間周波数成分をそれぞれ除去して第2乃至第Qの差分画像をそれぞれ生成する第2乃至第Qの差分器と、
     前記第1乃至第Qの差分画像における指定された振幅範囲内の入力信号レベルを一定の振幅の出力信号レベルにそれぞれ変換するクリップ処理を実行して第1乃至第Qのクリップ画像をそれぞれ生成する第1乃至第Qのクリップ処理部と、
     前記第1乃至第Qのクリップ画像と前記第Qのフィルタ画像とを加算して前記ノイズ低減画像を生成する加算器と
    を有する
    ことを特徴とする画像処理装置。
  9.  請求項8に記載の画像処理装置であって、前記第1乃至第Qの参照範囲の広さは、この順番で次第に大きくなるように設定されていることを特徴とする画像処理装置。
  10.  請求項8または9に記載の画像処理装置であって、前記第1乃至第Qのクリップ処理部の各々は、前記振幅範囲のうち第1閾値以下の低振幅範囲内の入力信号レベルを前記第1閾値よりも低い振幅の第1の出力信号レベルに変換するベースクリップ処理部を含むことを特徴とする画像処理装置。
  11.  請求項10に記載の画像処理装置であって、前記第1乃至第Qのクリップ処理部の各々は、前記振幅範囲のうち前記第1閾値よりも大きな第2閾値以上の高振幅範囲内の入力信号レベルを一定の振幅の第2の出力信号レベルに変換するハイクリップ処理部をさらに含むことを特徴とする画像処理装置。
  12.  請求項8から11のうちのいずれか1項に記載の画像処理装置であって、前記倍率に応じて、前記クリップ処理部における前記振幅範囲を動的に変更するノイズ抑圧制御部をさらに備えることを特徴とする画像処理装置。
  13.  請求項12に記載の画像処理装置であって、
     前記第1乃至第Qのクリップ画像の信号と前記第Qのフィルタ画像の信号とにそれぞれ補正係数を乗算するノイズ抑圧強度調整部をさらに備え、
     前記ノイズ抑圧制御部は、前記倍率に応じて前記補正係数を動的に変更する
    ことを特徴とする画像処理装置。
  14.  請求項1から13のうちのいずれか1項に記載の画像処理装置であって、前記空間フィルタリングは、ローパスフィルタリングであることを特徴とする画像処理装置。
  15.  請求項1から14のうちのいずれか1項に記載の画像処理装置であって、
     前記入力画像は、光学系により結像された光学像を光電変換することで得られた画像であり、
     前記歪曲歪み量は、前記撮像光学系の歪曲収差に起因するものである
    ことを特徴とする画像処理装置。
  16.  請求項1から15のうちのいずれか1項に記載の画像処理装置を含むことを特徴とする撮像装置。
  17.  入力画像中の注目画素を含む参照範囲内の複数画素に対して空間フィルタリングを実行してノイズ低減画像を生成するステップと、
     前記ノイズ低減画像の局所的な歪曲歪み量に応じた倍率で前記ノイズ低減画像を局所的に変形することで前記ノイズ低減画像の歪曲歪みを補正するステップと、
     前記倍率に応じて前記参照範囲の広さを動的に変更するステップと
    を備え、
     前記参照範囲を動的に変更する当該ステップでは、前記倍率が大きい程、前記参照範囲を狭くすることで前記参照範囲が動的に変更される
    ことを特徴とする画像処理方法。
  18.  請求項17に記載の画像処理方法であって、
     前記参照範囲は、前記歪曲歪み量が零のときに所定の基準参照範囲に設定され、
     前記歪曲歪みを補正する当該ステップでは、前記ノイズ低減画像における前記参照範囲に相当する画素範囲を変形することで前記画素範囲の歪曲歪みが補正され、
     前記参照範囲を動的に変更する当該ステップは、当該変形された画素範囲が前記基準参照範囲と等しくなるように前記参照範囲を定めるステップを含む
    ことを特徴とする画像処理方法。
  19.  請求項17または18に記載の画像処理方法であって、前記参照範囲を動的に変更する当該ステップは、前記倍率が大きい程、前記倍率の適用方向とは平行な方向に前記参照範囲を狭くするステップを含むことを特徴とする画像処理方法。
  20.  メモリから読み出されて、請求項17から19のうちのいずれか1項に記載の画像処理方法が備えるステップをプロセッサに実行させることを特徴とするコンピュータプログラム。
  21.  請求項20に記載のコンピュータプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
PCT/JP2012/053791 2011-10-26 2012-02-17 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及び記録媒体 WO2013061626A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013540676A JP5693743B2 (ja) 2011-10-26 2012-02-17 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及び記録媒体
CN201280052201.5A CN103907134B (zh) 2011-10-26 2012-02-17 图像处理装置、图像处理方法和摄像装置
US14/346,347 US9123105B2 (en) 2011-10-26 2012-02-17 Image processing device, image processing method, image capturing device, computer program, and recording medium
GB1405126.2A GB2509021B (en) 2011-10-26 2012-02-17 Image processing device, image processing method, image-capturing device, computer program, and recording medium
DE201211004470 DE112012004470T5 (de) 2011-10-26 2012-02-17 Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, Bildaufnahmevorrichtung, Computerprogramm und Aufzeichnungsmedium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011234950 2011-10-26
JP2011-234950 2011-10-26

Publications (1)

Publication Number Publication Date
WO2013061626A1 true WO2013061626A1 (ja) 2013-05-02

Family

ID=48167473

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/053791 WO2013061626A1 (ja) 2011-10-26 2012-02-17 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及び記録媒体

Country Status (6)

Country Link
US (1) US9123105B2 (ja)
JP (1) JP5693743B2 (ja)
CN (1) CN103907134B (ja)
DE (1) DE112012004470T5 (ja)
GB (1) GB2509021B (ja)
WO (1) WO2013061626A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5949201B2 (ja) * 2012-06-20 2016-07-06 富士通株式会社 画像処理装置及びプログラム
JP6403401B2 (ja) * 2014-03-05 2018-10-10 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
US9196039B2 (en) * 2014-04-01 2015-11-24 Gopro, Inc. Image sensor read window adjustment for multi-camera array tolerance
CN107113384B (zh) * 2015-01-20 2019-10-25 奥林巴斯株式会社 图像处理装置、图像处理方法以及存储介质
JP6563358B2 (ja) * 2016-03-25 2019-08-21 日立オートモティブシステムズ株式会社 画像処理装置及び画像処理方法
CN108399606B (zh) * 2018-02-02 2020-06-26 北京奇艺世纪科技有限公司 一种图像调整的方法及装置
CN115995050B (zh) * 2023-03-22 2023-06-13 山东汇蓝环保科技有限公司 基于航拍的环境监测数据处理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096665A (ja) * 2002-09-04 2004-03-25 Fuji Xerox Co Ltd 画像処理装置、画像検査装置、およびプログラム
JP2006166108A (ja) * 2004-12-08 2006-06-22 Canon Inc 撮像装置および撮像制御方法
JP2006295807A (ja) * 2005-04-14 2006-10-26 Canon Inc 撮像装置、画像処理方法、プログラム、及び記憶媒体
JP2007188346A (ja) * 2006-01-13 2007-07-26 Mitsubishi Electric Corp 画像処理装置
JP2010171753A (ja) * 2009-01-23 2010-08-05 Sony Corp 画像処理装置、画像処理方法および撮像装置
JP2011204109A (ja) * 2010-03-26 2011-10-13 Shimadzu Corp 画像処理方法およびそれを用いた放射線撮影装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7961973B2 (en) * 2004-09-02 2011-06-14 Qualcomm Incorporated Lens roll-off correction method and apparatus
JP4790247B2 (ja) 2004-10-29 2011-10-12 京セラ株式会社 画像処理装置およびその方法
US7920200B2 (en) * 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP4658711B2 (ja) * 2005-06-29 2011-03-23 オリンパス株式会社 動きベクトル検出装置及び方法
CN101572828B (zh) * 2009-05-20 2010-10-13 长春理工大学 基于gpu的相机/摄像机实时畸变校正方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004096665A (ja) * 2002-09-04 2004-03-25 Fuji Xerox Co Ltd 画像処理装置、画像検査装置、およびプログラム
JP2006166108A (ja) * 2004-12-08 2006-06-22 Canon Inc 撮像装置および撮像制御方法
JP2006295807A (ja) * 2005-04-14 2006-10-26 Canon Inc 撮像装置、画像処理方法、プログラム、及び記憶媒体
JP2007188346A (ja) * 2006-01-13 2007-07-26 Mitsubishi Electric Corp 画像処理装置
JP2010171753A (ja) * 2009-01-23 2010-08-05 Sony Corp 画像処理装置、画像処理方法および撮像装置
JP2011204109A (ja) * 2010-03-26 2011-10-13 Shimadzu Corp 画像処理方法およびそれを用いた放射線撮影装置

Also Published As

Publication number Publication date
GB2509021B (en) 2018-06-27
CN103907134A (zh) 2014-07-02
US20140226915A1 (en) 2014-08-14
GB2509021A (en) 2014-06-18
US9123105B2 (en) 2015-09-01
DE112012004470T5 (de) 2014-07-24
CN103907134B (zh) 2016-10-12
GB201405126D0 (en) 2014-05-07
JP5693743B2 (ja) 2015-04-01
JPWO2013061626A1 (ja) 2015-04-02

Similar Documents

Publication Publication Date Title
JP5693743B2 (ja) 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及び記録媒体
US9167216B2 (en) Image processing apparatus, image capture apparatus and image processing method
EP2566161B1 (en) Image processing apparatus and method
JP5677040B2 (ja) 画像処理装置およびその制御方法
JP4288623B2 (ja) 撮像装置、ノイズ除去装置、ノイズ除去方法、ノイズ除去方法のプログラム及びノイズ除去方法のプログラムを記録した記録媒体
JP4869653B2 (ja) 画像処理装置
US8792015B2 (en) Image processing apparatus, image processing method, image pickup apparatus, and a non-transitory computer-readable storage medium
JP2015211319A (ja) 画像処理装置、その制御方法、および制御プログラム
KR20110029001A (ko) 베이어 영상에서의 이미지 처리 방법 및 장치
JP5060447B2 (ja) ノイズキャンセル処理回路および固体撮像装置
TWI538506B (zh) 影像處理裝置、資訊處理方法及電腦可讀取儲存媒體
JP2008160740A (ja) 画像処理装置
JP5701640B2 (ja) 画像処理装置
JP2004363853A (ja) 画像信号のノイズ低減方法及びノイズ低減装置
JP5439210B2 (ja) 画像処理装置
JP2005142832A (ja) 輪郭補正回路及び撮像装置
JP5895195B2 (ja) ノイズ削減装置およびノイズ削減方法
JP2004236185A (ja) 信号処理装置および方法、記録媒体、並びにプログラム
JP2016184888A (ja) 画像処理装置、撮像装置、画像処理方法及びコンピュータプログラム
JP6090193B2 (ja) 動き検出処理装置、画像処理装置、撮像装置及び動き検出処理方法
JP2009027537A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5197447B2 (ja) 画像処理装置及び撮像装置
JP5242750B2 (ja) 画像処理装置
JP4471748B2 (ja) 画像信号処理装置
US9635330B2 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12843119

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013540676

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 1405126

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20120217

WWE Wipo information: entry into national phase

Ref document number: 14346347

Country of ref document: US

Ref document number: 1405126.2

Country of ref document: GB

WWE Wipo information: entry into national phase

Ref document number: 1120120044703

Country of ref document: DE

Ref document number: 112012004470

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12843119

Country of ref document: EP

Kind code of ref document: A1