WO2021161664A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2021161664A1
WO2021161664A1 PCT/JP2020/047940 JP2020047940W WO2021161664A1 WO 2021161664 A1 WO2021161664 A1 WO 2021161664A1 JP 2020047940 W JP2020047940 W JP 2020047940W WO 2021161664 A1 WO2021161664 A1 WO 2021161664A1
Authority
WO
WIPO (PCT)
Prior art keywords
horizontal
pixel
correction value
value
interest
Prior art date
Application number
PCT/JP2020/047940
Other languages
English (en)
French (fr)
Inventor
敏秀 小林
昌和 立石
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP20918245.0A priority Critical patent/EP4106311B1/en
Priority to CN202080093821.8A priority patent/CN114982219B/zh
Publication of WO2021161664A1 publication Critical patent/WO2021161664A1/ja
Priority to US17/819,375 priority patent/US11991443B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method suitable for use in an imaging apparatus including a zoom lens.
  • the focus distance at the center of the frame and the focus distance at the edge of the frame are slightly different due to the influence of the curvature of field of the lens. It may shift. Even if the lens having such curvature of field is focused at the center of the frame, it is slightly defocused at the edge of the frame, and the captured image is distorted.
  • An object of the embodiment is to provide an image processing apparatus and an image processing method capable of correcting distortions that occur in an image taken through a zoom lens.
  • a correction value table in which correction values are set according to the distance from the center of the frame of pixels located in the frame of the captured image captured through the zoom lens. Adjust by multiplying the correction value read from the correction value table according to the distance from the center of each attention pixel in the frame by at least an adjustment coefficient determined by the zoom magnification and focus distance of the zoom lens.
  • a first multiplier that generates a correction value
  • a second multiplier that multiplies the adjustment correction value by the cosine of the angle of each attention pixel with respect to the center to generate a horizontal correction value that corrects the attention pixel in the horizontal direction.
  • an image processing apparatus including a horizontal filter that adds a horizontal correction component obtained by multiplying a filter component by the horizontal correction value to each of the attention pixels and corrects each of the attention pixels in the horizontal direction.
  • the correction value table is set with correction values according to the distance from the center of the frame of the pixels located in the frame of the captured image captured through the zoom lens.
  • the correction value is read from the correction value table according to the distance from the center of each attention pixel in the frame, and the read correction value is based on at least the zoom magnification and focus distance of the zoom lens.
  • the adjustment correction value is generated by multiplying the determined adjustment coefficient, and the cosine of the angle of each attention pixel with respect to the center is multiplied by the adjustment correction value to generate a horizontal correction value for correcting the attention pixel in the horizontal direction.
  • a plurality of pixels in the left-right direction centered on each of the pixels of interest are multiplied by a coefficient of left-right asymmetry to generate a horizontal high-pass filter component, and the horizontal high-pass filter component is combined with the above.
  • An image processing method is provided in which a horizontal correction component multiplied by a horizontal correction value is added to each of the attention pixels, and each of the attention pixels is corrected in the horizontal direction.
  • the image processing device and the image processing method of the embodiment it is possible to correct the distortion that occurs in the image taken through the zoom lens.
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging device including a zoom lens.
  • FIG. 2 is a partial plan view showing a color filter of the Bayer array.
  • FIG. 3 is a diagram showing a first example of blurring generated in an image captured by an imaging device.
  • FIG. 4 is a waveform diagram showing a rectangular wave signal having a blunted waveform when the captured image shown in FIG. 3 is blurred.
  • FIG. 5 is a partial plan view showing an RGB image signal output from the demosaic circuit 7 of FIG.
  • FIG. 6 is a block diagram showing a specific configuration example of the image blunt correction circuit 6 of FIG. 1, which is an image of the image processing device of one embodiment.
  • FIG. 1 is a block diagram showing a schematic configuration of an imaging device including a zoom lens.
  • FIG. 2 is a partial plan view showing a color filter of the Bayer array.
  • FIG. 3 is a diagram showing a first example of blurring generated in an image captured by an imaging device.
  • FIG. 7 is a diagram for explaining an operation in which one pixel of interest in a frame of a captured image is corrected.
  • FIG. 8 is a characteristic diagram showing correction values according to the image height set in the correction value table 63 of FIG.
  • FIG. 9 is a diagram showing adjustment coefficients set for each of the zoom magnification, the focus distance, and the iris aperture value, which are multiplied by the correction value shown in FIG.
  • FIG. 10 is a block diagram showing a specific configuration example of the horizontal filter 67 of FIG.
  • FIG. 11 is a diagram showing an example of the coefficient values of the coefficients k1 to k9 that the multipliers 6721 to 6729 of FIG. 10 multiply the pixel data.
  • FIG. 12 is a waveform diagram showing a square wave signal in which the blunted square wave signal shown in FIG. 4 is corrected by the image blunt correction circuit 6.
  • FIG. 13A is a waveform diagram showing a square wave signal having a blunt waveform shown in FIG. 4 being overcorrected by the image blunt correction circuit 6 and causing ringing.
  • FIG. 13B is a waveform diagram showing a rectangular wave signal from which ringing has been removed.
  • FIG. 14 is a block diagram showing a specific configuration example of the vertical filter 68 of FIG.
  • FIG. 15 is a diagram showing an example of the coefficient values of the coefficients k1 to k9 that the multipliers 6821 to 6829 of FIG. 14 multiply the pixel data.
  • FIG. 16 is a diagram showing a second example of blurring generated in an image captured by an imaging device.
  • FIG. 17 is a waveform diagram showing a rectangular wave signal having a blunted waveform when the captured image shown in FIG. 16 is blurred.
  • FIG. 1 a schematic configuration and operation of an imaging device including a zoom lens will be described with reference to FIG. 1
  • the infrared light is cut by the infrared cut filter 2 for the light from the subject incident through the zoom lens 1, and the visible light is incident on the image sensor 3.
  • the zoom lens 1 has a plurality of lenses and an iris.
  • the image sensor 3 may be a CMOS (Complementary Metal Oxide Semiconductor) sensor or a CCD (Charge Coupled Device).
  • the image pickup device captures a still image or a moving image of a subject by the image pickup element 3.
  • the image sensor 3 includes a color filter having a Bayer array shown in FIG.
  • the Bayer array color filter includes rows in which R filters and G filters for generating red (R) pixels and green (G) pixels are alternately arranged, and generation of blue (B) and G pixels. Rows in which B filters and G filters are alternately arranged are arranged alternately in the column direction. The rows are the horizontal direction of the image and the columns are the vertical direction of the image.
  • the G filter sandwiched between the R filters in the horizontal direction is referred to as a G1 filter, and the G filter sandwiched between B is referred to as a G2 filter.
  • the timing generator 4 supplies the horizontal synchronization signal Hsync and the vertical synchronization signal Vsync to the image sensor 3.
  • the image sensor 3 generates pixel data R (3), G1 (3), G2 (3), and B (3), which are digital color signals corresponding to the R filter, the G1 filter, the G2 filter, and the B filter, respectively. ..
  • the image sensor 3 supplies the pixel data R (3), G1 (3), G2 (3), B (3), the horizontal synchronization signal Hsync (3), and the vertical synchronization signal Vsync (3) to the white balance circuit 5. do.
  • the white balance circuit 5 adjusts the white balance by adjusting each value of the pixel data R (3), G1 (3), G2 (3), and B (3).
  • the white balance circuit 5 outputs the pixel data R (5), G1 (5), G2 (5), B (5), the horizontal sync signal Hsync (5), and the vertical sync signal Vsync (5) whose white balance has been adjusted. , Supply to the image blunt correction circuit 6.
  • the central processing unit 10 (hereinafter, CPU 10) is supplied with the zoom magnification, the focus distance, and the iris aperture value from the zoom lens 1.
  • the CPU 10 supplies a correction setting value, an adjustment coefficient Aco, and an inversion on / off signal, which will be described later, to the image blunt correction circuit 6.
  • the image blunt correction circuit 6 will be described with reference to FIGS. 3 and 4.
  • the image signal normally has a black level and a white level in the horizontal and vertical directions. It becomes a square wave signal that repeats alternately.
  • the image plane curved in the zoom lens 1 causes distortion in the captured image with slight defocus at the edges.
  • the square wave signal has a distorted waveform, and as shown by the circle of the alternate long and short dash line, the waveform becomes large in the vicinity of black at the boundary where it changes from white to black in the horizontal or vertical direction. However, the waveform does not become so much near black at the boundary where it changes from black to white in the horizontal or vertical direction.
  • the waveform may be blunted near white at the boundary where it changes from black to white as shown by enclosing it in a two-dot chain line circle.
  • bleeding occurs near black at the boundary changing from white to black in the horizontal or vertical direction, and slightly near white at the boundary changing from black to white. Blurring occurs and the boundary is not clear.
  • the degree of distortion of the rectangular wave signal differs depending on the position in the frame, and the degree of waveform blunting is not constant.
  • the image blunt correction circuit 6 corrects the bluntness of the waveform as shown in FIG. 4 in the pixel data R (3), G1 (3), G2 (3), and B (3).
  • the image blunt correction circuit 6 has pixel data R (6), G1 (6), G2 (6), B (6), horizontal sync signal Hsync (6), and vertical sync signal Vsync (6) that have corrected waveform bluntness. ) Is supplied to the demosaic circuit 7.
  • the specific configuration of the image blunt correction circuit 6 and its operation will be described in detail later.
  • An image signal in which pixel data R (6), G1 (6), G2 (6), and B (6) are mixed in the frame is input to the demosaic circuit 7.
  • the demosaic circuit 7 interpolates the R pixel data at the pixel position where the R pixel data does not exist, and uses all the pixels in the frame as the R pixel data.
  • the demosaic circuit 7 interpolates the G pixel data at the pixel position where the G pixel data does not exist, and uses all the pixels in the frame as the G pixel data.
  • the demosaic circuit 7 interpolates the pixel data of B at the pixel position where the pixel data of B does not exist, and all the pixels in the frame are used as the pixel data of B.
  • the color correction circuit 8 corrects the colors of the R image signal R (7), the G image signal G (7), and the B image signal B (7), and corrects the colors of the R image signal R (7), the G image signal G (7), and the G image signal G (8).
  • B Generates the image signal B (8).
  • the gamma correction circuit 9 performs gamma correction on the R image signal R (8), the G image signal G (8), and the B image signal B (8) to perform gamma correction on the R image signal R (9) and the G image signal G (9). ), B It is output as an image signal B (9).
  • the R image signal R (9), the G image signal G (9), and the B image signal B (9) may be converted into luminance and color difference signals by a conversion circuit (not shown) and output, and are shown in the figure. It may be displayed on a display unit that does not exist, or may be recorded on a recording unit (not shown).
  • FIG. 6 shows a specific configuration example of the image blunt correction circuit 6.
  • the image blunt correction circuit 6 includes a timing generator 61, an inversion device 62, a correction value table 63, multipliers 64 to 66, four horizontal filters 67, and four vertical filters 68.
  • the horizontal synchronization signal Hsync, the vertical synchronization signal Vsync, the horizontal center value Hctr as the correction setting value, and the vertical center value Vctr are input to the timing generator 61.
  • the horizontal center value Hctr is the horizontal center of the frame (horizontal center)
  • the vertical center value Vctr is the vertical center of the frame (vertical center).
  • 1000 is input to the timing generator 61 as the horizontal center value Hctr and 500 is input as the vertical center value Vctr.
  • the horizontal center and the pixel closest to the vertical center are the horizontal center value Hctr and It may be a pixel having a vertical center value of Vctr.
  • the image pickup device has a camera shake correction function
  • the 9th pixel from the horizontal synchronization signal Hsync is the start position of the horizontal pixel in the effective image area
  • the 9th line from the vertical synchronization signal Vsync is the start position of the vertical pixel in the effective image area. It has become.
  • the LR value is a left-right discrimination value, and the UD value is a top-bottom discrimination value.
  • the UD value of the pixel with the vertical center value Vctr may be 0 or 1.
  • the timing generator 61 generates an LR value and a UD value corresponding to each pixel position of the pixel data R (5), G1 (5), G2 (5), and B (5) input to the horizontal filter 67. It is supplied to the reversing device 62. An inverting on / off signal is input to the inverting device 62. If the inverting device 62 indicates 0 as an inverting on / off signal, the input LR value is supplied to the four horizontal filters 67 without inverting, and the input UD value is not inverted and four verticals are supplied. Supply to the filter 68.
  • the inverting device 62 indicates 1 as an inverting on / off signal
  • the input LR value is inverted and supplied to the four horizontal filters 67
  • the input UD value is inverted and the four vertical values are inverted.
  • the meaning of the inverting on / off signal and the operation of the inverting device 62 will be described later.
  • the value 1 of the inversion on / off signal is an instruction signal instructing the inversion of the LR value.
  • the timing generator 61 generates an image height IH corresponding to each pixel position of the pixel data R (5), G1 (5), G2 (5), and B (5) input to the horizontal filter 67, and corrects the value. Supply to table 63.
  • the pixel P of interest to be corrected is the pixel position shown in FIG. 7, the distance from the center of the frame having the horizontal center value Hctr and the vertical center value Vctr to the pixel P is the image height IH.
  • a correction value ZG corresponding to the image height IH which has the characteristics shown in FIG. 8 as an example, is set.
  • the correction value ZG is 0 from an image height IH at the center of the frame to a predetermined image height IH.
  • the correction value ZG exceeds the predetermined image height IH, it gradually increases in a curved shape that is convex upward to the maximum value of 1.0, and after reaching the maximum value of 1.0, is convex upward to the maximum image height. It gradually decreases in a curved shape.
  • the correction value ZG may have a characteristic of correcting image distortion due to the influence of curvature of field of the lens according to the image height IH.
  • the characteristics of the correction value ZG may be set according to the lens used in the image pickup apparatus, and are not limited to the characteristics shown in FIG. Generally, since it is not necessary to correct at the center of the frame, the correction value ZG is 0 from the center of the frame to the predetermined image height IH, and when the correction exceeds the predetermined image height IH, the image height IH is reached. It suffices if the corresponding correction value ZG is set.
  • the correction value table 63 reads out the correction value ZG corresponding to the image height IH of each pixel of interest and supplies it to the multiplier 64 (first multiplier).
  • the CPU 10 supplies the multiplier 64 with an adjustment coefficient Aco of less than 1 determined by the zoom magnification and the focus distance.
  • the adjustment coefficient Aco corresponding to the zoom magnification and the focus distance is preferably set for each iris aperture value.
  • the iris aperture values are divided into F2.8, F4, F5.6, F8, F11, and F16 or higher, and the adjustment coefficient Aco corresponding to the zoom magnification and the focus distance is set.
  • the CPU 10 is set with an adjustment coefficient Aco that can appropriately correct image distortion due to the influence of curvature of field of the lens according to the zoom magnification and the focus distance (preferably the zoom magnification, the focus distance, and the iris aperture value). It suffices if it is done.
  • the specific adjustment coefficient Aco may be set according to the lens used in the image pickup apparatus, and is not limited to the value shown in FIG.
  • the multiplier 64 generates the adjustment correction value ZGA by multiplying the input correction value ZG by the adjustment coefficient Aco determined by the zoom magnification, the focus distance, and the iris aperture value supplied by the CPU 10.
  • the adjustment correction value ZGA is supplied to the multipliers 65 and 66.
  • the timing generator 61 supplies the value of cos ⁇ (cosine) corresponding to the angle ⁇ at which each noteworthy pixel is located with respect to the center of the frame to the multiplier 65 (second multiplier), and sets the value of sin ⁇ (sine). It is supplied to the multiplier 66 (third multiplier). As shown in FIG. 7, by multiplying the adjustment correction value ZGA by the value of cos ⁇ , the horizontal component of the adjustment correction value ZGA for correcting the pixel of interest P can be obtained, and the adjustment correction value ZGA is multiplied by the value of sin ⁇ . For example, it is possible to obtain a vertical component of the adjustment correction value ZGA that corrects the pixel of interest P.
  • the multiplier 65 supplies the horizontal correction value AH obtained by multiplying the adjustment correction value ZGA by the value of cos ⁇ to the four horizontal filters 67.
  • the multiplier 66 supplies the vertical correction value AV obtained by multiplying the adjustment correction value ZGA by the value of sin ⁇ to the four vertical filters 68.
  • FIG. 10 shows a specific configuration example of the horizontal filter 67.
  • the horizontal filter 67 includes D flip-flops 6701 to 6709, maximum / minimum value detection units 6710, selectors 6711 to 6714 and 6716 to 6719, multipliers 6721 to 6729, adders 6730, multipliers 6731, and additions that constitute a shift register. It is equipped with a vessel 6732, a selector 6733, and a clipper 6734.
  • the pixel data output from the D flip-flop 6701 is supplied to the terminal t0 of the selector 6711 and the terminal t1 of the selector 6719.
  • the pixel data output from the D flip-flop 6702 is supplied to the terminal t0 of the selector 6712 and the terminal t1 of the selector 6718.
  • the pixel data output from the D flip-flop 6703 is supplied to the terminal t0 of the selector 6713 and the terminal t1 of the selector 6717.
  • the pixel data output from the D flip-flop 6704 is supplied to the terminal t0 of the selector 6714 and the terminal t1 of the selector 6716.
  • the pixel data output from the D flip-flop 6705 is supplied to the multiplier 6725.
  • the pixel data output from the D flip-flop 6705 is the pixel data of the pixel of interest whose distortion is actually corrected.
  • the pixel data output from the D flip-flop 6706 is supplied to the terminal t0 of the selector 6716 and the terminal t1 of the selector 6714.
  • the pixel data output from the D flip-flop 6707 is supplied to the terminal t0 of the selector 6717 and the terminal t1 of the selector 6713.
  • the pixel data output from the D flip-flop 6708 is supplied to the terminal t0 of the selector 6718 and the terminal t1 of the selector 6712.
  • the pixel data output from the D flip-flop 6709 is supplied to the terminal t0 of the selector 6719 and the terminal t1 of the selector 6711.
  • the LR value is input to the selectors 6711 to 6714 and 6716 to 6719.
  • the selectors 6711 to 6714 and 6716 to 6719 select the pixel data input to the terminal t0 when the LR value is 0, that is, when the pixel of interest is located on the left side with respect to the horizontal center of the frame.
  • the selectors 6711 to 6714 and 6716 to 6719 select the pixel data input to the terminal t1 when the LR value is 1, that is, when the pixel is located on the right side with respect to the horizontal center of the frame.
  • the pixel data selected by the selectors 6711-6714 and 6716-6719 are fed to the multipliers 6721-6724 and 6726-6729, respectively.
  • the multipliers 6721 to 6729 use the input pixel data as coefficients k1 to k9, which are -0.18, -0.14, -0.15, 0.10, and 0, respectively. It is output by multiplying 59, -0.02, 0, 0, 0.
  • the coefficient values of the coefficients k1 to k9 are examples.
  • the coefficients k1 to k9 shown in FIG. 11 are coefficient values suitable for correcting pixels located on the left side with respect to the horizontal center of the frame, and are asymmetric in the left-right direction with respect to the pixel of interest.
  • the multipliers 6721 to 6729 can directly multiply the 9 pixels in the left-right direction centered on each pixel of interest by the coefficients k1 to k9 of the coefficient values shown in FIG.
  • the coefficients k1 to k9 shown in 11 may be inverted left and right.
  • the selectors 6711 to 6714 and 6716 to 6719 select the pixel data input to the terminal t1
  • the multipliers 6721 to 6729 Can multiply the 9 pixels in the left-right direction centered on each pixel of interest by inverting the coefficients k1 to k9 shown in FIG. 11 in the left-right direction.
  • the adder 6730 adds all the multiplication results by the multipliers 6721 to 6729 to generate the horizontal high-pass filter component HHF.
  • the high-pass filter component HHF is an AC component and has a positive or negative value.
  • the multiplier 6731 multiplies the high-pass filter component HHF by the horizontal correction value AH to generate the horizontal correction component AHH.
  • the adder 6732 adds the horizontal correction component AHH to the pixel data of the pixel of interest output from the D flip-flop 6705, and corrects the pixel data of the pixel of interest in the horizontal direction.
  • the maximum / minimum value detection unit 6710 detects the maximum value Vmax and the minimum value Vmin of the pixel data output from the D flip-flops 6701 to 6709 and supplies them to the selector 6733.
  • the reference numerals HHFs indicating whether the high-pass filter component HHF is positive or negative are supplied to the selector 6733 and the clipper 6734.
  • the reference numeral HHFs is 0 when the high-pass filter component HHF is positive and 1 when the high-pass filter component HHF is negative. If the code HHFs is 0, the selector 6733 selects and outputs the maximum value Vmax, and if the code HHFs is 1, selects and outputs the minimum value Vmin.
  • the clipper 6734 outputs the pixel data output from the adder 6732 as it is as correction pixel data.
  • FIG. 12 shows a square wave signal in which a square wave signal that is blunted in the vicinity of black at the boundary portion that changes from white to black in the horizontal direction is corrected by the horizontal filter 67.
  • the waveform near black at the boundary that changes from white to black in the horizontal direction surrounded by the alternate long and short dash line circle is corrected as shown by the thick solid line from the waveform before correction shown by the thin solid line.
  • the waveform near black at the boundary that changes from unblunted black to white is not corrected, and the original waveform is maintained. Therefore, the bleeding near black of the boundary that changes from white to black in the horizontal direction is eliminated, and the boundary becomes clear.
  • FIG. 12 shows a square wave signal in which the rectangular wave signal that is blunted in the vicinity of white at the boundary portion that changes from black to white in the horizontal direction is corrected by the horizontal filter 67.
  • the waveform near white at the boundary that changes from black to white in the horizontal direction surrounded by the two-dot chain line circle is corrected as shown by the thick solid line from the waveform before correction shown by the thin solid line.
  • the waveform near white at the boundary that changes from unblunted white to black is not corrected, and the original waveform is maintained. Therefore, the bleeding near the white of the boundary that changes from black to white in the horizontal direction is eliminated, and the boundary becomes clear.
  • the image blunt correction circuit 6 can correct the distortion of the image generated at the end portion.
  • the distortion generated at the end becomes small, and the correction by the horizontal filter 67 may be overcorrected.
  • the pixel data output from the adder 6732 is overcorrected, and as shown in FIG. 13A, the corrected pixel value exceeds the maximum value Vmax or falls below the minimum value Vmin. Ringing may occur as shown by the chain circle.
  • the clipper 6734 clips the pixel data output from the adder 6732 with the maximum value Vmax supplied from the selector 6733. If the code HHFs is 1 and the corrected pixel value is less than the minimum value Vmin, the clipper 6734 clips the pixel data output from the adder 6732 with the minimum value Vmin supplied from the selector 6733.
  • the clipper 6734 outputs the correction pixel data in the horizontal direction from which the ringing added to the pixel data output from the adder 6732 is removed.
  • the pixel data R (6H), G1 (6H), G2 (6H), and B (6H) corrected in the horizontal direction by the four horizontal filters 67 are input to the four vertical filters 68, respectively, and are vertical. It is also corrected in the direction.
  • FIG. 14 shows a specific configuration example of the vertical filter 68.
  • the vertical filter 68 includes line memory 6801 to 6809, maximum / minimum value detector 6810, selectors 6811 to 6814 and 6816 to 6819, multipliers 6821 to 6829, adder 6830, multiplier 6831, adder 6832, selector 6833, It is equipped with a clipper 6834.
  • the pixel data output from the line memory 6801 is supplied to the terminal t0 of the selector 6811 and the terminal t1 of the selector 6819.
  • the pixel data output from the line memory 6802 is supplied to the terminal t0 of the selector 6812 and the terminal t1 of the selector 6818.
  • the pixel data output from the line memory 6803 is supplied to the terminal t0 of the selector 6813 and the terminal t1 of the selector 6817.
  • the pixel data output from the line memory 6804 is supplied to the terminal t0 of the selector 6814 and the terminal t1 of the selector 6816.
  • the pixel data output from the line memory 6805 is supplied to the multiplier 6825.
  • the pixel data output from the line memory 6805 is the pixel data of the pixel of interest whose distortion is actually corrected.
  • the pixel data output from the line memory 6806 is supplied to the terminal t0 of the selector 6816 and the terminal t1 of the selector 6814.
  • the pixel data output from the line memory 6807 is supplied to the terminal t0 of the selector 6817 and the terminal t1 of the selector 6813.
  • the pixel data output from the line memory 6808 is supplied to the terminal t0 of the selector 6818 and the terminal t1 of the selector 6812.
  • the pixel data output from the line memory 6809 is supplied to the terminal t0 of the selector 6819 and the terminal t1 of the selector 6811.
  • UD values are input to selectors 6811 to 6814 and 6816 to 6819.
  • the selectors 6811 to 6814 and 6816 to 6819 select the pixel data input to the terminal t0 when the UD value is 0, that is, when the pixel of interest is located above the vertical center of the frame.
  • the selectors 6811 to 6814 and 6816 to 6819 select the pixel data input to the terminal t1 when the UD value is 1, that is, when the pixel of interest is located below the vertical center of the frame. ..
  • the pixel data selected by the selectors 6811 to 6814 and 6816 to 6819 are supplied to the multipliers 6821 to 6824 and 6826 to 6829, respectively.
  • the multipliers 6821 to 6829 input pixel data with coefficients k1 to k9, which are ⁇ 0.18, ⁇ 0.14, ⁇ 0.15, 0.10, and 0, respectively. It is output by multiplying 59, -0.02, 0, 0, 0.
  • the coefficient values of the coefficients k1 to k9 are an example, and here, they are the same coefficient values as the coefficients k1 to k9 used by the multipliers 6721 to 6729 of the horizontal filter 67.
  • the coefficient value used by the multipliers 6821 to 6829 may be different from the coefficient value used by the multipliers 6721 to 6729.
  • the coefficients k1 to k9 shown in FIG. 15 are coefficient values suitable for correcting pixels located above the vertical center of the frame, and are asymmetric in the vertical direction with the pixel of interest as the center.
  • the multipliers 6821 to 6829 can directly multiply the nine pixels in the vertical direction centered on each pixel of interest by the coefficients k1 to k9 of the coefficient values shown in FIG.
  • the coefficients k1 to k9 shown in FIG. 15 may be inverted upside down.
  • the selectors 6811 to 6814 and 6816 to 6819 select the pixel data input to the terminal t1
  • the multipliers 6821 to 6821 to The 6829 can multiply the nine pixels in the vertical direction centered on each pixel of interest by inverting the coefficients k1 to k9 shown in FIG. 15 in the vertical direction.
  • the adder 6830 adds all the multiplication results by the multipliers 6821 to 6829 to generate a vertical high-pass filter component VHF.
  • the high-pass filter component VHF is an AC component and has a positive or negative value.
  • the multiplier 6831 multiplies the high-pass filter component VHF by the vertical correction value AV to generate the vertical correction component AVV.
  • the adder 6832 adds the vertical correction component AVV to the pixel data of the pixel of interest output from the line memory 6805, and corrects the pixel data of the pixel of interest in the vertical direction.
  • the maximum / minimum value detection unit 6810 detects the maximum value Vmax and the minimum value Vmin of the pixel data output from the line memories 6801 to 6809 and supplies them to the selector 6833.
  • the reference numerals VHFs indicating whether the high-pass filter component VHF is positive or negative are supplied to the selector 6833 and the clipper 6834.
  • the reference numeral VHFs is 0 when the high-pass filter component VHF is positive and 1 when the high-pass filter component VHF is negative.
  • the selector 6833 selects and outputs the maximum value Vmax when the code VHFs is 0, and selects and outputs the minimum value Vmin when the code VHFs is 1.
  • the clipper 6834 If the pixel data output from the adder 6832 is not overcorrected, the code VHFs is 0 and the corrected pixel value does not exceed the maximum value Vmax, and the code VHFs0 is 1 after correction. If the pixel value does not fall below the minimum value Vmin, the clipper 6834 will not operate. The clipper 6834 outputs the pixel data output from the adder 6832 as it is as correction pixel data.
  • the vertical filter 68 corrects a square wave signal that is blunted in the vicinity of black at the boundary portion that changes from white to black in the vertical direction. Therefore, the bleeding near black of the boundary that changes from white to black in the vertical direction is eliminated, and the boundary becomes clear. Further, the vertical filter 68 corrects a rectangular wave signal that is blunted in the vicinity of white at the boundary portion that changes from black to white in the vertical direction. Therefore, the bleeding near the white of the boundary that changes from black to white in the vertical direction is eliminated, and the boundary becomes clear.
  • the clipper 6834 clips the pixel data output from the adder 6832 with the maximum value Vmax supplied from the selector 6833. If the code VHFs is 1 and the corrected pixel value is less than the minimum value Vmin, the clipper 6834 clips the pixel data output from the adder 6832 with the minimum value Vmin supplied from the selector 6833. As a result, the clipper 6834 outputs the correction pixel data in the vertical direction from which the ringing added to the pixel data output from the adder 6832 is removed.
  • the pixel data R (6), G1 (6), G2 (6), B corrected in the horizontal direction and the vertical direction in each pixel in the frame. (6) is output.
  • the waveform of the square wave signal becomes large in the vicinity of black at the boundary portion where it changes from black to white in the horizontal and vertical directions as shown by enclosing it in a circle of alternate long and short dash lines. Further, the waveform of the square wave signal becomes large in the vicinity of white at the boundary portion where it changes from white to black in the horizontal and vertical directions as shown by being surrounded by a two-dot chain line circle.
  • the CPU 10 sets the focus distances of 1 m and 1.5 m as the first range, and the focus distance of 4 m or more as the second range.
  • the CPU 10 outputs 0 indicating inversion off as an inversion on / off signal when the focus distance is in the second range, and 1 indicating inversion on as an inversion on / off signal when the focus distance is in the first range. Output.
  • the inversion device 62 of the image blunt correction circuit 6 inverts the LR value and the UD value when the inversion on / off signal is 1.
  • the coefficients k1 to k9 are inverted and used when correcting the pixel of interest located on the left side with respect to the horizontal center of the frame or above the vertical center. .. Further, when correcting the pixel of interest located on the right side with respect to the horizontal center of the frame or below with respect to the vertical center, the coefficients k1 to k9 are not inverted and are used as they are.
  • the image blunt correction circuit 6 can correct the bluntness of the waveform even if the boundary of the blunting of the waveform is in the opposite direction.
  • the image pickup device changes the focus distance in the order of, for example, 1 m, 1.5 m, 2 m, 4 m, and so on, the direction of correcting the square wave signal is reversed between the focus distance of 1.5 m and the focus distance of 4 m.
  • the adjustment coefficient Aco is set to 0 at the focus distance of 2 m, which is the focus distance of the boundary between the first range and the second range
  • the adjustment correction value ZGA is set to 0. Therefore, since the square wave signal is not corrected at the focus distance of 2 m, it is unlikely that a visual discomfort will occur due to the direction in which the correction direction of the square wave signal is reversed.
  • the image blunt correction circuit 6 includes a horizontal filter 67 and a vertical filter 68, and corrects each pixel in both the horizontal direction and the vertical direction. Since it is effective to correct each pixel only in the horizontal direction by the horizontal filter 67, the vertical filter 68 may be omitted.
  • the correction value table 63 may be a storage unit such as a ROM that stores a plurality of discrete correction values corresponding to a plurality of image height IHs, or corresponds to an image height IH based on a preset calculation formula. It may be a processor that calculates and outputs the corrected correction value.
  • the coefficients k1 to k9 shown in FIG. 11 are set to coefficient values suitable for correcting the pixels located on the left side with respect to the horizontal center of the frame.
  • the coefficients k1 to k9 are set as coefficient values suitable for correcting the pixels located on the right side with respect to the horizontal center of the frame, and the coefficients k1 are used when correcting the pixels located on the left side with respect to the horizontal center of the frame.
  • ⁇ K9 may be inverted.
  • the coefficients k1 to k9 shown in FIG. 15 are set to coefficient values suitable for correcting the pixels located on the upper side with respect to the vertical center of the frame.
  • the coefficients k1 to k9 are set as coefficient values suitable for correcting the pixels located below the vertical center of the frame, and are the coefficients when correcting the pixels located above the vertical center of the frame. You may invert k1 to k9.
  • the left-right asymmetry coefficients k1 to k9 are coefficient values suitable for correcting pixels located on the first side of the left side and the right side with respect to the horizontal center of the frame, and are left and right sides. When correcting the pixel located on the second side, which is the other of the above, it may be reversed left and right.
  • the coefficients k1 to k9 of the vertical asymmetry are the coefficient values suitable for correcting the pixel located on the third side, which is one of the upper side and the lower side with respect to the vertical center of the frame. When correcting the pixel located on the fourth side, which is the other of the lower side, it may be inverted upside down.
  • image distortion caused by defocusing at the end of the frame is corrected, but in this embodiment, image distortion caused by chromatic aberration or the like can also be corrected.
  • the present invention is not limited to configuring the function of the image processing device (image blunt correction circuit 6) by a hardware circuit. It is also possible to configure a computer program (image processing program) that executes a function equivalent to that of the image processing device so that the computer (CPU) executes the image processing program. In this case, the CPU 10 may execute the image processing program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

補正値テーブル（６３）には、フレーム内に位置する画素のフレームの中心からの距離に応じた補正値が設定されている。乗算器（６４）は、各注目画素の中心からの距離に応じて補正値テーブル６３より読み出された補正値に、ズーム倍率とフォーカス距離とによって決まる調整係数を乗算して調整補正値を生成する。乗算器（６５）は、調整補正値に中心に対する各注目画素の角度の余弦を乗算して、注目画素を水平方向に補正する水平補正値を生成する。水平フィルタ（６７）は、各注目画素を中心とした左右方向の複数の画素に、左右非対称の係数を乗算した乗算結果を全て加算して水平方向のハイパスフィルタ成分を生成し、水平方向のハイパスフィルタ成分に水平補正値を乗算した水平補正成分を各注目画素に加算して、各注目画素を水平方向に補正する。

Description

画像処理装置及び画像処理方法
　本開示は、ズームレンズを備える撮像装置で使用するのに好適な画像処理装置及び画像処理方法に関する。
　ズームレンズを備える撮像装置においては、レンズの倍率またはフォーカスの距離によっては、レンズの像面湾曲の影響により、フレームの中心でフォーカスが合う距離とフレームの端部でフォーカスが合う距離とがわずかにずれることがある。このような像面湾曲を有するレンズは、フレームの中心でフォーカスが合わせられていても、フレームの端部ではわずかにデフォーカスとなり、撮影された画像に歪みが生じる。
特開２０１５－１４９６１８号公報
　ズームレンズを介して撮影された画像に生じる歪みを補正することができる画像処理装置及び画像処理方法の登場が望まれる。実施形態は、ズームレンズを介して撮影された画像に生じる歪みを補正することができる画像処理装置及び画像処理方法を提供することを目的とする。
　実施形態の第１の態様によれば、ズームレンズを介して撮影された撮影画像のフレーム内に位置する画素の前記フレームの中心からの距離に応じた補正値が設定されている補正値テーブルと、前記フレーム内の各注目画素の前記中心からの距離に応じて前記補正値テーブルより読み出された補正値に、少なくとも前記ズームレンズのズーム倍率とフォーカス距離とによって決まる調整係数を乗算して調整補正値を生成する第１の乗算器と、前記調整補正値に前記中心に対する前記各注目画素の角度の余弦を乗算して、前記注目画素を水平方向に補正する水平補正値を生成する第２の乗算器と、前記各注目画素を中心とした左右方向の複数の画素に、左右非対称の係数を乗算した乗算結果を全て加算して水平方向のハイパスフィルタ成分を生成し、前記水平方向のハイパスフィルタ成分に前記水平補正値を乗算した水平補正成分を前記各注目画素に加算して、前記各注目画素を水平方向に補正する水平フィルタとを備える画像処理装置が提供される。
　実施形態の第２の態様によれば、補正値テーブルには、ズームレンズを介して撮影された撮影画像のフレーム内に位置する画素の前記フレームの中心からの距離に応じた補正値が設定されており、前記フレーム内の各注目画素の前記中心からの距離に応じて前記補正値テーブルより補正値を読み出し、読み出された前記補正値に、少なくとも前記ズームレンズのズーム倍率とフォーカス距離とによって決まる調整係数を乗算して調整補正値を生成し、前記調整補正値に前記中心に対する前記各注目画素の角度の余弦を乗算して、前記注目画素を水平方向に補正する水平補正値を生成し、前記各注目画素を中心とした左右方向の複数の画素に、左右非対称の係数を乗算した乗算結果を全て加算して水平方向のハイパスフィルタ成分を生成し、前記水平方向のハイパスフィルタ成分に前記水平補正値を乗算した水平補正成分を前記各注目画素に加算して、前記各注目画素を水平方向に補正する画像処理方法が提供される。
　実施形態の画像処理装置及び画像処理方法によれば、ズームレンズを介して撮影された画像に生じる歪みを補正することができる。
図１は、ズームレンズを備える撮像装置の概略的な構成を示すブロック図である。 図２は、ベイヤ配列のカラーフィルタを示す部分平面図である。 図３は、撮像装置による撮影画像に発生する滲みの第１の例を示す図である。 図４は、図３に示す撮影画像の滲みが発生している場合のなまった波形の矩形波信号を示す波形図である。 図５は、図１のデモザイク回路７より出力されるＲＧＢの画像信号を示す部分平面図である。 図６は、一実施形態の画像処理装置画像である、図１の画像なまり補正回路６の具体的な構成例を示すブロック図である。 図７は、撮影画像のフレーム内の１つの注目画素が補正される動作を説明するための図である。 図８は、図６の補正値テーブル６３に設定されている像高に応じた補正値を示す特性図である。 図９は、図８に示す補正値に乗算される、ズーム倍率、フォーカス距離、アイリス絞り値ごとに設定されている調整係数を示す図である。 図１０は、図６の水平フィルタ６７の具体的な構成例を示すブロック図である。 図１１は、図１０の乗算器6721～6729が画素データに乗算する係数ｋ１～ｋ９の係数値の一例を示す図である。 図１２は、図４に示すなまった波形の矩形波信号が画像なまり補正回路６によって補正された矩形波信号を示す波形図である。 図１３Ａは、図４に示すなまった波形の矩形波信号が画像なまり補正回路６によって過補正されてリンギングが発生している矩形波信号を示す波形図である。 図１３Ｂは、リンギングが除去された矩形波信号を示す波形図である。 図１４は、図６の垂直フィルタ６８の具体的な構成例を示すブロック図である。 図１５は、図１４の乗算器6821～6829が画素データに乗算する係数ｋ１～ｋ９の係数値の一例を示す図である。 図１６は、撮像装置による撮影画像に発生する滲みの第２の例を示す図である。 図１７は、図１６に示す撮影画像の滲みが発生している場合のなまった波形の矩形波信号を示す波形図である。
　以下、一実施形態の画像処理装置及び画像処理方法について、添付図面を参照して説明する。まず、図１を用いて、ズームレンズを備える撮像装置の概略的な構成及び動作を説明する。図１において、ズームレンズ１を介して入射された被写体からの光は赤外カットフィルタ２によって赤外光がカットされて、可視光が撮像素子３に入射される。ズームレンズ１は、複数のレンズと、アイリスとを有する。
　撮像素子３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサであってもよいし、ＣＣＤ（Charge Coupled Device）であってもよい。撮像装置は、撮像素子３によって被写体の静止画像または動画像を撮影する。
　撮像素子３は、図２に示すベイヤ配列のカラーフィルタを備える。ベイヤ配列のカラーフィルタには、赤（Ｒ）の画素と緑（Ｇ）の画素の生成するためのＲフィルタとＧフィルタとを交互に配列した行と、青（Ｂ）とＧの画素の生成するためのＢフィルタとＧフィルタとを交互に配列した行とが列方向に交互に並べられている。行は画像の水平方向であり、列は画像の垂直方向である。水平方向においてＲフィルタに挟まれたＧフィルタをＧ１フィルタ、Ｂに挟まれたＧフィルタをＧ２フィルタとする。
　タイミングジェネレータ４は、撮像素子３に水平同期信号Hsync及び垂直同期信号Vsyncを供給する。撮像素子３は、Ｒフィルタ、Ｇ１フィルタ、Ｇ２フィルタ、Ｂフィルタにそれぞれ対応するデジタルの色信号である画素データＲ（３）、Ｇ１（３）、Ｇ２（３）、Ｂ（３）を生成する。撮像素子３は、画素データＲ（３）、Ｇ１（３）、Ｇ２（３）、Ｂ（３）、水平同期信号Hsync（３）、及び垂直同期信号Vsync（３）をホワイトバランス回路５に供給する。
　ホワイトバランス回路５は、画素データＲ（３）、Ｇ１（３）、Ｇ２（３）、Ｂ（３）の各値を調整してホワイトバランスを調整する。ホワイトバランス回路５は、ホワイトバランスを調整した画素データＲ（５）、Ｇ１（５）、Ｇ２（５）、Ｂ（５）、水平同期信号Hsync（５）、及び垂直同期信号Vsync（５）を、画像なまり補正回路６に供給する。
　中央処理装置１０（以下、ＣＰＵ１０）には、ズームレンズ１より、ズーム倍率、フォーカス距離、及びアイリス絞り値が供給される。ＣＰＵ１０は、後述する、補正用設定値と調整係数Ａｃｏと反転オン／オフ信号を画像なまり補正回路６に供給する。
　図３及び図４を用いて、画像なまり補正回路６の概略的な動作を説明する。図３に示すように、撮像装置による撮影画像が黒と白とを交互に繰り返すような画像である場合、本来であれば画像信号は水平方向及び垂直方向に黒のレベルと白のレベルとを交互に繰り返す矩形波信号となる。ところが、フレームの中心でフォーカスが合わせられているとき、ズームレンズ１におけるレンズの像面湾曲の影響により、端部でわずかにデフォーカスとなって撮影された画像に歪みが生じる。
　図４に示すように矩形波信号がいびつな波形となり、一点鎖線の円で囲んで示すように水平方向または垂直方向に白から黒へと変化する境界部の黒付近において波形が大きくなまる。ところが、水平方向または垂直方向に黒から白へと変化する境界部の黒付近において波形はさほどなまらない。また、二点鎖線の円で囲んで示すように黒から白へと変化する境界部の白付近において波形がなまることもある。その結果、図３に示すように、水平方向または垂直方向に白から黒へと変化する境界の黒付近において滲みが発生し、また、黒から白へと変化する境界部の白付近においてもわずかな滲みが発生して、境界が明確とならない。なお、矩形波信号の歪みの程度はフレーム内の位置によって異なり、波形のなまりの程度も一定ではない。
　画像なまり補正回路６は、画素データＲ（３）、Ｇ１（３）、Ｇ２（３）、Ｂ（３）における図４に示すような波形のなまりを補正する。画像なまり補正回路６は、波形のなまりを補正した画素データＲ（６）、Ｇ１（６）、Ｇ２（６）、Ｂ（６）、水平同期信号Hsync（６）、及び垂直同期信号Vsync（６）を、デモザイク回路７に供給する。画像なまり補正回路６の具体的な構成及びその動作については後に詳述する。
　デモザイク回路７には、フレーム内に画素データＲ（６）、Ｇ１（６）、Ｇ２（６）、Ｂ（６）が混在した画像信号が入力される。デモザイク回路７は、Ｒの画素データが存在しない画素位置にＲの画素データを補間してフレーム内の全画素をＲの画素データとした図５の（ａ）に示すＲ画像信号Ｒ（７）を生成する。デモザイク回路７は、Ｇの画素データが存在しない画素位置にＧの画素データを補間してフレーム内の全画素をＧの画素データとした図５の（ｂ）に示すＧ画像信号Ｇ（７）を生成する。デモザイク回路７は、Ｂの画素データが存在しない画素位置にＢの画素データを補間してフレーム内の全画素をＢの画素データとした図５の（ｃ）に示すＢ画像信号Ｂ（７）を生成する。
　色補正回路８は、Ｒ画像信号Ｒ（７）、Ｇ画像信号Ｇ（７）、Ｂ画像信号Ｂ（７）の色を補正してＲ画像信号Ｒ（８）、Ｇ画像信号Ｇ（８）、Ｂ画像信号Ｂ（８）を生成する。ガンマ補正回路９は、Ｒ画像信号Ｒ（８）、Ｇ画像信号Ｇ（８）、Ｂ画像信号Ｂ（８）にガンマ補正を施して、Ｒ画像信号Ｒ（９）、Ｇ画像信号Ｇ（９）、Ｂ画像信号Ｂ（９）として出力する。Ｒ画像信号Ｒ（９）、Ｇ画像信号Ｇ（９）、Ｂ画像信号Ｂ（９）は、図示していない変換回路によって輝度及び色差信号に変換されて出力されてもよいし、図示していない表示部に表示されてもよいし、図示していない記録部に記録されてもよい。
　図６は、画像なまり補正回路６の具体的な構成例を示す。図６に示すように、画像なまり補正回路６は、タイミングジェネレータ６１、反転器６２、補正値テーブル６３、乗算器６４～６６、４つの水平フィルタ６７、４つの垂直フィルタ６８を備える。
　タイミングジェネレータ６１には、水平同期信号Hsync、垂直同期信号Vsync、補正用設定値としての水平センタ値Hctr及び垂直センタ値Vctrが入力される。水平センタ値Hctrはフレームの水平方向の中心（水平中心）であり、垂直センタ値Vctrはフレームの垂直方向の中心（垂直中心）である。図７に示すように、フレームが例えば水平方向２０００画素、垂直方向１０００ラインであるとすると、タイミングジェネレータ６１には、水平センタ値Hctrとして１０００、垂直センタ値Vctrとして５００が入力される。
　フレームの水平方向の画素数、垂直方向のライン数が偶数であると、厳密な水平中心の画素及び垂直中心の画素は存在しないが、水平中心及び垂直中心に最も近い画素を水平センタ値Hctr及び垂直センタ値Vctrの画素とすればよい。
　撮像装置が手振れ補正機能を備える場合、手振れ補正に応じて水平センタ値Hctr及び垂直センタ値Vctrをずらすことが好ましい。光学式手振れ補正であっても、電子式手振れ補正であっても、手振れ補正のために撮影する画角をシフトするシフト量に対応して水平センタ値Hctr及び垂直センタ値Vctrをずらすのがよい。
　図７に示す例では、水平同期信号Hsyncから９画素目が有効画像領域の水平方向の画素の開始位置であり、垂直同期信号Vsyncから９ライン目が有効画像領域の垂直方向の画素の開始位置となっている。図７に示すように、フレームにおける水平センタ値Hctrに対する左側をＬＲ＝０、右側をＬＲ＝１、垂直センタ値Vctrに対する上側をＵＤ＝０、下側をＵＤ＝１とする。ＬＲ値は左右判別値であり、ＵＤ値は上下判別値である。水平センタ値Hctrの画素のＬＲ値は０であっても１であってもよい。垂直センタ値Vctrの画素のＵＤ値は０であっても１であってもよい。
　タイミングジェネレータ６１は、水平フィルタ６７に入力される画素データＲ（５）、Ｇ１（５）、Ｇ２（５）、Ｂ（５）の各画素位置に対応してＬＲ値及びＵＤ値を生成して反転器６２に供給する。反転器６２には反転オン／オフ信号が入力される。反転器６２は、反転オン／オフ信号として反転オフを示す０であれば、入力されたＬＲ値を反転せず４つの水平フィルタ６７に供給し、入力されたＵＤ値を反転せず４つの垂直フィルタ６８に供給する。
　反転器６２は、反転オン／オフ信号として反転オンを示す１であれば、入力されたＬＲ値を反転して４つの水平フィルタ６７に供給し、入力されたＵＤ値を反転して４つの垂直フィルタ６８に供給する。反転オン／オフ信号の意味及び反転器６２の動作については後述する。反転オン／オフ信号の値１は、ＬＲ値の反転を指示する指示信号である。
　タイミングジェネレータ６１は、水平フィルタ６７に入力される画素データＲ（５）、Ｇ１（５）、Ｇ２（５）、Ｂ（５）の各画素位置に対応して像高ＩＨを生成して補正値テーブル６３に供給する。一例として、補正対象の注目画素Ｐが図７に示す画素位置であれば、水平センタ値Hctr及び垂直センタ値Vctrであるフレームの中心から画素Ｐまでの距離が像高ＩＨとなる。
　補正値テーブル６３には、一例として図８に示すような特性を有する、像高ＩＨに応じた補正値ＺＧが設定されている。補正値ＺＧは、フレームの中心である像高ＩＨが０から所定の像高ＩＨまでは０である。補正値ＺＧは、その所定の像高ＩＨを超えると、最大値の１．０まで上に凸の曲線状に漸増し、最大値の１．０に達した後に最大像高まで上に凸の曲線状に漸減する。
　補正値ＺＧは、像高ＩＨに応じて、レンズの像面湾曲の影響による画像の歪みを補正する特性を有すればよい。補正値ＺＧの特性は撮像装置で使用されているレンズに応じて設定すればよく、図８に示す特性に限定されるものではない。一般的には、フレームの中心部では補正する必要がないので、補正値ＺＧはフレームの中心から所定の像高ＩＨまでは０であって、その所定の像高ＩＨを超えると像高ＩＨに応じた補正値ＺＧが設定されていればよい。
　補正値テーブル６３は、各注目画素の像高ＩＨに対応する補正値ＺＧを読み出して、乗算器６４（第１の乗算器）に供給する。図９に示すように、ＣＰＵ１０は、ズーム倍率とフォーカス距離とによって決まる１未満の調整係数Ａｃｏを乗算器６４に供給する。ズーム倍率とフォーカス距離とに対応した調整係数Ａｃｏは、アイリス絞り値ごとに設定されていることが好ましい。図９に示す例では、アイリス絞り値としてＦ２．８、Ｆ４、Ｆ５．６、Ｆ８、Ｆ１１、及びＦ１６以上に分けて、ズーム倍率とフォーカス距離とに対応した調整係数Ａｃｏが設定されている。
　ＣＰＵ１０には、ズーム倍率とフォーカス距離（好ましくはズーム倍率とフォーカス距離とアイリス絞り値）に応じて、レンズの像面湾曲の影響による画像の歪みを適切に補正することができる調整係数Ａｃｏが設定されていればよい。具体的な調整係数Ａｃｏは撮像装置で使用されているレンズに応じて設定すればよく、図９に示す値に限定されるものではない。
　本実施形態で使用したレンズにおいては、フォーカス距離が２ｍ、ズーム倍率が１倍及び１８倍において歪みがほとんどなく、補正値ＺＧを０とするために調整係数Ａｃｏを０としている。
　乗算器６４は、入力された補正値ＺＧに、ＣＰＵ１０より供給された、ズーム倍率、フォーカス距離、及びアイリス絞り値によって決まる調整係数Ａｃｏを乗算して、調整補正値ＺＧＡを生成する。調整補正値ＺＧＡは、乗算器６５及び６６に供給される。
　タイミングジェネレータ６１は、フレームの中心に対して各注目画素が位置する角度θに応じたｃｏｓθ（余弦）の値を乗算器６５（第２の乗算器）に供給し、ｓｉｎθ（正弦）の値を乗算器６６（第３の乗算器）に供給する。図７に示すように、調整補正値ＺＧＡにｃｏｓθの値を乗算すれば、注目画素Ｐを補正する調整補正値ＺＧＡの水平成分を得ることができ、調整補正値ＺＧＡにｓｉｎθの値を乗算すれば、注目画素Ｐを補正する調整補正値ＺＧＡの垂直成分を得ることができる。乗算器６５は、調整補正値ＺＧＡにｃｏｓθの値を乗算した水平補正値ＡＨを４つの水平フィルタ６７に供給する。乗算器６６は、調整補正値ＺＧＡにｓｉｎθの値を乗算した垂直補正値ＡＶを４つの垂直フィルタ６８に供給する。
　図１０は水平フィルタ６７の具体的な構成例を示す。水平フィルタ６７は、シフトレジスタを構成するＤフリップフロップ6701～6709、最大値・最小値検出部6710、セレクタ6711～6714及び6716～6719、乗算器6721～6729、加算器6730、乗算器6731、加算器6732、セレクタ6733、クリッパ6734を備える。
　直列に接続されたＤフリップフロップ6701～6709は、順に入力される注目画素の画素データを１画素期間ずつ順に遅延する。
　Ｄフリップフロップ6701より出力された画素データは、セレクタ6711の端子ｔ０及びセレクタ6719の端子ｔ１に供給される。Ｄフリップフロップ6702より出力された画素データは、セレクタ6712の端子ｔ０及びセレクタ6718の端子ｔ１に供給される。
　Ｄフリップフロップ6703より出力された画素データは、セレクタ6713の端子ｔ０及びセレクタ6717の端子ｔ１に供給される。Ｄフリップフロップ6704より出力された画素データは、セレクタ6714の端子ｔ０及びセレクタ6716の端子ｔ１に供給される。Ｄフリップフロップ6705より出力された画素データは、乗算器6725に供給される。Ｄフリップフロップ6705より出力された画素データが、実際に歪みが補正される注目画素の画素データである。
　Ｄフリップフロップ6706より出力された画素データは、セレクタ6716の端子ｔ０及びセレクタ6714の端子ｔ１に供給される。Ｄフリップフロップ6707より出力された画素データは、セレクタ6717の端子ｔ０及びセレクタ6713の端子ｔ１に供給される。Ｄフリップフロップ6708より出力された画素データは、セレクタ6718の端子ｔ０及びセレクタ6712の端子ｔ１に供給される。Ｄフリップフロップ6709より出力された画素データは、セレクタ6719の端子ｔ０及びセレクタ6711の端子ｔ１に供給される。
　セレクタ6711～6714及び6716～6719には、ＬＲ値が入力される。セレクタ6711～6714及び6716～6719は、ＬＲ値が０であるとき、即ち、注目画素がフレームの水平中心に対して左側に位置しているとき、端子ｔ０に入力された画素データを選択する。セレクタ6711～6714及び6716～6719は、ＬＲ値が１であるとき、即ち、画素がフレームの水平中心に対して右側に位置しているとき、端子ｔ１に入力された画素データを選択する。セレクタ6711～6714及び6716～6719によって選択された画素データは、それぞれ、乗算器6721～6724及び6726～6729に供給される。
　図１１に示すように、乗算器6721～6729は、入力された画素データに、係数ｋ１～ｋ９として、それぞれ、－０．１８、－０．１４、－０．１５、０．１０、０．５９、－０．０２、０、０、０を乗算して出力する。係数ｋ１～ｋ９の係数値は一例である。図１１に示す係数ｋ１～ｋ９は、フレームの水平中心に対して左側に位置している画素を補正するのに適した係数値とされており、注目画素を中心として左右方向に非対称である。
　上記のように、注目画素がフレームの水平中心に対して左側に位置しているとき、セレクタ6711～6714及び6716～6719が端子ｔ０に入力された画素データを選択すれば、乗算器6721～6729は各注目画素を中心とした左右方向の９画素に対して図１１に示す係数値の係数ｋ１～ｋ９をそのまま乗算することができる。
　フレームの水平中心に対して左側で生じる歪みと右側で生じる歪みとは左右対称であるから、フレームの水平中心に対して右側に位置している画素を補正するのに適した係数値は、図１１に示す係数ｋ１～ｋ９を左右に反転すればよい。上記のように、注目画素がフレームの水平中心に対して右側に位置しているとき、セレクタ6711～6714及び6716～6719が端子ｔ１に入力された画素データを選択すれば、乗算器6721～6729は各注目画素を中心とした左右方向の９画素に対して図１１に示す係数ｋ１～ｋ９を左右方向に反転させて乗算することができる。
　加算器6730は、乗算器6721～6729による乗算結果を全て加算して、水平方向のハイパスフィルタ成分ＨＨＦを生成する。ハイパスフィルタ成分ＨＨＦは交流成分であって、正または負の値を有する。乗算器6731は、ハイパスフィルタ成分ＨＨＦに水平補正値ＡＨを乗算して、水平補正成分ＡＨＨを生成する。加算器6732は、Ｄフリップフロップ6705より出力された注目画素の画素データに水平補正成分ＡＨＨを加算して、注目画素の画素データを水平方向に補正する。
　最大値・最小値検出部6710は、Ｄフリップフロップ6701～6709より出力された画素データのうちの最大値Ｖｍａｘと最小値Ｖｍｉｎを検出して、セレクタ6733に供給する。ハイパスフィルタ成分ＨＨＦが正であるか負であるかを示す符号ＨＨＦｓはセレクタ6733及びクリッパ6734に供給される。符号ＨＨＦｓはハイパスフィルタ成分ＨＨＦが正であるとき０、負であるとき１である。セレクタ6733は、符号ＨＨＦｓが０であれば、最大値Ｖｍａｘを選択して出力し、符号ＨＨＦｓが１であれば、最小値Ｖｍｉｎを選択して出力する。
　加算器6732より出力された画素データが過補正されておらず、符号ＨＨＦｓが０であって補正後の画素値が最大値Ｖｍａｘを上回らなければ、また、符号ＨＨＦｓが１であって補正後の画素値が最小値Ｖｍｉｎを下回らなければ、クリッパ6734は動作しない。クリッパ6734は、加算器6732より出力された画素データをそのまま補正画素データとして出力する。
　図１２は、水平方向に白から黒へと変化する境界部の黒付近においてなまっている矩形波信号が水平フィルタ６７によって補正された矩形波信号を示している。一点鎖線の円で囲んだ水平方向に白から黒へと変化する境界部の黒付近の波形は、細い実線で示す補正前の波形から太い実線で示すように補正される。なまっていない黒から白へと変化する境界部の黒付近の波形は補正されず、元の波形が維持されている。よって、水平方向に白から黒へと変化する境界の黒付近における滲みが解消し、境界が明確となる。
　また、図１２は、水平方向に黒から白へと変化する境界部の白付近においてなまっている矩形波信号が水平フィルタ６７によって補正された矩形波信号を示している。二点鎖線の円で囲んだ水平方向に黒から白へと変化する境界部の白付近の波形は、細い実線で示す補正前の波形から太い実線で示すように補正される。なまっていない白から黒へと変化する境界部の白付近の波形は補正されず、元の波形が維持されている。よって、水平方向に黒から白へと変化する境界の白付近における滲みが解消し、境界が明確となる。
　以上のように、フレームの中心でフォーカスを合わせることを前提とすると、画像なまり補正回路６は、端部において生じる画像に歪みを補正することができる。ところが、例えばマニュアルフォーカスによってフレームの端部でフォーカスを合わせると、端部において生じる歪みが小さくなり、水平フィルタ６７による補正が過補正となることがある。
　具体的には、加算器6732より出力された画素データが過補正されて、図１３Ａに示すように、補正後の画素値が最大値Ｖｍａｘを上回ったり、最小値Ｖｍｉｎを下回ったりして、一点鎖線の円で囲んで示すようにリンギングが発生することがある。
　クリッパ6734は、符号ＨＨＦｓが０であって補正後の画素値が最大値Ｖｍａｘを上回っていれば、セレクタ6733より供給された最大値Ｖｍａｘで加算器6732より出力された画素データをクリップする。クリッパ6734は、符号ＨＨＦｓが１であって補正後の画素値が最小値Ｖｍｉｎを下回っていれば、セレクタ6733より供給された最小値Ｖｍｉｎで加算器6732より出力された画素データをクリップする。
　この結果、図１３Ｂに一点鎖線の円で囲んで示すように、クリッパ6734は、加算器6732より出力された画素データに付加されているリンギングを除去した水平方向の補正画素データを出力する。
　図６において、４つの水平フィルタ６７によって水平方向に補正された画素データＲ（６Ｈ）、Ｇ１（６Ｈ）、Ｇ２（６Ｈ）、Ｂ（６Ｈ）は４つの垂直フィルタ６８にそれぞれ入力されて、垂直方向にも補正される。
　図１４は垂直フィルタ６８の具体的な構成例を示す。垂直フィルタ６８は、ラインメモリ6801～6809、最大値・最小値検出部6810、セレクタ6811～6814及び6816～6819、乗算器6821～6829、加算器6830、乗算器6831、加算器6832、セレクタ6833、クリッパ6834を備える。
　直列に接続されたラインメモリ6801～6809は、入力された画素データを１水平期間ずつ順に遅延する。ラインメモリ6801より出力された画素データは、セレクタ6811の端子ｔ０及びセレクタ6819の端子ｔ１に供給される。ラインメモリ6802より出力された画素データは、セレクタ6812の端子ｔ０及びセレクタ6818の端子ｔ１に供給される。
　ラインメモリ6803より出力された画素データは、セレクタ6813の端子ｔ０及びセレクタ6817の端子ｔ１に供給される。ラインメモリ6804より出力された画素データは、セレクタ6814の端子ｔ０及びセレクタ6816の端子ｔ１に供給される。ラインメモリ6805より出力された画素データは、乗算器6825に供給される。ラインメモリ6805より出力された画素データが、実際に歪みが補正される注目画素の画素データである。
　ラインメモリ6806より出力された画素データは、セレクタ6816の端子ｔ０及びセレクタ6814の端子ｔ１に供給される。ラインメモリ6807より出力された画素データは、セレクタ6817の端子ｔ０及びセレクタ6813の端子ｔ１に供給される。ラインメモリ6808より出力された画素データは、セレクタ6818の端子ｔ０及びセレクタ6812の端子ｔ１に供給される。ラインメモリ6809より出力された画素データは、セレクタ6819の端子ｔ０及びセレクタ6811の端子ｔ１に供給される。
　セレクタ6811～6814及び6816～6819には、ＵＤ値が入力される。セレクタ6811～6814及び6816～6819は、ＵＤ値が０であるとき、即ち、注目画素がフレームの垂直中心に対して上側に位置しているとき、端子ｔ０に入力された画素データを選択する。セレクタ6811～6814及び6816～6819は、ＵＤ値が１であるとき、即ち、注目画素がフレームの垂直中心に対して下側に位置しているとき、端子ｔ１に入力された画素データを選択する。セレクタ6811～6814及び6816～6819によって選択された画素データは、それぞれ、乗算器6821～6824及び6826～6829に供給される。
　図１５に示すように、乗算器6821～6829は、入力された画素データに、係数ｋ１～ｋ９として、それぞれ、－０．１８、－０．１４、－０．１５、０．１０、０．５９、－０．０２、０、０、０を乗算して出力する。係数ｋ１～ｋ９の係数値は一例であって、ここでは水平フィルタ６７の乗算器6721～6729が用いる係数ｋ１～ｋ９と同じ係数値としている。乗算器6821～6829が用いる係数値を乗算器6721～6729が用いる係数値と異ならせてもよい。
　図１５に示す係数ｋ１～ｋ９は、フレームの垂直中心に対して上側に位置している画素を補正するのに適した係数値とされており、注目画素を中心として上下方向に非対称である。
　上記のように、注目画素がフレームの垂直中心に対して上側に位置しているとき、セレクタ6811～6814及び6816～6819が端子ｔ０に入力された画素データを選択すれば、乗算器6821～6829は各注目画素を中心とした上下方向の９画素に対して図１５に示す係数値の係数ｋ１～ｋ９をそのまま乗算することができる。
　フレームの垂直中心に対して上側で生じる歪みと下側で生じる歪みとは上下対称であるから、フレームの垂直中心に対して下側に位置している画素を補正するのに適した係数値は、図１５に示す係数ｋ１～ｋ９を上下に反転すればよい。上記のように、注目画素がフレームの垂直中心に対して下側に位置しているとき、セレクタ6811～6814及び6816～6819が端子ｔ１に入力された画素データを選択すれば、乗算器6821～6829は各注目画素を中心とした上下方向の９画素に対して図１５に示す係数ｋ１～ｋ９を上下方向に反転させて乗算することができる。
　加算器6830は、乗算器6821～6829による乗算結果を全て加算して、垂直方向のハイパスフィルタ成分ＶＨＦを生成する。ハイパスフィルタ成分ＶＨＦは交流成分であって、正または負の値を有する。乗算器6831は、ハイパスフィルタ成分ＶＨＦに垂直補正値ＡＶを乗算して、垂直補正成分ＡＶＶを生成する。加算器6832は、ラインメモリ6805より出力された注目画素の画素データに垂直補正成分ＡＶＶを加算して、注目画素の画素データを垂直方向に補正する。
　最大値・最小値検出部6810は、ラインメモリ6801～6809より出力された画素データのうちの最大値Ｖｍａｘと最小値Ｖｍｉｎを検出して、セレクタ6833に供給する。ハイパスフィルタ成分ＶＨＦが正であるか負であるかを示す符号ＶＨＦｓはセレクタ6833及びクリッパ6834に供給される。符号ＶＨＦｓはハイパスフィルタ成分ＶＨＦが正であるとき０、負であるとき１である。セレクタ6833は、符号ＶＨＦｓが０であれば、最大値Ｖｍａｘを選択して出力し、符号ＶＨＦｓが１であれば、最小値Ｖｍｉｎを選択して出力する。
　加算器6832より出力された画素データが過補正されておらず、符号ＶＨＦｓが０であって補正後の画素値が最大値Ｖｍａｘを上回らなければ、また、符号ＶＨＦｓ０が１であって補正後の画素値が最小値Ｖｍｉｎを下回らなければ、クリッパ6834は動作しない。クリッパ6834は、加算器6832より出力された画素データをそのまま補正画素データとして出力する。
　垂直フィルタ６８は、図１２と同様に、垂直方向に白から黒へと変化する境界部の黒付近においてなまっている矩形波信号を補正する。よって、垂直方向に白から黒へと変化する境界の黒付近における滲みが解消し、境界が明確となる。また、垂直フィルタ６８は、垂直方向に黒から白へと変化する境界部の白付近においてなまっている矩形波信号を補正する。よって、垂直方向に黒から白へと変化する境界の白付近における滲みが解消し、境界が明確となる。
　水平フィルタ６７と同様に、加算器6832より出力された画素データが過補正されると、補正後の画素値が最大値Ｖｍａｘを上回ったり、最小値Ｖｍｉｎを下回ったりして、リンギングが発生することがある。
　クリッパ6834は、符号ＶＨＦｓが０であって補正後の画素値が最大値Ｖｍａｘを上回っていれば、セレクタ6833より供給された最大値Ｖｍａｘで加算器6832より出力された画素データをクリップする。クリッパ6834は、符号ＶＨＦｓが１であって補正後の画素値が最小値Ｖｍｉｎを下回っていれば、セレクタ6833より供給された最小値Ｖｍｉｎで加算器6832より出力された画素データをクリップする。この結果、クリッパ6834は、加算器6832より出力された画素データに付加されているリンギングを除去した垂直方向の補正画素データを出力する。
　以上のようにして、図６の４つの垂直フィルタ６８からは、フレーム内の各画素において水平方向及び垂直方向に補正された画素データＲ（６）、Ｇ１（６）、Ｇ２（６）、Ｂ（６）が出力される。
　ここで、反転オン／オフ信号の意味及び反転器６２の動作について説明する。以上の説明では水平方向及び垂直方向に白から黒へと変化する境界部において波形がなまって境界において滲みが発生すると述べたが、フォーカス距離によっては、逆方向に波形のなまりが発生することがある。
　本実施形態で使用したレンズにおいては、フォーカス距離が４ｍ以上では図４に示すように水平方向及び垂直方向に白から黒へと変化する境界の黒付近において滲みが発生する。また、水平方向及び垂直方向に黒から白へと変化する境界の白付近において滲みが発生する。ところが、フォーカス距離が１ｍ及び１．５ｍでは、図４とは逆で、図１６に示すように、水平方向及び垂直方向に黒から白へと変化する境界の黒付近において滲みが発生する。また、水平方向及び垂直方向に白から黒へと変化する境界の白付近においても滲みが発生する。
　図１７に示すように、矩形波信号は、一点鎖線の円で囲んで示すように水平方向及び垂直方向に黒から白へと変化する境界部の黒付近において波形が大きくなまる。また、矩形波信号は、二点鎖線の円で囲んで示すように水平方向及び垂直方向に白から黒へと変化する境界部の白付近において波形が大きくなまる。
　そこで、ＣＰＵ１０は、フォーカス距離が１ｍ及び１．５ｍを第１の範囲、フォーカス距離が４ｍ以上を第２の範囲とする。ＣＰＵ１０は、フォーカス距離が第２の範囲であるときには反転オン／オフ信号として反転オフを示す０を出力し、フォーカス距離が第１の範囲であるときには反転オン／オフ信号として反転オンを示す１を出力する。画像なまり補正回路６の反転器６２は、反転オン／オフ信号が１であればＬＲ値及びＵＤ値を反転させる。
　ＬＲ値及びＵＤ値を反転させれば、フレームの水平中心に対して左側または垂直中心に対して上側に位置している注目画素を補正する際には係数ｋ１～ｋ９が反転されて使用される。また、フレームの水平方中央に対して右側または垂直中心に対して下側に位置している注目画素を補正する際には係数ｋ１～ｋ９は反転されずそのまま使用される。
　これによって、画像なまり補正回路６は、波形がなまる境界が逆方向であっても、波形のなまりを補正することができる。
　撮像装置が、例えばフォーカス距離を１ｍ、１．５ｍ、２ｍ、４ｍ…と順に変化させていくと、矩形波信号を補正する方向がフォーカス距離１．５ｍとフォーカス距離４ｍとの間で反転する。このとき、第１の範囲と第２の範囲との境界のフォーカス距離であるフォーカス距離２ｍでは調整係数Ａｃｏは０とされているから、調整補正値ＺＧＡは０とされる。よって、フォーカス距離２ｍでは矩形波信号は補正されないので、矩形波信号を補正する方向が反転することによる視覚的な違和感が発生しにくい。
　本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。画像なまり補正回路６は、水平フィルタ６７及び垂直フィルタ６８を備え、各画素を水平方向及び垂直方向の双方に補正している。水平フィルタ６７によって各画素を水平方向のみに補正しても効果的であるので、垂直フィルタ６８を省略してもよい。
　補正値テーブル６３は、複数の像高ＩＨに対応した離散的な複数の補正値を記憶するＲＯＭのような記憶部であってもよいし、予め設定した計算式に基づいて像高ＩＨに対応した補正値を計算して出力するプロセッサであってもよい。
　本実施形態においては、図１１に示す係数ｋ１～ｋ９を、フレームの水平中心に対して左側に位置している画素を補正するのに適した係数値としている。係数ｋ１～ｋ９を、フレームの水平中心に対して右側に位置している画素を補正するのに適した係数値として、フレームの水平中心に対して左側に位置する画素を補正する際に係数ｋ１～ｋ９を反転してもよい。
　また、本実施形態においては、図１５に示す係数ｋ１～ｋ９を、フレームの垂直中心に対して上側に位置している画素を補正するのに適した係数値としている。係数ｋ１～ｋ９を、フレームの垂直中心に対して下側に位置している画素を補正するのに適した係数値として、フレームの垂直中心に対して上側に位置する画素を補正する際に係数ｋ１～ｋ９を反転してもよい。
　左右非対称の係数ｋ１～ｋ９は、フレームの水平中心に対して左側と右側とのうちの一方である第１の側に位置している画素を補正するのに適した係数値として、左側と右側とのうちの他方である第２の側に位置している画素を補正する際に左右に反転すればよい。上下非対称の係数ｋ１～ｋ９は、フレームの垂直中心に対して上側と下側とのうちの一方である第３の側に位置している画素を補正するのに適した係数値として、上側と下側とのうちの他方である第４の側に位置している画素を補正する際に上下に反転すればよい。
　本実施形態においては、フレームの端部でのデフォーカスに起因する画像の歪みを補正しているが、本実施形態は色収差等に起因する画像の歪みを補正することも可能である。
　本発明は、画像処理装置（画像なまり補正回路６）の機能をハードウェアの回路によって構成することに限定されない。画像処理装置と同等の機能を実行させるコンピュータプログラム（画像処理プログラム）を構成して、コンピュータ（ＣＰＵ）に画像処理プログラムを実行させることも可能である。この場合、ＣＰＵ１０に画像処理プログラムを実行させてもよい。
　本願は、２０２０年２月１４日に日本国特許庁に出願された特願２０２０－０２３４５８号に基づく優先権を主張するものであり、その全ての開示内容は引用によりここに援用される。

Claims (8)

  1. 　ズームレンズを介して撮影された撮影画像のフレーム内に位置する画素の前記フレームの中心からの距離に応じた補正値が設定されている補正値テーブルと、
    　前記フレーム内の各注目画素の前記中心からの距離に応じて前記補正値テーブルより読み出された補正値に、少なくとも前記ズームレンズのズーム倍率とフォーカス距離とによって決まる調整係数を乗算して調整補正値を生成する第１の乗算器と、
    　前記調整補正値に前記中心に対する前記各注目画素の角度の余弦を乗算して、前記注目画素を水平方向に補正する水平補正値を生成する第２の乗算器と、
    　前記各注目画素を中心とした左右方向の複数の画素に、左右非対称の係数を乗算した乗算結果を全て加算して水平方向のハイパスフィルタ成分を生成し、前記水平方向のハイパスフィルタ成分に前記水平補正値を乗算した水平補正成分を前記各注目画素に加算して、前記各注目画素を水平方向に補正する水平フィルタと、
    　を備える画像処理装置。
  2. 　前記左右非対称の係数は、前記フレームの水平中心に対して左側と右側とのうちの一方である第１の側に位置している画素を補正するのに適した係数値とされており、
    　前記水平フィルタは、
    　注目画素が前記第１の側に位置しているとき、前記注目画素を中心とした左右方向の複数の画素に前記左右非対称の係数をそのまま乗算し、
    　注目画素が前記フレームの水平方向の左側と右側とのうちの他方である第２の側に位置しているとき、前記注目画素を中心とした左右方向の複数の画素に前記左右非対称の係数を左右に反転して乗算する
    　請求項１に記載の画像処理装置。
  3. 　前記第１の乗算器は、前記フレーム内の各注目画素の前記中心からの距離に応じて前記補正値テーブルより読み出された補正値に、前記ズーム倍率と、前記フォーカス距離と、前記ズームレンズが有するアイリスのアイリス絞り値とによって決まる調整係数を乗算して調整補正値を生成する請求項１または２に記載の画像処理装置。
  4. 　前記水平フィルタは、前記各注目画素の過補正によって発生するリンギングを除去するクリッパをさらに備える請求項１～３のいずれか１項に記載の画像処理装置。
  5. 　前記水平フィルタは、注目画素が前記第１の側に位置しているか前記第２の側に位置しているかを示す左右判別値が前記第１の側に位置していることを示すとき、前記左右非対称の係数を反転せず、前記左右判別値が前記第２の側に位置しているかを示すとき、前記左右非対称の係数を反転し、
    　前記フォーカス距離に応じて前記左右判別値を反転する指示がなされると、前記左右判別値を反転する反転器をさらに備える
    　請求項２に記載の画像処理装置。
  6. 　前記反転器は、前記フォーカス距離が第１の範囲であるときに前記左右判別値を反転し、第２の範囲であるときに前記左右判別値を反転せず、
    　前記フォーカス距離が前記第１の範囲と前記第２の範囲との境界のフォーカス距離であるときに、前記調整補正値を０とするために、前記調整係数が０とされている請求項５に記載の画像処理装置。
  7. 　前記調整補正値に前記中心に対する前記各注目画素の角度の正弦を乗算して、前記注目画素を垂直方向に補正する垂直補正値を生成する第３の乗算器と、
    　前記各注目画素を中心とした上下方向の複数の画素に、上下非対称の係数を乗算した乗算結果を全て加算して垂直方向のハイパスフィルタ成分を生成し、前記垂直方向のハイパスフィルタ成分に前記垂直補正値を乗算した垂直補正成分を前記各注目画素に加算して、前記各注目画素を垂直方向に補正する垂直フィルタと、
    　をさらに備える請求項１～６のいずれか１項に記載の画像処理装置。
  8. 　補正値テーブルには、ズームレンズを介して撮影された撮影画像のフレーム内に位置する画素の前記フレームの中心からの距離に応じた補正値が設定されており、前記フレーム内の各注目画素の前記中心からの距離に応じて前記補正値テーブルより補正値を読み出し、
    　読み出された前記補正値に、少なくとも前記ズームレンズのズーム倍率とフォーカス距離とによって決まる調整係数を乗算して調整補正値を生成し、
    　前記調整補正値に前記中心に対する前記各注目画素の角度の余弦を乗算して、前記注目画素を水平方向に補正する水平補正値を生成し、
    　前記各注目画素を中心とした左右方向の複数の画素に、左右非対称の係数を乗算した乗算結果を全て加算して水平方向のハイパスフィルタ成分を生成し、
    　前記水平方向のハイパスフィルタ成分に前記水平補正値を乗算した水平補正成分を前記各注目画素に加算して、前記各注目画素を水平方向に補正する
    　画像処理方法。
PCT/JP2020/047940 2020-02-14 2020-12-22 画像処理装置及び画像処理方法 WO2021161664A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20918245.0A EP4106311B1 (en) 2020-02-14 2020-12-22 Image processing device and image processing method
CN202080093821.8A CN114982219B (zh) 2020-02-14 2020-12-22 图像处理装置和图像处理方法
US17/819,375 US11991443B2 (en) 2020-02-14 2022-08-12 Image processing device and image processing method capable of correcting distortion occurred in an image captured through a zoom lens

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020023458A JP7363555B2 (ja) 2020-02-14 2020-02-14 画像処理装置及び画像処理方法
JP2020-023458 2020-02-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/819,375 Continuation US11991443B2 (en) 2020-02-14 2022-08-12 Image processing device and image processing method capable of correcting distortion occurred in an image captured through a zoom lens

Publications (1)

Publication Number Publication Date
WO2021161664A1 true WO2021161664A1 (ja) 2021-08-19

Family

ID=77291535

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047940 WO2021161664A1 (ja) 2020-02-14 2020-12-22 画像処理装置及び画像処理方法

Country Status (5)

Country Link
US (1) US11991443B2 (ja)
EP (1) EP4106311B1 (ja)
JP (1) JP7363555B2 (ja)
CN (1) CN114982219B (ja)
WO (1) WO2021161664A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015149618A (ja) 2014-02-06 2015-08-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2016019017A (ja) * 2014-07-04 2016-02-01 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2016143990A (ja) * 2015-01-30 2016-08-08 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2019029832A (ja) * 2017-07-31 2019-02-21 キヤノン株式会社 撮像装置
JP2020023458A (ja) 2018-08-08 2020-02-13 株式会社白龍堂 疲労改善用組成物、及び当該疲労改善用組成物を含む医薬品又は飲食品

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4094256B2 (ja) * 2001-07-30 2008-06-04 Ｎｅｃディスプレイソリューションズ株式会社 画質改善装置および画質改善方法
JP4287668B2 (ja) * 2003-02-17 2009-07-01 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP3824237B2 (ja) * 2003-09-05 2006-09-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2007148500A (ja) * 2005-11-24 2007-06-14 Olympus Corp 画像処理装置および画像処理方法
JP4775052B2 (ja) * 2006-03-17 2011-09-21 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2008146155A (ja) * 2006-12-06 2008-06-26 Sony Corp 画像処理方法および装置
JP5385740B2 (ja) * 2009-09-25 2014-01-08 キヤノン株式会社 撮像装置及び画像データの補正方法
US11089247B2 (en) * 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US9520424B2 (en) * 2012-10-29 2016-12-13 Taiwan Semiconductor Manufacturing Company Limited Black level correction (BLC) structure
JP5778873B2 (ja) * 2012-12-07 2015-09-16 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム、並びに記録媒体
JP6264029B2 (ja) * 2013-12-26 2018-01-24 株式会社Ｊｖｃケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
JP6348601B2 (ja) * 2014-08-29 2018-06-27 株式会社日立国際電気 固体撮像装置及び撮像方法
JP6379209B2 (ja) * 2014-09-26 2018-08-22 株式会社日立国際電気 固体撮像装置及び撮像方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015149618A (ja) 2014-02-06 2015-08-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2016019017A (ja) * 2014-07-04 2016-02-01 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2016143990A (ja) * 2015-01-30 2016-08-08 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2019029832A (ja) * 2017-07-31 2019-02-21 キヤノン株式会社 撮像装置
JP2020023458A (ja) 2018-08-08 2020-02-13 株式会社白龍堂 疲労改善用組成物、及び当該疲労改善用組成物を含む医薬品又は飲食品

Also Published As

Publication number Publication date
EP4106311A1 (en) 2022-12-21
US11991443B2 (en) 2024-05-21
US20220385802A1 (en) 2022-12-01
EP4106311A4 (en) 2023-07-19
CN114982219B (zh) 2023-08-08
JP2021129244A (ja) 2021-09-02
CN114982219A (zh) 2022-08-30
JP7363555B2 (ja) 2023-10-18
EP4106311B1 (en) 2024-05-29

Similar Documents

Publication Publication Date Title
US7529424B2 (en) Correction of optical distortion by image processing
US8106976B2 (en) Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device, control program and readable recording medium
EP2863626B1 (en) Imaging device and control method for imaging device
US8514304B2 (en) Image processing device and image pickup device using the same
JP5701785B2 (ja) カメラモジュール
US9313411B2 (en) Camera, distortion correction device and distortion correction method
US20100053350A1 (en) Image Device and Method of Same
US9369693B2 (en) Stereoscopic imaging device and shading correction method
EP2211554A1 (en) Image processing device, image processing method, and image processing program
JP2013070117A (ja) 画像処理装置、画像処理方法及びプログラム
US10218919B2 (en) Image pickup system, image processing method, and recording medium
WO2021161664A1 (ja) 画像処理装置及び画像処理方法
JP4994158B2 (ja) 画像補正装置
JP5173664B2 (ja) 画像処理装置及び画像処理方法
CN107979715B (zh) 摄像装置
JP3260929B2 (ja) 映像処理装置
US8736722B2 (en) Enhanced image capture sharpening
JP7134666B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5278421B2 (ja) 撮像装置
US20100194939A1 (en) Imaging device
US20170155882A1 (en) Image processing apparatus, image processing method, imaging apparatus, and recording medium
JP5333163B2 (ja) 撮像装置
JP2023034485A (ja) 撮像装置及びオートフォーカス制御方法
JP2022129052A (ja) 撮像装置
JP2022181027A (ja) 画像処理装置、画像処理方法、撮像装置、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20918245

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020918245

Country of ref document: EP

Effective date: 20220914