WO2017169079A1 - 画像処理装置、画像処理方法および撮像素子 - Google Patents

画像処理装置、画像処理方法および撮像素子 Download PDF

Info

Publication number
WO2017169079A1
WO2017169079A1 PCT/JP2017/003582 JP2017003582W WO2017169079A1 WO 2017169079 A1 WO2017169079 A1 WO 2017169079A1 JP 2017003582 W JP2017003582 W JP 2017003582W WO 2017169079 A1 WO2017169079 A1 WO 2017169079A1
Authority
WO
WIPO (PCT)
Prior art keywords
correction
image
correction coefficient
axis
unit
Prior art date
Application number
PCT/JP2017/003582
Other languages
English (en)
French (fr)
Inventor
幹弘 尾崎
茂幸 馬場
宜邦 野村
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2017169079A1 publication Critical patent/WO2017169079A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation

Definitions

  • the present disclosure relates to an image processing device that performs image correction, an image processing method, and an imaging device.
  • Patent Documents 1 and 2 In the field of imaging devices such as digital cameras, techniques for correcting an image (correcting image blur) according to the image height dependency of the lens and MTF characteristics have been proposed (for example, Patent Documents 1 and 2).
  • Patent Document 2 discloses a technique in which a user performs correction using a parameter set prepared in advance using software. However, even in this technique, the above-described variation in resolution occurs. In some cases, sufficient correction cannot be performed. This leads to image quality degradation.
  • An image processing apparatus includes two or more correction coefficients corresponding to the position coordinates of a correction target pixel among a plurality of correction coefficients associated with each of a first axis and a second axis that intersect each other.
  • An acquisition unit that acquires a correction coefficient and a correction unit that performs an image correction process using the correction coefficient acquired by the acquisition unit are provided.
  • two or more correction coefficients corresponding to each of the first axis and the second axis intersecting each other are selected according to the position coordinates of the correction target pixel.
  • a correction coefficient is acquired, and an image correction process is performed using the acquired correction coefficient.
  • An image sensor includes a pixel unit including a plurality of pixels and a signal processing unit that performs signal processing on an image obtained from the pixel unit.
  • a signal processing unit that acquires two or more correction coefficients according to the position coordinates of the correction target pixel from a plurality of correction coefficients associated with the first axis and the second axis that intersect with each other;
  • a correction unit that performs an image correction process using the correction coefficient acquired by the acquisition unit.
  • the position of the correction target pixel from among a plurality of correction coefficients associated with the first axis and the second axis that intersect each other. Two or more correction coefficients are acquired according to the coordinates, and image correction processing is performed using the acquired correction coefficients. Thus, correction can be performed using a correction coefficient optimized according to the position coordinates of the pixel.
  • the position of the correction target pixel from among a plurality of correction coefficients associated with the first axis and the second axis that intersect each other. Two or more correction coefficients are acquired according to the coordinates, and image correction processing is performed using the acquired correction coefficients. As a result, a sufficient correction effect can be obtained even when resolution variations occur due to lens manufacturing errors or the like using the optimized correction coefficient. Therefore, even when the lens resolution varies, the image quality deterioration can be suppressed.
  • FIG. 4B is a schematic diagram illustrating an example of a correction coefficient of the correction target pixel illustrated in FIG. 4A. It is a schematic diagram showing an example of a correction target pixel (B pixel).
  • FIG. 4B is a schematic diagram illustrating an example of a correction coefficient of the correction target pixel illustrated in FIG. 4A. It is a schematic diagram showing an example of a correction target pixel (B pixel).
  • 5B is a schematic diagram illustrating an example of a correction coefficient of the correction target pixel illustrated in FIG. 5A. It is a schematic diagram showing a correspondence with a correction coefficient, an image height, and an effective pixel area. It is a characteristic view showing MTF data for explaining setting of an image height position. It is a schematic diagram for demonstrating the MTF data shown in FIG. It is a schematic diagram for demonstrating an example of a correction coefficient blend process (interpolation process). It is a figure showing the example of functional composition in the case of performing friend processing after pixel value amendment. It is a schematic diagram showing the correspondence between the correction coefficient according to Modification 1 and the image height and effective pixel area.
  • FIG. 1 illustrates a functional configuration of an imaging device (imaging device 1) according to an embodiment of the present disclosure together with a lens (lens 30).
  • the imaging device 1 is an image sensor such as a charge coupled device image sensor (CCD) or a complementary metal oxide semiconductor (CMOS) image sensor, and is applied to, for example, a still camera or a video camera.
  • the image sensor 1 is a signal that performs various signal processing including image correction processing on the pixel unit 10 that receives the passing light L of the lens 30 and the image signal (imaging signal D0) output from the pixel unit 10, for example.
  • a processing unit 20 includes a control unit that drives and controls each unit of the pixel unit and the signal processing unit, and a memory.
  • the pixel unit 10 includes, for example, a plurality of pixels, for example, R (red), G (green), and B (blue) pixels (sub-pixels) arranged two-dimensionally in the effective pixel region.
  • Each of the R, G, and B pixels has an RGB array 10a made of, for example, a Bayer array.
  • the pixel unit 10 is provided with a color filter having an RGB array 10a.
  • the present disclosure is configured to have an array other than RGB, for example, an RGBW array including R, G, B, and W (white). It can also be applied to.
  • the pixel unit 10 may have, for example, an array of Y (yellow), C (cyan), M (magenta), and the like. The present disclosure can be applied to color arrangements other than the arrangements exemplified here.
  • any of the RGB color lights is received in units of pixels via the lens 30, and an electrical signal corresponding to the received light signal intensity is generated by photoelectric conversion.
  • a mosaic image composed of three types of RGB spectra is obtained by the pixel unit 10.
  • the pixel unit 10 and the signal processing unit 20 are stacked, for example, as schematically shown in FIG.
  • the imaging element 1 has a structure (so-called stacked type element) in which a substrate 1A on which a pixel unit 10 is formed and a substrate 2A on which a signal processing unit 20 is stacked (bonded) one above the other. Structure).
  • the “signal processing unit 20” in the present embodiment corresponds to a specific example of the “image processing apparatus” in the present disclosure.
  • the “image processing method” of the present disclosure is embodied by the configuration and operation of the image processing apparatus (signal processing unit 20), and thus description thereof is omitted.
  • the configuration in which the signal processing unit 20 is provided in the image sensor 1 will be described as an example.
  • the image processing apparatus of the present disclosure is applied to such an image sensor 1.
  • the apparatus is not limited to the lens 30 and the pixel unit 10, and may be a personal computer (PC) or the like.
  • the configuration in addition to the configuration of the signal processing unit 20 illustrated in FIG. 1, the configuration further includes an interface unit to which imaging data is input and a memory in which the input imaging data is stored.
  • the signal processing unit 20 includes, for example, a position coordinate calculation unit 21 (a distance calculation unit 21A and an angle calculation unit 21B), a correction coefficient acquisition unit 22, an image height coefficient calculation unit 23A, a quadrant coefficient calculation unit 23B, and a correction A coefficient blend processing unit 24, a lens aberration correction processing unit 25, a line memory 26, an edge detection unit 27, an edge / flat part blend processing unit 28, and an RGB signal processing unit 29 are provided.
  • the correction coefficient acquisition unit 22 of the present embodiment corresponds to a specific example of the “acquisition unit” of the present disclosure
  • the correction coefficient blend processing unit 24 and the lens aberration correction processing unit 25 correspond to the “correction unit of the present disclosure.
  • the correction coefficient blend processing unit 24 corresponds to a specific example of the “correction coefficient calculation unit” of the present disclosure
  • the lens aberration correction processing unit 25 corresponds to a specific example of the “correction processing unit” of the present disclosure.
  • the position coordinate calculation unit 21 includes, for example, a distance calculation unit 21A and an angle calculation unit 21B. Based on the xy address indicating the coordinate position of each pixel associated with the pixel value of each pixel of the pixel unit 10, The position coordinates of the correction target pixel (hereinafter referred to as pixel Pt) are detected.
  • the distance calculation unit 21A calculates the distance of the pixel Pt (the distance r from the optical center, the distance corresponding to the image height). Information on the calculated distance r is supplied to the correction coefficient acquisition unit 22 and the image height coefficient calculation unit 23A, respectively.
  • the angle calculation unit 21B calculates a quadrant position (angle d) in the image area of the pixel Pt. Information about the calculated angle d is supplied to the correction coefficient acquisition unit 22 and the quadrant coefficient calculation unit 23B, respectively.
  • the correction coefficient acquisition unit 22 selects two or more correction coefficients (Fr, Fg, Fb) from among a plurality of correction coefficients (Fr, Fg, Fb) according to the position coordinates (distance r, angle d) of the pixel Pt calculated by the position coordinate calculation unit 21.
  • a correction coefficient (correction coefficient group Fgrp) is selected (acquired).
  • Each of the correction coefficients Fr, Fg, and Fb is composed of, for example, a plurality of filter coefficients.
  • Information on the acquired correction coefficient group Fgrp is supplied to the correction coefficient blend processing unit 24.
  • correction coefficients Fr, Fg, and Fb are set for each color of R, G, and B, respectively, and may be held in the imaging device 1 in advance or may be input from the outside. Details of these correction coefficients Fr, Fg, and Fb will be described later.
  • the image height coefficient calculation unit 23A calculates a coefficient (Ar) used in blending processing (interpolation processing) between image heights based on the distance r calculated by the distance calculation unit 21A. Information regarding the calculated coefficient Ar is supplied to the correction coefficient blend processing unit 24.
  • the quadrant coefficient calculation unit 23B calculates a coefficient (Ad) used in the blending process (interpolation process) between quadrants based on the angle d calculated by the angle calculation unit 21B.
  • Information about the calculated coefficient Ad is supplied to the correction coefficient blend processing unit 24.
  • the correction coefficient blend processing unit 24 performs a process of generating a correction coefficient (correction coefficient F1) for the pixel Pt using the correction coefficient group Fgrp acquired by the correction coefficient acquisition unit 22.
  • the processing unit generates the correction coefficient F1 for the pixel Pt at the position (image point) where the correction coefficients Fr, Fg, and Fb are not associated with each other by interpolation.
  • an interpolation process using each correction coefficient constituting the correction coefficient group Fgrp, the coefficient Ar calculated by the inter-image height coefficient calculation unit 23A, and the coefficient Ad calculated by the inter-quadrant coefficient calculation unit 23B.
  • the correction coefficient F1 of the pixel Pt is calculated by (blending processing).
  • the correction coefficient F1 is calculated for each RGB color. Information about the calculated correction coefficient F1 is supplied to the lens aberration correction processing unit 25.
  • the lens aberration correction processing unit 25 uses correction coefficients F1 (specifically, correction coefficients F1r, F1g, and F1b for each color) for each color signal (Rin, Gin, Bin) input from the line memory 26. Correction processing is performed, and the corrected image signal D1 (Rd, Gd, Bd) is calculated. The calculated image signal D1 is supplied to the edge / flat portion blend processing unit.
  • the lens aberration correction processing unit 25 can perform, for example, a process for correcting image blur, particularly a correction process in consideration of aberration variations depending on the position coordinates (image height and quadrant position) of the pixel Pt.
  • the line memory 26 temporarily holds the pixel signal output from the pixel unit 10.
  • the line memory 26 is configured to store pixel values for seven horizontal lines of the pixel unit 10 and sequentially output seven horizontal line data in parallel.
  • the output destinations are the lens aberration correction processing unit 25, the edge detection unit 27, and the edge / flat portion blend processing unit. Imaging data having the RGB array 10a is output in units of 7 lines to each of these processing units.
  • the line memory 26 is described as outputting in units of 7 lines, but this is not particularly limited, but a correction coefficient (filter) described later corresponds to, for example, 7 ⁇ 7 pixels. This is an example of a case. For this reason, when the correction coefficient corresponds to the number of pixels other than 7 ⁇ 7 pixels, the line memory 26 can store and output in units of lines corresponding to the number of pixels of the correction coefficient. It is good to be done.
  • the edge detection unit 27 Based on the output signal from the line memory 26, the edge detection unit 27 generates information related to edges in the image (including, for example, the edge direction and the edge strength) and outputs the information to the edge / flat part blend processing unit 28. Specifically, for example, the flatness (Weightflat) calculated from the pixel information of 7 ⁇ 7 pixels is calculated based on the processing target pixel (the center pixel of the 7 ⁇ 7 pixels), and the edge / flat portion blending process is performed. To the unit 28. As the flatness calculation process, for example, a process similar to the process described in JP 2011-55038 A can be used.
  • the edge / flat portion blend processing unit 28 includes RGB signals (Rin, Gin, Bin) in the input signal from the line memory 26, edge information output from the edge detection unit 27, and output from the lens aberration correction processing unit 25.
  • RGB signals Rosin, Gin, Bin
  • the image signal D1 (Rd, Gd, Bd) to be generated, the image signal D2 after the correction process considering the edge information is generated and output to the RGB signal processing unit 29.
  • the edge / flat portion blend processing unit 28 is configured to perform lens aberration correction processing according to the edge information calculated by the edge detection unit 27 (for example, flatness calculated from pixel information of 7 ⁇ 7 pixels).
  • the weighted average processing of the corrected image signal D1 (Rd, Gd, Bd) output from 25 is executed to calculate the RGB pixel values of the RGB array 10a.
  • RGB pixel values are determined according to the following three equations.
  • the R, G, and B color signals obtained as the calculation result of this expression are output to the RGB signal processing unit 29.
  • the RGB signal processing unit 29 performs signal processing on the signals of the RGB array 11a output from the edge / flat portion blend processing unit 28 as signal processing on the signals of the RGB array (Bayer array) 11a to generate a color image.
  • the RGB signal processing unit 29 performs, for example, white balance adjustment processing, demosaic processing, shading processing, RGB color matrix processing, gamma correction processing, and the like to generate a color image.
  • the image signal Dout for the color image generated by the RGB signal processing unit 29 is output to the outside or recorded in a memory inside the apparatus.
  • a control unit executes control of a series of processes in each of the above processing units.
  • a program for executing a series of processes is stored in a memory (not shown), and the control unit executes the program read from the memory and controls the series of processes.
  • the memory can be composed of various recording media such as a magnetic disk, an optical disk, and a flash memory.
  • the correction coefficients Fr, Fg, and Fb are either stored in advance as lens aberration correction filter coefficients or input from the outside. These correction coefficients Fr, Fg, and Fb can be calculated using, for example, a Wiener filter.
  • the winner filter will be briefly described. In the following, three images, an ideal image without blur (original image A1), a blurred photographed image (captured image A2), and a restored image (restored image A3) restored by filter correction processing for the photographed image are represented. Assuming this will be explained.
  • the filter that minimizes the square error of the two images of the original image A1 and the restored image A3 is called a least square filter or a Wiener filter.
  • the original image A1 is f (x, y)
  • the photographed image A2 is g (x, y)
  • the degradation function due to lens aberration or camera shake is h (x, y)
  • the noise component is n (x, y).
  • (x, y) is the pixel position of each image
  • f (x, y) to n (x, y) may indicate the pixel value of the coordinate position (x, y) of each image.
  • the deterioration function h (x, y) due to lens aberration and camera shake is a fixed value.
  • FIGS. 3A and 3B An example of the Wiener filter corresponding to the above equation (5) is shown in FIGS. 3A and 3B.
  • FIG. 3A shows 7 ⁇ 7 pixels centered on the G pixel in the photographed image
  • FIG. 3B shows an example of a Wiener filter in which the G pixel at the center of the pixel region in FIG. 3A is the correction target pixel Pt (pixel Pgt). It is shown.
  • the photographed image is a RAW image composed of RGB pixels.
  • the correction target pixel Pgt is the center G pixel of the 7 ⁇ 7 pixels shown in FIG. 3A.
  • the Wiener filter shown in FIG. 3B shows a multiplication coefficient for each of a plurality of G pixels included in a 7 ⁇ 7 pixel.
  • a correction pixel value of the central G pixel is calculated by executing a convolution operation that multiplies each coefficient by the pixel value of the G pixel included in the 7 ⁇ 7 pixels and adds the result.
  • the pixel value of the G pixel can be corrected by the following formula (6).
  • FIG. 4A shows a 7 ⁇ 7 pixel area centered on the R pixel in the captured image
  • FIG. 4B shows the R pixel at the center of the pixel area in FIG. 4A as the correction target pixel Pt (pixel Prt).
  • An example of the Wiener filter is shown.
  • FIG. 5A shows a 7 ⁇ 7 pixel area centered on the B pixel in the captured image
  • FIG. 5B shows a Wiener filter in which the B pixel at the center of the pixel area in FIG. 5A is the correction target pixel Pt (pixel Pbt).
  • the correction value is calculated for each of the R pixel and the B pixel in the same manner as in the case of the G pixel.
  • lens PSF Point Spread Function
  • MTF Modulation Transfer Function
  • correction coefficient (Detailed configuration example of correction coefficient)
  • a plurality of correction coefficients Fr, Fg, and Fb are associated (set) with each of the first axis and the second axis that intersect each other.
  • the following description will be made using the correction coefficient Fg for correcting the G pixel as a representative.
  • a plurality of correction coefficients Fg are set for one lens 30. An example is shown in FIG. FIG. 6 shows a correction filter corresponding to 7 ⁇ 7 pixels as an example of the correction coefficient.
  • a plurality of correction coefficients Fg are associated with each of the X axis and the Y axis that are orthogonal to each other, for example.
  • four correction coefficients f11 to f14 (coefficient sequence q1) are set in the positive direction on the X axis, and for example, four correction coefficients f31 to f34 (coefficient sequence q3) are set in the negative direction on the X axis.
  • four correction coefficients f21 to f24 coefficient sequence q2 are set in the positive direction on the Y axis, and for example, four correction coefficients f41 to f44 (coefficient sequence q4) are set in the negative direction on the Y axis. Is set.
  • a correction coefficient f0 is set at the optical center (point where the image height is 0).
  • the correction coefficient f11 is set to, for example, the image height ih1 (image point at the position of the image height ih1) closest to the optical axis (close to the optical axis) in the coefficient sequence q1.
  • the correction coefficient f12 is set to the image height ih2 next to (one outside) the image height ih1 in the coefficient sequence q1.
  • the correction coefficient f13 is set to the image height ih3 next to (one outside) the image height ih2 in the coefficient sequence q1.
  • the correction coefficient f14 is set to the image height ih4 next to (one outside) the image height ih3 in the coefficient sequence q1.
  • the correction coefficient f21 is set to the image height ih1 in the coefficient sequence q2.
  • the correction coefficient f22 is set to the image height ih2 in the coefficient sequence q2.
  • the correction coefficient f23 is set to the image height ih3 in the coefficient sequence q2.
  • the correction coefficient f24 is set to the image height ih4 in the coefficient sequence q2.
  • the correction coefficient f31 is set to the image height ih1 in the coefficient sequence q3.
  • the correction coefficient f32 is set to the image height ih2 in the coefficient sequence q3.
  • the correction coefficient f33 is set to the image height ih3 in the coefficient sequence q3.
  • the correction coefficient f34 is set to the image height ih4 in the coefficient sequence q3.
  • the correction coefficient f41 is set to the image height ih1 in the coefficient sequence q4.
  • the correction coefficient f42 is set to the image height ih2 in the coefficient sequence q4.
  • the correction coefficient f43 is set to the image height ih3 in the coefficient sequence q4.
  • the correction coefficient f44 is set to the image height ih4 in the coefficient sequence q4.
  • a plurality of correction coefficients Fg are set for each of a plurality of image heights and a plurality of angles (rows on the X axis and the Y axis).
  • a plurality of correction coefficients Fg (specifically, correction coefficients f11 to f14, f21 to f24, f31 to 34) are obtained at the position coordinates of the four image heights and the four angular directions. , F41 to f44) are set.
  • These correction coefficients Fg can be calculated by a method using a Wiener filter as described above.
  • two or more correction coefficients are acquired according to the position coordinates of the pixel Pt from the plurality of correction coefficients Fg associated on two axes in this way. It has become.
  • correction coefficients Fr and Fb and a plurality of correction coefficients Fr and Fb are associated with each other on two axes (first axis and second axis).
  • a plurality of correction coefficients need only be associated with two intersecting axes, and these two axes do not necessarily have to be orthogonal (may be oblique).
  • two axes may be arranged along the diagonal line of the effective pixel region 301.
  • the correction coefficients Fr, Fg, and Fb are calculated, for example, in the manufacturing process of the lens 30 or the manufacturing process of the camera module, and are held in association with the lens 30.
  • the housing portion of the lens 30 has a holding function such as a memory, and correction coefficient information is held by the holding function.
  • the correction coefficients Fr, Fg, and Fb are supplied from the lens 30 side outside the signal processing unit 20.
  • the correction coefficients Fr, Fg, and Fb may be held in the signal processing unit 20 in advance.
  • the correction coefficient is calculated for each lens 30 and is stored in the signal processing unit 20 in advance or input from the outside.
  • the set image height intervals can be equal intervals, and the intervals may be constant regardless of lens characteristics.
  • a characteristic image height image height 0 to 4
  • FIGS. 7 and 8 are diagrams showing MTF data with respect to image height.
  • FIG. 8 also shows the image circle 303 and the effective pixel region 301.
  • the MTF data changes depending on the image height. Therefore, an image height at an image point with a relatively large degree of change is selected, and a correction coefficient is calculated at the selected image height.
  • the image height 0 is selected as the center position of the lens.
  • the image height 2 is selected because it is the image height at the point where the MTF data falls. Since the distance between the image height 0 and the image height 2 is separated, the image height 1 is selected as the image height at the approximate center.
  • Image height 3 is selected because it is a turning point where the MTF data once lowered at image height 2 rises again and falls again.
  • Image height 4 is selected as the end of the lens.
  • MTF data or PSF data may be acquired from a plurality of positions on the lens 30 corresponding to these image heights 0 to 4, and the correction coefficient may be calculated by the processing as described above.
  • the image height at which the correction coefficient is calculated may be the image height at the image point that is the inflection point in the MTF data.
  • the image height at the position may be selected.
  • the image height may be added so as to be an appropriate interval.
  • MTF data for image height may vary from lens to lens. Therefore, it is desirable that data is acquired for each lens, an image height is selected, and a lens aberration correction filter coefficient is calculated. Lens aberration correction filter coefficients corresponding to different characteristics for each lens can be calculated, and correction processing can be performed with higher accuracy.
  • the light beam that has passed through the lens 30 enters the pixel unit 10, whereby a pixel signal is obtained for each pixel by photoelectric conversion.
  • the pixel unit 10 acquires R, G, B color RAW data corresponding to the RGB array 10a as the imaging signal D0.
  • the obtained imaging signal D0 is output to the signal processing unit 20.
  • the signal processing unit 20 performs image correction processing based on the input imaging signal D0. Specifically, first, the position coordinate calculation unit 21 calculates the position coordinate of the pixel Pt to be corrected based on the xy address indicating the coordinate position of each pixel associated with the pixel value of each pixel of the pixel unit 10. To detect. Specifically, the distance calculation unit 21A calculates the distance r of the pixel Pt. Information on the calculated distance r is output to each of the correction coefficient acquisition unit 22 and the image height coefficient calculation unit 23A. Further, the angle calculation unit 21B calculates the quadrant position (angle d) in the image area of the pixel Pt. Information about the calculated angle d is output to the correction coefficient acquisition unit 22 and the quadrant coefficient calculation unit 23B, respectively.
  • the correction coefficient acquisition unit 22 selects two or more correction coefficients from a plurality of correction coefficients (here, the correction coefficient Fg is taken as an example) according to the input position coordinates (distance r, angle d) of the pixel Pt. (Correction coefficient group Fgrp) is selected (obtained). Information on the acquired correction coefficient group Fgrp is supplied to the correction coefficient blend processing unit 24.
  • the inter-image height coefficient calculation unit 23A calculates a coefficient Ar used in the blending process (interpolation process) between the image heights based on the input distance r. Information about the calculated coefficient Ar is output to the correction coefficient blend processing unit 24.
  • the quadrant coefficient calculation unit 23B calculates a coefficient Ad used in the blend process (interpolation process) between quadrants based on the input angle d. Information about the calculated coefficient Ad is output to the correction coefficient blend processing unit 24.
  • the correction coefficient blend processing unit 24 generates the correction coefficient F1 of the pixel Pt by interpolation processing using the input correction coefficient group Fgrp. Specifically, the correction coefficient F1 (first correction coefficient) of the pixel Pt is calculated by interpolation processing (blend processing) using the correction coefficients constituting the correction coefficient group Fgrp and the coefficients Ar and Ad.
  • FIG. 9 shows an example of correction coefficient blending processing.
  • interpolation processing is performed between angles (between quadrants and axes) and between image heights in the XY plane.
  • the correction coefficient F1 of the center pixel Pt of 7 ⁇ 7 pixels is calculated by interpolation processing using a correction coefficient group Fgrp including two or more correction coefficients Fg and the coefficients Ar and Ad.
  • the image height ih n corresponds to any one of the image heights ih1 to ih4 (image height position) shown in FIG. 6, for example, and the image height ih n + 1 is 1 of the image height ih n . It corresponds to the outer image height.
  • the pixel Pt will be described as a G pixel located in the first quadrant in the XY plane.
  • the correction coefficient acquisition unit 22 uses a plurality of correction coefficients Fg (correction coefficients f11 to f14, f21 to f24, f31 to 34, and f41 to f44 shown in FIG.
  • Two or more appropriate correction coefficients Fg are selected (acquired) according to the distance r and the angle d).
  • the correction coefficient group Fgrp includes, for example, two correction coefficients F0 n and F0 n + 1 (any two correction coefficients in the coefficient sequence q1 illustrated in FIG.
  • the correction coefficient blend process is performed from the following equation (6) by linear calculation. Thereby, the blending process between quadrants (between axes) is performed on the image height ih n , and the correction coefficient F2 (second correction coefficient) is calculated.
  • linearity is calculated using correction coefficients F0 n + 1 and F90 n + 1 associated with the image height ih n + 1 and a coefficient Ad (0 ⁇ Ad ⁇ 1) calculated based on the angle d.
  • the correction coefficient blending process is performed from the following equation (7) by calculation. Thereby, a blending process between quadrants (between axes) is performed on the image height ih n + 1 , and a correction coefficient F3 (third correction coefficient) is calculated.
  • F3 (1-Ad) ⁇ F0 n + 1 + Ad ⁇ F90 n + 1 (7)
  • these correction coefficients F2 and F3 are obtained from the following equation (8) by linear calculation using a coefficient Ar (0 ⁇ Ar ⁇ 1) calculated based on the distance r (distance from the optical center).
  • the correction coefficient blending process is performed. Thereby, the blending process between the image heights is performed, and the correction coefficient F1 of the pixel Pt at the position of distance r and angle d is calculated. That is, the correction coefficient of the pixel Pt is optimized.
  • F1 (1-Ar) ⁇ F2 + Ad ⁇ F3 (8)
  • the lens aberration correction processing unit 25 corrects the pixel value in the pixel Pt using the correction coefficient F1 (as an example) for each color signal (Rin, Gin, Bin) input from the line memory 26.
  • Lens aberration correction processing Specifically, when the correction coefficient F1 corresponds to 7 ⁇ 7 pixels, a calculation process of multiplying and adding the 7 ⁇ 7 pixels is performed, and the pixel of the center pixel Pt is executed. Correct the value. Assuming that the pixel value of the pixel Pt at the distance r is Pr, the pixel value Pr1 after lens aberration correction is calculated by the following equation (9).
  • the correction processing is performed on the pixel values after blending (interpolating) correction coefficients between quadrants and between image heights.
  • the blend processing (interpolation processing) It may be performed after the correction.
  • FIG. 10 shows a functional block configuration in that case.
  • the lens aberration correction processing unit 25a corrects the pixel value of the pixel Pt to be corrected using a plurality of correction coefficients associated on two axes.
  • the blend processing unit 26a may perform interpolation processing between quadrants and between image heights based on the corrected pixel values. Further, the order in which the blending process and the correction process are performed may be determined according to the data amount of the correction coefficient.
  • the image signal D1 (Rd, Gd, Bd) after the correction processing by the lens aberration correction processing unit 25 is output to the edge / flat portion blend processing unit.
  • the edge / flat portion blend processing unit 28 receives RGB signals (Rin, Gin, Bin) input from the line memory 26, edge information input from the edge detection unit 27, and lens aberration correction processing unit 25. Using the image signal D1 (Rd, Gd, Bd), an image signal D2 after correction processing in consideration of edge information is generated. Specifically, the edge / flat portion blend processing unit 28 is configured to perform lens aberration correction processing according to the edge information calculated by the edge detection unit 27 (for example, flatness calculated from pixel information of 7 ⁇ 7 pixels). The weighted average processing of the corrected image signal D1 (Rd, Gd, Bd) output from 25 is executed to calculate the RGB pixel values in the RGB array 10a. Specifically, RGB pixel values are determined according to the following three equations.
  • the R, G, and B color signals obtained as the calculation result of this expression are output to the RGB signal processing unit 29.
  • the generated image signal D2 is output to the RGB signal processing unit 29.
  • the RGB signal processing unit 29 performs signal processing on the input RGB array (Bayer array) signal, for example, white balance adjustment processing, demosaic processing, shading processing, RGB color matrix processing, gamma correction processing, and the like to generate a color image. Generate. An image signal Dout for the generated color image is output to the outside or recorded in a memory inside the apparatus.
  • the position coordinates of the pixel Pt to be corrected are selected from among a plurality of correction coefficients associated with the first axis and the second axis (X axis, Y axis) that intersect each other. Two or more correction coefficients are acquired according to (distance r, angle d), and image correction processing is performed using the acquired correction coefficients. Thereby, the correction coefficient can be optimized according to the position coordinates of the pixel Pt.
  • the generated blur differs depending on the characteristics of the lens 30 and the like. For example, as the image height (distance from the optical center) increases, the blur of the image due to lens aberration increases. Further, due to a manufacturing error of the lens and the like, not only the image height of the lens but also a variation in aberration occurs in each region (quadrant) in the XY plane orthogonal to the optical axis, resulting in a variation in resolution.
  • the degree of blurring of the lens 30 is different and is often not isotropic. This is caused by, for example, a lens manufacturing error. If the resolution of the lens 30 varies, even if correction processing is performed, a location where correction is insufficient or an overcorrected location occurs depending on the pixel position, leading to image quality degradation.
  • a pixel to be corrected is selected from a plurality of correction coefficients associated with the first axis and the second axis (X axis and Y axis) that intersect each other.
  • Two or more correction coefficients are acquired according to the position coordinates (distance r, angle d) of Pt, and image correction processing is performed using the acquired correction coefficients.
  • the correction coefficient can be optimized, and a sufficient correction effect can be obtained even when the resolution varies due to a lens manufacturing error or the like. Therefore, even when the lens resolution varies, the image quality deterioration can be suppressed.
  • FIG. 11 is a schematic diagram illustrating a correspondence between a correction coefficient (any one of Fg, Fr, and Fb) according to the first modification, an image height, and an effective pixel area.
  • a correction coefficient any one of Fg, Fr, and Fb
  • FIG. 6 the configuration in which the coefficient sequences q1 to q4 are arranged along the X axis and the Y axis has been exemplified.
  • the coefficient sequences q1 to q4 are arranged.
  • q4 may be associated with two axes rotated 45 ° counterclockwise from the X axis and the Y axis, respectively. In this case, it is effective when the lens blur occurs along an oblique direction.
  • the rotation angle of the shaft is not limited to 45 °, and can be set in a range from 0 ° to 90 ° depending on a region where a lens blur occurs.
  • FIG. 12 shows a flow of correction coefficient calculation and signal processing according to the second modification.
  • the correction coefficients Fr, Fg, and Fb are calculated in the manufacturing process of the lens 30 or the manufacturing process of the camera module, and are stored in the circuit in advance as calibration information, or are externally (lens 30 ).
  • the signal processing (image processing) of the present disclosure can also be applied when there is no calibration information regarding such a lens 30 (for example, when the lens 30 is an old lens).
  • the correction coefficient may be input by the user. Specifically, as shown in FIG. 12, after the lens 30 is attached to the camera body (step S21), a test chart (test pattern) is photographed by the image sensor 1 (step S22). Subsequently, lens aberration characteristics (for example, PSF data or MTF data) are acquired from the captured image (step S23). A correction coefficient may be calculated based on the acquired lens aberration characteristic (step S24), and the lens aberration may be corrected using this correction coefficient.
  • lens aberration characteristics for example, PSF data or MTF data
  • the correction coefficient may be calculated not when the lens 30 is manufactured but when the camera is used. In this case, an old lens having no calibration information can be used as the lens 30. In addition, it is possible to appropriately update the correction coefficient in response to a change in the usage environment or aging of the lens 30. Further, when the lens 30 is replaceable with respect to the camera body, it is possible to cope with the case where the lens 30 is replaced with another lens.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure is realized as a device that is mounted on any type of mobile body such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. May be.
  • FIG. 13 is a block diagram illustrating a schematic configuration example of a vehicle control system that is an example of a mobile control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, a vehicle exterior information detection unit 12030, a vehicle interior information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, a sound image output unit 12052, and an in-vehicle network I / F (Interface) 12053 are illustrated as a functional configuration of the integrated control unit 12050.
  • the drive system control unit 12010 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a driving force generator for generating a driving force of a vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism that adjusts and a braking device that generates a braking force of the vehicle.
  • the body system control unit 12020 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a blinker, or a fog lamp.
  • the body control unit 12020 can be input with radio waves transmitted from a portable device that substitutes for a key or signals from various switches.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls a door lock device, a power window device, a lamp, and the like of the vehicle.
  • the vehicle outside information detection unit 12030 detects information outside the vehicle on which the vehicle control system 12000 is mounted.
  • the imaging unit 12031 is connected to the vehicle exterior information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image outside the vehicle and receives the captured image.
  • the vehicle outside information detection unit 12030 may perform an object detection process or a distance detection process such as a person, a car, an obstacle, a sign, or a character on a road surface based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal corresponding to the amount of received light.
  • the imaging unit 12031 can output an electrical signal as an image, or can output it as distance measurement information. Further, the light received by the imaging unit 12031 may be visible light or invisible light such as infrared rays.
  • the vehicle interior information detection unit 12040 detects vehicle interior information.
  • a driver state detection unit 12041 that detects a driver's state is connected to the in-vehicle information detection unit 12040.
  • the driver state detection unit 12041 includes, for example, a camera that images the driver, and the vehicle interior information detection unit 12040 determines the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 12041. It may be calculated or it may be determined whether the driver is asleep.
  • the microcomputer 12051 calculates a control target value of the driving force generator, the steering mechanism, or the braking device based on the information inside / outside the vehicle acquired by the vehicle outside information detection unit 12030 or the vehicle interior information detection unit 12040, and the drive system control unit A control command can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, following traveling based on inter-vehicle distance, vehicle speed maintenance traveling, vehicle collision warning, or vehicle lane departure warning. It is possible to perform cooperative control for the purpose.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generator, the steering mechanism, the braking device, and the like based on the information around the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12030 based on information outside the vehicle acquired by the vehicle outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamp according to the position of the preceding vehicle or the oncoming vehicle detected by the outside information detection unit 12030, and performs cooperative control for the purpose of anti-glare, such as switching from a high beam to a low beam. It can be carried out.
  • the sound image output unit 12052 transmits an output signal of at least one of sound and image to an output device capable of visually or audibly notifying information to a vehicle occupant or the outside of the vehicle.
  • an audio speaker 12061, a display unit 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include at least one of an on-board display and a head-up display, for example.
  • FIG. 14 is a diagram illustrating an example of an installation position of the imaging unit 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in the vehicle interior of the vehicle 12100.
  • the imaging unit 12101 provided in the front nose and the imaging unit 12105 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 12100.
  • the imaging units 12102 and 12103 provided in the side mirror mainly acquire an image of the side of the vehicle 12100.
  • the imaging unit 12104 provided in the rear bumper or the back door mainly acquires an image behind the vehicle 12100.
  • the imaging unit 12105 provided on the upper part of the windshield in the passenger compartment is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 14 shows an example of the shooting range of the imaging units 12101 to 12104.
  • the imaging range 12111 indicates the imaging range of the imaging unit 12101 provided in the front nose
  • the imaging ranges 12112 and 12113 indicate the imaging ranges of the imaging units 12102 and 12103 provided in the side mirrors, respectively
  • the imaging range 12114 The imaging range of the imaging part 12104 provided in the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 12101 to 12104, an overhead image when the vehicle 12100 is viewed from above is obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of imaging elements, or may be an imaging element having pixels for phase difference detection.
  • the microcomputer 12051 based on the distance information obtained from the imaging units 12101 to 12104, the distance to each three-dimensional object in the imaging range 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100).
  • a predetermined speed for example, 0 km / h or more
  • the microcomputer 12051 can set an inter-vehicle distance to be secured in advance before the preceding vehicle, and can perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • cooperative control for the purpose of autonomous driving or the like autonomously traveling without depending on the operation of the driver can be performed.
  • the microcomputer 12051 converts the three-dimensional object data related to the three-dimensional object to other three-dimensional objects such as a two-wheeled vehicle, a normal vehicle, a large vehicle, a pedestrian, and a utility pole based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic avoidance of obstacles.
  • the microcomputer 12051 identifies obstacles around the vehicle 12100 as obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see.
  • the microcomputer 12051 determines the collision risk indicating the risk of collision with each obstacle, and when the collision risk is equal to or higher than the set value and there is a possibility of collision, the microcomputer 12051 is connected via the audio speaker 12061 or the display unit 12062. By outputting an alarm to the driver and performing forced deceleration or avoidance steering via the drive system control unit 12010, driving assistance for collision avoidance can be performed.
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether a pedestrian is present in the captured images of the imaging units 12101 to 12104. Such pedestrian recognition is, for example, whether or not the user is a pedestrian by performing a pattern matching process on a sequence of feature points indicating the outline of an object and a procedure for extracting feature points in the captured images of the imaging units 12101 to 12104 as infrared cameras. It is carried out by the procedure for determining.
  • the audio image output unit 12052 When the microcomputer 12051 determines that there is a pedestrian in the captured images of the imaging units 12101 to 12104 and recognizes the pedestrian, the audio image output unit 12052 has a rectangular contour line for emphasizing the recognized pedestrian.
  • the display unit 12062 is controlled so as to be superimposed and displayed.
  • voice image output part 12052 may control the display part 12062 so that the icon etc. which show a pedestrian may be displayed on a desired position.
  • the present disclosure has been described with reference to the embodiment and its modifications. However, the present disclosure is not limited to the above-described embodiment and the like, and various modifications are possible.
  • the series of signal processing described above can be executed by hardware or can be executed by software.
  • a series of processing is executed by software
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • this indication can also take the following structures.
  • An acquisition unit that acquires two or more correction coefficients according to the position coordinates of the correction target pixel from among a plurality of correction coefficients associated with each of the first axis and the second axis that intersect each other;
  • An image processing apparatus comprising: a correction unit that performs an image correction process using the correction coefficient acquired by the acquisition unit.
  • the correction unit is A correction coefficient calculation unit that calculates a first correction coefficient at the position coordinates by an interpolation process using the correction coefficient acquired by the acquisition unit;
  • the image processing apparatus according to (1) further including: a correction processing unit that corrects a pixel value corresponding to the position coordinates using the first correction coefficient calculated by the correction coefficient calculation unit.
  • the image processing apparatus according to (4), wherein the third correction coefficient is calculated by performing interpolation according to the above.
  • (6) In the second interpolation process, after the first interpolation process, The image processing apparatus according to (5), wherein the first correction coefficient is calculated by interpolating the second correction coefficient and the third correction coefficient in accordance with an image height of the position coordinates.
  • the correction unit is Correct the pixel value using the correction coefficient acquired by the acquisition unit; The image processing apparatus according to (1), wherein the image is corrected by an interpolation process based on the corrected pixel value.
  • the acquisition unit acquires a plurality of correction coefficients associated with the first axis and the second axis for each color, The image processing apparatus according to any one of (1) to (7), wherein the correction unit performs an image correction process using the acquired correction coefficient for each color.
  • the image processing apparatus according to any one of (1) to (7), wherein the correction unit performs an image correction process using the acquired correction coefficient for each color.
  • the 9 From the plurality of correction coefficients associated with each of the first axis and the second axis intersecting each other, two or more correction coefficients are acquired according to the position coordinates of the correction target pixel, An image processing method for correcting an image using an acquired correction coefficient.
  • a first correction coefficient at the position coordinates is calculated by an interpolation process using the acquired correction coefficient, The image processing method according to (9), wherein the pixel value corresponding to the position coordinate is corrected using the calculated first correction coefficient.
  • the second interpolation processing is performed based on the image height of the position coordinates before or after the first interpolation processing.
  • a pixel portion including a plurality of pixels; A signal processing unit that performs signal processing on an image obtained from the pixel unit, The signal processing unit An acquisition unit that acquires two or more correction coefficients according to the position coordinates of the correction target pixel from among a plurality of correction coefficients associated with each of the first axis and the second axis that intersect each other; An image pickup device comprising: a correction unit that performs correction processing of the image using the correction coefficient acquired by the acquisition unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)

Abstract

この画像処理装置は、互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得する取得部と、取得部により取得された補正係数を用いて画像の補正処理を行う補正部とを備える。

Description

画像処理装置、画像処理方法および撮像素子
　本開示は、画像補正を行う画像処理装置、画像処理方法、および撮像素子に関する。
　デジタルカメラ等の撮像装置の分野では、レンズの像高依存およびＭＴＦ特性等に応じて画像を補正する（画像のぼけを補正する）技術が提案されている（例えば、特許文献１，２）。
特開２０１５－２１６５７６号公報 特開２０１１－１９３２７７号公報
　ところが、上記の特許文献１の手法では、同一の像高にある画素値に対しては同一の補正係数（フィルタ係数）を使用して補正処理が行われる。このため、レンズの製造誤差等に起因して解像度にばらつきが生じた場合、十分な補正効果を得ることが困難である。また、特許文献２には、ユーザがソフトウエアを用いて、事前に用意されたパラメータセットを用いて補正を行う手法が示されているが、この手法においても、上記のような解像度のばらつきに対して十分な補正を行うことができない場合がある。これは画質劣化につながる。
レンズの解像度にばらつきが生じた場合にも、画質劣化を抑制することが可能な画像処理装置、画像処理方法および撮像素子を実現することが望まれている。
　本開示の一実施の形態の画像処理装置は、互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得する取得部と、取得部により取得された補正係数を用いて画像の補正処理を行う補正部とを備えたものである。
　本開示の一実施の形態の画像処理方法は、互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得し、取得された補正係数を用いて画像の補正処理を行うものである。
　本開示の一実施の形態の撮像素子は、複数の画素を含む画素部と、画素部から得られた画像に対して信号処理を施す信号処理部とを備えたものである。信号処理部は、互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得する取得部と、取得部により取得された補正係数を用いて画像の補正処理を行う補正部とを備える。
　本開示の一実施の形態の画像処理装置、画像処理方法および撮像素子では、互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数が取得され、取得された補正係数を用いて画像の補正処理が行われる。これにより、画素の位置座標に応じて最適化された補正係数を用いて補正を行うことができる。
　本開示の一実施の形態の画像処理装置、画像処理方法および撮像素子では、互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数が取得され、取得された補正係数を用いて画像の補正処理が行われる。これにより、最適化された補正係数を用いて、レンズの製造誤差等に起因して解像度のばらつきが生じた場合にも、十分な補正効果を得ることができる。よって、レンズの解像度にばらつきが生じた場合にも、画質劣化を抑制することが可能となる。
　尚、上記内容は本開示の一例である。本開示の効果は、上述したものに限らず、他の異なる効果であってもよいし、更に他の効果を含んでいてもよい。
本開示の一実施の形態に係る撮像素子の機能構成を表す図である。 画素部と信号処理部との配置関係を説明するための模式図である。 補正対象画素（Ｇ画素）の一例を表す模式図である。 図３Ａに示した補正対象画素の補正係数の一例を表す模式図である。 補正対象画素（Ｒ画素）の一例を表す模式図である。 図４Ａに示した補正対象画素の補正係数の一例を表す模式図である。 補正対象画素（Ｂ画素）の一例を表す模式図である。 図５Ａに示した補正対象画素の補正係数の一例を表す模式図である。 補正係数と像高および有効画素領域との対応を表す模式図である。 像高位置の設定について説明するためのＭＴＦデータを表す特性図である。 図７に示したＭＴＦデータを説明するための模式図である。 補正係数ブレンド処理（補間処理）の一例を説明するための模式図である。 画素値補正後にフレンド処理を行う場合の機能構成例を表す図である。 変形例１に係る補正係数と像高および有効画素領域との対応を表す模式図である。 変形例２に係る補正係数算出および信号処理のフローを表す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下、本開示を実施するための形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態
　・構成：撮像素子の構成、信号処理部（画像処理装置）の構成、補正係数について
　・作用、効果
２．変形例１，２
３．応用例（移動体制御システムの例）
＜実施の形態＞
［構成］
　図１は、本開示の一実施の形態に係る撮像素子（撮像素子１）の機能構成をレンズ（レンズ３０）と共に表したものである。この撮像素子１は、例えばＣＣＤ（Charge Coupled Device Image Sensor）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等のイメージセンサであり、例えばスチルカメラまたはビデオカメラ等に適用されるものである。撮像素子１は、例えばレンズ３０の通過光線Ｌを受光する画素部１０と、画素部１０から出力された画像信号（撮像信号Ｄ０）に対して画像の補正処理を含む各種の信号処理を行う信号処理部２０とを備える。尚、撮像素子１は、この他にも、図示はしないが、画素部および信号処理部の各部を駆動制御する制御部とメモリーとを備えている。
　画素部１０は、例えば有効画素領域に２次元配置された、複数の画素、例えばＲ（赤），Ｇ（緑），Ｂ（青）の３原色の画素（サブ画素）を含むものである。Ｒ，Ｇ，Ｂの各画素は、例えばベイヤー配列等からなるＲＧＢ配列１０ａを有している。具体的には、画素部１０には、ＲＧＢ配列１０ａを有するカラーフィルタが設けられている。尚、本実施の形態では、画素部１０がＲＧＢ配列１０ａを有する場合について説明するが、本開示は、ＲＧＢ以外の配列、例えばＲ，Ｇ，Ｂ，Ｗ（白）からなるＲＧＢＷ配列を有する構成に対しても適用できる。あるいは、画素部１０は、例えば、Ｙ（イエロー）、Ｃ（シアン）、Ｍ（マゼンタ）等の配列を有していてもよい。ここで例示した配列以外の他の色配列に対しても本開示を適用することができる。
上記構成により、画素部１０では、レンズ３０を介してＲＧＢいずれかの色光が画素単位で受光され、光電変換により受光信号強度に対応する電気信号が生成される。これにより、画素部１０によってＲＧＢ３種類の分光から成るモザイク画像が得られる。
　この画素部１０と信号処理部２０とは、例えば図２に模式的に示したように、積層されている。具体的には、撮像素子１は、画素部１０が形成された基板１Ａと、信号処理部２０が形成された基板２Ａとが上下に積層された（貼り合わされた）構造（いわゆる積層型の素子構造）を有している。尚、本実施の形態の「信号処理部２０」が、本開示の「画像処理装置」の一具体例に相当する。また、本開示の「画像処理方法」は、画像処理装置（信号処理部２０）の構成および動作により具現化されるものであるので、その説明を省略する。
なお、本実施の形態では、信号処理部２０が撮像素子１内に具備された構成を例に挙げて説明するが、本開示の画像処理装置は、このような撮像素子１に適用される場合に限らず、レンズ３０や画素部１０を持たない装置、例えばパーソナルコンピュータ（ＰＣ）などであってもよい。この場合、図１に示した信号処理部２０の構成に加え、撮像データが入力されるインターフェース部と、入力された撮像データが記憶されるメモリーとを更に有する構成となる。
（信号処理部２０の構成）
信号処理部２０は、例えば位置座標算出部２１（距離算出部２１Ａおよび角度算出部２１Ｂ）と、補正係数取得部２２と、像高間係数算出部２３Ａと、象限間係数算出部２３Ｂと、補正係数ブレンド処理部２４と、レンズ収差補正処理部２５と、ラインメモリ２６と、エッジ検出部２７と、エッジ・平坦部ブレンド処理部２８と、ＲＧＢ信号処理部２９とを備える。尚、本実施の形態の補正係数取得部２２は、本開示の「取得部」の一具体例に相当し、補正係数ブレンド処理部２４およびレンズ収差補正処理部２５が、本開示の「補正部」の一具体例に相当する。また、補正係数ブレンド処理部２４が本開示の「補正係数算出部」の一具体例、レンズ収差補正処理部２５が本開示の「補正処理部」の一具体例にそれぞれ相当する。
　位置座標算出部２１は、例えば距離算出部２１Ａおよび角度算出部２１Ｂを含んで構成され、画素部１０の各画素の画素値に対応付けられた各画素の座標位置を示すｘｙアドレスに基づいて、補正対象画素（以下、画素Ｐｔと称する）の位置座標を検出するものである。距離算出部２１Ａは、画素Ｐｔの距離（光学中心からの距離ｒ、像高に対応する距離）を算出するものである。算出された距離ｒに関する情報は、補正係数取得部２２と像高間係数算出部２３Ａとにそれぞれ供給される。角度算出部２１Ｂは、画素Ｐｔの画像領域内での象限位置（角度ｄ）を算出するものである。算出された角度ｄに関する情報は、補正係数取得部２２と象限間係数算出部２３Ｂとにそれぞれ供給される。
　補正係数取得部２２は、位置座標算出部２１により算出された画素Ｐｔの位置座標（距離ｒ，角度ｄ）に応じて、複数の補正係数（Ｆｒ，Ｆｇ，Ｆｂ）の中から、２以上の補正係数（補正係数群Ｆgrp）を選択（取得）するものである。補正係数Ｆｒ，Ｆｇ，Ｆｂはそれぞれ、例えば複数のフィルタ係数から構成されている。取得された補正係数群Ｆgrpに関する情報は、補正係数ブレンド処理部２４に供給される。補正係数Ｆｒ，Ｆｇ，Ｆｂは、それぞれＲ，Ｇ，Ｂの色毎に設定されたものであり、予め撮像素子１内に保持されていてもよいし、または外部から入力されてもよい。これらの補正係数Ｆｒ，Ｆｇ，Ｆｂの詳細については後述する。
　像高間係数算出部２３Ａは、距離算出部２１Ａにより算出された距離ｒに基づいて、像高間のブレンド処理（補間処理）で使用する係数（Ａｒ）を算出するものである。算出された係数Ａｒに関する情報は、補正係数ブレンド処理部２４に供給される。
　象限間係数算出部２３Ｂは、角度算出部２１Ｂにより算出された角度ｄに基づいて、象限間のブレンド処理（補間処理）で使用する係数（Ａｄ）を算出するものである。算出された係数Ａｄに関する情報は、補正係数ブレンド処理部２４に供給される。
　補正係数ブレンド処理部２４は、補正係数取得部２２により取得された補正係数群Ｆgrpを用いて、画素Ｐｔの補正係数（補正係数Ｆ１）を生成する処理を行うものである。換言すると、補正係数Ｆｒ，Ｆｇ，Ｆｂの対応づけられていない位置（像点）の画素Ｐｔに対する補正係数Ｆ１を補間によって生成する処理部である。具体的には、補正係数群Ｆgrpを構成する各補正係数と、像高間係数算出部２３Ａにより算出された係数Ａｒと、象限間係数算出部２３Ｂにより算出された係数Ａｄとを用いた補間処理（ブレンド処理）により、画素Ｐｔの補正係数Ｆ１を算出する。補正係数Ｆ１は、ＲＧＢの色毎に算出される。算出された補正係数Ｆ１に関する情報は、レンズ収差補正処理部２５に供給される。
レンズ収差補正処理部２５は、ラインメモリ２６から入力された各色の信号（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）に対して補正係数Ｆ１（詳細には、色毎の補正係数Ｆ１ｒ，Ｆ１ｇ，Ｆ１ｂ）を用いた補正処理を行い、補正処理後の画像信号Ｄ１（Ｒｄ，Ｇｄ，Ｂｄ）を算出するものである。算出された画像信号Ｄ１は、エッジ・平坦部ブレンド処理部２８に供給される。このレンズ収差補正処理部２５は、例えば画像のぼけを補正する処理、特に画素Ｐｔの位置座標（像高および象限位置）に依存する収差ばらつきを考慮した補正処理を行うことが可能である。
　ラインメモリ２６は、画素部１０から出力された画素信号を一時的に保持するものである。このラインメモリ２６は、例えば、画素部１０の水平７ライン分の画素値を記憶し、７つの水平ラインデータを並列に順次出力するように構成されている。出力先は、レンズ収差補正処理部２５、エッジ検出部２７、およびエッジ・平坦部ブレンド処理部２８である。これらの各処理部に対して、ＲＧＢ配列１０ａを有する撮像データが７ライン単位で出力される。
　尚、ラインメモリ２６は、ここでは、７ライン単位で出力するものとして説明するが、これは、特に限定されないが、後述する補正係数（フィルタ）が、例えば７×７の画素に対応したものである場合の一例である。このため、補正係数が７×７画素以外の画素数に対応するものである場合には、ラインメモリ２６は、その補正係数の画素数に応じたライン数単位で記憶および出力が可能な構成とされるとよい。
　エッジ検出部２７は、ラインメモリ２６からの出力信号に基づいて、画像におけるエッジに関する情報（例えばエッジ方向とエッジ強度とを含む）を生成してエッジ・平坦部ブレンド処理部２８に出力する。具体的には、例えば、処理対象画素（７×７画素のうちの中心画素）を基準として７×７画素の画素情報から算出される平坦度（Weightflat）を算出してエッジ・平坦部ブレンド処理部２８に出力する。なお、この平坦度算出処理としては、例えば、特開２０１１－５５０３８号公報に記載された処理と同様の処理を用いることができる。
　エッジ・平坦部ブレンド処理部２８は、ラインメモリ２６からの入力信号中のＲＧＢ信号（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）と、エッジ検出部２７から出力されるエッジ情報と、レンズ収差補正処理部２５から出力される画像信号Ｄ１（Ｒｄ，Ｇｄ，Ｂｄ）とを用いて、エッジ情報を考慮した補正処理後の画像信号Ｄ２を生成してＲＧＢ信号処理部２９に出力する。具体的には、エッジ・平坦部ブレンド処理部２８は、エッジ検出部２７により算出されたエッジ情報（例えば７×７画素の画素情報から算出される平坦度）に応じて、レンズ収差補正処理部２５から出力される補正処理後の画像信号Ｄ１（Ｒｄ，Ｇｄ，Ｂｄ）の加重平均処理を実行して、ＲＧＢ配列１０ａのＲＧＢ各画素値を算出する。具体的には、以下の３式に従ってＲＧＢ画素値を決定する。
Ｒ＝（Weightflat）×（Ｒｄ）＋（１－Weightflat）×Ｒｉｎ
Ｇ＝（Weightflat）×（Ｇｄ）＋（１－Weightflat）×Ｇｉｎ
Ｂ＝（Weightflat）×（Ｂｄ）＋（１－Weightflat）×Ｂｉｎ
　この式の算出結果として得られるＲ、Ｇ、Ｂの各色信号がＲＧＢ信号処理部２９に出力される。ＲＧＢ信号処理部２９は、ＲＧＢ配列（ベイヤー配列）１１ａの信号に対する信号処理として、エッジ・平坦部ブレンド処理部２８から出力されるＲＧＢ配列１１ａの信号に対する信号処理を実行してカラー画像を生成する。ＲＧＢ信号処理部２９は、例えば、ホワイトバランス調整処理、デモザイク処理、シェーディング処理、ＲＧＢカラーマトリクス処理およびガンマ補正処理などを実行してカラー画像を生成する。
　ＲＧＢ信号処理部２９により生成されたカラー画像についての画像信号Ｄoutは、外部へ出力されるか、装置内部のメモリーに記録される。
　図示しない制御部は、上記の各処理部における一連の処理の制御を実行するものである。例えば、一連の処理を実行させるプログラムが図示しないメモリーに格納されており、制御部は、そのメモリーから読み出したプログラムを実行して一連の処理を制御する。なお、メモリーは、例えば磁気ディスク、光ディスク、フラッシュメモリ等の各種記録媒体によって構成可能である。
（補正係数について）
　補正係数Ｆｒ，Ｆｇ，Ｆｂは、レンズ収差補正フィルタ係数として、予め保持されているか、外部から入力されるものである。これらの補正係数Ｆｒ，Ｆｇ，Ｆｂは、例えば、ウィナー（Wiener）フィルタを用いて算出することができる。このウィナーフィルタについて簡単に説明する。以下では、ぼけのない理想画像（原画像Ａ１）と、ぼけのある撮影画像（撮影画像Ａ２）と、撮影画像に対するフィルタ補正処理によって復元される復元画像（復元画像Ａ３）との３つの画像を想定して、説明する。
　上記３つの画像のうち、原画像Ａ１および復元画像Ａ３の２つの画像の二乗誤差を最小とするフィルタが、最小二乗フィルタ、またはウィナーフィルタと呼ばれる。ここで、原画像Ａ１をｆ（ｘ，ｙ）、撮影画像Ａ２をｇ（ｘ，ｙ）、レンズ収差や手ぶれによる劣化関数をｈ（ｘ，ｙ）、ノイズ成分を、ｎ（ｘ，ｙ）とすると、以下の式（１）が成り立つ。尚、（ｘ，ｙ）は各画像の画素位置であり、ｆ（ｘ，ｙ）～ｎ（ｘ，ｙ）は各画像の座標位置（ｘ，ｙ）の画素値を示す場合もある。また、レンズ収差や手ぶれによる劣化関数ｈ（ｘ，ｙ）は、固定値であると仮定する。
Figure JPOXMLDOC01-appb-M000001
上記の式（１）の両辺をフーリエ変換すると、以下の式（２）が得られる。但し、Ｇ（ｕ，ｖ），Ｈ（ｕ，ｖ），Ｆ（ｕ，ｖ），Ｎ（ｕ，ｖ）はそれぞれ、ｇ（ｘ，ｙ），ｈ（ｘ，ｙ），ｆ（ｘ，ｙ），ｎ（ｘ，ｙ）のフーリエ変換を表す。
　 Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）×Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） ………（２）
　レンズ収差や手ぶれによる劣化関数に零点がなく、ノイズ成分が既知であるとすると、上記の式（２）からＦ（ｕ，ｖ）は、以下の式（３）のように表すことができる。
Figure JPOXMLDOC01-appb-M000002
　しかしながら、一般にノイズ成分は未知であるため、上記式（３）を厳密に解くことはできない。そこで、原画像Ａ１および復元画像Ａ３の誤差を最小とする以下の式（４）のウィナーフィルタＫ（ｕ，ｖ）を用いて補正が行われる。尚、（Ｓｎ（ｕ，ｖ）／Ｓｆ（ｕ，ｖ））は、原画像Ａ１と、ノイズ成分とのパワースペクトル密度に対応するものである。
Figure JPOXMLDOC01-appb-M000003
　この式（４）で表されるウィナーフィルタを逆フーリエ変換したもの（ｋ（ｘ，ｙ））と、撮影画像Ａ２とを実空間で畳み込むことで、以下の式（５）に示したように、補正がなされた復元画像Ａ３のｆ'（ｘ，ｙ）を得ることができる。
Figure JPOXMLDOC01-appb-M000004
　上記の式（５）に対応するウィナーフィルタの一例を、図３Ａおよび図３Ｂに示す。図３Ａは、撮影画像におけるＧ画素を中心とする７×７画素について示し、図３Ｂは、図３Ａの画素領域の中心のＧ画素を補正対象画素Ｐｔ（画素Ｐｇｔ）とするウィナーフィルタの一例を示したものである。
　ここで、撮影画像は、ＲＧＢ画素からなるＲＡＷ画像である。補正対象画素Ｐｇｔは、図３Ａに示した７×７画素の中心のＧ画素である。図３Ｂに示したウィナーフィルタは、７×７画素に含まれる複数のＧ画素の各々に対する乗算係数を示したものである。７×７画素に含まれるＧ画素の画素値に各係数を乗算して加算する畳み込み演算を実行することで、中心のＧ画素の補正画素値が算出される。具体的には、以下の式（６）によりＧ画素の画素値を補正することができる。
Figure JPOXMLDOC01-appb-M000005
　同様に、図４Ａは、撮影画像におけるＲ画素を中心とする７×７の画素領域について示し、図４Ｂは、図４Ａの画素領域の中心のＲ画素を補正対象画素Ｐｔ（画素Ｐｒｔ）とするウィナーフィルタの一例を示したものである。図５Ａは、撮影画像におけるＢ画素を中心とする７×７の画素領域について示し、図５Ｂは、図５Ａの画素領域の中心のＢ画素を補正対象画素Ｐｔ（画素Ｐｂｔ）とするウィナーフィルタの一例を示したものである。上記のＧ画素の場合と同様にしてＲ画素およびＢ画素のそれぞれにおいて補正値が算出される。
　この補正係数を算出する際は、レンズＰＳＦ（Point Spread Function：点拡がり関数）データあるいはＭＴＦ（Modulation Transfer Function）データが用いられる。レンズ３０の特性に応じて算出された補正係数が、補正係数Ｆｒ，Ｆｇ，Ｆｂとして予め保持されているか、または外部より入力される。
（補正係数の詳細構成例）
　本実施の形態では、補正係数Ｆｒ，Ｆｇ，Ｆｂのそれぞれが、互いに交差する第１軸および第２軸のそれぞれに、複数対応づけられている（設定されている）。以下では、代表してＧ画素補正用の補正係数Ｆｇを用いて説明する。補正係数Ｆｇは、１つのレンズ３０に対して複数設定されている。図６にその一例を示す。尚、図６には、補正係数の一例として、７×７画素に対応する補正フィルタを図示している。
　補正係数Ｆｇは、例えば互いに直交するＸ軸およびＹ軸のそれぞれに複数対応づけられている。Ｘ軸上の正の方向には、例えば４つの補正係数ｆ１１～ｆ１４（係数列ｑ１）が設定され、Ｘ軸上の負の方向には、例えば４つの補正係数ｆ３１～ｆ３４（係数列ｑ３）が設定されている。Ｙ軸上の正の方向には、例えば４つの補正係数ｆ２１～ｆ２４（係数列ｑ２）が設定され、Ｙ軸上の負の方向には、例えば４つの補正係数ｆ４１～ｆ４４（係数列ｑ４）が設定されている。尚、Ｘ軸（第１軸）およびＹ軸（第２軸）は、光軸（光学中心）において交差（ここでは直交）する。この光学中心（像高が０である点）には、補正係数ｆ０が設定されている。
　補正係数ｆ１１は、係数列ｑ１のうち、例えば最も光軸寄りの（光軸に近い）像高ｉｈ１（像高ｉｈ１の位置にある像点）に設定されている。補正係数ｆ１２は、係数列ｑ１のうち、像高ｉｈ１の隣の（１つ外側の）像高ｉｈ２に設定されている。補正係数ｆ１３は、係数列ｑ１のうち、像高ｉｈ２の隣の（１つ外側の）像高ｉｈ３に設定されている。補正係数ｆ１４は、係数列ｑ１のうち、像高ｉｈ３の隣の（１つ外側の）像高ｉｈ４に設定されている。
　同様に、補正係数ｆ２１は、係数列ｑ２のうち像高ｉｈ１に設定されている。補正係数ｆ２２は、係数列ｑ２のうち像高ｉｈ２に設定されている。補正係数ｆ２３は、係数列ｑ２のうち像高ｉｈ３に設定されている。補正係数ｆ２４は、係数列ｑ２のうち像高ｉｈ４に設定されている。また、補正係数ｆ３１は、係数列ｑ３のうち像高ｉｈ１に設定されている。補正係数ｆ３２は、係数列ｑ３のうち像高ｉｈ２に設定されている。補正係数ｆ３３は、係数列ｑ３のうち像高ｉｈ３に設定されている。補正係数ｆ３４は、係数列ｑ３のうち像高ｉｈ４に設定されている。また、補正係数ｆ４１は、係数列ｑ４のうち像高ｉｈ１に設定されている。補正係数ｆ４２は、係数列ｑ４のうち像高ｉｈ２に設定されている。補正係数ｆ４３は、係数列ｑ４のうち像高ｉｈ３に設定されている。補正係数ｆ４４は、係数列ｑ４のうち像高ｉｈ４に設定されている。
　尚、ここでは、一例として、像高ｉｈ４が、レンズ３０のイメージサークル（最外端）に相当する場合を例に挙げて説明する。
　このように本実施の形態では、補正係数Ｆｇが、複数の像高毎および複数の角度（Ｘ軸およびＹ軸上の列）毎に、複数設定されている。図６に示した例では、４つの像高と、４つの角度方向とのそれぞれの位置座標において、複数の補正係数Ｆｇ（具体的には、補正係数ｆ１１～ｆ１４，ｆ２１～ｆ２４，ｆ３１～３４，ｆ４１～ｆ４４）が設定されている。これらの補正係数Ｆｇは、上述したようなウィナーフィルタを用いた手法により算出することができる。本実施の形態では、このように２軸上に対応づけられた複数の補正係数Ｆｇの中から２以上の補正係数（補正係数群Ｆgrp）が、画素Ｐｔの位置座標に応じて取得されるようになっている。
　補正係数Ｆｒ，Ｆｂについても同様で、２軸（第１軸，第２軸）上のそれぞれに複数対応づけられている。尚、Ｒ，Ｇ，Ｂ毎に、交差する２軸上に複数の補正係数が対応づけられていればよく、これら２つの軸は必ずしも直交していなくともよい（斜交していてもよい）。例えば、有効画素領域３０１の対角線に沿って２軸が配置されていてもよい。
　尚、これらの補正係数Ｆｒ，Ｆｇ，Ｆｂは、例えば、レンズ３０の製造過程もしくはカメラモジュールの製造過程において算出され、レンズ３０と関連付けられて保持される。例えば、レンズ３０がカメラの本体に対して着脱可能である場合、レンズ３０の筐体部分にメモリーなどの保持機能が備えられており、その保持機能により補正係数の情報が保持される。この場合には、補正係数Ｆｒ，Ｆｇ，Ｆｂは、信号処理部２０の外部のレンズ３０側から供給される。あるいは、レンズ３０がカメラと一体型の場合には、信号処理部２０に予め補正係数Ｆｒ，Ｆｇ，Ｆｂが保持されていてもよい。このように、補正係数は、レンズ３０毎に算出され、信号処理部２０に予め保持されるか、または外部より入力される。
（像高の設定）
　上述のように、１つのレンズ３０に対して、選択的な数の像高（図６では４つの像高ｉｈ１～ｉｈ４）において補正係数が算出されるが、この像高の数を増やす、換言すれば、像高の間隔を狭めることで、補正係数を用いた補正精度は向上する。しかしながら、保持すべき補正係数が多くなり、メモリー容量が大きくなる。このため、像高の数は、補正精度とメモリー容量との兼ね合いから設定されることが望ましい。像高間の領域は、後述するように補間によって算出することが可能である。
　設定される像高の間隔は、等間隔とすることが可能であり、また、その間隔は、レンズ特性によらず一定としても良い。あるいは、等間隔とせずに、図７および図８に示したように、特徴がある像高（像高０～４）を検出してもよい。これにより、効果的に補正係数の数を削減することができる。尚、図７および図８は、像高に対するＭＴＦデータを示す図である。図８には、イメージサークル３０３と、有効画素領域３０１とについても示している。このように、ＭＴＦデータは、像高により変化する。そこで、変化の度合いが相対的に大きい像点における像高を選択し、選択した像高において補正係数を算出する。
　詳細には、像高０は、レンズの中心位置として選択される。像高２は、ＭＴＦデータが落ち込む点における像高であるため、選択される。像高１は、像高０と像高２の間隔が離れているため、その略中央の像高として選択される。像高３は、像高２で一旦下がったＭＴＦデータが再度上がり、そして再度下がる転換点なので、選択される。像高４は、レンズの端部として選択される。例えば、これらの像高０～４に相当するレンズ３０上の複数箇所から、ＭＴＦデータもしくはＰＳＦデータが取得され、上記したような処理により補正係数を算出するとよい。
　このように、補正係数が算出される像高は、ＭＴＦデータにおいて変曲点となる像点における像高が選択されるとよい。また、レンズ中心や端なども、レンズ内では特徴的な位置であるため、その位置の像高も選択されるとよい。更に、特徴点となる像高の数が少ない場合や、選択された像高の間隔が広い場合等には、適切な間隔になるように像高を追加してもよい。
　像高に対するＭＴＦデータは、レンズにより異なる可能性がある。よって、レンズ毎に、データが取得され、像高が選択され、レンズ収差補正フィルタ係数が算出されることが望ましい。レンズ毎に異なる特性に対応したレンズ収差補正フィルタ係数を算出できるようになり、補正処理をより精度良く行えるようになる。
［作用、効果］
　上記の撮像素子１では、レンズ３０を通過した光線が画素部１０に入射することで、光電変換によって画素毎に画素信号が得られる。このとき、画素部１０では、撮像信号Ｄ０として、ＲＧＢ配列１０ａに対応したＲ，Ｇ，ＢのカラーのＲＡＷデータが取得される。得られた撮像信号Ｄ０は、信号処理部２０へ出力される。
　信号処理部２０は、入力された撮像信号Ｄ０に基づいて、画像の補正処理を行う。具体的には、まず、位置座標算出部２１が、画素部１０の各画素の画素値に対応付けられた各画素の座標位置を示すｘｙアドレスに基づいて、補正対象の画素Ｐｔの位置座標を検出する。詳細には、距離算出部２１Ａが、画素Ｐｔの距離ｒを算出する。算出された距離ｒに関する情報は、補正係数取得部２２と像高間係数算出部２３Ａとのそれぞれに出力される。また、角度算出部２１Ｂが、画素Ｐｔの画像領域内での象限位置（角度ｄ）を算出する。算出された角度ｄに関する情報は、補正係数取得部２２と象限間係数算出部２３Ｂとにそれぞれ出力される。
　補正係数取得部２２は、入力された画素Ｐｔの位置座標（距離ｒ，角度ｄ）に応じて、複数の補正係数（ここでは補正係数Ｆｇを例に挙げる）の中から、２以上の補正係数（補正係数群Ｆgrp）を選択（取得）する。取得された補正係数群Ｆgrpに関する情報は、補正係数ブレンド処理部２４に供給される。
　像高間係数算出部２３Ａは、入力された距離ｒに基づいて、像高間のブレンド処理（補間処理）で使用する係数Ａｒを算出する。算出された係数Ａｒに関する情報は、補正係数ブレンド処理部２４に出力される。象限間係数算出部２３Ｂは、入力された角度ｄに基づいて、象限間のブレンド処理（補間処理）で使用する係数Ａｄを算出する。算出された係数Ａｄに関する情報は、補正係数ブレンド処理部２４に出力される。
　補正係数ブレンド処理部２４は、入力された補正係数群Ｆgrpを用いて、画素Ｐｔの補正係数Ｆ１を補間処理により生成する。具体的には、補正係数群Ｆgrpを構成する各補正係数と、係数Ａｒ，Ａｄとを用いた補間処理（ブレンド処理）により、画素Ｐｔの補正係数Ｆ１（第１の補正係数）を算出する。
　図９に、補正係数のブレンド処理の一例を示す。このようにＸＹ面内において、角度間（象限間，軸間）、および像高間のそれぞれにおいて補間処理を行う。具体的には、２以上の補正係数Ｆｇを含む補正係数群Ｆgrpと係数Ａｒ，Ａｄとを用いた補間処理により、７×７画素の中心の画素Ｐｔの補正係数Ｆ１を算出する。尚、像高ｉｈnは、例えば図６に示した像高ｉｈ１～ｉｈ４のうちのいずれかの像高（像高位置）に対応し、像高ｉｈn+1は、像高ｉｈnの１つ外側の像高に対応している。また、ここでは、画素Ｐｔは、ＸＹ面内における第１象限に位置するＧ画素として説明する。
　この例では、補正係数取得部２２により、複数の補正係数Ｆｇ（図６に示した補正係数ｆ１１～ｆ１４，ｆ２１～ｆ２４，ｆ３１～３４，ｆ４１～ｆ４４）の中から、画素Ｐｔの位置座標（距離ｒ，角度ｄ）に応じて、適当な２以上の補正係数Ｆｇ（補正係数群Ｆgrp）が選択（取得）される。補正係数群Ｆgrpは、例えばＸ軸上の正方向に設定された２つの補正係数Ｆ０n，Ｆ０n+1（図６に示した係数列ｑ１のうちのいずれか２つの補正係数）と、例えばＹ軸上の正方向に設定された２つの補正係数Ｆ９０n，Ｆ９０n+1（図６に示した係数列ｑ２のうちのいずれか２つの補正係数）とを含んでいる。
　これらの補正係数Ｆ０n，Ｆ０n+1，Ｆ９０n，Ｆ９０n+1のうち、例えば像高ｉｈn上に対応づけられた補正係数Ｆ０n，Ｆ９０nと、角度ｄに基づいて算出された係数Ａｄ（０≦Ａｄ＜１)を用いて、線形演算により以下の式（６）から、補正係数のブレンド処理を行う。これにより、像高ｉｈn上において象限間（軸間）のブレンド処理がなされ、補正係数Ｆ２（第２の補正係数）が算出される。
　　Ｆ２＝（１－Ａｄ）×Ｆ０n＋Ａｄ×Ｆ９０n　………（６）
　同様に、像高ｉｈn+1上に対応づけられた補正係数Ｆ０n+1，Ｆ９０n+1と、角度ｄに基づいて算出された係数Ａｄ（０≦Ａｄ＜１)を用いて、線形演算により以下の式（７）から補正係数のブレンド処理を行う。これにより、像高ｉｈn+1上において象限間（軸間）のブレンド処理がなされ、補正係数Ｆ３（第３の補正係数）が算出される。
　　Ｆ３＝（１－Ａｄ）・Ｆ０n+1＋Ａｄ×Ｆ９０n+1　………（７）
　続いて、これらの補正係数Ｆ２，Ｆ３を、距離ｒ（光学中心からの距離）に基づいて算出された係数Ａｒ（０≦Ａｒ＜１)を用いて、線形演算により以下の式（８）から、補正係数のブレンド処理を行う。これにより、像高間のブレンド処理がなされ、距離ｒ，角度ｄの位置の画素Ｐｔの補正係数Ｆ１が算出される。即ち、画素Ｐｔの補正係数が最適化される。
　　Ｆ１＝（１－Ａｒ）×Ｆ２＋Ａｄ×Ｆ３　………（８）
　上記のような補間処理（ブレンド処理）によって算出された補正係数Ｆ１についての情報は、レンズ収差補正処理部２５に出力される。
　レンズ収差補正処理部２５は、ラインメモリ２６から入力された各色の信号（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）に対して、上記の補正係数Ｆ１を用いて画素Ｐｔにおける画素値に対して補正処理（一例として、レンズ収差補正処理）を施す。具体的には、補正係数Ｆ１が７×７画素に対応するものである場合、それらの７×７画素に対して乗算して加算をする演算処理を実行して、その中心の画素Ｐｔの画素値を補正する。距離ｒの位置の画素Ｐｔの画素値をＰｒとすると、レンズ収差補正後の画素値Ｐｒ１は、以下の式（９）で算出される。
Figure JPOXMLDOC01-appb-M000006
　このようにして、画素Ｐｔの画素値を補正する。同様にして、Ｒ画素およびＢ画素に対しても、象限間および像高間で補正係数のブレンド処理を行って補正係数Ｆ１を算出した後、その補正係数Ｆ１を用いた補正処理（レンズ収差補正処理）を行う。
　尚、本実施の形態では、象限間および像高間の補正係数をブレンド処理した（補間した）後、画素値に対して補正処理を行っているが、ブレンド処理（補間処理）は、画素値の補正後に行ってもよい。その場合の機能ブロック構成を図１０に示す。即ち、レンズ収差補正処理部２５ａが、２軸上に対応づけられた複数の補正係数を用いて補正対象である画素Ｐｔの画素値を補正する。この後、ブレンド処理部２６ａが、補正後の画素値に基づいて、象限間および像高間での補間処理を行ってもよい。また、ブレンド処理と補正処理との各処理を行う順番を、補正係数のデータ量に応じて決定するようにしてもよい。
　これにより、画像の補正処理、特に画素Ｐｔの位置座標（像高および象限位置）に依存する収差ばらつきを考慮した補正処理を行うことが可能である。レンズ収差補正処理部２５による補正処理後の画像信号Ｄ１（Ｒｄ，Ｇｄ，Ｂｄ）は、エッジ・平坦部ブレンド処理部２８に出力される。
　エッジ・平坦部ブレンド処理部２８は、ラインメモリ２６から入力されたＲＧＢ信号（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）と、エッジ検出部２７から入力されたエッジ情報と、レンズ収差補正処理部２５から入力された画像信号Ｄ１（Ｒｄ，Ｇｄ，Ｂｄ）とを用いて、エッジ情報を考慮した補正処理後の画像信号Ｄ２を生成する。具体的には、エッジ・平坦部ブレンド処理部２８は、エッジ検出部２７により算出されたエッジ情報（例えば７×７画素の画素情報から算出される平坦度）に応じて、レンズ収差補正処理部２５から出力される補正処理後の画像信号Ｄ１（Ｒｄ，Ｇｄ，Ｂｄ）の加重平均処理を実行して、ＲＧＢ配列１０ａにおけるＲＧＢの各画素値を算出する。具体的には、以下の３式に従ってＲＧＢ画素値を決定する。
Ｒ＝（Weightflat）×（Ｒｄ）＋（１－Weightflat）×Ｒｉｎ
Ｇ＝（Weightflat）×（Ｇｄ）＋（１－Weightflat）×Ｇｉｎ
Ｂ＝（Weightflat）×（Ｂｄ）＋（１－Weightflat）×Ｂｉｎ
　この式の算出結果として得られるＲ、Ｇ、Ｂの各色信号がＲＧＢ信号処理部２９に出力される。生成された画像信号Ｄ２は、ＲＧＢ信号処理部２９に出力される。
　ＲＧＢ信号処理部２９は、入力されたＲＧＢ配列（ベイヤー配列）信号に対する信号処理、例えば、ホワイトバランス調整処理、デモザイク処理、シェーディング処理、ＲＧＢカラーマトリクス処理およびガンマ補正処理などを実行してカラー画像を生成する。生成されたカラー画像についての画像信号Ｄoutは、外部へ出力されるか、装置内部のメモリーに記録される。
　上記のように本実施の形態では、互いに交差する第１軸および第２軸（Ｘ軸，Ｙ軸）のそれぞれに対応づけられた複数の補正係数の中から、補正対象の画素Ｐｔの位置座標（距離ｒ，角度ｄ）に応じて２以上の補正係数が取得され、取得された補正係数を用いて画像の補正処理が行われる。これにより、画素Ｐｔの位置座標に応じて補正係数を最適化することができる。
　ここで、レンズ３０の通過光線に基づく撮影画像では、発生するぼけが、レンズ３０の特性等に応じて異なるものである。例えば、像高（光学中心からの距離）が大きくなるほど、レンズの収差に起因した画像のぼけが大きくなる。また、レンズの製造誤差等に起因して、レンズの像高に限らず、光軸に直交するＸＹ面内の領域（象限）毎に収差にばらつきが生じ、解像度にばらつきが発生する。
　このように、同一像高に位置する像点であっても、レンズ３０のぼけ具合は異なっており、等方的ではないことが多い。これは、例えば、レンズの製造誤差等に起因する。レンズ３０の解像度にばらつきがある場合、補正処理を行っても、画素位置によって補正が足りない箇所あるいは過補正となる箇所が生じ、画質劣化につながる。
　これに対し本実施の形態では、レンズ３０のぼけ具合が等方的ではない場合、特にレンズ３０の上下方向または左右方向の片側のみにぼけが生じる場合（いわゆる片ぼけが生じた場合）に、特に有効な信号処理を実現する。
　以上のように本実施の形態の撮像素子１では、互いに交差する第１軸および第２軸（Ｘ軸，Ｙ軸）のそれぞれに対応づけられた複数の補正係数の中から、補正対象の画素Ｐｔの位置座標（距離ｒ，角度ｄ）に応じて２以上の補正係数が取得され、取得された補正係数を用いて画像の補正処理が行われる。これにより、補正係数を最適化して、レンズの製造誤差等に起因して解像度のばらつきが生じた場合にも、十分な補正効果を得ることができる。よって、レンズの解像度にばらつきが生じた場合にも、画質劣化を抑制することが可能となる。
　また、特にレンズ３０の解像度が高い領域において、画素値が過補正されることを抑制でき、画質劣化の抑制に有利となる。更に、カメラモジュールの製造歩留まりを向上させることができる。加えて、撮像素子１の内部でレンズ３０の解像度ばらつきを考慮した補正処理がなされることから、ユーザによる調整作業も不要となる。
　次に、上記実施の形態の変形例について説明する。以下では、上記実施の形態と同様の構成要素については同一の符号を付し、その説明を省略する。
＜変形例１＞
　図１１は、変形例１に係る補正係数（Ｆｇ，Ｆｒ，Ｆｂのいずれか）と、像高および有効画素領域との対応を表す模式図である。上記実施の形態では、図６に示したように、Ｘ軸上およびＹ軸上に沿って係数列ｑ１～ｑ４が配置された構成を例示したが、本変形例のように、係数列ｑ１～ｑ４は、Ｘ軸およびＹ軸からそれぞれ反時計まわりに４５°回転した２軸に対応づけられていてもよい。この場合、レンズの片ぼけが斜め方向にそって発生している場合に有効となる。尚、軸の回転角度は、４５°に限らず、レンズの片ぼけの発生領域に応じて０°から９０°までの範囲で設定することが可能である。
＜変形例２＞
　図１２は、変形例２に係る補正係数算出および信号処理のフローを表したものである。上記実施の形態では、補正係数Ｆｒ，Ｆｇ，Ｆｂが、レンズ３０の製造過程またはカメラモジュールの製造過程において算出され、キャリブレーションの情報として、予め回路内に保持されているか、または外部（レンズ３０を含む）から入力されることを説明した。しかしながら、本開示の信号処理（画像処理）は、このようなレンズ３０に関するキャリブレーションの情報がない場合（例えばレンズ３０が古いレンズである場合）にも適用することができる。
　例えば、ユーザによる補正係数の入力が行われてもよい。具体的には、図１２に示したように、カメラ本体にレンズ３０を取り付け（ステップＳ２１）た後、撮像素子１によりテストチャート（テストパターン）を撮影する（ステップＳ２２）。続いて、撮影された画像から、レンズ収差特性（例えばＰＳＦデータまたはＭＴＦデータ等）を取得する（ステップＳ２３）。取得されたレンズ収差特性に基づいて、補正係数を算出し（ステップＳ２４）、この補正係数を用いてレンズ収差の補正がなされるようにしてもよい。
　このように、補正係数は、レンズ３０の製造過程ではなく、カメラの使用時に算出されてもよい。この場合、レンズ３０として、キャリブレーション情報を持たない古いレンズを使用可能となる。また、レンズ３０の使用環境の変化や経年変化などに対応して、補正係数を適切に更新することが可能となる。また、レンズ３０がカメラ本体に対して交換可能である場合、レンズ３０が他のレンズに交換されたときなどにも対応可能となる。
　＜応用例（移動体）＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１３に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１３の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１４は、撮像部１２０３１の設置位置の例を示す図である。
　図１４では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１４には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、実施の形態およびその変形例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。例えば、上述した一連の信号処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、例えばそのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　また、本明細書中に記載された効果は一例であり、他の効果であってもよいし、更に他の効果を含んでいてもよい。
　尚、本開示は以下のような構成も取ることができる。
（１）
　互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得する取得部と、
　前記取得部により取得された補正係数を用いて画像の補正処理を行う補正部と
　を備えた画像処理装置。
（２）
　前記補正部は、
　前記取得部により取得された補正係数を用いた補間処理により、前記位置座標における第１の補正係数を算出する補正係数算出部と、
　前記補正係数算出部により算出された第１の補正係数を用いて前記位置座標に対応する画素値を補正する補正処理部と
　を有する
　上記（１）に記載の画像処理装置。
（３）
　前記補正部は、前記位置座標の前記第１軸または前記第２軸に対する角度に基づいて第１の補間処理を行う
　上記（２）に記載の画像処理装置。
（４）
　前記補正部は、前記第１の補間処理の前または後に、前記位置座標の像高に基づいて第２の補間処理を行う
　上記（３）に記載の画像処理装置。
（５）
　前記第１の補間処理では、
　前記第１軸において第１の像高に対応づけられた補正係数と、前記第２軸において前記第１の像高に対応づけられた補正係数とを前記角度に応じて補間することにより、第２の補正係数を算出し、
　前記第１軸において前記第１の像高の隣の第２の像高に対応づけられた補正係数と、前記第２軸において前記第２の像高に対応づけられた補正係数とを前記角度に応じて補間することにより、第３の補正係数を算出する
　上記（４）に記載の画像処理装置。
（６）
　前記第２の補間処理では、前記第１の補間処理の後、
　前記第２の補正係数と前記第３の補正係数とを、前記位置座標の像高に応じて補間することにより、前記第１の補正係数を算出する
　上記（５）に記載の画像処理装置。
（７）
前記補正部は、
　前記取得部により取得された補正係数を用いて画素値を補正し、
　補正された画素値に基づく補間処理により前記画像の補正処理を行う
　上記（１）に記載の画像処理装置。
（８）
　前記取得部は、前記第１軸および前記第２軸に対応づけられた複数の補正係数を色毎に取得し、
　前記補正部は、取得された色毎の補正係数を用いて画像の補正処理を行う
　上記（１）～（７）のいずれか１つに記載の画像処理装置。
（９）
　互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得し、
　取得された補正係数を用いて画像の補正処理を行う
画像処理方法。
（１０）
　前記画像の補正処理を行う際に、
　取得された補正係数を用いた補間処理により、前記位置座標における第１の補正係数を算出し、
　算出された第１の補正係数を用いて前記位置座標に対応する画素値を補正する
　上記（９）に記載の画像処理方法。
（１１）
　前記位置座標の前記第１軸または前記第２軸に対する角度に基づいて第１の補間処理を行う
　上記（１０）に記載の画像処理方法。
（１２）
　前記第１の補間処理の前または後に、前記位置座標の像高に基づいて第２の補間処理を行う
　上記（１１）に記載の画像処理方法。
（１３）
　前記第１の補間処理では、
　前記第１軸において第１の像高に対応づけられた補正係数と、前記第２軸において前記第１の像高に対応づけられた補正係数とを前記角度に応じて補間することにより、第２の補正係数を算出し、
　前記第１軸において前記第１の像高の隣の第２の像高に対応づけられた補正係数と、前記第２軸において前記第２の像高に対応づけられた補正係数とを前記角度に応じて補間することにより、第３の補正係数を算出する
　上記（１２）に記載の画像処理方法。
（１４）
　前記第２の補間処理では、前記第１の補間処理の後、
　前記第２の補正係数と前記第３の補正係数とを、前記位置座標の像高に応じて補間することにより、前記第１の補正係数を算出する
　上記（１３）に記載の画像処理方法。
（１５）
　取得された補正係数を用いて画素値を補正し、
　補正された画素値に基づく補間処理により前記画像の補正処理を行う
　上記（９）に記載の画像処理方法。
（１６）
　前記第１軸および前記第２軸に対応づけられた複数の補正係数を色毎に取得し、
　取得された色毎の補正係数を用いて画像の補正処理を行う
　上記（９）～（１５）のいずれか１つに記載の画像処理方法。
（１７）
　前記第１軸および前記第２軸に対応づけられた複数の補正係数のデータ量に応じて、
　取得された補正係数を用いた補間処理により前記位置座標における第１の補正係数を算出した後、前記第１の補正係数を用いて前記位置座標に対応する画素値を補正することにより前記画像の補正処理を行うか、または、
　取得された補正係数を用いて画素値を補正し、補正された画素値に基づく補間処理により前記画像の補正処理を行うか、を決定する
　上記（９）～（１６）のいずれか１つに記載の画像処理方法。
（１８）
複数の画素を含む画素部と、
　前記画素部から得られた画像に対して信号処理を施す信号処理部と
　を備え、
　前記信号処理部は、
　互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得する取得部と、
　前記取得部により取得された補正係数を用いて前記画像の補正処理を行う補正部と
を備えた撮像素子。
（１９）
　前記画素部と前記信号処理部とは積層されている
　上記（１８）に記載の撮像素子
　本出願は、日本国特許庁において２０１６年３月２８日に出願された日本特許出願番号第２０１６－６３１８８号を基礎として優先権を主張するものであり、この出願の全ての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (19)

  1. 　互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得する取得部と、
    　前記取得部により取得された補正係数を用いて画像の補正処理を行う補正部と
    　を備えた画像処理装置。
  2. 　前記補正部は、
    　前記取得部により取得された補正係数を用いた補間処理により、前記位置座標における第１の補正係数を算出する補正係数算出部と、
    　前記補正係数算出部により算出された第１の補正係数を用いて前記位置座標に対応する画素値を補正する補正処理部と
    　を有する
    　請求項１に記載の画像処理装置。
  3. 　前記補正部は、前記位置座標の前記第１軸または前記第２軸に対する角度に基づいて第１の補間処理を行う
    　請求項２に記載の画像処理装置。
  4. 　前記補正部は、前記第１の補間処理の前または後に、前記位置座標の像高に基づいて第２の補間処理を行う
    　請求項３に記載の画像処理装置。
  5. 　前記第１の補間処理では、
    　前記第１軸において第１の像高に対応づけられた補正係数と、前記第２軸において前記第１の像高に対応づけられた補正係数とを前記角度に応じて補間することにより、第２の補正係数を算出し、
    　前記第１軸において前記第１の像高の隣の第２の像高に対応づけられた補正係数と、前記第２軸において前記第２の像高に対応づけられた補正係数とを前記角度に応じて補間することにより、第３の補正係数を算出する
    　請求項４に記載の画像処理装置。
  6. 　前記第２の補間処理では、前記第１の補間処理の後、
    　前記第２の補正係数と前記第３の補正係数とを、前記位置座標の像高に応じて補間することにより、前記第１の補正係数を算出する
    　請求項５に記載の画像処理装置。
  7. 　前記補正部は、
    　前記取得部により取得された補正係数を用いて前記補正対象画素の画素値を補正し、
    　補正された画素値に基づく補間処理により前記画像の補正処理を行う
    　請求項１に記載の画像処理装置。
  8. 　前記取得部は、前記第１軸および前記第２軸に対応づけられた複数の補正係数を色毎に取得し、
    　前記補正部は、取得された色毎の補正係数を用いて画像の補正処理を行う
    　請求項１に記載の画像処理装置。
  9. 　互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得し、
    　取得された補正係数を用いて画像の補正処理を行う
    　画像処理方法。
  10. 　前記画像の補正処理を行う際に、
    　取得された補正係数を用いた補間処理により、前記位置座標における第１の補正係数を算出し、
    　算出された第１の補正係数を用いて前記位置座標に対応する画素値を補正する
    　請求項９に記載の画像処理方法。
  11. 　前記位置座標の前記第１軸または前記第２軸に対する角度に基づいて第１の補間処理を行う
    　請求項１０に記載の画像処理方法。
  12. 　前記第１の補間処理の前または後に、前記位置座標の像高に基づいて第２の補間処理を行う
    　請求項１１に記載の画像処理方法。
  13. 　前記第１の補間処理では、
    　前記第１軸において第１の像高に対応づけられた補正係数と、前記第２軸において前記第１の像高に対応づけられた補正係数とを前記角度に応じて補間することにより、第２の補正係数を算出し、
    　前記第１軸において前記第１の像高の隣の第２の像高に対応づけられた補正係数と、前記第２軸において前記第２の像高に対応づけられた補正係数とを前記角度に応じて補間することにより、第３の補正係数を算出する
    　請求項１２に記載の画像処理方法。
  14. 　前記第２の補間処理では、前記第１の補間処理の後、
    　前記第２の補正係数と前記第３の補正係数とを、前記位置座標の像高に応じて補間することにより、前記第１の補正係数を算出する
    　請求項１３に記載の画像処理方法。
  15. 　取得された補正係数を用いて前記補正対象画素の画素値を補正し、
    　補正された画素値に基づく補間処理により前記画像の補正処理を行う
    　請求項９に記載の画像処理方法。
  16. 　前記第１軸および前記第２軸に対応づけられた複数の補正係数を色毎に取得し、
    　取得された色毎の補正係数を用いて画像の補正処理を行う
    　請求項９に記載の画像処理方法。
  17. 　前記第１軸および前記第２軸に対応づけられた複数の補正係数のデータ量に応じて、
    　取得された補正係数を用いた補間処理により前記位置座標における第１の補正係数を算出した後、前記第１の補正係数を用いて前記位置座標に対応する画素値を補正することにより前記画像の補正処理を行うか、または、
    　取得された補正係数を用いて前記補正対象画素の画素値を補正し、補正された画素値に基づく補間処理により前記画像の補正処理を行うか、を決定する
    　請求項９に記載の画像処理方法。
  18. 　複数の画素を含む画素部と、
    　前記画素部から得られた画像に対して信号処理を施す信号処理部と
    　を備え、
    　前記信号処理部は、
    　互いに交差する第１軸および第２軸のそれぞれに対応づけられた複数の補正係数の中から、補正対象画素の位置座標に応じて２以上の補正係数を取得する取得部と、
    　前記取得部により取得された補正係数を用いて前記画像の補正処理を行う補正部と
    　を備えた撮像素子。
  19. 　前記画素部と前記信号処理部とは積層されている
    　請求項１８に記載の撮像素子。
PCT/JP2017/003582 2016-03-28 2017-02-01 画像処理装置、画像処理方法および撮像素子 WO2017169079A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016063188A JP2017183775A (ja) 2016-03-28 2016-03-28 画像処理装置、画像処理方法および撮像素子
JP2016-063188 2016-03-28

Publications (1)

Publication Number Publication Date
WO2017169079A1 true WO2017169079A1 (ja) 2017-10-05

Family

ID=59963796

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/003582 WO2017169079A1 (ja) 2016-03-28 2017-02-01 画像処理装置、画像処理方法および撮像素子

Country Status (2)

Country Link
JP (1) JP2017183775A (ja)
WO (1) WO2017169079A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI820194B (zh) 2018-08-31 2023-11-01 日商索尼半導體解決方案公司 電子機器及固體攝像裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341033A (ja) * 2004-05-25 2005-12-08 Konica Minolta Photo Imaging Inc 撮像装置及びプログラム
JP2014022828A (ja) * 2012-07-13 2014-02-03 Toshiba Corp カメラモジュール
JP2015109582A (ja) * 2013-12-05 2015-06-11 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置及び画像処理方法
JP2015204471A (ja) * 2014-04-10 2015-11-16 キヤノン株式会社 固体撮像素子その制御方法、電子機器、プログラム、記憶媒体
JP2016005057A (ja) * 2014-06-16 2016-01-12 株式会社ソシオネクスト 画像処理装置、画像処理方法及び撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341033A (ja) * 2004-05-25 2005-12-08 Konica Minolta Photo Imaging Inc 撮像装置及びプログラム
JP2014022828A (ja) * 2012-07-13 2014-02-03 Toshiba Corp カメラモジュール
JP2015109582A (ja) * 2013-12-05 2015-06-11 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像処理装置及び画像処理方法
JP2015204471A (ja) * 2014-04-10 2015-11-16 キヤノン株式会社 固体撮像素子その制御方法、電子機器、プログラム、記憶媒体
JP2016005057A (ja) * 2014-06-16 2016-01-12 株式会社ソシオネクスト 画像処理装置、画像処理方法及び撮像装置

Also Published As

Publication number Publication date
JP2017183775A (ja) 2017-10-05

Similar Documents

Publication Publication Date Title
JP6724982B2 (ja) 信号処理装置および撮像装置
US11605661B2 (en) Image processing apparatus, image processing method, and solid-state imaging apparatus to detect polarization properties of each color
US20210075990A1 (en) Solid-state imaging element, electronic device, and method for controlling solid-state imaging element
US20200154083A1 (en) Image processing device, image processing method, program, and imaging device
CN111480057B (zh) 图像处理装置、图像处理方法和程序
WO2021060118A1 (ja) 撮像装置
JP7004736B2 (ja) 画像処理装置、撮像装置、運転支援装置、移動体、および画像処理方法
US20200402206A1 (en) Image processing device, image processing method, and program
CN109644241B (zh) 图像处理设备和图像处理方法
WO2017169079A1 (ja) 画像処理装置、画像処理方法および撮像素子
WO2017149964A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
WO2020075357A1 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
WO2020049806A1 (ja) 画像処理装置および画像処理方法
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
CN113170057A (zh) 摄像部控制装置
WO2022219874A1 (ja) 信号処理装置および方法、並びにプログラム
JP2024000625A (ja) 固体撮像装置および電子機器
WO2020137503A1 (ja) 画像処理装置
CN118413752A (zh) 图像处理系统、可移动设备、图像处理方法和存储介质

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17773628

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17773628

Country of ref document: EP

Kind code of ref document: A1