WO2010032720A1 - 画像歪み補正方法及び画像処理装置 - Google Patents

画像歪み補正方法及び画像処理装置 Download PDF

Info

Publication number
WO2010032720A1
WO2010032720A1 PCT/JP2009/066081 JP2009066081W WO2010032720A1 WO 2010032720 A1 WO2010032720 A1 WO 2010032720A1 JP 2009066081 W JP2009066081 W JP 2009066081W WO 2010032720 A1 WO2010032720 A1 WO 2010032720A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
pixel data
color
memory
Prior art date
Application number
PCT/JP2009/066081
Other languages
English (en)
French (fr)
Inventor
滋之 上田
央樹 坪井
Original Assignee
コニカミノルタホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタホールディングス株式会社 filed Critical コニカミノルタホールディングス株式会社
Priority to JP2010529757A priority Critical patent/JP5187602B2/ja
Priority to US13/119,303 priority patent/US20110170776A1/en
Publication of WO2010032720A1 publication Critical patent/WO2010032720A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Definitions

  • the present invention relates to an image distortion correction method and an image processing apparatus in a distortion correction process for an image captured by an image sensor via an optical system.
  • an image sensor made up of a CCD, a CMOS, or the like has pixels physically arranged in a Bayer arrangement structure as shown in FIG.
  • the image data as shown in FIG. 2A output from the image sensor is stored in the storage device (memory) of the image processing apparatus as shown in FIG. It is stored in a continuous permutation (see, for example, Patent Document 1).
  • R (Red) data for all pixels from image data having a Bayer array structure in Japanese Patent Laid-Open No. 2009-157733, FIGS. 4 (a) to 4 (d).
  • R data of all pixels by performing color separation interpolation processing.
  • the color separation interpolation processing as shown in FIGS. 4B to 4D is performed, the data of R1 to R4 (R21, R23, R41, R43) are stored separately as shown in FIG. 2B. Therefore, when reading from the storage device (memory), the waiting time due to the access time increases. For high-speed access, pixel data as shown in FIG.
  • the present invention provides an image distortion correction method and an image processing apparatus capable of realizing an improvement in image processing speed by improving an access speed of a memory without adding a memory in view of the above-described problems of the prior art. Objective.
  • the processing time can be shortened by storing the pixel data for creating the average value in the same storage area.
  • a complementary color array structure there is addition / subtraction processing, and each of these data is also created from the average value of multiple data, so these can also be stored in the same storage area, even in the case of a complementary color system. Processing is possible.
  • the image distortion correction method includes a plurality of pixels, each of which includes an image sensor corresponding to one color, and images are captured by the image sensor via an optical system.
  • the pixel data after the distortion correction is obtained by interpolation processing using pixel data of a plurality of pixels around the pixel before correction stored in the memory.
  • the pixel data of the same color is continuously stored for each color in the memory.
  • pixel data of the same color is continuously stored in the memory for each color, thereby enabling high-speed access in the memory when performing interpolation processing using pixel data of the same color,
  • the memory access speed can be improved without adding memory, and the image processing speed can be improved.
  • the image distortion correction method includes a plurality of pixels, each of which includes an image sensor corresponding to one color, and images are captured by the image sensor via an optical system.
  • pixel data after correction of the same color as the color before correction is obtained by interpolation processing with pixel data of a plurality of pixels around the pixel before correction stored in the memory, and the memory Is characterized in that pixel data of the same color is continuously stored for each color.
  • pixel data of the same color is continuously stored in the memory for each color, thereby enabling high-speed access in the memory when performing interpolation processing using pixel data of the same color,
  • the memory access speed can be improved without adding memory, and the image processing speed can be improved.
  • the interpolation processing is performed when the pixel arranged at a predetermined position around the pixel before distortion correction is the same as the color of the pixel after correction.
  • a first process in which data is used as it is and when it is different from the corrected pixel color the pixel arranged at the predetermined position is interpolated with pixel data of a plurality of pixels of the same color as the color after distortion correction around the pixel. And the relative positional relationship between the position of the pixel before correction and the pixel arranged at the predetermined position, and the pixel data of the pixels arranged at the plurality of predetermined positions obtained in the first process. And a second process obtained by interpolating the subsequent pixel data.
  • the size of one block unit of the memory area for continuously storing pixel data for each color is ensured to be larger than the unit of the plurality of pixels used in the interpolation process.
  • the size of one block unit of the memory area is an area where pixel data of four pixels can be stored.
  • pixel data after distortion correction is stored in the memory continuously for pixel data of colors used for RGB calculation. It is preferable.
  • the image processing apparatus includes a plurality of pixels, each of the pixels corresponding to one color and imaging an image via the optical system, and an arithmetic device that processes an image captured from the imaging element
  • the memory in the process of correcting the distortion of the image, a plurality of corrected pixel data of the same color as the color before correction are stored around the pixel before correction stored in the memory. It is calculated by interpolation processing using pixel data of pixels, and pixel data of the same color is continuously stored for each color in the memory.
  • pixel data of the same color is continuously stored in the memory for each color, so that high-speed access in the memory becomes possible when performing interpolation processing using pixel data of the same color. It is possible to improve the memory access speed without increasing the number of images, and improve the image processing speed.
  • the arithmetic unit is configured such that when the pixel arranged at a predetermined position around the pixel before distortion correction is the same as the color of the pixel after correction, the pixel of the pixel arranged at the predetermined position A first process using the data as it is and interpolating the pixel arranged at the predetermined position with pixel data of a plurality of pixels having the same color as the corrected color in the periphery when the color is different from the corrected pixel Correction based on the relative positional relationship between the position of the pixel before distortion correction and the pixel arranged at the predetermined position, and the pixel data of the plurality of pixels arranged at the predetermined position obtained in the first process. It is preferable to perform the interpolation process by a second process obtained by interpolating the subsequent pixel data.
  • the size of one block unit of the memory area for continuously storing the pixel data for each color in the memory is larger than the unit of the plurality of pixels used in the interpolation processing. Is preferred. For example, when interpolation processing is performed using pixel data of four pixels around a predetermined pixel, the size of one block unit of the memory area is preferably an area where pixel data of four pixels or more can be stored.
  • pixel data after distortion correction is stored in the memory continuously for pixel data of colors used for RGB calculation. It is preferable.
  • optical system is a wide-angle optical system
  • image distortion caused by the wide-angle optical system can be corrected.
  • the image forming apparatus includes the above-described image processing apparatus and an image processing unit that performs another image processing on an image whose distortion has been corrected by the image processing apparatus. According to this image forming apparatus, it is possible to output the image after the distortion correction processing as described above to the image processing unit and perform the distortion correction processing before the image processing such as ISP processing. By performing image processing on the image after distortion correction in this way, a more natural image can be obtained.
  • an image distortion correction method and an image processing apparatus capable of improving the image processing speed by improving the memory access speed without adding a memory.
  • FIG. 2A schematically shows a memory area in which R pixel data from the pixel data in FIG. 2A is stored in the present embodiment, and also schematically shows a memory area in which G pixel data is stored.
  • FIG. 2B is a diagram schematically showing a memory area in which G pixel data is also stored.
  • FIG. 6 is a diagram showing peripheral pixels used for interpolation calculation when the pixel after interpolation is R (red) in the present embodiment, and the pixel before interpolation is R, and in the case of R ⁇ R (a), B ⁇ It is a figure for demonstrating the case (d) of the case of R (b), also the case of oddG-> R (c), and the case of evenG-> R.
  • FIG. 1 it is a figure which shows the surrounding pixel used for interpolation calculation, when the pixel after interpolation is B (red), the pixel before interpolation is B, and the case of B-> B (a) is also R-> It is a figure for demonstrating the case (b) of the case (b) of B, the case of oddG-> B (c), and the case of evenG-> B (d).
  • FIG. 5A is a diagram for explaining an image before image distortion correction and a diagram for explaining an image after image distortion correction in the present embodiment. It is a figure for demonstrating calculation of the correction coefficient in the interpolation calculation by this embodiment.
  • FIG. 9A and FIG. 7B are diagrams for explaining distortion correction of the image.
  • FIG. 9A is the same as FIG. 7A, and FIG. 9B is FIG. 7B.
  • FIG. 9C is a schematic enlarged view of FIG. 9A
  • FIG. 9D is a schematic enlarged view of FIG. 9B.
  • 11 is a flowchart for explaining steps S01 to S08 of image distortion correction by the image processing apparatus 10 of FIG.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an image forming apparatus according to an embodiment. It is a figure which shows typically the example of an array structure containing a complementary color system pixel in the image pick-up element in other embodiment.
  • FIGS. 14A and 14B are diagrams for explaining image distortion correction in the case of the arrangement structure of FIG. 13.
  • FIG. 14A is the same diagram as FIG. 9A and FIG. 14B is a schematic diagram of FIG.
  • FIG. 14C is a diagram showing rearrangement for pixel data of G and Ye in an enlarged view
  • FIG. 14C is a schematic enlarged view of FIG. 14A and a diagram showing rearrangement for pixel data of B
  • FIG. ) Is the same diagram as FIG. 9B for the B pixel data
  • FIG. 9B for the B pixel data
  • FIG. 14E is the same diagram as FIG. 9B for the G and Ye pixel data
  • FIG. 14F is the R pixel data.
  • FIG. 14 (g) is a schematic enlarged view of FIG. 14 (e)
  • FIG. 14 (h) is a schematic enlarged view of FIG. 14 (e)
  • FIG. 14 (i) is a schematic enlarged view of FIG. 15 .
  • FIG. 7 is a diagram (a) for explaining an image before image distortion correction and a diagram (b) for explaining an image after image distortion correction in this embodiment.
  • FIG. 1 described above is a diagram schematically showing a general Bayer arrangement in a RAW image from the image sensor.
  • interpolation means that an output pixel is calculated using peripheral pixels
  • correction means that the position of the pixel is moved for distortion correction
  • the distortion correction of an image obtained with a wide-angle lens or a fisheye lens is performed by exchanging pixels as shown in FIGS. 7 (a) and 7 (b). That is, as shown in FIG. 7A, the pixel coordinates of a certain point in the circular image area before the image distortion correction are (X, Y), and the pixel coordinates in the rectangular image area after the distortion correction are (X ′ , Y ′), the pixel before correction is replaced with the pixel after correction as (X, Y) ⁇ (X ′, Y ′), but the inclination angle of each straight line from the center (0, 0) to each coordinate is changed. Since ⁇ is the same, let L be the distance from the center (0,0) before correction, and L ′ be the distance from the center (0,0) after distortion correction corresponding to that point. Replace the pixel before correction with the pixel after correction as'.
  • X ′ and Y ′ of (X ′, Y ′) after distortion correction are integers, but (X, Y ′) before correction calculated from (X ′, Y ′) after correction.
  • Y is not an integer in most cases and can take a real value having a fractional part. The calculation of each coordinate is performed based on a correction LUT (lookup table) determined from the lens characteristics to be used.
  • Each pixel is two-dimensionally arranged in a rectangular shape, and when the pixel coordinates X and Y are both integers, they coincide with the position (center position) of any pixel, and either X or Y In the case of pixel coordinates having a decimal part, the pixel position (center position) does not match.
  • Distortion correction can be performed by exchanging pixels from L to L ′ on the captured image based on the image distortion correction coefficient.
  • the above-described pixel replacement when correcting distortion of a wide-angle lens or a fish-eye lens has been performed after conversion to an RGB image.
  • a RAW image from an image sensor imaging device
  • the color (RGB) varies depending on the pixel position as shown in FIG. Since it is determined, random pixel replacement cannot be performed. For this reason, it is necessary to perform distortion correction after conversion into an RGB image. Therefore, in the present embodiment, the pixel of the target coordinate is generated by interpolation calculation from the peripheral pixels, so that the distortion correction processing can be performed with the RAW image without converting to the RGB image.
  • FIG. 8 is a diagram for explaining the calculation of the correction coefficient in the interpolation calculation according to the present embodiment.
  • the color (RGB) is determined by the position of the pixel after distortion correction.
  • the pixel data after distortion correction is calculated by interpolation processing based on pixel data around the pixel position (X, Y) before correction corresponding to the pixel position (X ′, Y ′) after correction.
  • the interpolation process is performed by two stages of the first process and the second process.
  • (1) As the first process, as shown in FIGS. 4 to 6 to be described later, four points of pixels in the vicinity of the coordinates (X, Y) of the pixel before correction (pixel 51 in FIG. 4). Pixel data of .about.pixel 54) is obtained by interpolation processing.
  • the pixel data of the four pixels is subjected to interpolation processing from pixel data of a plurality of pixels having the same color as the peripheral corrected pixels.
  • the positions of these four pixels correspond to the positions of the pixels of the image sensor and are arranged at predetermined positions.
  • Pixel data at a pixel (virtual pixel) at (X, Y) is obtained by interpolation processing. This will be specifically described below.
  • the interpolation processes in the first process and the second process are also referred to as a first interpolation process and a second interpolation process, respectively.
  • FIG. 4 is a diagram showing peripheral pixels used for interpolation calculation when the pixel after distortion correction processing is R (red) in the present embodiment.
  • the pixel before interpolation is R, and R ⁇ R (a ), Also in the case of B ⁇ R (b), similarly in the case of oddG ⁇ R (c), and also in the case of evenG ⁇ R (d).
  • pixel data of a plurality of pixels arranged at predetermined positions around the coordinates (X, Y) before distortion correction are obtained by the interpolation process. For example, among the intersection points of each pixel in FIG. 4, the intersection point having the closest coordinates (X, Y) is calculated, and pixel data of four pixels surrounding the intersection point are calculated. For example, if the closest intersection of the coordinates (X, Y) is an intersection surrounded by the pixels 51 to 54, pixel data in the color of the pixel after the distortion correction processing of these pixels 51 to 54 is calculated.
  • the pixel 51 before interpolation in the first interpolation process is R (R ⁇ R), that is, when the pixel color is the same before and after interpolation, the pixel of the R pixel 51 before interpolation.
  • the data is directly used as pixel data R51 after interpolation.
  • the pixel 53 before interpolation is an odd-numbered G (oddG ⁇ R)
  • the interpolated pixel data R53 is obtained using the four pixel data R1, R2, R3, and R4.
  • an averaging process may be performed, or an averaging process in which weighting according to the distance is performed may be performed.
  • interpolated pixel data R54 is obtained using the pixel data R1, R2, R3, and R4 of the four pixels 54d.
  • the second interpolation process Based on the pixel data (R51 to R54) of the pixels (51 to 54) arranged at the predetermined positions close to the coordinates (X, Y) before interpolation obtained by the first interpolation process, the second interpolation process performs the following.
  • the pixel data R after interpolation of the coordinates (X, Y) is obtained from the equation (Equation 1).
  • [] represents a Gaussian symbol (also referred to as a floor function)
  • [X] represents a maximum integer not exceeding X.
  • FIG. 5 is a diagram showing peripheral pixels used for interpolation calculation when the pixel after interpolation is B (blue) in the present embodiment.
  • the pixel before interpolation is B, and when B ⁇ B (a), It is a figure for demonstrating the case (d) of the case of (b) similarly, the case of (b) similarly, the case of oddG-> B (c), and the case of evenG-> B.
  • the pixel data of the B pixel 61 before the interpolation is directly used as the pixel data after the interpolation.
  • the pixel data B1, B2, B3 of the four pixels 62a, 62b, 62c, and 62d at the four corners around the pixel 62 are displayed.
  • the interpolated pixel data B is obtained by using B4 by averaging processing or the like.
  • FIG. 6 is a diagram illustrating peripheral pixels used for interpolation calculation when the pixel after interpolation is G (green) in the present embodiment.
  • the pixel before interpolation is G, and when G ⁇ G (a), It is a figure for demonstrating the case (b) when the pixel before interpolation is other than G and it is other than G-> G.
  • the pixel data of the G pixel 71 before interpolation is directly used as pixel data after interpolation.
  • the pixel 72 before interpolation is R or B other than G (other than G ⁇ G)
  • the pixel data G after interpolation is obtained by averaging processing or the like using the pixel data G1, G2, G3, and G4.
  • the pixel data can be obtained with high accuracy by interpolation calculation from four pixels around the pixel before the replacement (the same color as the pixel after the replacement). It is possible to perform distortion correction processing with little image degradation.
  • the size of one block unit of the memory area is preferably larger than the area where pixel data of 4 pixels can be stored.
  • FIGS. 7A and 7B The image distortion correction and pixel data storage (storing) in FIGS. 7A and 7B will be further described with reference to FIG.
  • FIGS. 7A and 7B are diagrams for explaining image distortion correction in FIGS. 7A and 7B.
  • FIG. 9A is the same as FIG. 7A
  • FIG. 9C is a schematic enlarged view of FIG. 9A
  • FIG. 9D is a schematic enlarged view of FIG. 9B.
  • An image photographed by the imaging device through the lens optical system becomes an image that contracts in a circular direction in the center as shown in FIG. 9A due to the influence of the distortion of the lens optical system as described above, and in particular, the lens optical system. This is noticeable in the case of a wide-angle / fish-eye lens.
  • the image of FIG. 9A is image-processed as shown in FIG. 9B in the image processing step after shooting, the pixels in the effective image data area C that have contracted as shown in FIG. 9C.
  • By rearranging the data into an area including the invalid image data area D as shown in FIGS. 9C and 9D an image similar to that seen with the naked eye is obtained.
  • the pixel data has a data structure in which a plurality of colors are stored in a continuous permutation in the Bayer array (see Patent Document 1).
  • image data is arranged and stored in a memory area of one block as shown in FIGS. 3A to 3C for each RGB pixel type. Then, interpolation processing is performed using the stored pixel data of each color. Since the pixel data of the four pixels around the pixel before correction can be read from the memory area of one block and subjected to the interpolation processing as shown in FIGS. 4 and 5, the data can be accessed quickly. .
  • the memory read bus width (bit) is the same as the size of the memory area of one block, and the memory area size is a unit of a plurality of pixels (4 in the embodiment) used in the interpolation process. Is set sufficiently larger than (pixel). For this reason, pixel data of at least four pixels can be read out from one block of memory area as shown in FIGS. 3A to 3C in one cycle, so that access time to the memory is shortened and high speed is achieved. Processing is possible.
  • FIG. 10 is a block diagram illustrating a schematic configuration of the image processing apparatus according to the present embodiment.
  • the image processing apparatus 10 includes an imaging device 11 in which light from a captured image enters through the wide-angle lens A, a counter 12, a distance calculation unit 13, a distortion correction coefficient storage unit 14, and a calculation unit. 15, a correction LUT calculation unit 16, a distortion correction processing unit 17, an image buffer memory 19, and a memory control unit 18.
  • the wide-angle lens A is composed of a lens optical system composed of a plurality of lenses, and can obtain an image with a wide angle of view.
  • the image sensor 11 is composed of an image sensor such as a CCD or CMOS composed of a large number of pixels, and outputs a RAW image of a photographed image according to the Bayer array in FIG.
  • the counter 12 detects the vertical synchronization signal VD or the horizontal synchronization signal HD from the image sensor 11 and outputs the coordinates (X ′, Y ′) after distortion correction.
  • the distance calculation unit 13 calculates a distance L ′ from the center from the coordinates (X ′, Y ′) after distortion correction as shown in FIG.
  • the distortion correction coefficient storage unit 14 includes a ROM, a RAM, and the like, and stores an image distortion correction coefficient corresponding to the lens characteristics of the wide-angle lens A.
  • the calculation unit 15 calculates the distance L from the center before distortion correction based on the distance L ′ from the center after distortion correction and the image distortion correction coefficient stored in the distortion correction coefficient storage unit 14, and before distortion correction.
  • the coordinates (X, Y) before distortion correction are calculated from the distance L from the center of the coordinates and the coordinates (X ′, Y ′) after distortion correction.
  • the correction LUT calculation unit 16 calculates a correction LUT (lookup table) in which the distances L and L ′ obtained as described above and the coordinates (X, Y) and (X ′, Y ′) are associated with each other. To do.
  • the distortion correction processing unit 17 refers to the correction LUT calculated by the correction LUT calculation unit 16 with respect to the input RAW image data P, and corrects the distortion by exchanging pixels. At this time, the distortion correction processing unit 17 saves each color in the image buffer memory 19 described later. Each pixel data after replacement using the pixel data thus obtained is obtained by the interpolation processing as shown in FIGS. 4 to 6 and FIG. In this way, the RAW image data P ′ after distortion correction is output from the distortion correction processing unit 17.
  • the image buffer memory 19 performs interpolation calculation of the color of a predetermined pixel after distortion correction from the 3 ⁇ 3 image data area as shown in FIGS. 4 to 6 using pixel data of four pixels around the predetermined pixel.
  • the four-pixel unit pixel data is stored for each RGB and has memory areas 19a, 19b, and 19c that can be read out.
  • the image buffer memory 19 temporarily stores RAW image data captured by the image sensor 11 in each of the memory areas 19a, 19b, and 19c in units of one block via the cache memory. At this time, the image areas are stored in the memory areas 19a to 19c. As shown in 3 (a) to (c), each pixel data is arranged and stored for each RGB.
  • the memory control unit 18 controls the input / output of RAW image data between the image buffer memory 19 and the distortion correction processing unit 17.
  • the counter 12 detects the vertical synchronization signal VD or the horizontal synchronization signal HD from the electric signal from the image sensor 11 (S01)
  • the counter-corrected coordinates (X ′, Y ′) are output from the counter 12 (S02).
  • the output of the coordinates (X ′, Y ′) after distortion correction starts, for example, with the upper left corner of the rectangular area of the image after distortion correction in FIG. 7B as the starting point (0, 0).
  • a distance L ′ from the center is calculated by the distance calculation unit 13 from the coordinates (X ′, Y ′) after distortion correction (S03).
  • the calculation unit 15 calculates the distance L from the center before distortion correction from the distance L 'from the center (S04).
  • the pre-distortion coordinates (X, Y) are calculated from the distance L from the center before distortion correction and the coordinates (X ′, Y ′) after distortion correction by the correction LUT calculation unit 16 (S05).
  • RAW image data P from the image sensor 11 of FIG. 10 is stored for each RGB in the memory areas 19a to 19c of the image buffer memory 19 as shown in FIG. 3, and the memory area 19a is controlled by the memory control unit 18.
  • RAW image data stored in .about.19c are read out as needed.
  • the distortion correction processing unit 17 performs the first-stage interpolation processing (first interpolation processing: see FIGS. 4 to 6) based on the read image data, and calculates in S05 using the pre-distortion coordinates (X, Y). Neighboring neighboring pixels are selected, and pixel data (R51 to R54 in the example of FIG. 4) of the coordinates (X ′, Y ′) after distortion correction of the selected neighboring pixels are calculated by interpolation processing (S06).
  • first interpolation processing see FIGS. 4 to 6
  • the distortion correction processing unit 17 converts the pixel data of the pre-correction coordinates (X, Y) to the second position based on the relative positions of the peripheral pixels selected in S06 and the pre-correction coordinates (X, Y) and the pixel data of the peripheral pixels. Calculation is performed by stage interpolation processing (second interpolation processing: see FIG. 8) (S07).
  • the pixel data of the coordinates (X, Y) before distortion correction calculated in S07 is used as the pixel data of the coordinates (X ′, Y ′) after distortion correction (S08).
  • Steps S01 to S08 described above are shifted by one pixel (pixel) from the upper left of the rectangular area of the image after distortion correction in FIG. 7B as the starting point (0, 0), for example, the lower right end point (640, 480), the distortion correction is performed on all the pixels of the image after distortion correction in FIG. 7B.
  • a RAW image can be obtained without being converted into an RGB image by obtaining pixel data of a pixel at a target coordinate by interpolation calculation from pixel data of peripheral pixels. Since distortion correction processing with little image degradation can be performed as it is, high-speed processing is possible, and the amount of memory necessary for pixel replacement can be reduced.
  • each RGB pixel data is read from the memory areas 19a to 19c storing the pixel data for each RGB and interpolation calculation is performed, the waiting time is different from the data reading from the storage state as shown in FIG.
  • the access time is shortened and high-speed processing is possible.
  • the apparatus can be reduced in power consumption and heat generation.
  • the effect of smoothing the gradation of the image can be obtained.
  • the ISP processing can be performed after the distortion correction processing, and the image processing by the ISP processing can be performed on the distortion-corrected image.
  • FIG. 12 is a block diagram illustrating a schematic configuration of the image forming apparatus according to the present embodiment.
  • the image forming apparatus 50 includes a wide-angle lens A, the image processing apparatus 10 of FIG. 10, an ISP processing unit 20, an image display unit 30, and an image memory unit 40, and a digital still camera. Can be configured.
  • the image forming apparatus 50 When the light of the captured image enters the image sensor 11 in FIG. 10 through the wide-angle lens A, the image forming apparatus 50 performs distortion correction processing on the RAW image data P from the image sensor 11 as shown in FIGS. 4 to 8 described above.
  • the RAW image data P ′ after the distortion correction is input to the ISP processing unit 20, and the RAW image after the distortion correction is subjected to image processing such as white balance, color correction, and gamma correction processing by the ISP processing unit 20, and the image
  • image processing such as white balance, color correction, and gamma correction processing by the ISP processing unit 20, and the image
  • the processed image is displayed on the image display unit 30 made of liquid crystal or the like and is stored in the image memory unit 40.
  • the RAW image obtained by performing distortion correction processing on the RAW image obtained through the wide-angle lens A is output to the ISP processing unit 20, and the RAW image after distortion correction is output. Since the ISP process is performed, the distortion correction process can be performed before the ISP process, and when the pixel color is different before and after the distortion correction, the pixel data can be obtained at high speed by interpolation calculation. Thus, since ISP processing is performed on a RAW image after distortion correction, a more natural image can be obtained at a relatively high speed.
  • the lens placed in front of the image sensor 11 is a wide-angle lens.
  • the present invention is not limited thereto, and may be a fish-eye lens that can obtain a wide-field image. Other lenses that require distortion correction may also be used.
  • the color filter of the image sensor does not have a Bayer array structure, and a color filter pixel (hereinafter referred to simply as a complementary color system) used for calculation of RGB excluding RGB such as complementary colors (hereinafter referred to as complementary color).
  • a color filter pixel hereinafter referred to simply as a complementary color system
  • RGB complementary colors
  • a case of including a system pixel will be described.
  • FIG. 13 is a diagram schematically illustrating an example of an arrangement structure including complementary color pixels in the image sensor. In the present embodiment described with reference to FIGS.
  • each RGB data is collectively arranged and stored in one block of memory area as shown in FIGS. 3A to 3C for each RGB pixel type.
  • Interpolation processing is executed using the stored pixel data of each color, and distortion correction processing is performed based on the interpolated pixel data.
  • the processes in FIGS. 3 to 12 are the same, and each data of Y and GB is stored in one block memory area as shown in FIGS. They are arranged and stored together, interpolation processing is executed using the stored pixel data of each color, and distortion correction processing is performed based on the interpolated pixel data.
  • FIG. 14A and 14B are diagrams for explaining image distortion correction in the case of the arrangement structure of FIG. 13.
  • FIG. 14A is the same as FIG. 9A
  • FIG. 14B is FIG.
  • FIG. 14C is a schematic enlarged view of FIG. 14A
  • FIG. 14C is a schematic enlarged view of FIG. 14A
  • FIG. 14C is a schematic enlarged view of FIG. 14D
  • FIG. 9B for the B pixel data
  • FIG. 14E is the same as FIG. 9B for the G and Ye pixel data
  • FIG. 14G is a schematic enlarged view of FIG. 14E
  • FIG. 14H is a schematic enlarged view of FIG. 14 (i) is a schematic enlarged view of FIG. 14 (f).
  • pixel data after distortion correction is stored in a memory by continuously performing pixel data of colors used for RGB calculation, and pixel data of other colors is stored for each color. Perform continuously. That is, for Ye and G used for calculating R, these are continuously stored in the memory, and for B, which is a color other than this, only B is continuously stored in the memory. The reason will be described below.
  • each pixel data of RGB is obtained by calculation from the complementary color system pixel data.
  • R data is usually expressed by the following equation (1). It is obtained by subtracting G (Green) pixel data from Ye (Yellow) pixel data.
  • R (Red) Ye (Yellow)-G (Green) (1)
  • the pixel data of Ye which is a complementary color that is not the primary color (RGB), is not processed independently, and usually R pixel data obtained by the calculation of the above equation (1) is used. Therefore, the pixel data of Ye after the distortion correction processing is preferably stored in the same area of the memory as the pixel data of G, and the pixel data of the close coordinates is preferably continuous with the pixel data of G.
  • FIG. 14 illustrates processing in another embodiment.
  • distortion correction processing is performed on pixel data including complementary color Ye, and Ye is processed at that time.
  • G pixel data are stored in the same memory area of one block
  • R pixel data is obtained by the above equation (1)
  • distortion correction is performed on the R pixel data as shown in FIGS.
  • the pixel data is stored in a memory area of one block.
  • the pixel data of the pixels used for the calculation of RGB is converted in one cycle from the memory area of one block when performing conversion to image data in which one pixel has BGR pixel data. Since data can be read, the access time to the memory is shortened, and high-speed processing is possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

　メモリを増設せずにメモリのアクセス速度の向上による画像処理速度の向上を実現可能な画像歪み補正方法及び画像処理装置を提供することを目的とし、そのための画像歪み補正方法及び画像処理装置は、光学系を介して撮像素子により撮像された画像の歪みを補正する処理において同一色の画素データを各色毎に連続してメモリに保存する。

Description

画像歪み補正方法及び画像処理装置
　本発明は、光学系を介して撮像素子により撮像された画像の歪みの補正処理における画像歪み補正方法及び画像処理装置に関するものである。
　従来、ＣＣＤやＣＭＯＳ等からなる撮像素子は、図１のようなベイヤー(Bayer)配列構造で画素が物理的に配列されている。撮像素子が図１のベイヤー配列構造の場合、撮像素子から出力された図２（ａ）のような画像データは、例えば、画像処理装置の記憶装置（メモリ）に図２（ｂ）のような連続した順列で格納される（例えば、特許文献１参照）。
特許第３３９５１９５号明細書
　本発明者の１人は、先に、特開２００９－１５７７３３号公報において、ベイヤー配列構造の画像データから、全画素において例えばＲ(Red)データを求めるとき、図４（ａ）～（ｄ）のように色分離補間処理を行うことで全画素のＲデータを求めることを提案した。しかし、図４（ｂ）～（ｄ）のような色分離補間処理を行う場合、Ｒ１～Ｒ４（Ｒ２１，Ｒ２３，Ｒ４１，Ｒ４３）の各データが図２（ｂ）のように離れて保存されていることから、記億装置（メモリ）から読み込みを行うときに、アクセス時間による待機時間が増大する欠点があった。高速にアクセスするには図２（ａ）のような画素データを図３（ａ）～（ｃ）のようにＲＧＢの種別ごとにまとめて記憶装置の各メモリ領域に格納しておけば、高速化が可能であるが、画素データをＲＧＢの種別ごとに並べ替えを行う必要があるため新たに工程が必要となり、画像処理全体としては処理速度の低下と作業領域の記憶装置（メモリ）の増設によるコスト増大・消費電力増加・高発熱・装置の大型化などのデメリットの方が大きかった。
　本発明は、上述のような従来技術の問題に鑑み、メモリを増設せずにメモリのアクセス速度の向上による画像処理速度の向上を実現可能な画像歪み補正方法及び画像処理装置を提供することを目的とする。
　上述のように、色分離補間処理のときには使用する画素データがメモリ内の同じ記憶領域に存在する方が処理時間の短縮には有利である。色分離補間処理のとき、図１のような原色系（ベイヤー形式）配列構造の場合、複数の周囲画素からのデータ平均値によって補間処理される。したがって、この平均値を作成する画素データを同じ記憶領域内に保管することで処理時間の短縮化を図ることができる。さらに、補色系の配列構造の場合は、加算・減算処理があり、これらの各データも複数データの平均値から作成されるため、これらも同じ記憶領域に保存することで補色系の場合でも高速処理が可能となる。
　すなわち、上記目的を達成するために、本実施形態による画像歪み補正方法は、複数の画素を備えそれぞれの画素が１の色に対応する撮像素子を備え、光学系を介して前記撮像素子により撮像された画像の歪みを補正する方法において、歪み補正前後で画素の色が異なるとき、歪み補正後の画素データをメモリに保存した補正前の画素の周囲における複数画素の画素データによる補間処理で得、前記メモリには同一色の画素データが各色毎に連続して保存されていることを特徴とする。
　この画像歪み補正方法によれば、同一色の画素データを各色毎に連続してメモリに保存することで、同一色の画素データを用いて補間処理を行うときにメモリにおける高速アクセスが可能となり、メモリを増設せずにメモリのアクセス速度を向上でき、画像処理速度の向上を実現できる。
　すなわち、上記目的を達成するために、本実施形態による画像歪み補正方法は、複数の画素を備えそれぞれの画素が１の色に対応する撮像素子を備え、光学系を介して前記撮像素子により撮像された画像の歪みを補正する方法において、補正前の色と同じ色の補正後の画素データを、メモリに保存した補正前の画素の周囲における複数画素の画素データによる補間処理で得、前記メモリには同一色の画素データが各色毎に連続して保存されていることを特徴とする。
　この画像歪み補正方法によれば、同一色の画素データを各色毎に連続してメモリに保存することで、同一色の画素データを用いて補間処理を行うときにメモリにおける高速アクセスが可能となり、メモリを増設せずにメモリのアクセス速度を向上でき、画像処理速度の向上を実現できる。
　上記画像歪み補正方法において前記補間処理は、歪み補正前の画素の周囲の所定位置に配置されている画素が、補正後の画素の色と同じときは該所定位置に配置されている画素の画素データをそのまま用い、補正後の画素の色と異なるときは該所定位置に配置されている画素をその周囲における歪み補正後の色と同じ色の複数画素の画素データにより補間して得る第１処理と、前記補正前の画素の位置と前記所定位置に配置されている画素との相対位置関係、及び前記第１処理で得た複数の前記所定位置に配置されている画素の画素データにより、補正後の画素データを補間して得る第２処理と、からなることが好ましい。
　上記画像歪み補正方法において前記各色毎に連続して画素データを保存するメモリ領域の１ブロック単位の大きさは、前記補間処理で使用する前記複数画素の単位よりも大きいサイズが確保されていることが好ましい。例えば、所定画素の周囲の４画素の画素データを用いて補間処理を行う場合、メモリ領域の１ブロック単位の大きさは４画素の画素データを保存できる領域であることが好ましい。
　また、前記複数の色にはＲＧＢの算出に用いる色が含まれているとき、歪み補正後の画素データの前記メモリへの保存を、ＲＧＢの算出に用いる色同士の画素データを連続して行うことが好ましい。
　本実施形態による画像処理装置は、複数の画素を備えそれぞれの画素が１の色に対応し前記光学系を介して画像を撮像する撮像素子と、前記撮像素子から取り込んだ画像を処理する演算装置と、メモリと、を備え、前記演算装置は、前記画像の歪みを補正する処理において、補正前の色と同じ色の補正後の画素データを、メモリに保存した補正前の画素の周囲における複数画素の画素データによる補間処理で算出し、前記メモリに同一色の画素データを各色毎に連続して保存することを特徴とする。
　この画像処理装置によれば、同一色の画素データを各色毎に連続してメモリに保存することで、同一色の画素データを用いて補間処理を行うときにメモリにおける高速アクセスが可能となり、メモリを増設せずにメモリのアクセス速度を向上でき、画像処理速度の向上を実現できる。
　上記画像処理装置において、前記演算装置は、歪み補正前の画素の周囲の所定位置に配置されている画素が、補正後の画素の色と同じときは該所定位置に配置されている画素の画素データをそのまま用い、補正後の画素の色と異なるときは該所定位置に配置されている画素をその周囲における補正後の色と同じ色の複数画素の画素データにより補間して得る第１処理と、前記歪み補正前の画素の位置と前記所定位置に配置されている画素との相対位置関係、及び前記第１処理で得た複数の前記所定位置に配置されている画素の画素データにより、補正後の画素データを補間して得る第２処理と、により前記補間処理を行うことが好ましい。
　上記画像処理装置において、前記メモリにおける前記各色毎に連続して画素データを保存するメモリ領域の１ブロック単位の大きさは、前記補間処理で使用する前記複数画素の単位よりも大きいサイズであることが好ましい。例えば、所定画素の周囲の４画素の画素データを用いて補間処理を行う場合、メモリ領域の１ブロック単位の大きさは４画素以上の画素データを保存できる領域であることが好ましい。
　また、前記複数の色にはＲＧＢの算出に用いる色が含まれているとき、歪み補正後の画素データの前記メモリへの保存を、ＲＧＢの算出に用いる色同士の画素データを連続して行うことが好ましい。
　また、前記光学系は広角用光学系である場合、広角用光学系による画像の歪みを補正することができる。
　なお、本実施形態による画像形成装置は、上述の画像処理装置と、前記画像処理装置で歪み補正された画像について別の画像処理を行う画像処理部と、を備える。この画像形成装置によれば、上述のような歪み補正処理後の画像を画像処理部に出力し、ＩＳＰ処理等の画像処理前に歪み補正処理を行うことができる。このように歪み補正後の画像に対して画像処理を行うことで、より自然な画像を得ることができる。
　本発明によれば、メモリを増設せずにメモリのアクセス速度の向上による画像処理速度の向上を実現可能な画像歪み補正方法及び画像処理装置を提供することができる。
撮像素子からのＲＡＷ画像における一般的なベイヤー(Bayer)配列を模式的に示す図である。 撮像素子がベイヤー配列構造の場合、撮像素子から出力される画像データを模式的に示す図（ａ）及び図２（ａ）の画像データが記憶装置（メモリ）に連続した順列で格納される画像データを模式的に示す図（ｂ）である。 本実施形態において図２（ａ）の画素データからのＲの画素データが格納されたメモリ領域を模式的に示す図（ａ）、同じくＧの画素データが格納されたメモリ領域を模式的に示す図（ｂ）、同じくＧの画素データが格納されたメモリ領域を模式的に示す図（ｃ）である。 本実施形態において補間後の画素がＲ（赤）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＲであり、Ｒ→Ｒの場合（ａ）、同じくＢ→Ｒの場合（ｂ）、同じくoddＧ→Ｒの場合（ｃ）、同じくevenＧ→Ｒの場合（ｄ）を説明するための図である。 本実施形態において補間後の画素がＢ（赤）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＢであり、Ｂ→Ｂの場合（ａ）、同じくＲ→Ｂの場合（ｂ）、同じくoddＧ→Ｂの場合（ｃ）、同じくevenＧ→Ｂの場合（ｄ）を説明するための図である。 本実施形態において補間後の画素がＧ（緑）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＧであり、Ｇ→Ｇの場合（ａ）、補間前の画素がＧ以外であり、Ｇ以外→Ｇの場合（ｂ）を説明するための図である。 本実施形態において画像歪み補正前の画像を説明するための図（ａ）及び画像歪み補正後の画像を説明するための図（ｂ）である。 本実施形態による補間計算における補正係数の計算を説明するための図である。 図７（ａ）、（ｂ）の画像の歪み補正を説明するための図であり、図９（ａ）は図７（ａ）と同じ図、図９（ｂ）は図７（ｂ）と同じ図、図９（ｃ）は図９（ａ）の模式的拡大図、図９（ｄ）は図９（ｂ）の模式的拡大図である。 本実施形態による画像処理装置の概略的構成を示すブロック図である。 図１０の画像処理装置１０による画像歪み補正の各ステップＳ０１～Ｓ０８を説明するためのフローチャートである。 本実施の形態による画像形成装置の概略的構成を示すブロック図である。 他の実施形態における撮像素子において補色系画素を含む配列構造例を模式的に示す図である。 図１３の配列構造の場合の画像の歪み補正を説明するための図であり、図１４（ａ）は図９（ａ）と同じ図、図１４（ｂ）は図１４（ａ）の模式的拡大図でＧ、Ｙｅの画素データについての並べ替えを示す図、図１４（ｃ）は図１４（ａ）の模式的拡大図でＢの画素データについての並べ替えを示す図、図１４（ｄ）はＢの画素データについての図９（ｂ）と同じ図、図１４（ｅ）はＧ、Ｙｅの画素データについての図９（ｂ）と同じ図、図１４（ｆ）はＲの画素データについての図９（ｂ）と同じ図、図１４（ｇ）は図１４（ｅ）の模式的拡大図、図１４（ｈ）は図１４（ｅ）の模式的拡大図、図１４（ｉ）は図１４（ｆ）の模式的拡大図である。
　以下、本発明を実施するための最良の形態について図面を用いて説明する。
　最初に、図１、図４乃至図８を参照して、本発明者の１人が先に特開２００９－１５７７３３号公報で提案した色分離補間処理について説明する。
　図７は本実施形態において画像歪み補正前の画像を説明するための図（ａ）及び画像歪み補正後の画像を説明するための図（ｂ）である。上述の図１は撮像素子からのＲＡＷ画像における一般的なベイヤー(Bayer)配列を模式的に示す図である。
　本願においては、「補間」とは周辺の画素を用いて出力画素を演算することであり、「補正」とは、歪み補正のために画素の位置を移動させることである。
　広角レンズや魚眼レンズで得た画像の歪み補正は、図７（ａ）、（ｂ）のように画素を入れ替えることで行われる。すなわち、図７（ａ）のように、画像歪み補正前の円形画像領域内のある点の画素座標を（Ｘ，Ｙ）とし、その歪み補正後の矩形画像領域内の画素座標を（Ｘ’、Ｙ’）とすると、（Ｘ，Ｙ）→（Ｘ’、Ｙ’）として補正前の画素を補正後の画素に入れ替えるが、中央（０，０）から各座標までの各直線の傾斜角θが同一であるので、補正前の中央（０，０）からの距離をＬとし、その点に対応する歪み補正後の中央（０，０）からの距離をＬ’とすると、Ｌ→Ｌ’として補正前の画素を補正後の画素に入れ替える。
　なお、詳細は後述するが歪み補正後の（Ｘ’，Ｙ’）のＸ’、Ｙ’は整数であるが、補正後の（Ｘ’，Ｙ’）から算出される補正前の（Ｘ，Ｙ）は、ほとんどの場合は整数とならず小数部分を持つ実数値をとり得る。なお各座標の算出は、使用するレンズ特性から決定している補正ＬＵＴ（ルックアップテーブル）に基づいて行っている。またそれぞれの画素は矩形状に２次元配置されており、画素座標のＸ、Ｙが供に整数の場合にはいずれかの画素の位置（中心位置）に一致し、Ｘ、Ｙの何れかが小数部分を持つ画素座標の場合には、画素の位置（中心位置）とは一致していないことになる。
　上述の図７（ａ）、（ｂ）の歪み補正前の距離Ｌと歪み補正後の距離Ｌ’との関係を画像歪み補正係数として広角レンズや魚眼レンズのレンズ特性に基づいて予め求めておき、かかる画像歪み補正係数に基づいて撮影画像に対してＬ→Ｌ’とする画素の入れ替えを行うことで歪み補正を行うことができる。
　従来、広角レンズまたは魚眼レンズの歪み補正をする場合の上述の画素の入れ替えは、ＲＧＢ画像に変換した後に行っていた。一般的にイメージセンサ（撮像素子）からのＲＡＷ画像は、図１のようなベイヤー配列で並んだ画素で出力されるが、かかるベイヤー配列では、図１のように画素位置によって色（ＲＧＢ）が決まっているためにランダムな画素の入れ替えをすることができない。このため、歪み補正をＲＧＢ画像への変換後に行う必要があったのである。そこで、本実施形態では、目的座標の画素を周辺画素から補間計算してつくり出すことにより、ＲＧＢ画像へ変換せずにＲＡＷ画像のまま歪み補正処理を行うことができるようにしている。
　次に、ベイヤー配列の周辺画素の画素データから補間計算により目的座標の画素の画素データを演算する具体例について図４～図６、図８を参照して説明する。図８は本実施形態による補間計算における補正係数の計算を説明するための図である。
　（１）補間後の画素がＲ（赤/Red）である場合
　前述のとおり歪み補正後の画素の位置によって色（ＲＧＢ）が決まっている。歪み補正後の画素データは、補正後の画素の位置（Ｘ’，Ｙ’）に対応する補正前の画素の位置（Ｘ，Ｙ）周辺の画素データに基づいて補間処理により算出している。
　本実施形態においては、第１処理と第２処理の２段の処理により補間処理を行っている。（１）第１処理としては後述の図４乃至図６に示す様に補正前の画素の座標（Ｘ，Ｙ）の周辺の当該座標に近接する４点の画素（図４であれば画素５１～画素５４）の画素データを補間処理により得る。４点の画素の画素データはそれぞれの周辺の補正後の画素と同じ色の複数画素の画素データから補間処理する。なおこの４点の画素の位置は、撮像素子の画素の位置に対応しており所定位置に配置されているものである。
　（２）第２処理としては後述の図８に示す様に、第１処理で得た所定位置に配置されている４点の画素と、座標（Ｘ，Ｙ）の相対位置から補正前の座標（Ｘ，Ｙ）における画素（仮想の画素）での画素データを補間処理による得る。以下具体的に説明する。なお以下においては第１処理、第２処理における補間処理をそれぞれ第１補間処理、第２補間処理ともいう。
　なお、本実施形態では、２段の補間処理を行う例を示すが、１段の補間処理で行う実施形態でもよい。例えば、座標（Ｘ，Ｙ）が図２のＧ２２近傍（領域内）で色がＢの場合には、周辺の４つの同色の画素（Ｂ１２、Ｂ１４、Ｂ３２、Ｂ３４）の画素データとその相対位置関係から算出する場合である。
　（第１補間処理）
　図４は本実施形態において歪み補正処理後の画素がＲ（赤）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＲであり、Ｒ→Ｒの場合（ａ）、同じくＢ→Ｒの場合（ｂ）、同じくoddＧ→Ｒの場合（ｃ）、同じくevenＧ→Ｒの場合（ｄ）を説明するための図である。
　第１補間処理では、歪み補正前の座標（Ｘ，Ｙ）の周囲の所定位置に配置されている複数の画素の画素データを補間処理で得る。例えば図４における各画素の交点のうち、座標（Ｘ，Ｙ）が最も近い交点を算出し、その交点を囲む４つの画素の画素データを算出する。例えば座標（Ｘ，Ｙ）の最も近い交点が画素５１乃至画素５４で囲まれる交点であれば、これらの画素５１乃至画素５４の歪み補正処理後の画素の色における画素データの算出を行う。
　図４（ａ）のように、第１補間処理における補間前の画素５１がＲである場合（Ｒ→Ｒ）つまり補間前後で画素の色が同一のとき、補間前のＲの画素５１の画素データをそのまま補間後の画素データＲ５１とする。
　図４（ｂ）のように、補間前の画素５２がＢである場合（Ｂ→Ｒ）つまり補間前後で画素の色が異なるとき、画素５２の周囲四隅にあるＲの４画素５２ａ，５２ｂ，５２ｃ，５２ｄの画素データＲ１，Ｒ２，Ｒ３，Ｒ４を用いた補間処理により補間後の画素データＲ５２を求める。補間処理としては４つの画素データの平均化処理がある。
　図４（ｃ）のように、補間前の画素５３が奇数番目のＧである場合（oddＧ→Ｒ）、画素５３の図の上下の画素５３ａ、５３ｃ及び図の右側で最も近い画素５３ｂ、５３ｄの４画素の画素データＲ１，Ｒ２，Ｒ３，Ｒ４を用いて補間後の画素データＲ５３を求める。補間処理としては平均化処理してもよく、距離に応じた重み付けを行った平均化処理をしてもよい。
　図４（ｄ）のように、補間前の画素５４が偶数番目のＧである場合（evenＧ→Ｒ）、画素５４の図の左右の画素５４ａ、５４ｂ及び図の下側で最も近い画素５４ｃ、５４ｄの４画素の画素データＲ１，Ｒ２，Ｒ３，Ｒ４を用いて同様に補間後の画素データＲ５４を求める。
　（第２補間処理）
　第１補間処理で得た補間前の座標（Ｘ，Ｙ）に近接する所定位置に配置されている画素（５１乃至５４）の画素データ（Ｒ５１乃至Ｒ５４）に基づいて、第２補間処理により次式（数１）から座標（Ｘ，Ｙ）の補間後の画素データＲを求める。
Figure JPOXMLDOC01-appb-M000001
　ここで、各補正係数（coData0，coData1，coData2，coData3）は、図８に示す座標系で座標（Ｘ，Ｙ）の相対位置から計算でき、coData0＋coData1＝１，coData2＋coData3＝１である。図８において［］はガウス記号（あるいはfloor関数ともいう）を表しており、［Ｘ］はＸを超えない最大の整数を表す。なお図８において（［Ｘ］，［Ｙ］）は画素５１（画素データＲ５１）に、（［Ｘ＋１］，［Ｙ＋１］）は画素５２（画素データＲ５２）に、（［Ｘ］，［Ｙ＋１］）は画素５３（画素データＲ５３）に、（［Ｘ＋１］，［Ｙ］）は画素５４（画素データＲ５４）の位置にそれぞれ対応する。
　（２）補間後の画素がＢ（青/Blue）である場合
　（第１補間処理）
　図５は本実施形態において補間後の画素がＢ（青）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＢであり、Ｂ→Ｂの場合（ａ）、同じくＲ→Ｂの場合（ｂ）、同じくoddＧ→Ｂの場合（ｃ）、同じくevenＧ→Ｂの場合（ｄ）を説明するための図である。
　図５（ａ）のように、補間前の画素６１がＢである場合（Ｂ→Ｂ）、補間前のＢの画素６１の画素データをそのまま補間後の画素データとする。
　図５（ｂ）のように、補間前の画素６２がＲである場合（Ｒ→Ｂ）、画素６２の周囲四隅にある４画素６２ａ，６２ｂ，６２ｃ，６２ｄの画素データＢ１，Ｂ２，Ｂ３，Ｂ４を用いて前述のように平均化処理等により補間後の画素データＢを求める。
　（第２補間処理）
　第２補間処理により前述のＲのときと同様に数式（数１）と同様の式から座標（Ｘ，Ｙ）の補間後の画素データＢを求めることができる。詳細な説明は省略する。
　（３）補間後の画素がＧ（緑/Green）である場合
　（第１補間処理）
　図６は本実施形態において補間後の画素がＧ（緑）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＧであり、Ｇ→Ｇの場合（ａ）、補間前の画素がＧ以外であり、Ｇ以外→Ｇの場合（ｂ）を説明するための図である。
　図６（ａ）のように、補間前の画素７１がＧである場合（Ｇ→Ｇ）、補間前のＧの画素７１の画素データをそのまま補間後の画素データとする。
　図６（ｂ）のように、補間前の画素７２がＧ以外のＲまたはＢである場合（Ｇ以外→Ｇ）、画素７２の図の上下左右の画素７２ａ、７２ｂ、７２ｃ、７２ｄの４画素の画素データＧ１，Ｇ２，Ｇ３，Ｇ４を用いて前述のように平均化処理等により補間後の画素データＧを求める。
　以上のように、図７（ａ）、（ｂ）の歪み補正前の距離Ｌを歪み補正後の距離Ｌ’にして画素の入れ替えを行うことで歪み補正を行う際に、入れ替え後の画素の画素データを入れ替え前の画素の周辺の４画素（入れ替え後の画素の色と同じ色の画素）から補間計算することで精度よく求めることができ、従来のようにＲＧＢ変換せずにＲＡＷ画像のまま画像劣化の少ない歪み補正処理を行うことができる。
　上述のように、歪み補正後の画素の画素データを歪み補正前の画素の周辺の４画素（入れ替え後の画素の色と同じ色の画素）から補間計算する場合、比較例としての従来技術においてはＲ１～Ｒ４，Ｂ１～Ｂ４，Ｇ１～Ｇ４の各画素データが図２（ｂ）のように離れて保存されていることから、記億装置（メモリ）から読み込みを行うときに、アクセス時間による待機時間が増大してしまうという問題があった。かかる待機時間短縮のためには、図３（ａ）～（ｃ）のようにＲＧＢ毎にそれぞれまとめて画素データを記憶装置のメモリ領域に格納しておくことにより、必要な画素データを一度に読み込むことが可能となる、結果、アクセス時間を短くすることができる。
　なお、図４～図６のように、３×３の画像データ領域から所定画素の周囲の４画素の画素データＲ１～Ｒ４，Ｂ１～Ｂ４，Ｇ１～Ｇ４）を用いて補間処理を行う場合、メモリ領域の１ブロック単位の大きさは４画素の画素データを保存できる領域よりも大きいことが好ましい。
　図９を参照して図７（ａ）、（ｂ）の画像の歪み補正及び画素データの格納（保存）についてさらに説明する。
　図９は図７（ａ）、（ｂ）の画像の歪み補正を説明するための図であり、図９（ａ）は図７（ａ）と同じ図、図９（ｂ）は図７（ｂ）と同じ図、図９（ｃ）は図９（ａ）の模式的拡大図、図９（ｄ）は図９（ｂ）の模式的拡大図である。
　レンズ光学系を通して撮像素子で撮影された画像は、上述のようにレンズ光学系の歪みの影響から例えば図９（ａ）のような中央に円形方向に収縮したような画像となり、特にレンズ光学系が広角・魚眼レンズの場合、これが顕著となる。図９（ａ）の画像を撮影後の画像処理工程において図９（ｂ）のように画像処理する際に、図９（ｃ）のように収縮してしまった有効画像データ領域Ｃ内の画素データを無効画像データ領域Ｄをも含む領域へと図９（ｃ）、（ｄ）のように並び替えることで、肉眼で見た場合と同様な画像としている。この画像処理工程では上述のように画素データについて光学系のパラメータに基づいて特有の並べ替え処理が行われる。従来の手法の場合、ベイヤー配列の画素を歪み補正する場合、画素データはベイヤー配列のまま複数の色が連続した順列で格納されるデータ構造としていた（特許文献１参照）。
　それに対し、本実施形態では、画像データをＲＧＢの画素種類ごとに図３（ａ）～（ｃ）のようにＲＧＢの各データを１ブロックのメモリ領域にそれぞれまとめて配置し格納する。そして格納した各色の画素データを用いて補間処理を行う。補正前の画素の周囲の４画素の画素データを１ブロックのメモリ領域から読み出して図４、図５のように補間処理を行うことができるのでデータへのアクセスを迅速に行うことが可能となる。
　上記画像歪み補正処理のときにメモリ読み出しのバス幅（ｂｉｔ）は１ブロックのメモリ領域のサイズと同じであり、且つ、メモリ領域のサイズは補間処理で使用する複数画素の単位（実施形態では４画素）よりも十分大きく設定している。このようなことから少なくとも４画素の画素データを図３（ａ）～（ｃ）のような１ブロックのメモリ領域から１サイクルで読み出すことができるので、メモリへのアクセス時間が短縮化され、高速処理が可能となる。
　次に、本実施形態による画像処理装置について図１０を参照して説明する。図１０は本実施形態による画像処理装置の概略的構成を示すブロック図である。
　図１０に示すように、画像処理装置１０は、撮影像からの光が広角レンズＡを通して入射する撮像素子１１と、カウンタ１２と、距離演算部１３と、歪み補正係数記憶部１４と、演算部１５と、補正ＬＵＴ算出部１６と、歪み補正処理部１７と、画像バッファメモリ１９と、メモリ制御部１８と、を備える。広角レンズＡは複数枚のレンズからなるレンズ光学系から構成され、広い画角の画像を得ることができる。
　撮像素子１１は、多数の画素からなるＣＣＤやＣＭＯＳ等のイメージセンサから構成され、撮影像のＲＡＷ画像を図１のベイヤー配列にしたがって出力する。カウンタ１２は、撮像素子１１からの垂直同期信号ＶＤまたは水平同期信号ＨＤを検出して歪み補正後座標（Ｘ’，Ｙ’）を出力する。距離演算部１３は、図１０（ｂ）のような歪み補正後座標（Ｘ’，Ｙ’）から中央からの距離Ｌ’を演算する。
　歪み補正係数記憶部１４は、ＲＯＭやＲＡＭ等からなり、広角レンズＡのレンズ特性に応じた画像歪み補正係数を記憶する。演算部１５は、歪み補正後の中央からの距離Ｌ’及び歪み補正係数記憶部１４に記憶された画像歪み補正係数に基づいて歪み補正前の中央からの距離Ｌを演算するとともに、歪み補正前の中央からの距離Ｌと歪み補正後座標（Ｘ’，Ｙ’）とから歪み補正前座標（Ｘ，Ｙ）を算出する。
　補正ＬＵＴ算出部１６は、上述のようにして得られた各距離Ｌ、Ｌ’及び各座標（Ｘ，Ｙ）、（Ｘ’，Ｙ’）を対応付けた補正ＬＵＴ（ルックアップテーブル）を算出する。
　歪み補正処理部１７は、入力したＲＡＷ画像データＰについて補正ＬＵＴ算出部１６で算出した補正ＬＵＴを参照して画素を入れ替えて歪み補正し、このとき、後述の画像バッファメモリ１９に色毎に保存されている画素データを用いて入れ替え後の各画素データを上述の図４～図６、及び図８のような補間処理により求めるようになっている。このようにして歪み補正処理部１７から歪み補正後のＲＡＷ画像データＰ’を出力する。
　画像バッファメモリ１９は、図４～図６のような３×３の画像データ領域から歪み補正後の所定画素の色をその所定画素の周囲の４画素の画素データを用いて補間計算を行うときの、その４画素単位の画素データをＲＧＢ毎に保存し読み出し可能な領域メモリ領域１９ａ，１９ｂ，１９ｃを有する。
　画像バッファメモリ１９は、撮像素子１１で撮影したＲＡＷ画像データを、キャッシュメモリを介して１ブロック単位の各メモリ領域１９ａ，１９ｂ，１９ｃに一時保存するが、このとき、メモリ領域１９ａ～１９ｃに図３（ａ）～（ｃ）のようにＲＧＢ毎に各画素データをまとめて配置し格納する。
　メモリ制御部１８は、画像バッファメモリ１９と歪み補正処理部１７との間のＲＡＷ画像データの出入力を制御する。
　次に、図１０の画像処理装置１０における画像歪み補正の各ステップＳ０１～Ｓ０８について図１１のフローチャートを参照して説明する。
　まず、撮像素子１１からの電気信号からカウンタ１２が垂直同期信号ＶＤまたは水平同期信号ＨＤを検出すると（Ｓ０１）、カウンタ１２から歪み補正後座標（Ｘ’、Ｙ’）を出力する（Ｓ０２）。この歪み補正後座標（Ｘ’、Ｙ’）の出力は、例えば、図７（ｂ）の歪み補正後画像の矩形領域の左上を起点（０，０）にして開始する。
　次に、歪み補正後座標（Ｘ’、Ｙ’）から距離演算部１３で中央からの距離Ｌ’を算出する（Ｓ０３）。
　次に、歪み補正係数記憶部１４から読み出した画像歪み補正係数に基づいて演算部１５で中央からの距離Ｌ’から歪み補正前の中央からの距離Ｌを算出する（Ｓ０４）。
　次に、補正ＬＵＴ算出部１６で歪み補正前の中央からの距離Ｌと歪み補正後座標（Ｘ’，Ｙ’）とから歪み補正前座標（Ｘ，Ｙ）を算出する（Ｓ０５）。
　図１０の撮像素子１１からのＲＡＷ画像データＰは画像バッファメモリ１９の各メモリ領域１９ａ～１９ｃに図３に示したようにＲＧＢ毎に保存されており、メモリ制御部１８の制御によりメモリ領域１９ａ～１９ｃに保存されているＲＡＷ画像データが随時読み出される。歪み補正処理部１７は、読み出した画像データにより第１段の補間処理（第１補間処理：図４乃至図６参照）により、Ｓ０５で算出して歪み補正前座標（Ｘ，Ｙ）により、その近傍の周辺画素を選択し、選択した周辺画素の歪み補正後座標（Ｘ’，Ｙ’）の色の画素データ（図４の例ではＲ５１～Ｒ５４）を補間処理により算出する（Ｓ０６）。
　次に、歪み補正処理部１７は、Ｓ０６で選択した周辺画素と補正前座標（Ｘ，Ｙ）の相対位置及び、周辺画素の画素データにより補正前座標（Ｘ，Ｙ）の画素データを第２段の補間処理（第２補間処理：図８参照）により算出する（Ｓ０７）。
　Ｓ０７で算出した歪み補正前座標（Ｘ，Ｙ）の画素データを歪み補正後座標（Ｘ’，Ｙ’）の画素データとして用いる（Ｓ０８）。
　上述の各ステップＳ０１～Ｓ０８を、図７（ｂ）の歪み補正後画像の矩形領域の左上を起点（０，０）にして１画素（ピクセル）ずつずらして右下の終点、例えば（６４０，４８０）までの各画素（ピクセル）について実行することで、図７（ｂ）の歪み補正後画像の全画素について歪み補正が行われる。
　以上のように、本実施形態の画像処理装置及び方法によれば、目的座標の画素の画素データを周辺画素の画素データから補間計算することで求めることにより、ＲＧＢ画像に変換せずにＲＡＷ画像のまま画像劣化の少ない歪み補正処理を行うことができるため、高速処理が可能となり、画素の入れ替えに必要なメモリ量を削減することができる。
　また、ＲＧＢ毎に画素データを保存したメモリ領域１９ａ～１９ｃからＲＧＢの各画素データを読み出して補間計算を行うので、図２（ｂ）のような格納状態からのデータ読み出しとは異なり、待機時間がなく、アクセス時間が短縮され、高速処理が可能となる。このように、画像の歪み補正処理のときの画素データの格納を高速処理用に並べ替えて配置し格納することで、メモリのアクセス速度の向上を達成でき、画像処理速度の向上を実現できるとともに、メモリを特に増設しなくてすむので、装置の低消費電力・低発熱化を図ることができる。
　また、他の補間計算（バイリニア・バイキュービック）と同じように、画像のグラデーションが滑らかになるという効果も得られる。また、入出力がＲＡＷ画像になることでＩＳＰ処理を歪み補正処理の後に行うことができ、歪み補正をした画像に対してＩＳＰ処理による画像処理を行うことができる。
　次に、図１０の画像処理装置を含む画像形成装置について図１２を参照して説明する。図１２は本実施形態による画像形成装置の概略的構成を示すブロック図である。
　図１２のように、画像形成装置５０は、広角レンズＡと、図１０の画像処理装置１０と、ＩＳＰ処理部２０と、画像表示部３０と、画像メモリ部４０と、を備え、デジタルスチルカメラを構成可能である。
　画像形成装置５０は、広角レンズＡを通して撮影像の光が図１０の撮像素子１１に入射すると、撮像素子１１からのＲＡＷ画像データＰを上述の図４～図８のようにして歪み補正処理し、その歪み補正後のＲＡＷ画像データＰ’がＩＳＰ処理部２０に入力し、歪み補正後のＲＡＷ画像についてＩＳＰ処理部２０でホワイトバランスや色補正やガンマ補正処理等の画像処理を行い、その画像処理後の画像を液晶等からなる画像表示部３０に表示するとともに、画像メモリ部４０に保存する。
　以上のように、図１２の画像形成装置５０によれば、広角レンズＡを通して得られたＲＡＷ画像を歪み補正処理したＲＡＷ画像をＩＳＰ処理部２０に出力し、歪み補正後のＲＡＷ画像に対してＩＳＰ処理を行うので、ＩＳＰ処理の前に歪み補正処理をすることができるとともに、歪み補正の前後で画素の色が異なる場合にはその画素データを補間計算により高速に求めることができる。このように、歪み補正後のＲＡＷ画像に対してＩＳＰ処理を行うため、より自然な画像を比較的高速に得ることができる。
　以上のように本発明を実施するための最良の形態について説明したが、本発明はこれらに限定されるものではなく、本発明の技術的思想の範囲内で各種の変形が可能である。例えば、図１０、図１２では、撮像素子１１に前置されるレンズを広角レンズとしたが、本発明はこれらに限定されず、広視野画像を得ることのできる魚眼レンズであってもよく、さらに、歪み補正の必要な他のレンズであってもよい。
　［他の実施形態］
　次に、他の実施形態として撮像素子の色フィルタがベイヤー配列構造でなく、補色等のＲＧＢを除いたＲＧＢの算出に用いる色（以下、単に補色系という）の色フィルタの画素（以下、補色系画素という）を含む場合について説明する。他の実施形態においては最終的には補色系画素データからＲＧＢの各画素データを演算によって求める必要がある。
　ＲＧＢの算出に用いる色の組み合わせ及びこれらから算出されるＢＧＲとしては以下の例（１～９）がある。補色系フィルタの画素を含む場合の代表例としてYellowとGreen、及びBlueを用いた例について、以下、図１３、図１４を参照して説明する。
１．YellowとGreen　→Red
２．YellowとRed　→Green
３．CyanとGreen　→Blue
４．CyanとBlue　→Green
５．WhiteとYellow　→Blue
６．WhiteとCyan　→Red
７．WhiteとMagenta　→Green
８．MagentaとRed　→Blue
９．MagentaとBlue　→Red
　図１３は、撮像素子において補色系画素を含む配列構造例を模式的に示す図である。図３乃至図１２で説明した本実施形態においてはＲＧＢの画素種類ごとに図３（ａ）～（ｃ）のようにＲＧＢの各データを１ブロックのメモリ領域にそれぞれまとめて配置し格納し、格納した各色の画素データを用いて補間処理を実行し、補間処理した画素データに基づいて歪み補正処理を行っていた。図１３等に示す他の実施形態においても、図３乃至図１２の処理については同様であり、図３（ａ）～（ｃ）のようにＹ及びＧＢの各データを１ブロックのメモリ領域にそれぞれまとめて配置し格納し、格納した各色の画素データを用いて補間処理を実行し、補間処理した画素データに基づいて歪み補正処理を行う。
　図１４は、図１３の配列構造の場合の画像の歪み補正を説明するための図であり、図１４（ａ）は図９（ａ）と同じ図、図１４（ｂ）は図１４（ａ）の模式的拡大図でＧ、Ｙｅの画素データについての並べ替えを示す図、図１４（ｃ）は図１４（ａ）の模式的拡大図でＢの画素データについての並べ替えを示す図、図１４（ｄ）はＢの画素データについての図９（ｂ）と同じ図、図１４（ｅ）はＧ、Ｙｅの画素データについての図９（ｂ）と同じ図、図１４（ｆ）はＲの画素データについての図９（ｂ）と同じ図、図１４（ｇ）は図１４（ｅ）の模式的拡大図、図１４（ｈ）は図１４（ｅ）の模式的拡大図、図１４（ｉ）は図１４（ｆ）の模式的拡大図である。
　他の実施形態と、前述の本実施形態との違いについて説明する。図１４に示す他の実施形態においては、歪み補正後の画素データのメモリへの保存を、ＲＧＢの算出に用いる色同士の画素データを連続して行い、これ以外の色の画素データを色毎に連続して行う。つまりＲの算出に用いるＹｅとＧについてはこれらを連続してメモリに保存し、これ以外の色であるＢについてはＢのみを連続してメモリに保存する。以下のその理由を説明する。
　補色系画素を含む配列構造の場合、補色系画素データからＲＧＢの各画素データを演算によって求めるが、例えば、図１３のような場合、Ｒのデータは通常、次の式（１）のようにＹｅ(Yellow)の画素データからＧ(Green)の画素データを減算して求める。
　　　Ｒ(Red)＝Ｙｅ(Yellow)－Ｇ(Green)　　（１）
　原色（ＲＧＢ）でない補色系の色であるＹｅの画素データを単独で処理することはなく、通常は上記式（１）の演算により求められたＲの画素データを利用する。したがって、歪み補正処理後のＹｅの画素データは、Ｇの画素データとメモリの同じ領域に格納し、近接座標の画素データはＧの画素データと連続していることが望ましい。
　図１４は、他の実施形態における処理を説明するものであるが、図１４（ｂ）、（ｈ）のように補色系のＹｅが含まれる画素データにつき歪み補正処理を行い、その際にＹｅ、Ｇの画素データを同じ１ブロックのメモリ領域に格納するとともに、Ｒの画素データを上記式（１）により求め、図１４（ｆ）、（ｉ）のようにＲの画素データにつき歪み補正を行い、その画素データを１ブロックのメモリ領域に格納する。このようにすることでその後の画像処理として、１画素にＢＧＲ画素データを持たせた画像データへの変換を行う際にＲＧＢの算出に用いる画素の画素データを１ブロックのメモリ領域から１サイクルで読み出すことができるので、メモリへのアクセス時間が短縮化され、高速処理が可能となる。
　１０　画像処理装置
　１１　撮像素子
　１７　歪み補正処理部
　１８　メモリ制御部
　１９　画像バッファメモリ
　１９ａ～１９ｃ　メモリ領域
　５０　画像形成装置
　Ａ　広角レンズ

Claims (11)

  1. 　複数の画素を備えそれぞれの画素が１の色に対応する撮像素子を備え、光学系を介して前記撮像素子により撮像された画像の歪みを補正する画像歪み補正方法において、
    　歪み補正前後で画素の色が異なるとき、歪み補正後の画素データをメモリに保存した補正前の画素の周囲における複数画素の画素データによる補間処理で得、
    　前記メモリには同一色の画素データが各色毎に連続して保存されていることを特徴とする画像歪み補正方法。
  2. 　複数の画素を備えそれぞれの画素が１の色に対応する撮像素子を備え、光学系を介して前記撮像素子により撮像された画像の歪みを補正する画像歪み補正方法において、
    　補正前の色と同じ色の補正後の画素データを、メモリに保存した補正前の画素の周囲における複数画素の画素データによる補間処理で得、
    　前記メモリには同一色の画素データが各色毎に連続して保存されていることを特徴とする画像歪み補正方法。
  3. 　前記補間処理は、
    　歪み補正前の画素の周囲の所定位置に配置されている画素が、補正後の画素の色と同じときは該所定位置に配置されている画素の画素データをそのまま用い、補正後の画素の色と異なるときは該所定位置に配置されている画素をその周囲における補正後の色と同じ色の複数画素の画素データにより補間して得る第１処理と、
    　前記補正前の画素の位置と前記所定位置に配置されている画素との相対位置関係、及び前記第１処理で得た複数の前記所定位置に配置されている画素の画素データにより、補正後の画素データを補間して得る第２処理と、からなる請求項２に記載の画像歪み補正方法。
  4. 　前記各色毎に連続して画素データを保存するメモリ領域の１ブロック単位の大きさは、前記補間処理で使用する前記複数画素の単位よりも大きいサイズが確保されている請求項１から３のいずれか一項に記載の画像歪み補正方法。
  5. 　前記複数の色にはＲＧＢの算出に用いる色が含まれており、
    　歪み補正後の画素データの前記メモリへの保存を、ＲＧＢの算出に用いる色同士の画素データを連続して行う請求項１から４のいずれか一項に記載の画像歪み補正方法。
  6. 　光学系と、複数の画素を備えそれぞれの画素が１の色に対応し前記光学系を介して画像を撮像する撮像素子と、前記撮像素子から取り込んだ画像を処理する演算装置と、メモリと、を備え、
    　前記演算装置は、前記画像の歪みを補正する処理において、歪み補正前後で画素の色が異なるとき、歪み補正後の画素データをメモリに保存した補正前の画素の周囲における複数画素の画素データによる補間処理で算出し、前記メモリに同一色の画素データを各色毎に連続して保存することを特徴とする画像処理装置。
  7. 　光学系と、複数の画素を備えそれぞれの画素が１の色に対応し前記光学系を介して画像を撮像する撮像素子と、前記撮像素子から取り込んだ画像を処理する演算装置と、メモリと、を備え、
    　前記演算装置は、前記画像の歪みを補正する処理において、補正前の色と同じ色の補正後の画素データを、メモリに保存した補正前の画素の周囲における複数画素の画素データによる補間処理で算出し、前記メモリに同一色の画素データを各色毎に連続して保存することを特徴とする画像処理装置。
  8. 　前記演算装置は、
    　歪み補正前の画素の周囲の所定位置に配置されている画素が、補正後の画素の色と同じときは該所定位置に配置されている画素の画素データをそのまま用い、補正後の画素の色と異なるときは該所定位置に配置されている画素をその周囲における補正後の色と同じ色の複数画素の画素データにより補間して得る第１処理と、
    　前記補正前の画素の位置と前記所定位置に配置されている画素との相対位置関係、及び前記第１処理で得た複数の前記所定位置に配置されている画素の画素データにより、補正後の画素データを補間して得る第２処理と、
    　により前記補間処理を行う請求項７に記載の画像処理装置。
  9. 　前記メモリにおける前記各色毎に連続して画素データを保存するメモリ領域の１ブロック単位の大きさは、前記補間処理で使用する前記複数画素の単位よりも大きいサイズが確保されている請求項６から８のいずれか一項に記載の画像処理装置。
  10. 　前記複数の色にはＲＧＢの算出に用いる色が含まれており、
    　歪み補正後の画素データの前記メモリへの保存を、ＲＧＢの算出に用いる色同士の画素データを連続して行う請求項６から９のいずれか一項に記載の画像処理装置。
  11. 　前記光学系は広角用光学系である請求項６から１０のいずれか一項に記載の画像処理装置。
PCT/JP2009/066081 2008-09-19 2009-09-15 画像歪み補正方法及び画像処理装置 WO2010032720A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010529757A JP5187602B2 (ja) 2008-09-19 2009-09-15 画像歪み補正方法及び画像処理装置
US13/119,303 US20110170776A1 (en) 2008-09-19 2009-09-15 Image distortion correcting method and image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008240425 2008-09-19
JP2008-240425 2008-09-19

Publications (1)

Publication Number Publication Date
WO2010032720A1 true WO2010032720A1 (ja) 2010-03-25

Family

ID=42039544

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/066081 WO2010032720A1 (ja) 2008-09-19 2009-09-15 画像歪み補正方法及び画像処理装置

Country Status (3)

Country Link
US (1) US20110170776A1 (ja)
JP (1) JP5187602B2 (ja)
WO (1) WO2010032720A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105246A (ja) * 2010-11-09 2012-05-31 Avisonic Technology Corp 画像補正方法、および関連する画像補正システム
JP2018205987A (ja) * 2017-06-01 2018-12-27 株式会社リコー 画像処理装置、画像処理方法及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014183473A (ja) * 2013-03-19 2014-09-29 Toshiba Corp 電気機器の光学システム
US9536287B1 (en) * 2015-07-09 2017-01-03 Intel Corporation Accelerated lens distortion correction with near-continuous warping optimization
EP3331236A1 (en) * 2016-11-30 2018-06-06 Thomson Licensing Method for rendering a final image from initial images acquired by a camera array, corresponding device, computer program product and computer-readable carrier medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186533A (ja) * 1999-12-22 2001-07-06 Olympus Optical Co Ltd 画像処理装置
JP2005086247A (ja) * 2003-09-04 2005-03-31 Olympus Corp 撮像装置
JP2008060893A (ja) * 2006-08-31 2008-03-13 Dainippon Printing Co Ltd 補間演算装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7839446B2 (en) * 2005-08-30 2010-11-23 Olympus Corporation Image capturing apparatus and image display apparatus including imparting distortion to a captured image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001186533A (ja) * 1999-12-22 2001-07-06 Olympus Optical Co Ltd 画像処理装置
JP2005086247A (ja) * 2003-09-04 2005-03-31 Olympus Corp 撮像装置
JP2008060893A (ja) * 2006-08-31 2008-03-13 Dainippon Printing Co Ltd 補間演算装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012105246A (ja) * 2010-11-09 2012-05-31 Avisonic Technology Corp 画像補正方法、および関連する画像補正システム
US9153014B2 (en) 2010-11-09 2015-10-06 Avisonic Technology Corporation Image correction method and related image correction system thereof
JP2018205987A (ja) * 2017-06-01 2018-12-27 株式会社リコー 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP5187602B2 (ja) 2013-04-24
JPWO2010032720A1 (ja) 2012-02-09
US20110170776A1 (en) 2011-07-14

Similar Documents

Publication Publication Date Title
JP5049155B2 (ja) プログレッシブ・インタレース変換方法、画像処理装置及び画像撮像装置
JP4911628B2 (ja) 画像処理方法、画像処理装置及び画像撮像装置
JP5451782B2 (ja) 画像処理装置および画像処理方法
US8417031B2 (en) Image processing apparatus and method
JP5008578B2 (ja) 画像処理方法、画像処理装置及び画像撮像装置
TWI486062B (zh) 攝像設備
JP5078148B2 (ja) 画像処理装置及び画像撮像装置
JP4966894B2 (ja) 画像撮像装置
JP5062846B2 (ja) 画像撮像装置
JP5240453B2 (ja) 画像処理方法、画像処理装置及び画像撮像装置
JP2004241991A (ja) 撮像装置、画像処理装置及び画像処理プログラム
JP2009218909A (ja) 画像撮像装置
JP5187602B2 (ja) 画像歪み補正方法及び画像処理装置
US20090167917A1 (en) Imaging device
JP5398750B2 (ja) カメラモジュール
JP5020792B2 (ja) 合成画像生成装置および合成画像生成方法
JP2009157733A (ja) 画像歪み補正方法、画像歪み補正装置及び画像形成装置
JP2009225119A (ja) 画像撮像装置
JP5268321B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP5535099B2 (ja) カメラモジュール及び画像記録方法
JP5278421B2 (ja) 撮像装置
WO2018193544A1 (ja) 撮像装置および内視鏡装置
JP5333163B2 (ja) 撮像装置
JP4517896B2 (ja) 撮像装置及びその画素補間方法
JP2012227869A (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09814565

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010529757

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13119303

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09814565

Country of ref document: EP

Kind code of ref document: A1