WO2013080920A1 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
WO2013080920A1
WO2013080920A1 PCT/JP2012/080484 JP2012080484W WO2013080920A1 WO 2013080920 A1 WO2013080920 A1 WO 2013080920A1 JP 2012080484 W JP2012080484 W JP 2012080484W WO 2013080920 A1 WO2013080920 A1 WO 2013080920A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
reference image
color
processing
Prior art date
Application number
PCT/JP2012/080484
Other languages
English (en)
French (fr)
Inventor
高宏 矢野
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Publication of WO2013080920A1 publication Critical patent/WO2013080920A1/ja
Priority to US14/288,119 priority Critical patent/US9092883B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Definitions

  • the present invention relates to a technique for synthesizing a plurality of color filter array images obtained by photographing the same subject with an imaging device having a plurality of on-chip color filters without going through a demosaic process.
  • the imaging device that can obtain a color image includes a multi-plate type and a single-plate type.
  • the multi-plate type imaging apparatus includes a color separation optical system such as a dichroic prism disposed behind the photographing optical system, and a plurality of monochrome imaging elements disposed on an optical path divided by the color separation optical system.
  • the single-plate imaging device includes an imaging device in which a plurality of colors, for example, three colors of on-chip color filters such as RGB and YCM, are arranged on a light receiving surface.
  • a single-plate type imaging device is only required to have one imaging element, and a dichroic prism or the like is unnecessary, which is advantageous in reducing the size and cost of the imaging device.
  • An image that has been read from an image pickup device including an on-chip color filter is referred to as a color filter array image. Since an image that can be viewed by a person cannot be obtained as it is, demosaic processing is performed and the image is referred to as a demosaic image. A generated image is generated.
  • the demosaic image pixel values corresponding to the number of colors of the on-chip color filter, for example, R, G, and B pixel values are generated for each pixel constituting the image. That is, in the color filter array image, only a pixel value of a certain color can be obtained from one pixel, but the demosaic image has pixel values of a plurality of colors corresponding to one pixel.
  • the amount of image information increases three times as much as before demosaic processing by demosaic processing.
  • JP2002-112007A discloses a method of combining a plurality of images after performing demosaic processing.
  • the composition processing is performed mainly using the G color component.
  • JP 2006-157568A discloses a method of combining a plurality of color filter array images without demosaic processing. At this time, a positional deviation amount is detected between a plurality of color filter array images to be synthesized, and a plurality of images are added and synthesized while compensating for the detected positional deviation.
  • JP 2006-157568A a positional shift is detected between images before demosaic processing, and the images are combined, so that it is expected to reduce the amount of information to be processed.
  • JP2006-157568A when detecting the amount of misalignment between two images, pixel units having the same color arrangement are detected between a plurality of color filter array images each having a Bayer array. To be compared. In the Bayer array, 4 pixels of 2 pixels ⁇ 2 pixels are array units. Then, the positional deviation between the plurality of images is detected by obtaining the positional deviation between the pixels of the same color component in the plurality of images.
  • the positional deviation detection accuracy (minimum unit) is 2 pixels in both the vertical and horizontal directions.
  • the synthesizing accuracy at the time of performing the process of synthesizing the image also becomes a minimum unit of two pixels.
  • the arrangement unit of the color filter array is further increased, and accordingly, the positional deviation detection accuracy and the synthesis accuracy are further decreased.
  • an image processing apparatus that combines a plurality of color filter array images obtained by photographing the same subject.
  • a misregistration amount calculation for calculating a misregistration amount of the reference image with respect to the standard image, using one image as a standard image among the plurality of color filter array images and using an image different from the single image as a reference image.
  • synthesis is performed based on the pixel values of the standard image pixel and the reference image pixel that are pixels at the corresponding pixel positions of the standard image and the reference image.
  • a synthesis processing unit that performs processing to generate a synthesized color filter array image, When the color of the corresponding pixel is different between the reference image pixel and the reference image pixel, the synthesis processing unit generates a pixel value of the same color as the color of the reference image pixel from the reference image by interpolation processing. Then, a synthesis process is performed based on the pixel value generated by the interpolation process and the pixel value of the reference image pixel.
  • an image processing method for combining a plurality of color filter array images obtained by photographing the same subject.
  • a misregistration calculation step of calculating a misregistration amount of the reference image with respect to the standard image, using one image as a standard image among the plurality of color filter array images and using an image different from the single image as a reference image.
  • the composition processing is performed based on the pixel values of the standard image pixel and the reference image pixel that are pixels at the corresponding pixel positions of the standard image and the reference image.
  • a synthesis processing step for generating a synthesized color filter array image In the synthesis processing step, when the color of the corresponding pixel is different between the reference image pixel and the reference image pixel, a pixel value having the same color as the color of the reference image pixel is generated from the reference image by interpolation processing. The synthesis process is performed based on the pixel value generated by the interpolation process and the pixel value of the reference image pixel.
  • an image processing program for combining a plurality of color filter array images obtained by photographing the same subject, A misregistration amount calculation for calculating a misregistration amount of the reference image with respect to the standard image, using one image as a standard image among the plurality of color filter array images and using an image different from the single image as a reference image. Processing steps; Based on the pixel values of the reference image pixel and the reference image pixel that are pixels at the corresponding pixel positions of the reference image and the reference image based on the displacement amount calculated in the displacement amount calculation processing step.
  • a synthesis processing step when the color of the corresponding pixel is different between the reference image pixel and the reference image pixel, a pixel value having the same color as the color of the reference image pixel is generated from the reference image by interpolation processing.
  • the combining process is performed based on the pixel value generated by the interpolation process and the pixel value of the reference image pixel.
  • FIG. 1 is a block diagram illustrating the configuration of the image processing unit.
  • FIG. 2 conceptually shows that one color filter array image among a plurality of color filter array images is selected as a reference image, and partial areas for performing block matching are sequentially set in the reference image.
  • FIG. 3 is a diagram for explaining a sub-pixel position estimation method, and is a diagram conceptually illustrating an example of position estimation by parabolic fitting.
  • FIG. 4 shows a partial area image in the reference image that can be taken in accordance with the result of specifying the position of the partial area image corresponding to the partial area image set in the reference image of the color filter array image in the reference image. It is a figure which shows the arrangement pattern of pixel color.
  • FIG. 4 shows a partial area image in the reference image that can be taken in accordance with the result of specifying the position of the partial area image corresponding to the partial area image set in the reference image of the color filter array image in the reference image. It is a figure which shows the arrangement pattern of pixel color.
  • FIG. 5A shows the pixel color arrangement pattern of the partial region image specified in the reference image as corresponding to the partial region image set in the reference image, and the pixel color arrangement of the partial region image set in the reference image. It is a figure explaining the interpolation process performed when different from a pattern.
  • FIG. 5B shows the pixel color arrangement pattern of the partial area image specified in the reference image as corresponding to the partial area image set in the reference image. It is another figure explaining the interpolation process performed when different from a pattern.
  • FIG. 6 is a flowchart for explaining a procedure for synthesizing a plurality of color filter array images performed by the image processing unit.
  • FIG. 7 is a diagram for explaining an example of a processing procedure when three or more color filter array images are combined.
  • FIG. 8 is a diagram for explaining another example of the processing procedure when three or more color filter array images are combined.
  • FIG. 9 is a block diagram illustrating an example in which an image processing unit is provided in a digital camera.
  • FIG. 10 is a block diagram illustrating a schematic internal configuration of a computer, and is a diagram illustrating an example in which an image processing unit is realized by the computer executing an image processing program.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an image processing unit.
  • the image processing unit 100 includes a color filter array image acquisition unit (hereinafter referred to as a CFA image acquisition unit) 102, a storage unit 104, a misregistration amount calculation unit 106, a synthesis processing unit 108, a development processing unit 112, And an output unit 114.
  • a CFA image acquisition unit hereinafter referred to as a CFA image acquisition unit
  • storage unit 104 includes a storage unit 104, a misregistration amount calculation unit 106, a synthesis processing unit 108, a development processing unit 112, And an output unit 114.
  • the CFA image acquisition unit 102 acquires a plurality of CFA images obtained by imaging the same subject.
  • a plurality of CFA images are obtained by capturing the same subject in time series in a relatively short time. Alternatively, it can be obtained by imaging the same subject substantially simultaneously using a plurality of imaging units.
  • a so-called HDR (High Dynamic Range) image can be obtained by combining the CFA images.
  • the storage unit 104 includes a memory having a relatively high access speed, such as SDRAM, and temporarily stores a plurality of CFA images acquired by the CFA image acquisition unit 102.
  • the storage unit 104 is also used as a work area for the composition processing unit 108.
  • the misregistration amount calculation unit 106 calculates the misregistration amount of the reference image with respect to the standard image by using one image among the plurality of CFA images as a standard image and using a CFA image different from the standard image as a reference image.
  • Various methods can be used as a method of calculating the positional deviation amount. Although it is possible to compare the reference image and the reference image for the entire image as a single region and calculate the amount of displacement, the following example shows how to calculate the amount of displacement for each partial region by block matching. Will be described.
  • FIG. 2 shows an example of partial areas set in the reference image for block matching.
  • FIG. 2 shows an example in which a partial region composed of 36 pixels, 6 pixels in the vertical direction (column direction) and 6 pixels in the horizontal direction (row direction), is set.
  • the CFA image is a so-called Bayer CFA image.
  • one pixel array unit is formed by four pixels of two pixels in the vertical direction and two pixels in the horizontal direction.
  • the positional deviation amount calculation unit 106 searches the reference image using the image of the partial area selected in the standard image as a template, and has the highest degree of coincidence (the degree of difference is smallest).
  • the position of the partial area image is derived.
  • the absolute value of the difference between the pixel values at the corresponding pixel positions or the square of the difference is obtained corresponding to each pixel position, These sums are treated as dissimilarities. That is, when the sum value becomes the smallest, the degree of coincidence becomes maximum (the degree of difference is minimum).
  • a partial area image having the same pixel color arrangement pattern as the partial area of the standard image is extracted from the reference image and compared. Is done. That is, in the example shown in FIG. 2, the arrangement of the pixel colors of the image of the partial region selected from the reference image is such that the colors of R, G, R, G,. Are arranged in G, B, G, B,... Colors. Correspondingly, the arrangement of the pixel colors of the partial areas selected in the reference image is the same as described above.
  • the pixel value differs depending on which pixel the brightness and color at a certain point on the subject is detected, and there is a case where a correct correlation cannot be obtained between the two images to be compared.
  • the accuracy (minimum unit) of the amount of displacement detected by block matching depends on the pixel color array unit of the CFA image.
  • the pixel color arrangement unit is composed of 2 pixels in the vertical direction and 2 pixels in the horizontal direction. Therefore, the accuracy is 2 pixels in both the vertical direction (column direction) and the horizontal direction (row direction) of the image. A displacement amount is detected.
  • the pixel color array unit of the CFA image is r pixels in the vertical direction and c pixels in the horizontal direction (r and c are both arbitrary positive integers).
  • the minimum unit of the detected positional deviation amount is r pixels in the vertical direction and c pixels in the horizontal direction. That is, as the pixel color array unit of the CFA image increases (the number of colors increases), the minimum unit of the detected positional deviation amount increases.
  • the positional deviation amount calculation unit 106 performs subpixel position estimation.
  • subpixel position estimation methods include equiangular straight line fitting and parabolic fitting.
  • FIG. 3 shows an example of subpixel estimation using parabolic fitting.
  • the horizontal axis indicates the amount of positional deviation (unit: pixel)
  • the vertical axis indicates the degree of difference
  • the degree of difference obtained by shifting the position of the partial area in the reference image is plotted.
  • the positional deviation amount when the partial area images of both the base image and the reference image are overlapped without shifting the position is set to 0 [pixel]. . From this state, when the partial region image of the reference image is shifted leftward by 2 pixels while the base image is fixed, the amount of positional deviation is set to ⁇ 2 [pixel]. Conversely, when the reference image is shifted by two pixels in the right direction, the positional deviation amount is 2 [pixels].
  • a difference in pixel value between pixels at the same pixel position in the standard image and the reference image is obtained corresponding to each pixel position, and the sum of absolute values of these differences or the sum of squares ( The sum of the squares of the differences obtained corresponding to each pixel position is obtained.
  • the degree of difference is a value corresponding to the sum of these absolute values or the sum of squares.
  • an equation of a parabola that passes through three different degrees that is, the difference degree of the positional deviation amount of the minimum difference degree and the difference degree of the right and left positional deviation amounts is obtained.
  • the vertex of the parabola can be obtained from the equation, and the coordinates of the vertex can be obtained as the amount of positional deviation when the dissimilarity is minimized estimated by subpixels.
  • the amount of positional deviation obtained by subpixel position estimation is made an integer by rounding off or the like.
  • the calculation of the above-described misregistration by the misregistration amount calculation unit 106 is performed in each of the vertical and horizontal directions of the image. In this manner, the amount of positional deviation is calculated with a resolution of one pixel regardless of the number of vertical and horizontal pixels constituting the pixel color arrangement unit of the CFA image (vertical, horizontal, two pixels in the Bayer CFA image).
  • composition processing unit 108 Based on the positional deviation amount information, the composition processing unit 108 performs processing for combining the base image and the reference image to generate a composite image.
  • FIG. 4 shows a pixel of the partial area image PRI1 set in the standard image and the partial area image PRI2 specified in the reference image based on the positional deviation amount calculated by the positional deviation amount calculation unit 106. It is a figure which shows the arrangement
  • the partial area image set in the standard image is referred to as a partial area image PRI1
  • the partial area image specified in the reference image is referred to as a partial area image PRI2.
  • the lateral displacement amount calculated by the displacement amount calculation unit 106 is dx
  • the longitudinal displacement amount is dy.
  • the partial area set in the reference image in the composition process may be the same as or different from the partial area set when the positional deviation amount calculation unit 106 calculates the positional deviation amount.
  • the partial region image set in the reference image by the positional deviation amount calculation unit 106 is the same as the partial region image PRI1.
  • the positional deviation amount calculation unit 106 obtains the positional deviation amounts dx and dy with the resolution of one pixel.
  • the positional deviation amounts dx and dy have positive and negative integers including zero. Can be.
  • the pixel color may be the same or different depending on the values of the positional deviation amounts dx and dy.
  • the CFA image is an array unit composed of vertical and horizontal pixels.
  • the combination of the positional deviation amounts dx, dy is an even number (0 is assumed to be an even number) and an odd number, that is, the combination of (dx, dy) is an (even number, even number), (even number, Depending on which of the four combinations of (odd number), (odd number, even number), and (odd number, odd number), the pixel colors at the corresponding pixel positions of the partial region images PRI1 and PRI2 differ.
  • the pixel color array unit of the CFA image is composed of r pixels in the vertical direction and c pixels in the horizontal direction (r and c are both arbitrary positive integers).
  • the horizontal displacement (the number of displacement pixels) dx (integer value) is divided by an integer c
  • the vertical displacement (the number of displacement pixels) dy (an integer value) is divided by an integer r.
  • the pixel colors of the corresponding pixel positions of the partial area images PRI1 and PRI2 are different.
  • the remainders obtained corresponding to the vertical direction and the horizontal direction are two, 0 and 1, respectively. Therefore, four patterns are generated according to the combination of remainders corresponding to the vertical and horizontal directions. Further, when the pixel color array unit of the CFA image is composed of three pixels in the vertical direction and the horizontal direction, the remainders obtained corresponding to the vertical direction and the horizontal direction are three, 0, 1, and 2, respectively. Become. Therefore, nine patterns are generated according to the combination of remainders corresponding to the vertical and horizontal directions.
  • FIG. 4 shows four patterns that can be generated as an array of pixel colors of the partial region image PRI2 in the present embodiment as a pattern 1, a pattern 2, a pattern 3, and a pattern 4. It is assumed that the pattern of the reference region partial area image PRI1 is the pattern 1.
  • the pattern 1 corresponds to the case where the positional deviation amounts dx and dy are both even numbers (dx is an integer c, and the remainder when dy is divided by an integer r is both 0), and the image and the partial area of the partial area image PRI1 In the image PRI2, the pixel color at the corresponding pixel position is the same.
  • Pattern 2 corresponds to the case where the positional deviation amount dx is an odd number and dy is an even number (the remainder when dx is divided by an integer c is 1 and the remainder when dy is divided by an integer r is 0).
  • This is a pattern in which the arrangement of pixel colors is shifted by one pixel in the horizontal direction with reference to the arrangement.
  • the arrangement of the pixel colors of the partial area image PIR2 is the pattern 2, the pixel colors of the corresponding pixel positions are different between the partial area image PRI1 and the partial area image PRI2.
  • Pattern 3 corresponds to the case where the positional deviation amount dx is an even number and dy is an odd number (the remainder when dx is divided by integer c is 0, and the remainder when dy is divided by integer r is 1), and pattern 1
  • the pixel color arrangement is shifted by one pixel in the vertical direction on the basis of the arrangement.
  • the arrangement of the pixel colors of the partial area image PIR2 is the pattern 3, the pixel colors of the corresponding pixel positions are different between the partial area image PRI1 and the partial area image PRI2.
  • the pattern 4 corresponds to the case where the positional deviation amounts dx and dy are both odd numbers (dx is an integer c and the remainder when dy is divided by an integer r is 1).
  • the pixel color arrangement is shifted by one pixel in both horizontal directions.
  • the arrangement of the pixel colors of the partial area image PIR2 is pattern 4, only the G color pixels in the partial area image PRI1 and the partial area image PRI2 have the same pixel color at the corresponding pixel position.
  • the interpolation processing unit 110 in the synthesis processing unit 108 performs an interpolation process described below.
  • an image (interpolated image) having the same arrangement as the pixel color arrangement of the partial area image PRI1 is generated based on the partial area image PRI2.
  • FIG. 5A and 5B show a case where the partial area image PRI1 set in the standard image and the partial area image PRI2 in the reference image have different pixel color arrangement patterns of the pixels constituting the partial area image.
  • FIG. 7 is a diagram for explaining how an interpolation image is generated by performing an interpolation process according to the difference.
  • (A), (d), and (h) of FIG. 5A and FIG. 5B show examples of pixel color arrangement patterns of pixels constituting the partial region image PRI1 in the reference image.
  • the patterns exemplified in (a), (d), and (h) are all the same, and here, it is assumed that the pattern 1 described above with reference to FIG.
  • the R, G, and B color pixels are identified by the R, G, or B alphabets indicating the color and the subsequent numbers.
  • (B), (e), and (i) show pixel color arrangement patterns of pixels constituting the partial region image PRI2 in the reference image. The patterns shown in (b), (e), and (i) are different from pattern 1 and are shown as having pattern 2, pattern 3, and pattern 4 described above with reference to FIG. It is.
  • R, G, and B pixels are distinguished from each other by adding an alphabet of r, g, or b indicating the color, and subsequent numbers.
  • (C), (f), and (j) are the following in the interpolation processing unit 110 for the partial region image PRI2 of the pixel color arrangement patterns 2, 3, and 4 shown in (b), (e), and (i). 8 shows a state in which an interpolation image having a pixel color arrangement pattern of pattern 1 is generated by performing the interpolation processing described in (1).
  • R, G, and B pixels are distinguished from each other by adding an alphabet of rr, gg, or bb indicating the color and a subsequent number.
  • an interpolation image is generated from the partial region image PRI2 having the pixel color arrangement pattern of pattern 2
  • the interpolation processing is performed on the partial region image PRI2 having the pixel color arrangement pattern of pattern 2 exemplified in FIG. 5A (b)
  • the interpolation image corresponding to the pixel position of the G color pixel g1.
  • a pixel value of the R color pixel rr1 is generated.
  • the pixel value of the G pixel gg1 in the interpolated image is generated corresponding to the pixel position of the R pixel r1.
  • a specific example of the interpolation processing corresponding to the pixel color arrangement pattern of pattern 2 will be described.
  • An interpolation image can be generated by repeatedly performing the interpolation processing described below for other arrangement units in the reference image.
  • Interpolation method 1 is a method that uses relatively simple linear interpolation, and can speed up the processing.
  • Interpolation method 2 is a more advanced interpolation method that takes into account the high correlation of a plurality of pixels existing in the vicinity of the pixel to be interpolated, and can suppress a reduction in the sharpness of the image.
  • the average value of the pixel values of the R color pixels r4 and r5 located on both the left and right sides of the pixel g8 is set as the pixel value of the pixel rr5. That is, the pixel value of the pixel rr5 is obtained by the following equation (1-1a).
  • FIG. 5A (c) an example will be described in which the pixel value of the pixel gg8 in the position of the third row from the top and the fourth column from the left in the partial region image generated by the interpolation processing is generated by linear interpolation.
  • the pixel r5 is at the position of the third row and the fourth column, and this pixel value is directly used as the pixel value of the pixel gg8. It is not possible.
  • the average value of the pixel values of the G-color pixels g5, g11, g8, and g9 located on both the upper, lower, left, and right sides of the pixel r5 is set as the pixel value of the pixel gg8. That is, the pixel value of the pixel gg8 is obtained by the following equation (1-1b).
  • FIG. 5A (c) an example will be described in which a pixel bb5 located in the fourth row from the top and the fourth column from the left in the partial region image generated by the interpolation processing is generated by linear interpolation.
  • the pixel g11 is at the position of the fourth row and the fourth column, and this pixel value is directly used as the pixel value of the pixel bb5. It is not possible. Therefore, the average value of the pixel values of the B-color pixels b5 and b6 located on both the left and right sides of the pixel g11 is set as the pixel value of the pixel bb5. That is, the pixel value of the pixel bb5 is obtained by the following equation (1-1d).
  • each pixel value of the interpolation image can be generated by a relatively simple calculation.
  • Pixel r4 and pixel r5 are pixels located on both the left and right sides of the pixel g8.
  • the pixels g4, g10, g7, and g8 are pixels that are positioned on the top, bottom, left, and right of the pixel r4, and the pixels g5, g11, g8, and g9 are pixels that are positioned on the top, bottom, left, and right of the pixel r5. That is, ⁇ r4 ⁇ (g4 + g7 + g8 + g10) / 4 ⁇ on the right side of the above equation is the pixel value of the pixel r4 (that is, the R color value) and the G color estimation at the position of the pixel r4.
  • ⁇ r5 ⁇ (g5 + g8 + g9 + g11) / 4 ⁇ is a pixel value of the pixel r5 (that is, an R color value) and an estimated value of the G color at the position of the pixel r5 (pixels g5, g8, (average value of g9 and g11), that is, the RG color difference at the position of the pixel r5.
  • the average value of the RG color difference at each of the positions of the pixel r4 and the pixel r5 can be used as an estimated value of the RG color difference at the position of the pixel g8.
  • means that the correlation in the vertical direction is higher than the correlation in the horizontal direction. If the correlation in the vertical direction is higher, the pixel g5 which is a G color pixel located on both sides in the vertical direction of the pixel r5 according to (g5 + g11) / 2 in the first term on the right side of the equation (1-2b) and An average value of pixel values of the pixel g11 is obtained.
  • (-r2 + 2 * r5-r8) in the second term on the right side of Expression (1-2b) refers to R-color pixels r2, r5, and r8 arranged in the vertical direction centering on the position of pixel r5. .
  • this term has nonlinearity in the change in the pixel values of the R color pixels r2, r5, r8 arranged in the vertical direction, this nonlinearity is added to the pixel value obtained from the average of the pixel values of the pixel g5 and the pixel g11. Is to do.
  • means that the correlation in the horizontal direction is higher than the correlation in the vertical direction (when the correlations in the vertical and horizontal directions are equal). Also included). If the correlation in the horizontal direction is higher, the pixel g8, which is a G color pixel located on both sides in the left-right direction of the pixel r5, and (g8 + g9) / 2 in the first term on the right side of the equation (1-2c) and An average of the pixel values of the pixel g9 is obtained.
  • (-r4 + 2 * r5-r6) in the second term on the right side of Expression (1-2c) refers to R-color pixels r4, r5, and r6 that are arranged in the horizontal direction around the position of pixel r5. .
  • this term has nonlinearity in the change of the pixel values of the R color pixels r4, r5, r6 arranged in the horizontal direction, the nonlinearity is added to the pixel value obtained from the average of the pixel values of the pixel g8 and the pixel g9. Is to do.
  • the vertical and horizontal correlations of the pixel values of the surrounding pixels are compared, and the adjacent pixels lined up in the direction in which the correlation is determined to be higher.
  • the pixel value By obtaining the pixel value from the pixel by linear interpolation, it becomes possible to estimate the pixel value more accurately.
  • the nonlinearity is taken into account, so that the estimation of the pixel value is estimated more accurately It becomes possible to do.
  • the nonlinearity is added to the pixel value obtained from the average of the pixel values of the pixel g8 and the pixel g14. Is to do.
  • means that the correlation in the horizontal direction is higher than the correlation in the vertical direction (when the correlations in the vertical and horizontal directions are equal). Also included). If the correlation in the horizontal direction is higher, the pixel g10 which is a G color pixel located on both sides in the left-right direction of the pixel b5 according to (g10 + g11) / 2 in the first term on the right side of the equation (1-2e) and An average of the pixel values of the pixel g11 is obtained.
  • the B-color pixels b4, b5, and b6 arranged in the horizontal direction with the position of the pixel b5 as the center are referred to by (-b4 + 2 * b5-b6) in the second term on the right side of the expression (1-2e). . If this term has nonlinearity in the change in the pixel values of the B-color pixels b4, b5, and b6 arranged in the horizontal direction, this nonlinearity is added to the pixel value obtained from the average of the pixel values of the pixel g10 and the pixel g11. Is to do.
  • the vertical and horizontal correlations of the pixel values of the surrounding pixels are compared, and the adjacent pixels are arranged in the direction in which the correlation is determined to be higher.
  • the pixel value By obtaining the pixel value from the pixel by linear interpolation, it becomes possible to estimate the pixel value more accurately.
  • the nonlinearity is taken into account, so that the estimation of the pixel value is estimated more accurately It becomes possible to do.
  • Pixel b5 and pixel b6 are pixels located on both the left and right sides of the pixel g11.
  • the pixels g8, g14, g10, and g11 are pixels that are positioned on the top, bottom, left, and right of the pixel b5, and the pixels g9, g15, g11, and g12 are pixels that are positioned on the top, bottom, left, and right of the pixel b6. That is, ⁇ b5 ⁇ (g8 + g10 + g11 + g14) / 4 ⁇ on the right side of the above equation is the pixel value of the pixel b5 (that is, the B color value) and the G color estimation at the position of the pixel b5.
  • the difference from the value (average value of the pixels g8, g10, g11, g14), that is, the BG color difference at the position of the pixel b5 is obtained.
  • ⁇ b6 ⁇ (g9 + g11 + g12 + g15) / 4 ⁇ is the pixel value of the pixel b6 (that is, the B color value) and the estimated value of the G color at the position of the pixel b6 (pixels g9, g11, (average value of g12 and g15), that is, the BG color difference at the position of the pixel b6.
  • the average value of the BG color difference at each of the positions of the pixel b5 and the pixel b6 is taken, it can be used as an estimated value of the BG color difference at the position of the pixel g11.
  • the average value and the pixel value of the pixel g11 it is possible to more accurately estimate the B-color pixel value at the position of the pixel g11.
  • an interpolation image is generated from the partial region image PRI2 having the pixel color arrangement pattern of pattern 3 will be described with reference to (d), (e), and (f) of FIG. 5A.
  • pixel values of the pixels rr5, gg8, gg11, and bb5 which are a set of pixel color arrangement units of the pixel color arrangement pattern by the Bayer arrangement, are generated by interpolation processing.
  • An interpolation image can be generated by repeatedly performing the interpolation processing described below for other arrangement units in the reference image.
  • the interpolation method 1 and the interpolation method 2 will be described in the same manner as described with reference to (a), (b), and (c) of FIG. 5A.
  • the interpolation method 1 is performed in the same manner as described in the case where the partial region image PRI2 in the reference image has the pattern 2. That is, when the pixel value of the pixel rr5 located in the third row from the top and the third column from the left in the partial region image generated by the interpolation process is generated by linear interpolation, the following equation (2-1a) is obtained: Used. That is, in the partial region image PRI2 in the reference image shown in (e) of FIG.
  • a pixel r2 which is an R color pixel adjacent in the vertical direction of the pixel g8 at the position of the third row and third column
  • the pixel value of the pixel rr5 is derived by referring to the pixel value of the pixel r5.
  • an interpolation image is generated from the partial region image PRI2 having the pixel color arrangement pattern of pattern 4 will be described with reference to (h), (i), and (j) of FIG. 5B. Also in this example, a case will be described as an example in which pixel values of the pixels rr5, gg8, gg11, and bb5 that constitute a set of array units of the pixel color array pattern by the Bayer array are generated by interpolation processing.
  • An interpolation image can be generated by repeatedly performing the interpolation processing described below for other arrangement units in the reference image.
  • the interpolation method 1 and the interpolation method 2 will be described in the same manner as described with reference to (a), (b), and (c) of FIG. 5A.
  • the following equation (3-1b) is used. . That is, in the partial region image PRI2 in the reference image shown in (i) of FIG. 5B, the pixel at the position of the third row and the fourth column is a G pixel g8 having the same color as the pixel gg8. . Therefore, the pixel value of the pixel g8 is used as it is as the pixel value of the pixel gg8.
  • the following equation (3-1c) is used. . That is, in the partial region image PRI2 in the reference image shown in (i) of FIG. 5B, the pixel at the position of the fourth row and the third column is the G color pixel g11 having the same color as the pixel gg11. . Therefore, the pixel value of the pixel g11 is used as it is as the pixel value of the pixel gg11.
  • the following equation (3-1d) is used. That is, in the partial region image PRI2 in the reference image shown in (i) of FIG. 5B, the B color adjacent to the upper, lower, left, and right in the diagonal direction with reference to the pixel r5 at the position of the fourth row and fourth column.
  • the pixel values of the pixel b5, the pixel b6, the pixel b8, and the pixel b9 are referred to.
  • the pixel value of the pixel bb5 is calculated by the following equation (3-1d).
  • the pixel value of the pixel rr5 in the reference image at the position of the third row from the top and the third column from the left in the partial region image generated by the interpolation processing is obtained using the following equation (3-2a). .
  • the pixel values of the G color component corresponding to the pixel positions of these four R color pixels are obtained by interpolation from the G color pixel values around each of the R color pixels, and the RG color difference is obtained. Is calculated. Also, (g5 + g7 + g8 + g11) / 4 in the above equation (3-2a) represents the G pixel value at the position of the pixel b5, and the four G color pixels g5 and g7 located around the pixel b5. , G8 and g11 are obtained by interpolation. Then, by adding the above average of the four RG color difference values and the G color pixel value at the position of the pixel b5, the R pixel value at the position of the pixel b5 is obtained.
  • the pixel value of the pixel gg8 in the reference image at the position of the third row from the top and the fourth column from the left in the partial region image generated by the interpolation processing is obtained using the following equation (3-2b). . That is, in the partial region image PRI2 in the reference image shown in (i) of FIG. 5B, the pixel at the position of the third row and the fourth column is a G pixel g8 having the same color as the pixel gg8. . Therefore, as shown in the following formula (3-2b), the pixel value of the pixel g8 is used as it is as the pixel value of the pixel gg8.
  • the pixel value of the pixel gg11 in the reference image at the position of the fourth row from the top and the third column from the left in the partial region image generated by the interpolation processing is obtained using the following equation (3-2c). . That is, in the partial region image PRI2 in the reference image shown in (i) of FIG. 5B, the pixel at the position of the fourth row and the third column is the G color pixel g11 having the same color as the pixel gg11. . Therefore, as shown in the following formula (3-2c), the pixel value of the pixel g11 is used as it is as the pixel value of the pixel gg11.
  • the pixel value of the pixel bb5 at the position of the fourth row and the fourth column is obtained using the following equation (3-2d). It is done.
  • the pixel values of the G color component corresponding to the pixel positions of these four B color pixels are obtained by interpolation from the G color pixel values existing around each B color pixel, and the BG color difference is obtained. Is calculated. Also, (g8 + g11 + g12 + g14) / 4 in the above formula (3-2d) is the G color pixel value at the position of the pixel r5, and the G color pixels g8, g11, g12 located around the pixel r5. , G14 are obtained by interpolation from the pixel values. Then, by adding the average of the four BG color difference values described above and the G color pixel value at the position of the pixel r5, a B pixel value at the position of the pixel r5 is obtained.
  • the partial area of the reference image is independent of the pixel color arrangement pattern of the partial area image PRI2 extracted from the reference image as the image at the position corresponding to the partial area image PRI1 of the reference image.
  • An interpolation image (partial region image) having the same pixel color arrangement pattern as the image PRI1 can be generated. Therefore, it is possible to combine the reference image and the interpolated image in a more suitable form.
  • the pixel color arrangement of the partial area image PRI2 of the reference image is the same pattern 1 as that of the partial area image PRI1 of the standard image, the interpolation processing corresponding to the patterns 2 to 4 described above is unnecessary. It is possible to use the pixel value of the reference image as it is. That is, pixel value generation processing by interpolation can be omitted.
  • FIG. 6 is a flowchart for explaining the processing procedure of the CFA image composition processing performed by the image processing unit 100.
  • the processing shown in FIG. 6 is performed when n digital CFA images obtained by photographing with the digital camera are obtained. .
  • the processing illustrated in FIG. 6 may be started before a series of continuous shooting operations are completed. In the following description, it is assumed that the processing of FIG. 6 is started when two Bayer CFA images are obtained by photographing the same subject.
  • the image processing unit 100 inputs two CFA images. Of these CFA images, one is a standard image and the other is a reference image. Which of the CFA image obtained by the first imaging operation and the CFA image obtained by the next imaging operation is set as the reference image can be arbitrarily set.
  • the image processing unit 100 sets a partial area in the reference image.
  • This partial area can be set by any division method, and the entire screen can be set as one area.
  • FIG. 5A, and FIG. 5B it is assumed that a rectangular area composed of 36 pixels of 6 pixels vertically and 6 pixels horizontally is set.
  • the image processing unit 100 searches the reference image for a partial region having a high degree of matching using the partial region image set in S502, that is, the partial region image PRI1 as a template. Then, as described with reference to FIGS. 3 and 4, the positional deviation amounts dx and dy in the vertical direction and the horizontal direction are calculated with a resolution of one pixel.
  • the image processing unit 100 calculates a remainder (residue of 2) obtained by dividing by 2 for each of the vertical and horizontal positional deviation amounts dx and dy calculated in S604.
  • a remainder (residue of 2) obtained by dividing by 2 for each of the vertical and horizontal positional deviation amounts dx and dy calculated in S604.
  • (0, 0), (1, 0), (0, 1), (1) are combinations of two remainders of (lateral position displacement amount dx, vertical position displacement amount dy). , 1).
  • the image processing unit 100 is set in the reference image from the two remainder combinations (0, 0), (1, 0), (0, 1), (1, 1) calculated in S606.
  • the pixel color arrangement pattern of the partial area image PRI2 in the reference image corresponding to the partial area PRI1 is determined.
  • the combination of the two remainders is (0, 0)
  • when it is (0, 1) it is determined as pattern 3.
  • (1, 1) the pattern 4 is determined.
  • the partial area images PRI1 and PRI2 have the same pixel color arrangement pattern, so that it is not necessary to interpolate the partial area image PRI2, and each pixel value in the partial area image PRI2 Can be used as is.
  • the pattern is one of pattern 2, pattern 3, and pattern 4
  • interpolation processing corresponding to the determined pattern is performed in any one of S610, S612, and S614, and an interpolation image (interpolated pixel value) is obtained. ) Is generated.
  • any of the interpolation methods 1 and 2 described above can be used.
  • the interpolation process may be performed by an interpolation method other than the interpolation method 1 and the interpolation method 2.
  • the user may be configured to be able to select any one of interpolation methods from a plurality of interpolation methods prepared in advance.
  • the partial region image PRI1 in the reference image data and the interpolated image data generated as described above are combined in S616 to generate a combined image.
  • the composite image generated here is a CFA image having the same number of pixels as that of the partial region image PRI1.
  • Various methods can be used as the composition processing.
  • an example of composition by addition will be described. When combining by addition, for example, it is possible to add and combine the partial region image PRI1 and the interpolation image at a predetermined mixing ratio M: N for each pixel.
  • the pixel value of the pixel in the partial region image PRI1 of the reference image data is P1
  • the pixel value of the pixel in the interpolation image corresponding to the pixel is P2
  • the combined pixel value is P3
  • M and N can be arbitrary real numbers.
  • M or N can be zero. That is, one of the pixel values P1 and P2 can be selected as the combined pixel value P3.
  • the image processing unit 100 determines whether the processing corresponding to all the partial areas has been completed. While the determination in S618 is negative, the above-described processing from S602 to S616 is repeated. When the processes in all the partial areas are completed, the determination in S618 is affirmed, and the process proceeds to S620.
  • the image processing unit 100 outputs a composite image in S620 and completes a series of processes.
  • the processing of inputting a plurality of CFA images, calculating the amount of displacement, interpolation, and image composition by the image processing unit 100 has been described with reference to the flowchart of FIG.
  • the case where the CFA image is a Bayer CFA image including a pixel color arrangement unit of two vertical and horizontal pixels has been described as an example, but the present invention is not limited to this example. That is, when the arrangement unit of the pixel color of the CFA image is composed of r pixels in the vertical direction and c pixels in the horizontal direction, in S606, the remainder when the horizontal displacement dx is divided by c, and the vertical direction And the remainder when the positional deviation amount dy is divided by r.
  • the arrangement pattern of the pixel colors of the partial area image PRI2 in the reference image is determined from the combination of the remainders corresponding to the vertical and horizontal directions.
  • the arrangement unit of pixel colors is composed of r pixels in the vertical direction and c pixels in the horizontal direction
  • the remainder combination is r ⁇ c.
  • the color arrangement pattern of the reference image is determined to be one of the c ⁇ r color arrangement patterns.
  • Interpolation processing according to the determination result in S608 is subsequently performed. At this time, if it is determined that the pattern 1 corresponds to the combination of the vertical and horizontal remainders (0, 0), the interpolation processing can be omitted.
  • an interpolation image is generated by an interpolation method according to the color arrangement pattern of the reference image, and then the reference image and the interpolation image are synthesized.
  • the interpolated pixel values dot-sequentially and perform the synthesis process as described below. That is, when the color arrangement pattern of the reference image is determined in step S608, is the pixel value of the reference image synthesized as it is (pattern 1), or the pixel value generated by the interpolation process corresponds to the reference image? Whether to combine with the pixel value (pattern 2, pattern 3, pattern 4) is determined.
  • each pixel R1, G1, R2,..., G18, B9 in the partial area image PRI1 of the base image is selected.
  • the pixel values rr1, gg1,..., Gg18, bb9 can be synthesized in a dot-sequential manner.
  • the processing order and the scanning direction when performing dot-sequential processing can be arbitrarily set.
  • misregistration calculation, interpolation, and image compositing are performed using one of the selected two CFA images as a standard image and the other as a reference image among a plurality of CFA images.
  • the composite image 1 is generated.
  • the first image is set as the reference image 1 and the second image is set as the reference image 1.
  • the generated composite image 1 is used as a new reference image, and one of the unprocessed CFA images is used as a new reference image, and a positional deviation amount calculation, interpolation, and image synthesis are performed to generate a composite image. Is done.
  • FIG. 7 misregistration calculation, interpolation, and image compositing are performed using one of the selected two CFA images as a standard image and the other as a reference image among a plurality of CFA images.
  • the composite image 1 is generated.
  • the generated composite image 1 is used as a new reference image
  • one of the unprocessed CFA images is used as a new reference image
  • the third image is the reference image 2 and the composite image 1 is the standard image 2, and the composite image 2 is generated. These processes are repeated according to the number of input CFA images, n CFA images are reduced to n-1 and n-2, and finally one composite image is generated.
  • the composite image 3 is a composite image finally obtained.
  • composition ratios set when two images are synthesized that is, when the synthesized image 1 is generated by synthesizing the standard image 1 and the reference image 1, it means that the synthesis ratio of the standard image 1 and the reference image 1 is 1: 1.
  • the composite image 2 is generated by combining the standard image 2 and the reference image 2
  • the composite ratio of the standard image 2 and the reference image 2 is 2: 1.
  • the combination ratio of the standard image 2 obtained by combining the two images is set to twice the combination ratio of the reference image 1.
  • the synthesized image 3 is generated by synthesizing the reference image 3 and the reference image 3
  • the synthesis ratio of the standard image 3 and the reference image 3 is 3: 1.
  • the combination ratio of the standard image 3 obtained by combining the three images is set to three times the combination ratio of the reference image 3.
  • the composition ratio between the standard image and the reference image according to how many images the standard image is obtained by compositing, compared with the case of compositing at a constant composition ratio.
  • the first input image is set as the standard image 1 and the second input image is set as the reference image 1, and the composite image 1 is obtained from these images.
  • the third input image is set as the standard image 2 and the fourth input image is set as the reference image 2, and the composite image 2 is obtained from these images.
  • the synthesized image obtained using the synthesized image 1 as the standard image 3 and the synthesized image 2 as the reference image 3 may be used as a synthesized image finally obtained.
  • it is possible to make the influence ratio of each input image uniform in the finally obtained composite image by always setting the composite ratio of each composite image to 1: 1.
  • a different composition ratio may be set for each input image.
  • n-1 interpolated images are generated.
  • one of the n input CFA images is set as a reference image
  • the remaining n ⁇ 1 CFA images are the reference image 1 and the reference image 2.
  • the calculation of the misregistration amount and the process of generating the interpolated image are performed corresponding to the respective combinations of the standard image and reference image 1, the standard image and reference image 2,..., The standard image and reference image n-1.
  • n-1 interpolated images are generated.
  • the example in which the first CFA image is the reference image among the plurality of input CFA images has been described. These images can be used as the reference image. In addition, combinations of CFA images to be combined can be arbitrarily set.
  • the processing load when performing misregistration calculation, interpolation processing, and compositing processing according to the above-described procedure is to generate image data that has been demosaiced into full color, and perform misregistration calculation and compositing processing. It becomes lighter than the processing load.
  • the original CFA image is used as one plate image and the image generated by the interpolation processing is used as another plate image, it means that the two-plate processing is sufficient. That is, the processing amount is about half as compared with the case where full-color image data obtained by demosaicing a Bayer array CFA image into three plates of R, G, and B color planes is generated.
  • image data for two plates is additionally generated, but in this embodiment, additional processing for image data for one plate is sufficient.
  • the interpolation process is performed only when the pixel color of the pixel constituting the partial area image PRI1 of the base image is different from the pixels constituting the partial area image PRI2 extracted from the reference image. That is, since the interpolation process is performed only when necessary, the processing load can be further reduced.
  • the amount of positional deviation is obtained with one-pixel accuracy, and interpolation processing and composition processing are performed. Therefore, an image after demosaic processing is used. It is possible to perform the synthesizing process with the same high accuracy as when synthesizing.
  • the image data obtained by the synthesis process as RAW image data, it is possible to suppress a decrease in image quality that occurs when image processing such as retouching is performed later.
  • RAW image data it is possible to maintain the amount of information exceeding the bit depth of 8 bits as the pixel value corresponding to each pixel, and also in this respect, the deterioration in image quality that occurs when retouching is performed later is suppressed. It becomes possible.
  • the image processing unit 100 described above can be provided inside a digital camera, a mobile phone incorporating a camera, a portable information terminal, or the like.
  • the image processing program recorded on the recording medium may be read out and executed by the CPU of the computer, and the function as the image processing unit 100 may be implemented. Examples thereof will be described below.
  • FIG. 9 is a block diagram illustrating a schematic internal configuration of the digital camera 200 including the image processing unit 100 described above.
  • the digital camera 200 may be a still camera or a movie camera. Alternatively, it may be a camera incorporated in a mobile phone or a portable information terminal. When the digital camera 200 is a still camera or a movie camera, the photographic lens may be fixed or configured to be replaceable.
  • the digital camera 200 includes a photographing optical system 202, an imaging unit 204, an image processing unit 100, a memory card interface 206, a CPU 208, a display unit 210, an operation unit 212, and a memory 214.
  • the imaging optical system 202 forms a subject image on the light receiving area of the imaging unit 204.
  • the photographing optical system 202 may be a single-focus optical system or a variable focal length optical system.
  • the imaging unit 204 includes a shutter, an imaging device, an analog front end, and the like.
  • the subject light that has passed through the photographing optical system 202 enters the image sensor while the shutter is open.
  • a subject image formed on the light receiving area of the image sensor is photoelectrically converted to generate an image signal.
  • the imaging element has an electronic shutter function that can electrically control the exposure time (photoelectric conversion time)
  • the shutter is not necessarily provided.
  • An on-chip color filter is disposed on the light receiving surface of the image sensor.
  • the imaging unit 204 is configured to perform a plurality of exposure operations on the same subject and generate a plurality of CFA image data.
  • a plurality of sets of the photographing optical system 202 and the imaging unit 204 may be provided, and a plurality of photographing operations may be performed substantially simultaneously to generate a plurality of CFA image data.
  • a plurality of CFA image data having different exposure amounts can be obtained.
  • the operation unit 212 includes any one type or a plurality of types of push switches, slide switches, dial switches, touch panels, and the like, and is configured to accept user operations.
  • the display unit 210 includes a TFT liquid crystal display panel and a backlight device, or a self-luminous display element such as an organic EL display element, and is configured to display information such as images and characters.
  • the memory 214 includes a flash memory, a RAM, and the like.
  • the flash memory stores a control program (firmware) executed by the CPU 208, adjustment parameters, information that needs to be retained even when the digital camera 200 is not turned on, and the like.
  • the RAM is configured to be accessible from both the CPU 208 and the image processing unit 100, and functions as a work area for the CPU 208 and the image processing unit 100.
  • the CPU 208 comprehensively controls the operation of the digital camera 200 by interpreting and executing the firmware transferred from the flash memory to the RAM.
  • the memory card interface 206 is configured to be capable of writing information to the memory card MC that is detachably mounted and reading information from the memory card MC.
  • the user switches on the power of the digital camera 200 and operates the operation unit 212 to switch the digital camera 200 to the shooting mode.
  • the operation unit 212 When the user further operates the operation unit 212 to set the operation mode to, for example, the HDR shooting mode and performs the release operation with the digital camera 200 directed toward the subject, a series of a plurality of CFA image data is generated and the image processing unit 100 is input.
  • the image processing unit 100 performs CFA image composition processing to generate composite image data.
  • This composite image data is CFA image data.
  • the composite image data can be reversibly compressed, metadata such as shooting information can be added, and recorded as a RAW image file on the memory card MC. It is also possible to generate full-color image data by performing demosaicing processing on the composite image data.
  • An image can be displayed on the display unit 210 based on the full-color image data. Furthermore, it is possible to perform lossy compression such as JPEG on full-color image data, add metadata, and record it as a JPEG image file on the memory card MC.
  • lossy compression such as JPEG
  • a plurality of CFA image data generated by the imaging unit 204 can be recorded in the memory card MC without being combined by the image processing unit 100.
  • the plurality of CFA image data are read from the memory card MC into the memory 214.
  • the demosaic processing is performed to obtain a full color, and the image can be displayed on the display unit 210.
  • a series of a plurality of CFA image data recorded on the memory card MC is transferred to another device such as a computer or a video recorder via the memory card MC or an interface cable. It is also possible to perform the synthesis process.
  • FIG. 10 is a block diagram illustrating an example in which the image processing unit 100 is realized by an image processing program being executed by the CPU 302 of the information processing apparatus 300.
  • the information processing apparatus 300 includes a CPU 302, a memory 304, an auxiliary storage device 306, and a system bus 308.
  • the information processing apparatus 300 also includes a memory card interface 310, an optical disk drive 312, a network interface 314, and a video interface 316.
  • the information processing apparatus 300 may include a wired or wireless communication interface as necessary.
  • the memory 304 is composed of SDRAM or the like, has a relatively high access speed, and is used as a work area when the CPU 302 executes a program.
  • the auxiliary storage device 306 includes a hard disk drive, SSD (Solid State Drive), and the like, and is configured to be able to store a program executed by the CPU 302, an image file, and the like.
  • the memory card interface 310 is configured to be capable of reading information from the loaded memory card MC and writing information to the memory card MC.
  • the memory card MC is a storage medium that can store image files, program files, and the like, and is configured to be able to be attached to the digital camera 200.
  • the optical disc drive 312 is configured to be able to read image files, program files, and the like from the loaded optical disc OD.
  • the optical disk drive 312 may also be configured to be able to write image files, various information, and the like to the optical disk OD.
  • the network interface 314 is configured to be connectable to the network NW in a wired or wireless form. And it is comprised so that the output of information to the server etc. which are connected to the network NW and the input of information from a server etc. are possible.
  • the video interface 316 can be connected to a flat panel display such as a color liquid crystal display device or a display device such as a CRT. Information such as characters, images, and the like are displayed on these connected display devices.
  • the above-described memory 304, auxiliary storage device 306, memory card interface 310, optical disk drive 312, network interface 314, and video interface 316 are mutually connected to the CPU 302 via the system bus 308.
  • the image processing unit 100 reads an image processing program read from a computer-readable recording device (or a non-transitory computer-readable storage medium) such as the auxiliary storage device 306, the memory card MC, and the optical disc OD and loaded into the memory 304 into the CPU 302. Is realized by executing.
  • the image processing program is encoded and recorded in this recording device in a computer-readable format.
  • the image processing unit 100 can read a series of a plurality of CFA images from any one of the auxiliary storage device 306, the memory card MC, the optical disc OD, and the like, and perform the above-described combining process.
  • the CFA image obtained by the synthesis can be recorded as RAW image data in any of the auxiliary storage device 306, the memory card MC, the optical disc OD, and the like. It is also possible to generate full-color image data by performing demosaic processing on the CFA image obtained by synthesis. The generated full-color image data is further processed to generate display image data and recording image data, and display and recording processes are performed.
  • the present invention is applicable to products such as a stationary camera for broadcasting, an ENG camera, a consumer handy camera, and a digital camera. Further, it can be applied to an image editing device, a video recorder, and the like. Furthermore, the present invention can be applied to an image processing program that processes moving images and still images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

　位置ずれ量算出部は、同一被写体を撮影して得られた複数枚のＣＦＡ画像中、一枚の画像を基準画像とし、別の画像を参照画像として、基準画像に対する参照画像の位置ずれ量を算出する。合成処理部は、位置ずれ量算出部で算出した位置ずれ量に基づき、基準画像および参照画像の、対応しあう画素である基準画像画素および参照画像画素の画素値をもとに合成処理をして合成ＣＦＡ画像を生成する。このとき、合成処理部は、対応しあう画素の色が基準画像画素と参照画像画素とで異なる場合、基準画像画素の色と同じ色の画素値を参照画像から補間処理によって生成し、補間処理によって生成した画素値と基準画像画素の画素値とをもとに合成処理をする。

Description

画像処理装置、画像処理方法、および画像処理プログラム
　本発明は、複数色のオンチップカラーフィルタを有する撮像素子で同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を、デモザイク処理を経ずに合成する技術に関する。
　同一被写体を撮影して得た複数枚の画像に対して位置ずれ量を検出し、その位置ずれ量に基づいて複数枚の画像を位置合わせして合成することにより、一回の撮影で得られる画像よりも高画質な画像を得る技術が知られている。
　カラー画像を得ることの可能な撮像装置としては、多板式のものと単板式のものがある。多板式の撮像装置は、撮影光学系の後方に配置されたダイクロイックプリズム等の色分解光学系と、色分解光学系で分割された光路上に配置された複数のモノクロ撮像素子とを備える。単板式の撮像装置は、複数色、例えば、ＲＧＢやＹＣＭ等、３色のオンチップカラーフィルタが受光面上に配列された撮像素子を備える。単板式の撮像装置は、一つの撮像素子を備えればよく、ダイクロイックプリズム等も不要であるので、撮像装置を小型化、低廉化する上で有利である。
　オンチップカラーフィルタを備える撮像素子から読み出されたままの画像はカラーフィルタアレイ画像と称され、そのままでは人が鑑賞可能な画像を得ることはできないので、デモザイク処理が行われ、デモザイク画像と称される画像が生成される。デモザイク画像は、画像を構成する画素の一つ一つに対してオンチップカラーフィルタの色数に応じた画素値、例えばＲ、Ｇ、Ｂの画素値を生成する。つまり、カラーフィルタアレイ画像では一つの画素からある一色の画素値しか得られないが、デモザイク画像は一画素に対応して複数色の画素値を有する。上述したＲ、Ｇ、Ｂの例では、デモザイク処理によって画像の情報量がデモザイク処理前の３倍に増加する。
　ＪＰ２００２－１１２００７Ａには、複数枚の画像をデモザイク処理をした後に合成する方法が開示される。ＪＰ２００２－１１２００７Ａに開示される方法では、Ｇ色の成分を主に利用して合成処理が行われる。
　ＪＰ２００６－１５７５６８Ａには、複数枚のカラーフィルタアレイ画像をデモザイクの処理無しに合成する方法が開示される。このとき、合成される対象の複数枚のカラーフィルタアレイ画像間で位置ずれ量が検出され、検出された位置ずれを補償しつつ、複数の画像が加算されて合成される。
　画像合成処理に際しての処理負荷は、できるだけ減じられるようにすることが、処理のレスポンスを向上させたり、要求されるハードウェアスペックの高度化を抑制したりする上で望ましい。ＪＰ２００２－１１２００７Ａに開示される技術では、各画素でＲＧＢ各色の情報が得られるので、１画素の精度で位置合わせをすることができる反面、処理すべき情報量が増加するので、処理負荷が増す。
　ＪＰ２００６－１５７５６８Ａに開示される技術では、デモザイク処理前の画像間で位置ずれが検出されて画像の合成が行われるので、処理すべき情報量の低減が期待できる。しかし、ＪＰ２００６－１５７５６８Ａに開示される技術では、二つの画像間の位置ずれ量を検出する際に、各々ベイヤー配列を有する複数のカラーフィルタアレイ画像間において、同一の色配置を有する画素ユニット同士が比較される。ベイヤー配列において、縦横２画素×２画素の４画素が配列単位である。そして、複数の画像における同一の色成分の画素間で位置ずれを求めることによって、複数の画像の相互間における位置ずれを検出する。そのため、位置ずれの検出精度（最小単位）は縦方向、横方向共に２画素となってしまう。結果として、画像を合成する処理をする際の合成精度も２画素の最小単位となってしまう。色再現性の向上を目的としてオンチップカラーフィルタの色数を増した場合、カラーフィルタアレイの配列単位はさらに大きくなり、それに伴って位置ずれ検出精度、合成精度はさらに低下する。
　本発明は、画像の合成処理に際してデモザイク画像の生成を不要としながら、複数のカラーフィルタアレイ画像間で位置合わせをして合成する際の合成の精度を高めることを目的とする。
　本発明のある態様によれば、同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する画像処理装置が、
前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ量算出部と、
前記位置ずれ量算出部で算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成処理をして合成カラーフィルタアレイ画像を生成する合成処理部とを備え、
前記合成処理部は、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値を前記参照画像から補間処理によって生成し、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに合成処理をする。
　本発明のある態様によれば、同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する画像処理方法が、
前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ算出ステップと、
前記位置ずれ算出ステップで算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成処理をして合成カラーフィルタアレイ画像を生成する合成処理ステップとを備え、
前記合成処理ステップにおいて、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値が前記参照画像から補間処理によって生成され、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに合成処理が行われる。
　本発明のある態様によれば、　同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する画像処理プログラムであって、
前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ量算出処理ステップと、
前記位置ずれ量算出処理ステップで算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成処理をして合成カラーフィルタアレイ画像を生成する合成処理ステップと、をコンピュータに実行させ、
前記合成処理ステップにおいて、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値が前記参照画像から補間処理によって生成され、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに前記合成処理が行われる。
　本発明の実施形態、本発明の利点については、添付された図面とともに以下に詳細に説明される。
図１は、画像処理部の構成を説明するブロック図である。 図２は、複数のカラーフィルタアレイ画像中の一枚のカラーフィルタアレイ画像が基準画像として選択され、その基準画像中でブロックマッチングを行うための部分領域が順次設定される様子を概念的に示す図である。 図３は、サブピクセル位置推定の方法を説明する図であり、パラボラフィッティングによる位置推定を行う例を概念的に示す図である。 図４は、カラーフィルタアレイ画像の基準画像中で設定された部分領域画像に対応する部分領域画像の位置が参照画像中で特定された結果に応じて、参照画像中の部分領域画像がとりうる画素色の配列パターンを示す図である。 図５Ａは、基準画像中で設定された部分領域画像に対応するものとして参照画像中で特定された部分領域画像の画素色配列パターンが、基準画像中で設定された部分領域画像の画素色配列パターンと異なる場合に行われる補間処理を説明する図である。 図５Ｂは、基準画像中で設定された部分領域画像に対応するものとして参照画像中で特定された部分領域画像の画素色配列パターンが、基準画像中で設定された部分領域画像の画素色配列パターンと異なる場合に行われる補間処理を説明するもう一つの図である。 図６は、画像処理部で行われる複数枚のカラーフィルタアレイ画像の合成処理手順を説明するフローチャートである。 図７は、３枚以上のカラーフィルタアレイ画像を合成する際の処理手順の一例を説明する図である。 図８は、３枚以上のカラーフィルタアレイ画像を合成する際の処理手順の別例を説明する図である。 図９は、画像処理部がデジタルカメラに備えられる例を説明するブロック図である。 図１０は、コンピュータの概略的内部構成を説明するブロック図であり、画像処理プログラムをコンピュータが実行することにより画像処理部が実現される例を説明する図である。
　図１は、画像処理部の概略的構成を説明するブロック図である。画像処理部１００は、カラーフィルタアレイ画像取得部（以下、ＣＦＡ画像取得部と称する）１０２と、記憶部１０４と、位置ずれ量算出部１０６と、合成処理部１０８と、現像処理部１１２と、出力部１１４とを備える。
　ＣＦＡ画像取得部１０２は、同一被写体を撮像して得られた複数枚のＣＦＡ画像を取得する。複数枚のＣＦＡ画像は、同一の被写体を比較的短い時間の中で時系列に撮像することにより得られる。あるいは、複数の撮像ユニットを用いて同一の被写体を略同時に撮像することにより得られる。複数のＣＦＡ画像が互いに異なる露光量で得られたものである場合、それらのＣＦＡ画像を合成することによって、いわゆるＨＤＲ（Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）の画像を得ることが可能となる。また、低輝度下の撮影条件で、被写体の輝度や撮像素子の感度等によって決まる標準的な露光量よりも少なめの露光量（短めの露光時間）で得た複数枚のＣＦＡ画像を合成することにより、手ぶれ、被写体ぶれや、ノイズの減じられた画像を得ることが可能となる。
　記憶部１０４は、ＳＤＲＡＭ等の、比較的高速のアクセス速度を有するメモリを備えて構成され、ＣＦＡ画像取得部１０２で取得した複数枚のＣＦＡ画像を一時的に記憶する。記憶部１０４はまた、合成処理部１０８のワークエリアとしても用いられる。
　位置ずれ量算出部１０６は、複数枚のＣＦＡ画像中、一枚の画像を基準画像とし、この基準画像と異なるＣＦＡ画像を参照画像として、基準画像に対する参照画像の位置ずれ量を算出する。位置ずれ量の算出方法としては、様々な方法を利用可能である。基準画像と参照画像とで、画像全体を一つの領域として両者の比較を行い、位置ずれ量を算出することも可能であるが、以下ではブロックマッチングによって部分領域ごとに位置ずれ量を算出する例について説明する。
　図２は、ブロックマッチングに際して基準画像中で設定される部分領域の例を示している。図２では、縦方向（列方向）に６画素、横方向（行方向）に６画素の３６画素からなる部分領域が設定される例が示されている。また、本実施の形態において、ＣＦＡ画像はいわゆるベイヤーＣＦＡ画像であるものとする。ベイヤーＣＦＡ画像では、縦方向に２画素、横方向に２画素の４画素で一つの画素配列単位が形成される。
　ＣＦＡ画像でブロックマッチングを行う際に、位置ずれ量算出部１０６は、基準画像中で選択された部分領域の画像をテンプレートとして、参照画像中を探索し、一致度が最大（相違度が最小）となる部分領域画像の位置を導出する。本例では、比較の対照となる基準画像および参照画像の両方の部分画像で、対応しあう画素位置にある画素値間の差の絶対値または差の二乗を各画素位置に対応して求め、それらの総和を相違度として扱うものとする。つまり、総和の値が最も小さくなったとき、一致度が最大（相違度が最小）となる。
　このとき、ＣＦＡ画像は１画素に対して１色分の色情報しか有していないので、基準画像の部分領域と同じ画素色の配列パターンを有する部分領域の画像が参照画像から抽出されて比較される。すなわち、図２に示される例において、基準画像から選択された部分領域の画像の画素色の配列は、上から数えて奇数行にはＲ、Ｇ、Ｒ、Ｇ、…の色が、偶数行にはＧ、Ｂ、Ｇ、Ｂ、…の色が配列されたものとなっている。これに対応し、参照画像中で選択される部分領域の画素色の配列も、上記と同じものとする。そのようにしないと、被写体上のある一点における明るさおよび色を、どの色の画素で検出するかによって画素値は異なり、比較する二つの画像間で正しい相関が取れなくなる場合があるからである。結果として、ブロックマッチングで検出される位置ずれ量の精度（最小単位）はＣＦＡ画像の画素色の配列単位に依存する。本例では縦方向に２画素、横方向に２画素からなる画素色の配列単位となっており、したがって画像の縦方向（列方向）、横方向（行方向）の双方に２画素の精度で位置ずれ量が検出される。
　一般化した表現を用いて説明すると、ＣＦＡ画像の画素色の配列単位が、縦方向にｒ個の画素、横方向にｃ個の画素（ｒ、ｃは共に任意の正の整数）である場合、検出される位置ずれ量の最小単位は、縦方向にｒ画素、横方向にｃ画素となる。つまり、ＣＦＡ画像の画素色の配列単位が大きくなる（色数が増す）ほど、検出される位置ずれ量の最小単位が増加する。
　ＣＦＡ画像の画素色配列単位（縦ｒ画素、横ｃ画素）よりも細かい精度で位置ずれ量を求めるため、位置ずれ量算出部１０６はサブピクセル位置推定を行う。サブピクセル位置推定の手法としては、等角直線フィッティング、パラボラフィッティング等がある。図３に、パラボラフィッティングを用いたサブピクセル推定の例を示す。図３において、横軸には位置ずれ量（単位：画素）、縦軸には相違度をとり、参照画像中における部分領域の位置をずらしながら算出して得た相違度がプロットされている。ここで、画像を左右にずらしながら相違度を求める例について説明すると、基準画像および参照画像双方の部分領域画像を、位置をずらさない状態で重ねたときの位置ずれ量を０［画素］とする。その状態から、基準画像は固定したまま、参照画像の部分領域画像を左方向に２画素分ずらしたとき、位置ずれ量を－２［画素］とする。逆に、参照画像を右方向に２画素分ずらしたとき、位置ずれ量を２［画素］とする。
　上記のように位置をずらしながら、基準画像および参照画像の同じ画素位置にある画素間で画素値の差を各画素位置に対応して求め、それらの差の絶対値の総和、あるいは二乗和（各画素位置に対応して求めた差を二乗したものの総和）を求める。相違度は、これら絶対値の総和または二乗和の大きさに対応した値となる。はじめに、このようにして求められた相違度のうち、最小相違度の位置ずれ量（相違度が最も小さい値を示す位置ずれ量）を求める。図３の例においては、最小相違度の位置ずれ量は＋２画素である。次に、その最小相違度の位置ずれ量の相違度と、その左右の位置ずれ量の相違度の３つの相違度を通る放物線の式を求める。その式から放物線の頂点を求め、その頂点の座標を、サブピクセル推定された、相違度が最小となるときの位置ずれ量として求めることが出来る。本例では１画素の単位（分解能）で位置ずれ量を求めれば良いので、サブピクセル位置推定によって得られた位置ずれ量を、四捨五入等によって整数にする。
　位置ずれ量算出部１０６による上述した位置ずれの算出は、画像の上下方向および左右方向のそれぞれで行われる。このようにして、ＣＦＡ画像の画素色の配列単位を構成する縦、横の画素数（ベイヤーＣＦＡ画像では縦、横、各２画素）によらず、１画素の分解能で位置ずれ量が算出される。
　位置ずれ量算出部１０６で算出された、縦方向、横方向の位置ずれ量に関する情報（位置ずれ量情報）は、合成処理部１０８に出力される。合成処理部１０８は、この位置ずれ量情報に基づき、基準画像と参照画像とを合成して合成画像を生成する処理を行う。
　図４は、基準画像中で設定された部分領域の画像ＰＲＩ１と、位置ずれ量算出部１０６で算出された位置ずれ量に基づいて参照画像中で特定された部分領域の画像ＰＲＩ２との、画素色の配列関係を示す図である。以下では、基準画像中で設定された部分領域の画像を部分領域画像ＰＲＩ１と称し、参照画像中で特定された部分領域の画像を部分領域画像ＰＲＩ２と称する。ここで、位置ずれ量算出部１０６で算出された横方向の位置ずれ量をｄｘ、縦方向の位置ずれ量をｄｙとする。合成処理に際して基準画像中で設定される部分領域は、位置ずれ量算出部１０６で位置ずれ量を算出する際に設定された部分領域と同一であっても異なっていてもよい。本例では、位置ずれ量算出部１０６において基準画像中で設定された部分領域の画像と部分領域画像ＰＲＩ１とは同一であるものとする。
　位置ずれ量算出部１０６で、先に説明したように１画素の分解能で位置ずれ量ｄｘ、ｄｙが求められた結果、これらの位置ずれ量ｄｘ、ｄｙの値としては、０を含む正負の整数となり得る。部分領域画像ＰＲＩ１と、部分領域画像ＰＲＩ２とを画素単位で比較したとき、位置ずれ量ｄｘ、ｄｙの値によっては画素色が同じとなる場合と異なる場合とがある。本例では、ＣＦＡ画像が縦横２画素ずつで構成される配列単位となっている。したがって、位置ずれ量ｄｘ、ｄｙの組み合わせが偶数（０は偶数であるものとする）と奇数とのいずれかの組み合わせ、すなわち（ｄｘ、ｄｙ）の組み合わせが、（偶数、偶数）、（偶数、奇数）、（奇数、偶数）、および（奇数、奇数）の４通り組み合わせのうち、いずれであるかに応じて、部分領域画像ＰＲＩ１、ＰＲＩ２の対応し合う画素位置の画素色の異同が生じる。
　上記に関して一般化した表現を用いて説明する。ＣＦＡ画像の画素色の配列単位が、縦方向にｒ個の画素、横方向にｃ個の画素（ｒ、ｃは共に任意の正の整数）から構成されるものとする。横方向の位置ずれ量（位置ずれ画素数）ｄｘ（整数値）を整数ｃで除したときの剰余と、縦方向の位置ずれ量（位置ずれ画素数）ｄｙ（整数値）を整数ｒで除したときの剰余との組み合わせに応じて部分領域画像ＰＲＩ１、ＰＲＩ２の対応し合う画素位置の画素色の異同が生じる。例えば、ＣＦＡ画像の画素色の配列単位が、縦方向および横方向に２画素から構成される場合、縦方向、横方向のそれぞれに対応して求められる剰余は０、１の２通りとなる。したがって、縦方向、横方向に対応する剰余の組み合わせに応じて、４通りのパターンを生じる。また、ＣＦＡ画像の画素色の配列単位が、縦方向および横方向に３画素から構成される場合、縦方向、横方向のそれぞれに対応して求められる剰余は０、１、２の３通りとなる。したがって、縦方向、横方向に対応する剰余の組み合わせに応じて、９通りのパターンを生じる。
　図４には、本実施の形態において、部分領域画像ＰＲＩ２の画素色の配列として生じうる四つのパターンがパターン１、パターン２、パターン３、およびパターン４として示される。なお、基準画像中部分領域画像ＰＲＩ１のパターンはパターン１であるものとする。
　パターン１は、位置ずれ量ｄｘ、ｄｙが共に偶数（ｄｘを整数ｃで、ｄｙを整数ｒで除したときの剰余が共に０）である場合に対応し、部分領域画像ＰＲＩ１の画像と部分領域画像ＰＲＩ２とで、対応する画素位置の画素色は同じとなっている。
　パターン２は、位置ずれ量ｄｘが奇数、ｄｙが偶数（ｄｘを整数ｃで除したときの剰余が１、ｄｙを整数ｒで除したときの剰余が０）である場合に対応し、パターン１の配列を基準として横方向に１画素分、画素色の配列がずれたパターンとなっている。部分領域画像ＰＩＲ２の画素色の配列がパターン２となっている場合、部分領域画像ＰＲＩ１と部分領域画像ＰＲＩ２とで、対応する画素位置の画素色は全て異なる。
　パターン３は、位置ずれ量ｄｘが偶数、ｄｙが奇数（ｄｘを整数ｃで除したときの剰余が０、ｄｙを整数ｒで除したときの剰余が１）である場合に対応し、パターン１の配列を基準として縦方向に１画素分、画素色の配列がずれたパターンとなっている。部分領域画像ＰＩＲ２の画素色の配列がパターン３となっている場合、部分領域画像ＰＲＩ１と部分領域画像ＰＲＩ２とで、対応する画素位置の画素色は全て異なる。
　パターン４は、位置ずれ量ｄｘ、ｄｙが共に奇数（ｄｘを整数ｃで、ｄｙを整数ｒで除したときの剰余が共に１）である場合に対応し、パターン１の配列を基準として縦、横の両方向に１画素分、画素色の配列がずれたパターンとなっている。部分領域画像ＰＩＲ２の画素色の配列がパターン４となっている場合、部分領域画像ＰＲＩ１と部分領域画像ＰＲＩ２とで、Ｇ色の画素のみ、対応する画素位置の画素色が同じとなっている。
　部分領域画像ＰＲＩ１およびＰＲＩ２を、対応する画素位置の画素同士で合成をする際に、画素色が同じ場合には問題なく合成ができる。しかし、画素色が異なる場合には、異なる色の画素値を単純に合成しただけでは適切な合成結果を得ることができない。適切な合成結果を得られるようにするため、合成処理部１０８内の補間処理部１１０は以下に説明する補間処理を行う。この補間処理によって、部分領域画像ＰＲＩ１の画素色の配列と同じ配列を有する画像（補間画像）が、部分領域画像ＰＲＩ２をもとに生成される。
　図５Ａ、図５Ｂは、基準画像中で設定された部分領域画像ＰＲＩ１と、参照画像中の部分領域画像ＰＲＩ２とで、これらの部分領域画像を構成する画素の画素色配列パターンの違いがある場合に、その違いに応じた補間処理が行われて補間画像が生成される様子を説明する図である。図５Ａ、図５Ｂの（ａ）、（ｄ）、（ｈ）は、基準画像中の部分領域画像ＰＲＩ１を構成する画素の画素色配列パターン例を示す。（ａ）、（ｄ）、（ｈ）に例示されるパターンはいずれも同じものであり、ここでは図４を参照して先に説明したパターン１であるものとする。（ａ）、（ｄ）、（ｈ）において、Ｒ、Ｇ、Ｂ各色の画素には、色を示すＲ、Ｇ、またはＢのアルファベットと、それに続く数字を付して各画素を区別する。（ｂ）、（ｅ）、（ｉ）は、参照画像中の部分領域画像ＰＲＩ２を構成する画素の画素色配列パターンを示す。（ｂ）、（ｅ）、（ｉ）に示されるパターンは、パターン１と異なるものとなっており、図４を参照して先に説明したパターン２、パターン３、パターン４を有するものとして示される。（ｂ）、（ｅ）、（ｉ）において、Ｒ、Ｇ、Ｂ各色の画素には、色を示すｒ、ｇ、またはｂのアルファベットと、それに続く数字を付して区別をする。（ｃ）、（ｆ）、（ｊ）は、（ｂ）、（ｅ）、（ｉ）に示される画素色配列パターン２、３、４の部分領域画像ＰＲＩ２に対し、補間処理部１１０で以下に説明する補間処理が行われて、パターン１の画素色配列パターンを有する補間画像が生成される様子を示している。（ｃ）、（ｆ）、（ｊ）において、Ｒ、Ｇ、Ｂ各色の画素には、色を示すｒｒ、ｇｇ、またはｂｂのアルファベットと、それに続く数字を付して区別をする。
　図５Ａの（ａ）、（ｂ）、（ｃ）を参照し、パターン２の画素色配列パターンを有する部分領域画像ＰＲＩ２から補間画像が生成される例を説明する。図５Ａの（ｂ）に例示される、パターン２の画素色配列パターンを有する部分領域画像ＰＲＩ２に対して補間処理が行われる場合、例えばＧ色の画素ｇ１の画素位置に対応して、補間画像中のＲ色の画素ｒｒ１の画素値が生成される。同様に、Ｒ色の画素ｒ１の画素位置に対応して、補間画像中のＧ色の画素ｇｇ１の画素値が生成される。以下、パターン２の画素色配列パターンに対応する補間処理の具体例について説明する。
　ここでは、ベイヤー配列に従う画素色配列パターンの、一組の画素色配列単位を構成する画素ｒｒ５、ｇｇ８、ｇｇ１１、ｂｂ５それぞれの画素値を補間処理によって生成する場合を例に説明する。以下に説明する補間処理を、参照画像中の他の配列単位にも繰り返し行うことにより、補間画像を生成することができる。
　以下では、補間処理部１１０で行われる処理の例として、２種類の補間方法について説明する。以下ではこれらの補間方法を補間方法１、補間方法２と称して説明する。補間方法１は、比較的単純な線形補間を用いる方法で、処理を高速化することが可能となる。補間方法２は、補間対象となる画素の近傍に存在する複数の画素の相関の高さを参酌した、より高度な補間方法であり、画像の鮮鋭度低下を抑制可能となる。
　［パターン２　補間方法１］
　図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある画素ｒｒ５の画素値を線形補間により生成する例について説明する。図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第３列の位置にあるのは画素ｇ８であり、この画素値をそのまま画素ｒｒ５の画素値とすることはできない。そこで、画素ｇ８の左右両隣に位置するＲ色の画素ｒ４、ｒ５の画素値の平均値を画素ｒｒ５の画素値とする。すなわち、以下の式（１－１ａ）によって画素ｒｒ５の画素値を求める。
Figure JPOXMLDOC01-appb-M000001
　図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある画素ｇｇ８の画素値を線形補間により生成する例について説明する。図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第４列の位置にあるのは画素ｒ５であり、この画素値をそのまま画素ｇｇ８の画素値とすることはできない。そこで、画素ｒ５の上下左右の両隣に位置するＧ色の画素ｇ５、ｇ１１、ｇ８、ｇ９の画素値の平均値を画素ｇｇ８の画素値とする。すなわち、以下の式（１－１ｂ）によって画素ｇｇ８の画素値を求める。
Figure JPOXMLDOC01-appb-M000002
　図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある画素ｇｇ１１の画素値を線形補間により生成する例について説明する。図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第３列の位置にあるのは画素ｂ５であり、この画素値をそのまま画素ｇｇ１１の画素値とすることはできない。そこで、画素ｇｇ１１の上下左右の両隣に位置するＧ色の画素ｇ８、ｇ１４、ｇ１０、ｇ１１の画素値の平均値を画素ｇｇ１１の画素値とする。すなわち、以下の式（１－１ｃ）によって画素ｇｇ１１の画素値を求める。
Figure JPOXMLDOC01-appb-M000003
　図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第４行、左から第４列の位置にある画素ｂｂ５を線形補間により生成する例について説明する。図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第４列の位置にあるのは画素ｇ１１であり、この画素値をそのまま画素ｂｂ５の画素値とすることはできない。そこで、画素ｇ１１の左右両隣に位置するＢ色の画素ｂ５、ｂ６の画素値の平均値を画素ｂｂ５の画素値とする。すなわち、以下の式（１－１ｄ）によって画素ｂｂ５の画素値を求める。
Figure JPOXMLDOC01-appb-M000004
　以上のように、補間方法１によれば、比較的単純な計算によって補間画像の各画素値を生成することが可能となる。
　［パターン２　補間方法２］
　図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある画素ｒｒ５の画素値を生成する例について説明する。本例では、図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２における第３行、第３列の位置の画素ｇ８、および画素ｇ８の近傍に存在する画素の画素値が参照されて以下の式（１－２ａ）により画素ｒｒ５の画素値を求める。
Figure JPOXMLDOC01-appb-M000005
　画素ｒ４、画素ｒ５は、画素ｇ８の左右両隣に位置する画素である。画素ｇ４、ｇ１０、ｇ７、ｇ８は、画素ｒ４の上下左右に位置する画素であり、画素ｇ５、ｇ１１、ｇ８、ｇ９は画素ｒ５の上下左右に位置する画素である。つまり、上記の式の右辺における、{r4 - (g4+g7+g8+g10) / 4}は、画素ｒ４の画素値（つまり、Ｒ色の値）と、画素ｒ４の位置におけるＧ色の推定値（画素ｇ４、ｇ７、ｇ８、ｇ１０の平均値）との差、すなわち画素ｒ４の位置におけるＲ色とＧ色との色差（Ｒ－Ｇ色差）を求めている。同じく、{r5 - (g5+g8+g9+g11) / 4}は、画素ｒ５の画素値（つまり、Ｒ色の値）と、画素ｒ５の位置におけるＧ色の推定値（画素ｇ５、ｇ８、ｇ９、ｇ１１の平均値）との差、すなわち画素ｒ５の位置におけるＲ－Ｇ色差を求めている。
　画素ｒ４、画素ｒ５の位置それぞれにおけるＲ－Ｇ色差の平均値をとると、それは画素ｇ８の位置におけるＲ－Ｇ色差の推定値として利用可能である。このＲ－Ｇ色差の平均値と画素ｇ８の画素値とを加算することにより、画素ｇ８の位置におけるＲ色の画素値をより正確に推定することが可能となる。
　図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある画素ｇｇ８の画素値を、より高度な補間により生成する例について説明する。この場合、図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２における第３行、第４列の位置にある画素ｒ５および画素ｒ５の上下左右に位置する画素の画素値が参照されて以下の式（１－２ｂ）または式（１－２ｃ）で画素ｇｇ８の画素値が求められる。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　ここで、条件式　|g5 - g11| ＜ |g8 - g9|　に合致するということは、横方向の相関よりも縦方向の相関の方が高いことを意味する。縦方向の相関の方がより高い場合、式（１－２ｂ）の右辺第１項の　(g5+g11) / 2　によって、画素ｒ５の上下方向の両隣に位置するＧ色画素である画素ｇ５および画素ｇ１１の画素値の平均値が求められる。また、式（１－２ｂ）の右辺第２項の　(-r2+2*r5 - r8)　により、画素ｒ５の位置を中心として縦方向に並ぶＲ色の画素ｒ２、ｒ５、ｒ８が参照される。この項は、縦方向に並ぶＲ色の画素ｒ２、ｒ５、ｒ８の画素値の変化に非線形性を有する場合、その非線形性を画素ｇ５および画素ｇ１１の画素値の平均から求めた画素値に加味するためのものである。ここでλは、この項を加味する割合を示し、通常λ＝0.25やλ＝0.1などの値を固定値として利用する（以下のλも同様）。
　一方、条件式　|g5 - g11| ≧ |g8 - g9|　に合致するということは、縦方向の相関よりも横方向の相関の方が高いことを意味する（縦、横両方向の相関が等しい場合も含む）。横方向の相関の方がより高い場合、式（１－２ｃ）の右辺第１項の　(g8+g9) / 2　によって、画素ｒ５の左右方向の両隣に位置するＧ色画素である画素ｇ８および画素ｇ９の画素値の平均が求められる。また、式（１－２ｃ）の右辺第２項の　(-r4+2*r5 - r6)　により、画素ｒ５の位置を中心として横方向に並ぶＲ色の画素ｒ４、ｒ５、ｒ６が参照される。この項は、横方向に並ぶＲ色の画素ｒ４、ｒ５、ｒ６の画素値の変化に非線形性を有する場合、その非線形性を画素ｇ８および画素ｇ９の画素値の平均から求めた画素値に加味するためのものである。
　このように、Ｇ色の画素ｇｇ８の画素値を求める際に、周囲に存在する画素の画素値の縦方向および横方向の相関を比較して、相関がより高いと判定される方向に並ぶ隣接画素から線形補間によって画素値を求めることにより、より正確な画素値の推定を行うことが可能となる。このときに、異なる色成分の近傍画素を参照して、画素位置の変化に伴う画素値の変化に非線形成があるときにはその非線形性が加味されることにより、画素値の推定をより正確に推定することが可能となる。
　図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある画素ｇｇ１１の画素値を、より高度な補間により生成する例について説明する。この場合、図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２における第４行、第３列の位置にある画素ｂ５および画素ｂ５の上下左右に位置する画素の画素値が参照されて以下の式（１－２ｄ）または式（１－２ｅ）で画素ｇｇ１１の画素値が求められる。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　上記の条件式　|g8 - g14| ＜|g10 - g11|　に合致するということは、横方向の相関よりも縦方向の相関の方が高いことを意味する。縦方向の相関の方がより高い場合、式（１－２ｄ）の右辺第１項の　(g8+g14) / 2　によって、画素ｂ５の上下方向の両隣に位置するＧ色画素である画素ｇ８および画素ｇ１４の画素値の平均値が求められる。また、式（１－２ｄ）の右辺第２項の　( - b2+2*b5 - b8)　により、画素ｂ５の位置を中心として縦方向に並ぶＢ色の画素ｂ２、ｂ５、ｂ８が参照される。この項は、縦方向に並ぶＢ色の画素ｂ２、ｂ５、ｂ８の画素値の変化に非線形性を有する場合、その非線形性を画素ｇ８および画素ｇ１４の画素値の平均から求めた画素値に加味するためのものである。
　一方、条件式　|g8 - g14| ≧ |g10 - g11|　に合致するということは、縦方向の相関よりも横方向の相関の方が高いことを意味する（縦、横両方向の相関が等しい場合も含む）。横方向の相関の方がより高い場合、式（１－２ｅ）の右辺第１項の　(g10+g11) / 2　によって、画素ｂ５の左右方向の両隣に位置するＧ色画素である画素ｇ１０および画素ｇ１１の画素値の平均が求められる。また、式（１－２ｅ）の右辺第２項の　(-b4+2*b5 - b6)　により、画素ｂ５の位置を中心として横方向に並ぶＢ色の画素ｂ４、ｂ５、ｂ６が参照される。この項は、横方向に並ぶＢ色の画素ｂ４、ｂ５、ｂ６の画素値の変化に非線形性を有する場合、その非線形性を画素ｇ１０および画素ｇ１１の画素値の平均から求めた画素値に加味するためのものである。
　このように、Ｇ色の画素ｇｇ１１の画素値を求める際に、周囲に存在する画素の画素値の縦方向および横方向の相関を比較して、相関がより高いと判定される方向に並ぶ隣接画素から線形補間によって画素値を求めることにより、より正確な画素値の推定を行うことが可能となる。このときに、異なる色成分の近傍画素を参照して、画素位置の変化に伴う画素値の変化に非線形成があるときにはその非線形性が加味されることにより、画素値の推定をより正確に推定することが可能となる。
　図５Ａの（ｃ）において、補間処理によって生成される部分領域画像中、上から第４行、左から第４列の位置にある画素ｂｂ５の画素値を、より高度な補間により生成する例について説明する。本例では、図５Ａの（ｂ）に示される、参照画像中の部分領域画像ＰＲＩ２における第４行、第４列の位置の画素ｇ１１、および画素ｇ１１の周囲に存在する画素の画素値が参照されて以下の式（１－２ｆ）により画素ｂｂ５の画素値を求める。
Figure JPOXMLDOC01-appb-M000010
　画素ｂ５、画素ｂ６は、画素ｇ１１の左右両隣に位置する画素である。画素ｇ８、ｇ１４、ｇ１０、ｇ１１は、画素ｂ５の上下左右に位置する画素であり、画素ｇ９、ｇ１５、ｇ１１、ｇ１２は画素ｂ６の上下左右に位置する画素である。つまり、上記の式の右辺における、{b5 - (g8+g10+g11+g14) / 4}は、画素ｂ５の画素値（つまり、Ｂ色の値）と、画素ｂ５の位置におけるＧ色の推定値（画素ｇ８、ｇ１０、ｇ１１、ｇ１４の平均値）との差、すなわち画素ｂ５の位置におけるＢ－Ｇ色差を求めている。同じく、{b6 - (g9+g11+g12+g15) / 4}は、画素ｂ６の画素値（つまり、Ｂ色の値）と、画素ｂ６の位置におけるＧ色の推定値（画素ｇ９、ｇ１１、ｇ１２、ｇ１５の平均値）との差、すなわち画素ｂ６の位置におけるＢ－Ｇ色差を求めている。
　画素ｂ５、画素ｂ６の位置それぞれにおけるＢ－Ｇ色差の平均値をとると、それは画素ｇ１１の位置におけるＢ－Ｇ色差の推定値として利用可能である。この平均値と画素ｇ１１の画素値とを加算することにより、画素ｇ１１の位置におけるＢ色の画素値をより正確に推定することが可能となる。
　以上に説明した、補間方法１または補間方法２の補間処理により、図５Ａの（ｂ）に示される、パターン２の画素色配列パターンを有する部分領域画像ＰＲＩ２から、図５Ａの（ｃ）に示される、パターン１の画素色配列パターンを有する補間画像が生成される。
　図５Ａの（ｄ）、（ｅ）、（ｆ）を参照し、パターン３の画素色配列パターンを有する部分領域画像ＰＲＩ２から補間画像が生成される例を説明する。本例においても、ベイヤー配列による画素色配列パターンの一組の画素色配列単位である画素ｒｒ５、ｇｇ８、ｇｇ１１、ｂｂ５それぞれの画素値を補間処理によって生成する場合を例に説明する。以下に説明する補間処理を、参照画像中の他の配列単位にも繰り返し行うことにより、補間画像を生成することができる。図５Ａの（ａ）、（ｂ）、（ｃ）を参照しての説明と同様、補間方法１および補間方法２について説明する。
　［パターン３　補間方法１］
　補間方法１については、参照画像中の部分領域画像ＰＲＩ２がパターン２を有する場合で説明したのと同様に行われる。すなわち、補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある画素ｒｒ５の画素値を線形補間により生成する場合、以下の式（２－１ａ）が用いられる。つまり、図５Ａの（ｅ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第３列の位置にある画素ｇ８の上下方向に隣接するＲ色の画素である画素ｒ２、画素ｒ５の画素値が参照されて画素ｒｒ５の画素値が導出される。
Figure JPOXMLDOC01-appb-M000011
　補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある画素ｇｇ８の画素値を線形補間により生成する場合、以下の式（２－１ｂ）が用いられる。つまり、図５Ａの（ｅ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第４列の位置にある画素ｂ５の上下左右方向に隣接するＧ色の画素である画素ｇ５、画素ｇ１１、画素ｇ８、画素ｇ９の画素値が参照されて画素ｇｇ８の画素値が導出される。
Figure JPOXMLDOC01-appb-M000012
　補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある画素ｇｇ１１の画素値を線形補間により生成する場合、以下の式（２－１ｃ）が用いられる。つまり、図５Ａの（ｅ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第３列の位置にある画素ｒ５の上下左右方向に隣接するＧ色の画素である画素ｇ８、画素ｇ１４、画素ｇ１０、画素ｇ１１の画素値が参照されてｇｇ１１の画素値が導出される。
Figure JPOXMLDOC01-appb-M000013
　補間処理によって生成される部分領域画像中、上から第４行、左から第４列の位置にある画素ｂｂ５の画素値を線形補間により生成する場合、以下の式（２－１ｄ）が用いられる。つまり、図５Ａの（ｅ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第４列の位置にある画素ｇ１１の上下方向に隣接するＢ色の画素である画素ｂ５、画素ｂ８の画素値が参照されて画素ｂｂ５の画素値が導出される。
Figure JPOXMLDOC01-appb-M000014
　［パターン３　補間方法２］
　参照画像中の部分領域画像ＰＲＩ２がパターン２を有する場合について、より高度な補間を行うために、式（１－２ａ）、式（１－２ｂ）、式（１－２ｃ）、式（１－２ｄ）用いて画素ｒｒ５、ｇｇ８、ｇｇ１１、ｂｂ５の画素値を求める例について先に説明したが、参照画像中の部分領域画像ＰＲＩ２が図５Ａの（ｅ）に示されるパターン３を有する本例においても同様の処理が行われる。以下に、上記の式（１－２ａ）、式（１－２ｂ）、式（１－２ｃ）、式（１－２ｄ）に対応する式（２－２ａ）、（２－２ｂ）、式（２－２ｃ）、式（２－２ｄ）を示す。それぞれの式がもつ意味については、式（１－２ａ）、式（１－２ｂ）、式（１－２ｃ）、式（１－２ｄ）について説明したのと同様であるのでその説明を省略する。
　補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある画素ｒｒ５の画素値を線形補間により生成する場合、以下の式（２－２ａ）が用いられる。
Figure JPOXMLDOC01-appb-M000015
　補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある画素ｇｇ８の画素値を線形補間により生成するためには、以下の式（２－２ｂ）または式（２－２ｃ）が用いられる。
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-M000017
　補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある画素ｇｇ１１の画素値を線形補間により生成するためには、以下の式（２－２ｄ）または式（２－２ｅ）が用いられる。
Figure JPOXMLDOC01-appb-M000018
Figure JPOXMLDOC01-appb-M000019
　補間処理によって生成される部分領域画像中、上から第４行、左から第４列の位置にある画素ｂｂ５の画素値を線形補間により生成する場合、以下の式（２－２ｆ）が用いられる。
Figure JPOXMLDOC01-appb-M000020
　以上に説明した、補間方法１または補間方法２の補間処理により、図５Ａの（ｅ）に示される、パターン３の画素色配列パターンを有する部分領域画像ＰＲＩ２から、図５Ａの（ｆ）に示される、パターン１の画素色配列パターンを有する補間画像が生成される。
　図５Ｂの（ｈ）、（ｉ）、（ｊ）を参照し、パターン４の画素色配列パターンを有する部分領域画像ＰＲＩ２から補間画像が生成される例を説明する。本例においても、ベイヤー配列による画素色配列パターンの一組の配列単位を構成する画素ｒｒ５、ｇｇ８、ｇｇ１１、ｂｂ５それぞれの画素値を補間処理によって生成する場合を例に説明する。以下に説明する補間処理を、参照画像中の他の配列単位にも繰り返し行うことにより、補間画像を生成することができる。図５Ａの（ａ）、（ｂ）、（ｃ）を参照しての説明と同様、補間方法１および補間方法２について説明する。
　［パターン４　補間方法１］
　補間方法１による補間処理は、参照画像中の部分領域画像ＰＲＩ２がパターン２、パターン３を有する場合で説明したのと同様処理が行われる。すなわち、補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある画素ｒｒ５の画素値を線形補間により生成する場合、以下の式（３－１ａ）が用いられる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第３列の位置にある画素ｂ５を基準として、対角方向の上下左右に隣接するＲ色の画素である画素ｒ１、画素ｒ２、画素ｒ４、画素ｒ５の画素値が参照されて画素ｒｒ５の画素値が算出される。
Figure JPOXMLDOC01-appb-M000021
　補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある画素ｇｇ８の画素値を線形補間により生成する場合、以下の式（３－１ｂ）が用いられる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第４列の位置にある画素は、画素ｇｇ８と同じ色を有するＧ色の画素ｇ８である。したがって、画素ｇ８の画素値がそのまま画素ｇｇ８の画素値として用いられる。
Figure JPOXMLDOC01-appb-M000022
　補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある画素ｇｇ１１の画素値を線形補間により生成する場合、以下の式（３－１ｃ）が用いられる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第３列の位置にある画素は、画素ｇｇ１１と同じ色を有するＧ色の画素ｇ１１である。したがって、画素ｇ１１の画素値がそのまま画素ｇｇ１１の画素値として用いられる。
Figure JPOXMLDOC01-appb-M000023
　補間処理によって生成される部分領域画像中、上から第４行、左から第４列の位置にある画素ｂｂ５の画素値を線形補間により生成する場合、以下の式（３－１ｄ）が用いられる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第４列の位置にある画素ｒ５を基準として、対角方向の上下左右に隣接するＢ色の画素である画素ｂ５、画素ｂ６、画素ｂ８、画素ｂ９の画素値が参照される。そして、下記の式（３－１ｄ）により画素ｂｂ５の画素値が算出される。
Figure JPOXMLDOC01-appb-M000024
　［パターン４　補間方法２］
　部分領域画像ＰＲＩ２がパターン２を有する場合について、より高度な補間を行うために、式（１－２ａ）、式（１－２ｂ）、式（１－２ｃ）、式（１－２ｄ）用いて画素ｒｒ５、ｇｇ８、ｇｇ１１、ｂｂ５の画素値を求める例について先に説明したが、参照画像中の部分領域画像ＰＲＩ２がパターン４を有する本例においても同様の処理が行われる。以下に、パターン４に対応する式（３－２ａ）、（３－２ｂ）、式（３－２ｃ）、式（３－２ｄ）を示す。
　補間処理によって生成される部分領域画像中、上から第３行、左から第３列の位置にある参照画像中の画素ｒｒ５の画素値は、以下の式（３－２ａ）を用いて求められる。
Figure JPOXMLDOC01-appb-M000025
　上記の式（３－２ａ）において、右辺の　{r1 - (g1+g4+g5+g7) / 4}、{r2 - (g2+g5+g6+g8) / 4}、{r4 - (g7+g10+g11+g13) / 4}、{r5 - (g8+g11+g12+g14) / 4}　について説明する。図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第３列の位置にある画素ｂ５を基準として、対角方向の上下左右には画素ｒ１、ｒ２、ｒ４、ｒ５が隣接して存在する。上記の四つの式は、これら四つのＲ色画素の画素位置に対応するＧ色成分の画素値を、上記各Ｒ色画素の周囲にあるＧ色画素値からそれぞれ補間によって求め、Ｒ－Ｇ色差を計算している。また、上記の式（３－２ａ）における　(g5+g7+g8+g11) / 4　は、画素ｂ５の位置におけるＧ色画素値を、画素ｂ５の周囲に位置する四つのＧ色画素ｇ５、ｇ７、ｇ８、ｇ１１の値から補間により求めている。そして、上述した四つのＲ－Ｇ色差値の平均と、画素ｂ５の位置におけるＧ色画素値とを加算することにより、画素ｂ５の位置におけるＲ色の画素値を得る。
　補間処理によって生成される部分領域画像中、上から第３行、左から第４列の位置にある参照画像中の画素ｇｇ８の画素値は、以下の式（３－２ｂ）を用いて求められる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第３行、第４列の位置にある画素は、画素ｇｇ８と同じ色を有するＧ色の画素ｇ８である。したがって、下記の式（３－２ｂ）に示されるように、画素ｇ８の画素値がそのまま画素ｇｇ８の画素値として用いられる。
Figure JPOXMLDOC01-appb-M000026
　補間処理によって生成される部分領域画像中、上から第４行、左から第３列の位置にある参照画像中の画素ｇｇ１１の画素値は、以下の式（３－２ｃ）を用いて求められる。つまり、図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第３列の位置にある画素は、画素ｇｇ１１と同じ色を有するＧ色の画素ｇ１１である。したがって、下記の式（３－２ｃ）に示されるように、画素ｇ１１の画素値がそのまま画素ｇｇ１１の画素値として用いられる。
Figure JPOXMLDOC01-appb-M000027
　図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第４列の位置にある画素ｂｂ５の画素値は、以下の式（３－２ｄ）を用いて求められる。
Figure JPOXMLDOC01-appb-M000028
　上記の式（３－２ｄ）において、右辺の　{b5 - (g5+g7+g8+g11) / 4}、{b6 - (g6+g8+g9+g12) / 4}、{b8 - (g11+g13+g14+g17) / 4}、{b9 - (g12+g14+g15+g18) / 4}　について説明する。図５Ｂの（ｉ）に示される、参照画像中の部分領域画像ＰＲＩ２において、第４行、第４列の位置にある画素ｒ５を基準として、対角方向の上下左右には画素ｂ５、ｂ６、ｂ８、ｂ９が隣接して存在する。上記の四つの式は、これら四つのＢ色画素の画素位置に対応するＧ色成分の画素値を、各Ｂ色画素の周囲に存在するＧ色画素値からそれぞれ補間によって求め、Ｂ－Ｇ色差を計算している。また、上記の式（３－２ｄ）における　(g8+g11+g12+g14) / 4　は、画素ｒ５の位置におけるＧ色画素値を、画素ｒ５の周囲に位置するＧ色画素ｇ８、ｇ１１、ｇ１２、ｇ１４の画素値から補間により求めている。そして、上述した四つのＢ－Ｇ色差値の平均と、画素ｒ５の位置におけるＧ色画素値とを加算することにより、画素ｒ５の位置におけるＢ色の画素値を得る。
　以上で説明した補間処理を行うことにより、基準画像の部分領域画像ＰＲＩ１に対応する位置の画像として参照画像中から抽出された部分領域画像ＰＲＩ２の画素色配列パターンによらず、基準画像の部分領域画像ＰＲＩ１と同じ画素色配列パターンの補間画像（部分領域画像）を生成することが可能となる。したがって、基準画像と補間画像との合成をより好適な形で行うことが可能となる。なお、参照画像の部分領域画像ＰＲＩ２の画素色の配列が基準画像の部分領域画像ＰＲＩ１と同じパターン１である場合には、以上で説明したパターン２～パターン４に対応する補間処理は不要となり、参照画像の画素値をそのまま利用することが可能である。つまり、補間による画素値の生成処理を省くことが可能となる。
　以上では、より簡便な方法として補間方法１、より高度な方法として補間方法２による補間処理を行う例を示したが、他の補間方法も利用可能である。すなわち、ＣＦＡ画像中、所与の画素位置にある画素の画素値を推定する場合に、推定対象の画素の近傍に位置する画素の画素値から、上記所与の画素位置にある画素の本来の画素色と異なる色の画素値を生成可能な補間方法であれば、以上に例示した以外の任意の補間方法を利用可能である。
　図６は、画像処理部１００で行われるＣＦＡ画像合成処理の処理手順を説明するフローチャートである。画像処理部１００が例えばデジタルカメラに内蔵されるものである場合、デジタルカメラで撮像動作が行われて同一被写体を撮影したｎ枚のＣＦＡ画像が得られたときに図６に示す処理が行われる。あるいは、ｎ枚のＣＦＡ画像を得る際に連続撮影が行われる場合、一連の連続撮影動作が完了する前に図６に示す処理が開始されてもよい。以下では、同一被写体を撮影して２枚のベイヤーＣＦＡ画像が得られたときに図６の処理が開始されるものとして説明をする。
　Ｓ６００において画像処理部１００は、２枚のＣＦＡ画像を入力する。これらのＣＦＡ画像のうちの一枚が基準画像、もう一枚が参照画像とされる。最初の撮像動作で得られたＣＦＡ画像、次の撮像動作で得られたＣＦＡ画像のうち、いずれを基準画像とするかは任意に設定可能である。
　Ｓ６０２において画像処理部１００は、基準画像中に部分領域を設定する。この部分領域は、任意の分割方法によって設定可能であり、画面全体を一つの領域として設定することも可能である。本例では、図４、図５Ａ、図５Ｂを参照して説明したように縦に６画素、横に６画素の３６画素からなる矩形の領域が設定されるものとする。基準画像中で縦横６画素のサイズの矩形ウィンドウを順次移動させて、部分領域の位置を変化させながら以下で説明する処理を繰り返し行うことにより、画面全体の合成処理が行われる。
　Ｓ６０４において画像処理部１００は、Ｓ５０２で設定された部分領域の画像、すなわち部分領域画像ＰＲＩ１をテンプレートとして、一致度の高い部分領域を参照画像中で探索する。そして、図３、図４を参照して説明したように、１画素の分解能で縦方向および横方向の位置ずれ量ｄｘ、ｄｙを算出する。
　Ｓ６０６において画像処理部１００は、Ｓ６０４で算出された縦方向および横方向の位置ずれ量ｄｘ、ｄｙのそれぞれについて、２で除したときの剰余（２の剰余）を計算する。この計算の結果、（横方向位置ずれ量ｄｘ，縦方向位置ずれ量ｄｙ）の、２の剰余の組み合わせとしては、（０，０）、（１，０）、（０，１）、（１，１）のいずれかとなる。
　Ｓ６０８において画像処理部１００は、Ｓ６０６で算出された２の剰余の組み合わせ（０，０）、（１，０）、（０，１）、（１，１）から、基準画像中で設定された部分領域ＰＲＩ１に対応する、参照画像中の部分領域画像ＰＲＩ２の画素色の配列パターンを判定する。上記２の剰余の組み合わせが、（０，０）のとき、パターン１と判定され、（１，０）のとき、パターン２と判定され、（０，１）のとき、パターン３と判定され、（１，１）のとき、パターン４と判定される。
　Ｓ６０８でパターン１と判定されたとき、部分領域画像ＰＲＩ１とＰＲＩ２とは同じ画素色の配列パターンを有するので、部分領域画像ＰＲＩ２に補間処理をする必要はなく、部分領域画像ＰＲＩ２内の各画素値をそのまま利用可能である。一方、パターン２、パターン３、パターン４のいずれかであると判定されたとき、判定されたパターンに対応する補間処理がＳ６１０、Ｓ６１２、およびＳ６１４のいずれかで行われて補間画像（補間画素値）が生成される。Ｓ６１０、Ｓ６１２、Ｓ６１４で行われる補間処理に際しては、先に説明した補間方法１および補間方法２のうち、いずれの補間方法を用いることも可能である。また、補間方法１、補間方法２以外の補間方法によって補間処理が行われてもよい。このとき、予め用意される複数の補間方法の中からユーザがいずれかの補間方法を選択可能に構成されていてもよい。
　基準画像データ中の部分領域画像ＰＲＩ１と、以上のようにして生成された補間画像データ（パターン１のときには部分領域画像ＰＲＩ２を構成する各画素値）とがＳ６１６で合成されて合成画像が生成される。ここで生成される合成画像は、部分領域画像ＰＲＩ１と同じ画素数のＣＦＡ画像である。合成処理としては様々な方法を行うことが可能であるが、ここでは加算による合成をする例について説明する。加算による合成をする場合、例えば、部分領域画像ＰＲＩ１と補間画像とで画素毎に所定の混合比Ｍ：Ｎで加算合成をすることが可能である。具体例としては、基準画像データの部分領域画像ＰＲＩ１中の画素の画素値をＰ１、当該画素に対応する補間画像中の画素の画素値をＰ２、合成後の画素値をＰ３とすると、以下の式（４）を用いて加算合成することが可能である。
Figure JPOXMLDOC01-appb-M000029
　上記式（４）において、Ｍ、Ｎは任意の実数とすることが可能である。単純な加算合成の例ではＭ＝１、Ｎ＝１とすることにより、画素値Ｐ１およびＰ２の和を２で除したものとすることができる。Ｍ、Ｎのいずれかを負の値とすることにより、両画素値の差分をとることもできる。また、Ｍ、Ｎのいずれかを０とすることができる。つまり、画素値Ｐ１およびＰ２のいずれかを合成後の画素値Ｐ３として選択することもできる。
　Ｓ６１８において画像処理部１００は、すべての部分領域に対応する処理を完了したか否かを判定する。Ｓ６１８での判定が否定される間、上述したＳ６０２からＳ６１６までの処理が繰り返し行われる。全ての部分領域での処理が完了するとＳ６１８の判定が肯定され、処理はＳ６２０に進む。
　画像処理部１００は、Ｓ６２０で合成画像を出力し、一連の処理を完了する。
　以上、画像処理部１００による複数枚のＣＦＡ画像入力、位置ずれ量算出、補間、画像合成の処理について図６のフローチャートを参照して説明した。図６では、ＣＦＡ画像が、縦・横２画素の画素色配列単位からなるベイヤーＣＦＡ画像である場合を例に説明したが、本発明はこの例に限られない。つまり、ＣＦＡ画像の画素色の配列単位が、縦方向にｒ画素、横方向にｃ画素から構成される場合、Ｓ６０６では横方向の位置ずれ量ｄｘをｃで除したときの剰余と、縦方向の位置ずれ量ｄｙをｒで除したときの剰余とを計算する。Ｓ６０８では縦、横方向それぞれに対応する剰余の組み合わせから、参照画像中の部分領域画像ＰＲＩ２の画素色の配列パターンを判定する。画素色の配列単位が、縦方向にｒ画素、横方向にｃ画素から構成される場合、剰余の組み合わせはｒ×ｃ通りとなる。Ｓ６０８では、参照画像の色配列パターンがｃ×ｒ通りの色配列パターンのうちのいずれかと判定される。Ｓ６０８での判定結果に応じた補間処理が続いて行われる。このとき、縦、横の剰余の組み合わせが（０，０）である場合に対応するパターン１と判定された場合、補間処理は省略可能となる。
　図５Ａ、図５Ｂ、図６を参照しての以上の説明では、参照画像の色配列パターンに応じた補間方法で補間画像を生成し、その上で基準画像と補間画像とを合成するものとして説明したが、以下に説明するように点順次で補間画素値を算出し、合成処理をすることも可能である。すなわち、Ｓ６０８で参照画像の色配列パターンが判定されると、参照画像の画素値をそのまま用いて合成するのか（パターン１のケース）、補間処理をして生成した画素値を基準画像の対応する画素値と合成するのか（パターン２、パターン３、パターン４のケース）が決まる。参照画像の色配列パターンがパターン２からパターン４のいずれかで補間処理をする必要がある場合には、基準画像の部分領域画像ＰＲＩ１中の各画素（Ｒ１、Ｇ１、Ｒ２、…、Ｇ１８、Ｂ９）に対応する画素値ｒｒ１、ｇｇ１、…、ｇｇ１８、ｂｂ９を点順次に算出しながら合成処理をすることが可能となる。点順次に処理をする際の処理順や走査方向は任意に設定可能である。
　また、図６を参照しての以上の説明では、２枚のＣＦＡ画像が合成処理される例について説明したが、３枚以上のＣＦＡ画像を合成処理することも可能である。３枚以上のＣＦＡ画像を合成する場合、以下で図７、図８を参照して説明するような方法等を用いて合成処理をすることが可能となる。
　図７に示される合成処理では、複数枚のＣＦＡ画像のうち、選択された２枚のＣＦＡ画像の一方を基準画像、他方を参照画像として位置ずれ量算出、補間、画像合成の処理が行われて合成画像１が生成される。図７の例では１枚目の画像が基準画像１に設定され２枚目の画像が参照画像１に設定される。そして、生成された合成画像１を新たな基準画像とし、未処理のＣＦＡ画像中の一つを新たな参照画像として、位置ずれ量算出、補間、画像合成の処理が行われて合成画像が生成される。図７の例では３枚目の画像が参照画像２、合成画像１が基準画像２とされて、合成画像２が生成される。入力されたＣＦＡ画像の枚数に応じて、これらの処理が繰り返し行われ、ｎ枚のＣＦＡ画像がｎ－１枚、ｎ－２枚と減じられて、最終的に１枚の合成画像が生成される。図７の例では合成画像３が最終的に得られる合成画像である。
　図７中に、矩形の枠で囲われた数字を示してあるが、これらは二つの画像を合成する際に設定される合成比率の例を示している。つまり、基準画像１と参照画像１とを合成して合成画像１を生成する場合、基準画像１と参照画像１との合成比率を１：１とすることを意味する。基準画像２と参照画像２とを合成して合成画像２を生成する場合、基準画像２と参照画像２との合成比率を２：１とする。つまり、２枚の画像を合成して得た基準画像２の合成比率を、参照画像１の合成比率の２倍に設定する。基準画像３と参照画像３とを合成して合成画像３を生成する場合、基準画像３と参照画像３との合成比率を３：１とする。つまり、３枚の画像を合成して得た基準画像３の合成比率を、参照画像３の合成比率の３倍に設定する。このように、基準画像が何枚の画像を合成して得られたものかに応じて基準画像と参照画像との合成比率を変化させることにより、一定の合成比率で合成をする場合に比して、より後に合成される参照画像の影響度が相対的に高まるのを抑制可能となる。
　あるいは、以下に説明するように合成処理を行うことも可能である。例えば４枚のＣＦＡ画像が入力される場合、１枚目の入力画像を基準画像１とし、２枚目の入力画像を参照画像１として、これらの画像から合成画像１を得る。また、３枚目の入力画像を基準画像２とし、４枚目の入力画像を参照画像２として、これらの画像から合成画像２を得る。続いて、合成画像１を基準画像３、合成画像２を参照画像３として得られた合成画像を最終的に得られる合成画像としてもよい。この場合には、合成される各画像の合成比率を常に１：１として、最終的に得られる合成画像中における各入力画像の影響度を均一に揃えることが可能となる。無論、各入力画像に対して異なる合成比率が設定されるようにしてもよい。
　図８を参照して、図７に示されるのとは異なる合成処理の手順について説明する。図８に示される合成処理の例では、入力されるｎ枚のＣＦＡ画像のうち、１枚の画像が基準画像とされて、残りのｎ－１枚のＣＦＡ画像は参照画像１、参照画像２、…、参照画像ｎ－１とされる。そして、基準画像と参照画像１、基準画像と参照画像２、…、基準画像と参照画像ｎ－１、それぞれの組み合わせに対応して位置ずれ量の算出、補間画像生成の処理が行われる。その結果、ｎ－１枚の補間画像が生成される。図７の例では４枚の入力ＣＦＡ画像から３枚の補間画像、すなわち補間画像１、補間画像２、補間画像３が生成される。そして、生成された各補間画像と、基準画像とを合成して合成画像が生成される。このとき、各補間画像および基準画像それぞれの合成比率は任意に設定可能である。
　図７、図８を参照しての上記説明においては、入力された複数枚のＣＦＡ画像中、１枚目のＣＦＡ画像を基準画像とする例について説明したが、入力されたＣＦＡ画像中の任意の画像を基準画像とすることが可能である。また、合成処理される対象となるＣＦＡ画像の組み合わせも任意に設定可能である。
　以上に説明した手順により、位置ずれ量算出、補間処理、合成処理を行う場合の処理負荷は、デモザイク処理をしてフルカラー化した画像データを生成し、位置ずれ量の算出、合成処理を行う場合の処理負荷に比べて軽くなる。つまり、元のＣＦＡ画像を一板の画像とし、補間処理によって生成される画像を別の一板の画像とするならば、いわば二板化の処理で済んでいる、ということになる。つまり、ベイヤー配列のＣＦＡ画像をデモザイク処理してＲ、Ｇ、Ｂ各カラープレーンの三板化したフルカラーの画像データを生成する場合に比べて約半分の処理量で済む。デモザイク処理を経る場合には二板分の画像データを追加生成するところ、本実施の形態では一板分の画像データの追加生成処理で済む。加えて、上述した補間処理では、参照画像から抽出された部分領域画像ＰＲＩ２を構成する画素中、基準画像の部分領域画像ＰＲＩ１を構成する画素と画素色が異なる場合のみ補間処理が行われる。つまり、必要なときにのみ補間処理が行われるので、処理負荷をさらに軽減することが可能となる。
　以上のように処理負荷を軽減することが可能となるのに加えて、１画素精度で位置ずれ量が求められて補間処理、合成処理が行われるので、デモザイク処理をした後の画像を用いて合成をする場合と同様の高い精度で合成処理をすることが可能となる。また、合成処理して得られた画像データをＲＡＷ画像データとして保存することも可能となるので、後でレタッチ等の画像処理をした際に生じる画質の低下を抑制可能となる。加えて、ＲＡＷ画像データでは、８ビットのビット深度を超す情報量を各画素に対応する画素値として維持することも可能となり、この点でも後でレタッチ等をした際に生じる画質の低下を抑制可能となる。
　以上に説明した画像処理部１００は、デジタルカメラや、カメラを内蔵する携帯電話や携帯情報端末等の内部に備えられたものとすることが可能である。あるいは、記録媒体に記録された画像処理プログラムがコンピュータのＣＰＵにより読み出されて実行され、画像処理部１００としての機能が実装されてもよい。以下、その例について説明する。
　図９は、以上に説明した画像処理部１００を備えるデジタルカメラ２００の概略的内部構成を説明するブロック図である。デジタルカメラ２００は、スチルカメラであってもムービーカメラであってもよい。あるいは、携帯電話や携帯情報端末等に組み込まれるカメラであってもよい。デジタルカメラ２００がスチルカメラまたはムービーカメラであるとき、撮影レンズが固定式のものであっても、交換可能に構成されるものであってもよい。
　デジタルカメラ２００は、撮影光学系２０２と、撮像部２０４と、画像処理部１００と、メモリカードインターフェース２０６と、ＣＰＵ２０８と、表示部２１０と、操作部２１２と、メモリ２１４とを備える。
　撮影光学系２０２は、被写体像を撮像部２０４の受光エリア上に形成する。撮影光学系２０２は、単焦点の光学系であっても、可変焦点距離の光学系であってもよい。
　撮像部２０４は、シャッタ、撮像素子、アナログ・フロントエンド等を含んで構成される。撮影光学系２０２を透過した被写体光は、シャッタが開いている間、撮像素子に入射する。撮像素子の受光エリア上に形成される被写体像が光電変換され、画像信号が生成される。なお、撮像素子が電気的に露光時間（光電変換時間）の制御を行うことが可能な、電子シャッタの機能を有する場合、シャッタは必ずしも備えられていなくてもよい。撮像素子の受光面上にはオンチップカラーフィルタが配置される。撮像部２０４は、同一被写体に対して複数の露光動作を行い、複数枚のＣＦＡ画像データを生成可能に構成される。あるいは、撮影光学系２０２および撮像部２０４を複数組備え、複数の撮影動作が略同時に行われて複数のＣＦＡ画像データを生成可能に構成されていてもよい。このとき、例えば、各ＣＦＡ画像データを得るのに対応して異なるシャッタ秒時を設定すると、露光量の異なる複数枚のＣＦＡ画像データを得ることが可能となる。これらの画像データを合成することにより、いわゆるＨＤＲ合成画像を得ることが可能となる。
　操作部２１２は、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、タッチパネル等のうちいずれか一種類または複数種類を備え、ユーザの操作を受け付け可能に構成される。表示部２１０は、ＴＦＴ液晶表示パネルとバックライト装置、あるいは有機ＥＬ表示素子等の自発光式表示素子を備え、画像や文字等の情報を表示可能に構成される。
　メモリ２１４は、フラッシュメモリやＲＡＭ等を備えて構成される。フラッシュメモリには、ＣＰＵ２０８により実行される制御プログラム（ファームウェア）や、調整パラメータ、あるいはデジタルカメラ２００の電源が入っていない状態でも保持する必要のある情報等が記憶される。ＲＡＭはＣＰＵ２０８および画像処理部１００の双方からアクセス可能に構成され、ＣＰＵ２０８および画像処理部１００のワークエリアとして機能する。ＣＰＵ２０８は、フラッシュメモリからＲＡＭに転送されたファームウェアを解釈・実行してデジタルカメラ２００の動作を統括的に制御する。
　メモリカードインターフェース２０６は、着脱自在に装着されるメモリカードＭＣへの情報の書き込みと、メモリカードＭＣからの情報の読み出しが可能に構成される。
　ユーザがデジタルカメラ２００の電源をオンに切り換え、操作部２１２を操作してデジタルカメラ２００を撮影モードに切り換える。ユーザがさらに操作部２１２を操作して、動作モードを例えばＨＤＲ撮影モードに設定し、デジタルカメラ２００を被写体に向けてレリーズ操作をすると、一連の複数枚のＣＦＡ画像データが生成されて画像処理部１００に入力される。画像処理部１００は、先に説明したようにＣＦＡ画像の合成処理を行い、合成画像データを生成する。この合成画像データはＣＦＡ画像データである。この合成画像データを可逆圧縮し、撮影情報等のメタデータを付加し、ＲＡＷ画像ファイルとしてメモリカードＭＣに記録することができる。また、合成画像データにデモザイキングの処理をしてフルカラー画像データを生成することも可能である。このフルカラー画像データをもとに、表示部２１０に画像を表示することができる。さらに、フルカラー画像データにＪＰＥＧ等の非可逆圧縮をしてメタデータを付加し、ＪＰＥＧ画像ファイルとしてメモリカードＭＣに記録することもできる。
　あるいは、撮像部２０４で生成された複数枚のＣＦＡ画像データを画像処理部１００で合成処理することなく、メモリカードＭＣに記録することも可能である。この場合、デジタルカメラ２００が再生モードに切り換えられたときに当該の複数枚のＣＦＡ画像データがメモリカードＭＣからメモリ２１４に読み込まれる。そして、画像処理部１００で合成処理をした後にデモザイク処理をしてフルカラー化し、表示部２１０に画像を表示することができる。メモリカードＭＣに記録された一連の複数枚のＣＦＡ画像データは、他の機器、例えばコンピュータやビデオレコーダ等にメモリカードＭＣやインターフェースケーブル等を介して転送され、これらのコンピュータやビデオレコーダ等の内部で合成処理することも可能である。
　図１０は、情報処理装置３００のＣＰＵ３０２によって画像処理プログラムが実行されることにより、画像処理部１００が実現される例を説明するブロック図である。情報処理装置３００は、ＣＰＵ３０２と、メモリ３０４と、補助記憶装置３０６と、システムバス３０８とを備える。情報処理装置３００はまた、メモリカードインターフェース３１０と、光ディスクドライブ３１２と、ネットワークインターフェース３１４と、ビデオインターフェース３１６とを備える。情報処理装置３００は、必要に応じて有線または無線の通信インターフェースを備えていても良い。
　メモリ３０４は、ＳＤＲＡＭ等で構成されていて比較的高速のアクセス速度を有し、ＣＰＵ３０２がプログラムを実行する際のワークエリアとして用いられる。補助記憶装置３０６は、ハードディスクドライブやＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等を備え、ＣＰＵ３０２で実行されるプログラムや、画像ファイル等を記憶可能に構成される。
　メモリカードインターフェース３１０は、装着されたメモリカードＭＣからの情報の読み出しと、メモリカードＭＣへの情報の書き込みとを可能に構成される。メモリカードＭＣは、画像ファイルやプログラムファイル等を記憶可能な記憶媒体であり、デジタルカメラ２００に装着することも可能に構成される。
　光ディスクドライブ３１２は、装着された光ディスクＯＤから画像ファイルやプログラムファイル等を読み出し可能に構成される。光ディスクドライブ３１２はまた、画像ファイルや各種情報等を光ディスクＯＤに書き込み可能に構成されていてもよい。
　ネットワークインターフェース３１４は、有線または無線の形態でネットワークＮＷに接続可能に構成される。そして、ネットワークＮＷに接続されるサーバ等へ情報の出力およびサーバ等からの情報の入力が可能に構成される。
　ビデオインターフェース３１６は、カラー液晶表示装置等のフラットパネルディスプレイやＣＲＴ等の表示装置を接続可能に構成される。接続されたこれらの表示装置には、文字等の情報や画像等が表示される。上述したメモリ３０４、補助記憶装置３０６、メモリカードインターフェース３１０、光ディスクドライブ３１２、ネットワークインターフェース３１４、ビデオインターフェース３１６は、システムバス３０８を介してＣＰＵ３０２と相互に接続される。
　画像処理部１００は、補助記憶装置３０６、メモリカードＭＣ、光ディスクＯＤ等のコンピュータ可読記録装置（又は非一時的なコンピュータ可読記憶媒体）から読み出されてメモリ３０４にロードされた画像処理プログラムをＣＰＵ３０２が実行することによって実現される。画像処理プログラムは、この記録装置にコンピュータ読取可能なフォーマットでエンコードされ記録されている。画像処理部１００は、補助記憶装置３０６、メモリカードＭＣ、光ディスクＯＤ等のいずれかから一連の複数枚のＣＦＡ画像を読み出して、先に説明した合成処理をすることができる。そして、合成して得られたＣＦＡ画像をＲＡＷ画像データとして補助記憶装置３０６、メモリカードＭＣ、光ディスクＯＤ等のいずれかに記録することができる。また、合成して得られたＣＦＡ画像にデモザイク処理をしてフルカラー化した画像データを生成することもできる。生成されたフルカラー画像データはさらに処理されて表示用画像データや記録用画像データが生成され、表示や記録の処理が行われる。
　本発明は、放送用据え置き型カメラ、ＥＮＧカメラ、民生用ハンディカメラ、デジタルカメラ等の製品に適用可能である。また、画像編集装置やビデオレコーダ等に適用することも可能である。さらに、動画や静止画を処理する画像処理プログラムに適用することも可能である。
　以上、本発明の実施形態に説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
　本願は、２０１１年１１月２８日に日本国特許庁に出願された特願２０１１－２５８７１４に基づく優先権を主張し、これらの出願の全ての内容は参照により本明細書に組み込まれる。

Claims (6)

  1. 　同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する画像処理装置であって、
    　前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ量算出部と、
    　前記位置ずれ量算出部で算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成処理をして合成カラーフィルタアレイ画像を生成する合成処理部と、を備え、
    　前記合成処理部は、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値を前記参照画像から補間処理によって生成し、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに合成処理をする
    画像処理装置。
  2. 　前記複数枚のカラーフィルタアレイ画像は、ｎ枚（ｎ：３以上の整数）のカラーフィルタアレイ画像を含み、
    　前記合成処理部は、二枚のカラーフィルタアレイ画像から一枚の合成カラーフィルタアレイ画像を生成する合成処理を（ｎ－１）回にわたって繰り返し行い、２回目以降の合成処理においては、一つ前に行われた合成処理で生成された合成カラーフィルタアレイ画像を前記基準画像に設定する
    請求項１に記載の画像処理装置。
  3. 　前記カラーフィルタアレイ画像は、縦方向にｒ個の画素、横方向にｃ個の画素（ｒ、ｃは共に任意の正の整数）から構成される画素色配列単位を有するカラーフィルタアレイを備える撮像素子から出力されたものであり、
    　前記位置ずれ量算出部は、前記位置ずれ量として縦方向の位置ずれ画素数と横方向の位置ずれ画素数とを算出し、
    　前記合成処理部は、前記補間処理によって画素値を生成する際に、前記縦方向の位置ずれ画素数を整数ｒで除したときの剰余と、前記横方向の位置ずれ画素数を整数ｃで除したときの剰余との組み合わせに基づいて選択される補間方法を用いる
    請求項１に記載の画像処理装置。
  4. 　前記合成カラーフィルタアレイ画像に対してデモザイク処理をし、フルカラー化画像を生成するデモザイク処理部をさらに備える請求項１に記載の画像処理装置。
  5. 　同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する画像処理方法であって、
    　前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ算出ステップと、
    　前記位置ずれ算出ステップで算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成処理をして合成カラーフィルタアレイ画像を生成する合成処理ステップとを備え、
    　前記合成処理ステップにおいて、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値が前記参照画像から補間処理によって生成され、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに合成処理が行われる画像処理方法。
  6. 　同一被写体を撮影して得られた複数枚のカラーフィルタアレイ画像を合成する画像処理プログラムであって、
    　前記複数枚のカラーフィルタアレイ画像中、一枚の画像を基準画像とし、前記一枚の画像と異なる画像を参照画像として、前記基準画像に対する前記参照画像の位置ずれ量を算出する位置ずれ量算出処理ステップと、
    　前記位置ずれ量算出処理ステップで算出された前記位置ずれ量に基づき、前記基準画像および前記参照画像の、対応しあう画素位置の画素である基準画像画素および参照画像画素の画素値をもとに合成処理をして合成カラーフィルタアレイ画像を生成する合成処理ステップと、をコンピュータに実行させ、
    　前記合成処理ステップにおいて、前記対応しあう画素の色が前記基準画像画素と前記参照画像画素とで異なる場合、前記基準画像画素の色と同じ色の画素値が前記参照画像から補間処理によって生成され、前記補間処理によって生成した画素値と前記基準画像画素の画素値とをもとに前記合成処理が行われる画像処理プログラム。
PCT/JP2012/080484 2011-11-28 2012-11-26 画像処理装置、画像処理方法、および画像処理プログラム WO2013080920A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/288,119 US9092883B2 (en) 2011-11-28 2014-05-27 Image processing device, image processing method and storage medium storing image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-258714 2011-11-28
JP2011258714A JP5687608B2 (ja) 2011-11-28 2011-11-28 画像処理装置、画像処理方法、および画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/288,119 Continuation US9092883B2 (en) 2011-11-28 2014-05-27 Image processing device, image processing method and storage medium storing image processing program

Publications (1)

Publication Number Publication Date
WO2013080920A1 true WO2013080920A1 (ja) 2013-06-06

Family

ID=48535376

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/080484 WO2013080920A1 (ja) 2011-11-28 2012-11-26 画像処理装置、画像処理方法、および画像処理プログラム

Country Status (3)

Country Link
US (1) US9092883B2 (ja)
JP (1) JP5687608B2 (ja)
WO (1) WO2013080920A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105165002A (zh) * 2014-03-27 2015-12-16 奥林巴斯株式会社 图像处理装置和图像处理方法
CN113676630A (zh) * 2021-08-09 2021-11-19 Oppo广东移动通信有限公司 图像处理方法及装置、终端及计算机可读存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5984493B2 (ja) * 2011-06-24 2016-09-06 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置およびプログラム
EP2677733A3 (en) * 2012-06-18 2015-12-09 Sony Mobile Communications AB Array camera imaging system and method
WO2014084022A1 (ja) * 2012-11-30 2014-06-05 富士フイルム株式会社 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置
CN106604001B (zh) * 2016-11-29 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、图像处理装置、成像装置及电子装置
CN106454054B (zh) 2016-11-29 2019-03-19 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106507068B (zh) 2016-11-29 2018-05-04 广东欧珀移动通信有限公司 图像处理方法及装置、控制方法及装置、成像及电子装置
CN106341670B (zh) 2016-11-29 2017-09-22 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN106504218B (zh) 2016-11-29 2019-03-12 Oppo广东移动通信有限公司 控制方法、控制装置及电子装置
CN106454288B (zh) * 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置、成像装置及电子装置
FR3069688A1 (fr) * 2017-07-25 2019-02-01 Parrot Drones Dispositif electronique et procede d'estimation d'un deplacement d'une scene observee par un drone, appareil electronique de calcul d'une vitesse sol du drone, drone et programme d'ordinateur associes
JP7268342B2 (ja) * 2017-12-14 2023-05-08 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム及び電子機器
JP2019161564A (ja) * 2018-03-16 2019-09-19 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラム
KR102202425B1 (ko) * 2019-08-09 2021-01-12 주식회사 한화 컨볼루션 신경망 기반의 수치 해석 데이터 보간 처리 장치 및 그 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006021A (ja) * 2005-06-22 2007-01-11 Nikon Corp 撮像装置および画像処理プログラム
JP2007133823A (ja) * 2005-11-14 2007-05-31 Nippon Hoso Kyokai <Nhk> 動きベクトル検出装置
JP2008306651A (ja) * 2007-06-11 2008-12-18 Olympus Corp 撮像システムおよびプログラム
JP2010015241A (ja) * 2008-07-01 2010-01-21 Hitachi Ltd 超解像撮像装置及び画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3444281B2 (ja) 2000-09-29 2003-09-08 ミノルタ株式会社 画像処理システム、撮像装置、画像処理方法及びその方法の処理プログラムが記録された記録媒体
JP2006157568A (ja) 2004-11-30 2006-06-15 Konica Minolta Holdings Inc 撮像装置およびプログラム
JP4814840B2 (ja) * 2007-05-23 2011-11-16 オリンパス株式会社 画像処理装置又は画像処理プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007006021A (ja) * 2005-06-22 2007-01-11 Nikon Corp 撮像装置および画像処理プログラム
JP2007133823A (ja) * 2005-11-14 2007-05-31 Nippon Hoso Kyokai <Nhk> 動きベクトル検出装置
JP2008306651A (ja) * 2007-06-11 2008-12-18 Olympus Corp 撮像システムおよびプログラム
JP2010015241A (ja) * 2008-07-01 2010-01-21 Hitachi Ltd 超解像撮像装置及び画像処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105165002A (zh) * 2014-03-27 2015-12-16 奥林巴斯株式会社 图像处理装置和图像处理方法
CN105165002B (zh) * 2014-03-27 2018-07-03 奥林巴斯株式会社 图像处理装置和图像处理方法
CN113676630A (zh) * 2021-08-09 2021-11-19 Oppo广东移动通信有限公司 图像处理方法及装置、终端及计算机可读存储介质
CN113676630B (zh) * 2021-08-09 2024-01-09 Oppo广东移动通信有限公司 图像处理方法及装置、终端及计算机可读存储介质

Also Published As

Publication number Publication date
JP2013115544A (ja) 2013-06-10
JP5687608B2 (ja) 2015-03-18
US20140270518A1 (en) 2014-09-18
US9092883B2 (en) 2015-07-28

Similar Documents

Publication Publication Date Title
JP5687608B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US8885067B2 (en) Multocular image pickup apparatus and multocular image pickup method
EP2184915B1 (en) Image processing device, image processing method, and image processing program
US20150281542A1 (en) Image generation apparatus and method for generating plurality of images with different resolution and/or brightness from single image
US20080062409A1 (en) Image Processing Device for Detecting Chromatic Difference of Magnification from Raw Data, Image Processing Program, and Electronic Camera
JP5006814B2 (ja) 撮像装置
JP5704975B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5660711B2 (ja) 復元ゲインデータ生成方法
JPWO2012169140A1 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
KR20100051056A (ko) 화상 처리 장치, 화상 처리 방법, 프로그램 및 촬상 장치
US20090167917A1 (en) Imaging device
JP4649171B2 (ja) 倍率色収差補正装置、倍率色収差補正方法及び倍率色収差補正プログラム
US20150042782A1 (en) Image processing apparatus, imaging apparatus, microscope system, image processing method, and computer readable recording medium
JP2007274504A (ja) デジタルカメラ
WO2015186510A1 (ja) 撮像装置および方法、並びにプログラム
JP3905708B2 (ja) 画像補間装置
JP6270423B2 (ja) 画像処理装置およびその制御方法
JP5055588B2 (ja) 画像処理装置および画像処理方法
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5269954B2 (ja) 撮像装置
JP2013009172A (ja) 撮像装置及び画像生成方法
JP4334150B2 (ja) 画像補間装置
US8154627B2 (en) Imaging device
JP2016134631A (ja) 画像処理装置、撮像装置、画像処理方法
JP2014110507A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12854502

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12854502

Country of ref document: EP

Kind code of ref document: A1