WO2016063316A1 - 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法 - Google Patents

画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法 Download PDF

Info

Publication number
WO2016063316A1
WO2016063316A1 PCT/JP2014/005392 JP2014005392W WO2016063316A1 WO 2016063316 A1 WO2016063316 A1 WO 2016063316A1 JP 2014005392 W JP2014005392 W JP 2014005392W WO 2016063316 A1 WO2016063316 A1 WO 2016063316A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
band
correlation
primary reference
component
Prior art date
Application number
PCT/JP2014/005392
Other languages
English (en)
French (fr)
Inventor
直 菊地
雄介 紋野
大輔 禧久
正行 田中
正敏 奥富
Original Assignee
国立大学法人東京工業大学
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人東京工業大学, オリンパス株式会社 filed Critical 国立大学法人東京工業大学
Priority to CN201480082798.7A priority Critical patent/CN106852190B/zh
Priority to PCT/JP2014/005392 priority patent/WO2016063316A1/ja
Priority to JP2016554949A priority patent/JP6461184B2/ja
Publication of WO2016063316A1 publication Critical patent/WO2016063316A1/ja
Priority to US15/479,322 priority patent/US10249020B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present invention relates to an image processing unit, an imaging apparatus, an image processing program, and an image processing method that improve the resolution of a multiband image.
  • a general digital camera uses a single-plate image sensor and a color filter array (CFA). Therefore, color reproducibility can be improved by making the color filter array (CFA) multiband.
  • CFA color filter array
  • the interpolated image of the image component of the other band is generated using the reference image obtained by interpolating the missing pixel of the image component of the band to be referenced.
  • the resolution of the component that is, the reproducibility of the image depends on the resolution of the reference image, and further improvement has been demanded.
  • an image processing unit that generates an interpolated image with improved resolution based on an original image generated by an imaging device having a multiband filter array.
  • An imaging device, an image processing program, and an image processing method are provided.
  • an image processing unit includes: An image acquisition unit that acquires an original image captured by an image sensor having a multiband filter array in which filters of four or more bands including a filter of a primary reference band that is an arbitrary band are arranged in an array; A correlation determination unit that determines whether the correlation between the image component of the primary reference band of the original image and the image component of each band other than the primary reference band is high correlation or low correlation; A reference image generation unit that generates a primary reference image by performing interpolation by switching an interpolation method of missing pixels in the image component of the primary reference band based on a correlation determination result by the correlation determination unit; An interpolation image generation unit that performs interpolation of missing pixels in at least a part of the image components of each band other than the primary reference band using the correlation determination result and the primary reference image. .
  • the reference image generation unit interpolates missing pixels in the image component of the primary reference band using the image component of at least one band determined to be highly correlated.
  • the reference image generation unit uses the correlation with the image component of the band and uses the correlation with the image component of the primary reference band. It is preferable to calculate an interpolation value of the pixel position.
  • the reference image generation unit uses a correlation with an image component of at least one band determined to be highly correlated at a pixel position where an image component of the band classified into the low correlation has a pixel value. It is preferable to calculate an interpolation value of the pixel position in the image component of the primary reference band.
  • the reference image generation unit calculates a correlation with each of the image components of the plurality of bands determined to be highly correlated at a pixel position where the image component of the band determined to have low correlation has a pixel value. And calculating a plurality of interpolation values of the pixel positions in the image component of the primary reference band, and using a weighted average value of the plurality of interpolation values as an interpolation value of the pixel position in the image component of the primary reference band. It is preferable to calculate.
  • the reference image generation unit calculates a correlation with the image component of the single band determined to be highly correlated at the pixel position where the image component of the band determined to be low correlated has a pixel value. It is preferable that the interpolated value of the pixel position in the image component of the primary reference band is calculated.
  • the reference image generation unit includes the pixel value constituting the image component of the primary reference band other than the pixel position and the high correlation
  • An interpolation value of the pixel position in the image component of the primary reference band may be calculated by an interpolation process using at least one of the interpolation values calculated by correlation with the image component of at least one band determined to be preferable.
  • the reference image generation unit preferably calculates an interpolated value of the image component of the primary reference band for each direction.
  • the correlation determination unit preferably determines whether the correlation is high correlation or low correlation based on predetermined correlation information.
  • the correlation information is preferably determined in advance based on one of analysis of a plurality of arbitrary image data and spectral sensitivity characteristics of the multiband filter array.
  • the correlation determination unit preferably generates correlation information based on the original image, and determines whether the correlation is high correlation or low correlation based on the correlation information.
  • the correlation information is an imaging scene determined based on the original image, It is preferable.
  • the correlation information constitutes the sum, average value, variance value, maximum value, and median difference of pixel values between image components of bands constituting the original image, and image components of bands other than the primary reference band. Preferably, it is calculated from one of the difference between the interpolated value of the image component of the primary reference band and the pixel value constituting the image component of the primary reference band based on the pixel value to be processed.
  • the correlation determination unit generates the correlation information for each partial region obtained by dividing the original image into a plurality of regions, and determines whether the correlation is high correlation or low correlation for each partial region. Is preferred.
  • the interpolation image generation unit preferably performs interpolation of missing pixels in the image component of the band determined to be highly correlated using the primary reference image.
  • the interpolated image generation unit has a lower correlation with the image component of the primary reference band than the image component of the other band among the image components of the plurality of bands determined to be highly correlated, and It is preferable that interpolation of missing pixels in an image component of a band having correlation with an image component of a band is performed using an interpolated image obtained by interpolating missing pixels in an image component of the other band as a secondary reference image. .
  • the interpolated image generation unit preferably performs interpolation of missing pixels in the image component of the band determined to have low correlation using the image component of the band.
  • the imaging device is An imaging element having a multiband filter array in which filters of four or more bands including a filter of a primary reference band which is an arbitrary band are arranged in an array; Correlation determination for determining whether the correlation between the image component of the primary reference band and the image component of each band other than the primary reference band of the original image captured by the image sensor is high correlation or low correlation And A reference image generation unit that generates a primary reference image by performing interpolation by switching an interpolation method of missing pixels in the image component of the primary reference band based on a correlation determination result by the correlation determination unit; An interpolation image generation unit that performs interpolation of missing pixels in at least a part of the image components of each band other than the primary reference band using the correlation determination result and the primary reference image. .
  • the solution of the present invention has been described as an apparatus.
  • the present invention can be realized as a method, a program, and a storage medium storing the program, which are substantially equivalent thereto, and the scope of the present invention. It should be understood that these are also included.
  • an image processing program that implements the present invention as a program is: An image component of the primary reference band and the primary of an original image captured by an imaging device having a multiband filter array in which filters of four or more bands including a primary reference band filter which is an arbitrary band are arranged in an array form A correlation determination unit that determines whether the correlation with the image component of each band other than the reference band is high correlation or low correlation; A reference image generation unit that generates a primary reference image by performing interpolation by switching an interpolation method of missing pixels in the image component of the primary reference band based on a correlation determination result by the correlation determination unit; The computer is caused to function as an interpolated image generation unit that performs interpolation of missing pixels in at least a part of image components of each band other than the primary reference band using the correlation determination result and the primary reference image. It is.
  • An image processing method that implements the present invention as a method is as follows: An image sensor having a multiband filter array in which filters of four or more bands including a filter of a primary reference band which is an arbitrary band are arranged in an array form is imaged, Determining whether the correlation between the image component of the primary reference band of the original image and the image component of each band other than the primary reference band is high correlation or low correlation; A primary reference image is generated by performing interpolation by switching the interpolation method of missing pixels in the image component of the primary reference band based on the correlation determination result, Using the correlation determination result and the primary reference image, interpolation of missing pixels in at least a part of image components of each band other than the primary reference band is performed.
  • resolution is performed based on an original image generated by an imaging device having a multiband filter array.
  • An interpolation image with improved feeling can be generated.
  • FIG. 2 is a layout diagram illustrating a filter layout in a filter repetition unit of a filter array included in the image sensor of FIG. 1. It is a figure which shows the relationship between the image component of a 5th band from the original image and the image component of the 1st band which the image pick-up element of FIG. 1 imaged. It is a graph which shows the spectral transmittance of each filter which comprises the filter array of the image pick-up element of FIG. It is a process figure which shows the process of the production
  • FIG. 8 is a process diagram illustrating a process of interpolation of image components of a primary reference band using correlation interpolation images of second to fifth bands, which is executed by the reference image generation unit of FIG. 1. It is a flowchart explaining the image interpolation process which the image processing unit of FIG. 1 performs. It is a process figure which shows the process of the production
  • FIG. 10 is a layout diagram illustrating a filter layout in a filter repetition unit of a filter array included in a first modification of the image sensor of FIG. 1.
  • FIG. 10 is a layout diagram illustrating a filter layout in a filter repetition unit of a filter array included in a second modification of the image sensor of FIG. 1.
  • FIG. 1 is a functional block diagram showing a schematic configuration of an imaging apparatus including an image processing unit according to an embodiment of the present invention.
  • the imaging device 10 is, for example, a digital camera, a digital video camera, a camera-equipped multifunction terminal, and includes an imaging unit 11 and an image processing unit 12.
  • the imaging unit 11 includes an optical system 13 and an imaging element 14.
  • the optical system 13 has at least one lens and forms a subject image.
  • the image sensor 14 is, for example, a CCD area sensor or a CMOS area sensor, and captures a subject image formed by the optical system 13 to generate an original image.
  • the image sensor 14 has a multiband filter array on the light receiving surface in which filters of four bands or more are arranged in an array.
  • the multiband filter array includes a 5-band filter of a first band, a second band, a third band, a fourth band, and a fifth band.
  • An arbitrary band among the four or more filters is determined as a primary reference band corresponding to a primary reference band image used for interpolation processing.
  • the band defined as the primary reference band is arbitrary, but the band having the highest density is preferable.
  • the first band is defined as the primary reference band.
  • Each filter is, for example, a visible filter such as RGB, an infrared filter, and an ultraviolet filter.
  • the filter array has, for example, 4 ⁇ 4 filter repeat units as shown in FIG. 2, and the filter repeat units are repeatedly arranged in the column direction and the row direction.
  • the filter repetition unit includes eight first filters C1 corresponding to the first band, two second filters C2 corresponding to the second band, and two third filters C3 corresponding to the third band. , Two fourth filters C4 corresponding to the fourth band, and two fifth filters C5 corresponding to the fifth band are arranged.
  • the first filter C1 is repeatedly arranged every other pixel in all rows and columns. For example, with the upper left in FIG. 2 as a reference, the first filter C1 is arranged in the first and third rows, in the second and fourth columns. In the second and fourth rows, the first filter C1 is arranged in the first and third columns.
  • the rows and columns in which the first filter C1, the second filter C2, and the third filter C3 are arranged are repeatedly arranged every other pixel in the column direction and the row direction.
  • the second color filter C2 is arranged in the first row, first column and the third row, third column
  • the third color filter C3 is arranged in the first row, third column and the third row, first column.
  • the rows and columns in which the first filter C1, the fourth filter C4, and the fifth filter C5 are arranged are repeatedly arranged every other pixel in the row direction and the column direction.
  • the fourth filter C4 is arranged at the second row and the second column and the fourth row and the fourth column
  • the fifth filter C5 is arranged at the second row and the fourth column and the fourth row and the second column.
  • the image sensor 14 having the filter array as described above, a pixel signal corresponding to the amount of received light of the transmitted band is generated.
  • the image sensor 14 sequentially outputs pixel signals of all pixels, and outputs an original image of one frame constituted by all pixels to the image processing unit 12 as an original image signal. Therefore, each pixel in the original image has only a pixel value of a single band.
  • the original image OI includes an image component OI1 of the first band and an image component of the second band. It can be decomposed into OI2, third band image component OI3, fourth band image component OI4, and fifth band image component OI5.
  • the image processing unit 12 includes an image acquisition unit 15, a correlation determination unit 16, a reference image generation unit 17, and an interpolation image generation unit 18 (see FIG. 1).
  • the image acquisition unit 15 is, for example, an input terminal, acquires the original image OI from the image sensor 14, and transmits the original image OI to the correlation determination unit 16, the reference image generation unit 17, and the interpolation image generation unit 18.
  • the correlation determination unit 16, the reference image generation unit 17, and the interpolation image generation unit 18 are configured as software executed on any suitable processor such as a CPU (Central Processing Unit), or specialized for each process. It is configured as a dedicated processor and exhibits the functions described below.
  • a CPU Central Processing Unit
  • the correlation determination unit 16 includes the image component of the primary reference band of the original image OI (the image component OI1 of the first band), the image components of the other bands, that is, the image component OI2 of the second band, the third band. Are correlated with the image component OI3, the image component OI4 of the fourth band, and the image component OI5 of the fifth band. Furthermore, the correlation determination unit 16 determines whether the correlation between the image component of the primary reference band (the image component OI1 of the first band) and the image component of each band is classified into high correlation or low correlation. .
  • the correlation determination unit 16 determines whether the correlation between the image component of the primary reference band (the image component OI1 of the first band) and the image component of each band is high or low based on the correlation information.
  • the correlation information is a correspondence table in which the correlation between the image component of the primary reference band and the image component of each other band is sorted in advance into either a high correlation or a low correlation.
  • the classification of the correlation into a high correlation and a low correlation can be set based on, for example, the correlation between bands calculated from the analysis of an arbitrary plurality of image data. Alternatively, as shown in FIG. 4, it can be set based on the degree of overlap between the primary reference band and the spectral sensitivity of each band.
  • the image component of the primary reference band (the image component OI1 of the first band)
  • the image component OI2 of the second band the image component OI3 of the third band
  • the fourth band It is determined that the image component OI4 is classified into high correlation
  • the image component OI5 of the fifth band is classified into low correlation.
  • the reference image generation unit 17 detects missing pixels in the image component of the primary reference band (the image component OI1 of the first band) based on the correlation determination result of the correlation determination unit 16, that is, whether the correlation is high or low. Interpolation is performed by switching the interpolation method of mp (see FIG. 3), and a primary reference image is generated.
  • the reference image generation unit 17 is an image component of a band determined to be highly correlated, in the present embodiment, an image component OI2 of the second band, an image component OI3 of the third band, and an image of the fourth band.
  • the missing pixel mp in the image component of the primary reference band (the image component OI1 of the first band) is used using the pixel value of the image component of each band. Perform interpolation.
  • the reference image generation unit 17 determines that the image component of the band determined to have low correlation, that is, the pixel position p5 in which the image component OI5 of the fifth band in the present embodiment has a pixel value is highly correlated.
  • Interpolation is performed using the image component of the band.
  • an interpolation method for each of the pixel position where the image component of the band determined to be highly correlated has a pixel value and the pixel position where the image component of the band determined to be low correlated has a pixel value will be described in detail.
  • FIG. 5 illustrates interpolation of the primary reference band image component (first band image component OI1) with respect to the pixel position of the band image component determined to be highly correlated. It explains using.
  • the reference image generation unit 17 obtains an interpolated image obtained by interpolating the missing pixel mp in the image component OI2 of the second band by using, for example, a bilinear interpolation method and a bicubic interpolation method in the image component OI2 of the second band. It is generated as a simple interpolation image of band 2 (see “intraband interpolation” in the upper part).
  • the reference image generation unit 17 performs interpolation of the image component of the primary reference band (the image component OI1 of the first band) using the correlation with the simple interpolation image of the second band, and the second band is used.
  • a correlation primary interpolation image is generated (see “correlation interpolation” in the upper row).
  • guided filter processing is used as the interpolation processing using the correlation. The guided filter processing will be described in detail below.
  • the reference image generation unit 17 sequentially designates all the pixels including the missing pixel mp in the image component of the primary reference band (the image component OI1 of the first band) as the target pixel.
  • the reference image generation unit 17 uses the simple interpolation image of the second band as a reference image, and minimizes the cost function E (a xp , b xp ) of the expression (1) for the pixel of interest x p .
  • Parameters (a xp , b xp ) are calculated by the least square method.
  • a xp and b xp are parameters to be calculated.
  • ⁇ xp is a peripheral pixel region
  • x i is a peripheral pixel included in the peripheral pixel region.
  • p xi is the pixel value of the image component of the primary reference band.
  • M xi is a binary mask, which is 1 when surrounding pixels have a signal component, and 0 when surrounding pixels do not have a signal component.
  • I xi is a pixel value of an interpolation image for generating a reference image corresponding to surrounding pixels, that is, a simple interpolation image of the second band.
  • ⁇ is a predetermined smoothing parameter.
  • the reference image generating unit 17 uses the equation (2) to calculate a correlated primary interpolation image using the second band, that is, the pixel values of all the pixels are simply interpolated for the second band. Calculation is based on the pixel value of the image.
  • ⁇ xi is a peripheral pixel region
  • is the number of pixels of the target pixel and the peripheral pixels.
  • the reference image generation unit 17 masks the pixel at the pixel position of the missing pixel mp of the image component of the primary reference band (the image component OI1 of the first band) in the correlated primary interpolation image by the second band. And a mask image is calculated (see “mask processing” in the middle stage). Further, the reference image generation unit 17 generates a residual image by subtracting each corresponding pixel value of the mask image from each pixel value of the image component of the primary reference band (see “subtraction” in the lower part).
  • the reference image generation unit 17 generates a residual interpolation image obtained by interpolating the missing pixel mp in the residual image by using, for example, a bilinear interpolation method and a bicubic interpolation method (lower “in-band interpolation”). "reference). Further, the reference image generation unit 17 adds the corresponding pixel value of the correlated primary interpolation image of the second band to each pixel value of the residual interpolation image, thereby generating a correlated interpolation image of the second band ( (See “Addition” in the bottom row.)
  • the reference image generation unit 17 generates the correlation interpolation image by the third band and the correlation interpolation image by the fourth band in the third band and the fourth band by the same processing as the second band. Further, as shown in FIG. 6, the reference image generation unit 17 performs a mask process for erasing the pixel value at the pixel position of the missing pixel mp of the image component OI2 of the second band in the correlation interpolation image by the second band. To generate a mask image of the second band. Similarly, the reference image generation unit 17 generates a mask image of the third band and a mask image of the fourth band.
  • the reference image generation unit 17 adds the mask image of the second band, the mask image of the third band, and the mask of the fourth band to the image component of the primary reference band (the image component OI1 of the first band). By superimposing the images, some missing pixels mp of the image component of the primary reference band are interpolated (see symbol “RI ′”).
  • the image component of the primary reference band (the image component OI1 of the first band) for the pixel position where the image component of the band determined to have low correlation has a pixel value
  • the interpolation will be described.
  • the reference image generation unit 17 performs primary reference using the correlation with the image component of at least one band determined to be highly correlated at the pixel position p5 where the image component OI5 of the fifth band has a pixel value.
  • An interpolation value of the pixel position in the band image component (first band image component OI1) is calculated.
  • the reference image generation unit 17 uses the above-described second band correlation interpolation image, the third band correlation interpolation image, and the fourth band at the pixel position p5 at which the fifth band image component OI5 has a pixel value.
  • An interpolation value is calculated using at least one of the pixel values in the correlation interpolation image by the band. For example, a simple average value, a weighted average value of pixel values in the correlation interpolation image by the second band, the correlation interpolation image by the third band, and the correlation interpolation image by the fourth band, and any one selected The pixel value is used as an interpolation value.
  • the weighted average and the selection of the pixel value are, for example, a high correlation with the image component of the primary reference band (the image component OI1 of the first band) and the pixel value of the image component OI5 of the fifth band. Based on the proximity to pixel position p5. For example, when the band having the highest correlation with the image component of the primary reference band (the image component OI1 of the first band) is the image component OI3 of the third band, the pixel of the correlation interpolation image by the third band The weighting of values may be increased, or the pixel value may be used as an interpolation value.
  • the image component OI5 of the fifth band is the image component OI2 of the second band and the image component OI3 of the third band having the pixel value at the pixel position closest to the pixel position p5 having the pixel value
  • the weighting of the pixel values of the correlation interpolation image by the second band and the correlation interpolation image by the third band may be increased, or the average value of both may be used as the interpolation value.
  • the reference image generation unit 17 calculates the pixel value of the pixels constituting the image component of the primary reference band (the image component OI1 of the first band) and the image component of at least one band determined to be highly correlated.
  • the interpolation value at the pixel position p5 at which the image component OI5 of the fifth band has the pixel value may be calculated by interpolation processing using at least one of the interpolation values calculated by the correlation.
  • the reference image generation unit 17 adds the mask image of the second band, the mask image of the third band, and the mask of the fourth band to the image component of the primary reference band (the image component OI1 of the first band).
  • the reference image generation unit 17 transmits the primary reference image generated by interpolating the missing pixel mp of the image component of the primary reference band (the image component OI1 of the first band) by the above-described process to the interpolation image generation unit 18. .
  • the interpolated image generation unit 18 uses the correlation determination result determined by the correlation determination unit 16 and the primary reference image generated by the reference image generation unit 17, and uses at least some of the image components of bands other than the primary reference band. Perform pixel interpolation for the missing pixel mp of the image component. More specifically, the interpolated image generation unit 18 uses the primary reference image, the image component of the band determined to be highly correlated with the image component of the primary reference band (the image component OI1 of the first band), In the embodiment, pixel interpolation of the missing pixels mp of the second band image component OI2, the third band image component OI3, and the fourth band image component OI4 is performed. For example, the above-described guided filter processing and joint bilateral processing can be applied to pixel interpolation of the image components of other bands using the primary reference image as a reference.
  • the interpolated image generation unit 18 also determines the image component of the band determined to have a low correlation with the image component of the primary reference band (the image component OI1 of the first band), in the present embodiment, the image of the fifth band.
  • the pixel interpolation of the missing pixel mp of the component OI5 is interpolated by, for example, the bilinear interpolation method and the bicubic interpolation method using the image component OI5 of the fifth band without using the primary reference image.
  • the interpolated image generation unit 18 monitors an interpolated image of other band image components in which the interpolated reference image and the missing pixel mp have been interpolated, that is, an image having pixel values in all pixels in each band. And transmitted to a storage medium.
  • image interpolation processing executed by the image processing unit 12 will be described with reference to the flowchart of FIG.
  • the image interpolation process starts when the image processing unit 12 acquires the original image OI from the imaging unit 11.
  • step S100 the image processing unit 12 determines the correlation between the image component of the primary reference band and the image components of the other bands.
  • the image processing unit 12 also performs classification into either a high correlation or a low correlation in determining the correlation. After determining the correlation, the process proceeds to step S101.
  • step S101 the image processing unit 12 selects the image component of the band determined to be highly correlated in step S100. After selection of the band image components, the process proceeds to step S102.
  • step S102 the image processing unit 12 interpolates the missing pixel mp of the image component of the primary reference band using the image component of the band selected in step S101, and generates a primary reference image. Once the primary reference image is generated, the process proceeds to step S103.
  • step S103 the image processing unit 12 interpolates the missing pixel mp of the image component of the band determined to be highly correlated in step S100 based on the correlation based on the primary reference image. After pixel interpolation based on the primary reference image, the process proceeds to step S104.
  • step S104 the image processing unit 12 interpolates the missing pixel mp of the image component of the band determined to have low correlation in step S100 by bilinear interpolation or bicubic interpolation using surrounding pixels of the image component of the band. . After the interpolation, the image interpolation process is terminated.
  • an image component of the primary reference band and a correlation determination result are obtained with respect to the original image OI generated by the imaging device 14 having a multiband filter array.
  • the primary reference image is generated using the image components of the other bands, so that the resolution of the primary reference image can be improved compared to the case where the primary reference image is generated only from the image components of the primary reference band. Therefore, it is possible to improve the resolution of the interpolated image of each band obtained by interpolating the missing pixel mp of the image component of the other band using the primary reference image.
  • an image component of a band determined to have low correlation with an image component of the primary reference band is interpolated within the image component of the band without using the primary reference image. Therefore, the generation of moire in the interpolated image of the image component of the band is suppressed.
  • the correlation image is generated by interpolating the residual image. Therefore, compared with the configuration in which the primary reference image is directly generated by the correlated primary interpolation image, the high-frequency component is generated. Due to the small amount, occurrence of moire in the temporary reference image is suppressed.
  • the correlation information is determined in advance, but may be configured to be calculated from the original image OI acquired by the image processing unit 12. For example, based on the overall luminance of the original image signal and the ratio of the pixel value for each image component of the band, the image processing unit 12 determines the imaging status of a plurality of imaging scenes assumed in advance such as a portrait mode and a landscape mode.
  • the correlation between the image component of each band and the image component of the primary reference band may be determined based on the correlation between the image components of the band in each imaging scene estimated from the inside and statistically determined.
  • the correlation is determined based on a comparison of the sum, average value, variance value, maximum value, and median of the pixel values of the primary reference band and the other band image components in the original image OI. May be.
  • by comparing with a threshold value it is classified into either high correlation or low correlation. Is possible. According to such a configuration, it is not necessary to analyze in advance a plurality of arbitrary image data.
  • the correlation may be determined based on the difference from the value, that is, the pixel value of the residual image in FIG. The smaller the difference is, the higher the correlation is. For example, by comparing with a threshold value, the correlation can be classified into either a high correlation or a low correlation. According to such a configuration, it is not necessary to analyze in advance a plurality of arbitrary image data.
  • the correlation determination unit 16 is configured to determine the correlation between the image component of the primary reference band and the image component of other bands in the entire image, but for each partial region obtained by dividing the entire region.
  • the correlation may be determined. According to such a configuration, for example, in an imaging situation in which a subject is illuminated by a plurality of light sources, the correlation between the image components of the primary reference band and the image components of other bands that can change depending on the spectral characteristics of the light sources. It is possible to respond appropriately to gender.
  • the reference image generation unit 17 interpolates all missing pixels mp of the image component of the band determined to be highly correlated (see “intraband interpolation” in the upper part of FIG. 5), and obtains the correlation primary interpolation image.
  • the missing pixel mp of the image component of the said band may be interpolated according to a direction, and the correlation interpolation image of a horizontal direction and a vertical direction may be produced
  • a correlation interpolation image based on the image components of the band can be generated by averaging the pixel values generated by the interpolation for each direction. According to such direction-specific interpolation, it is possible to further improve the accuracy of the interpolation and further improve the resolution of the primary reference image.
  • the primary reference image is used for interpolation of the image components of all the bands determined to be highly correlated with the image components of the primary reference band.
  • the image component of the band may be interpolated using the secondary reference image.
  • the image component of the primary reference band (the image component OI1 of the first band), the image component OI2 of the second band, and the image component OI3 of the third band are highly correlated
  • the second band When the image component OI2 of the third band and the image component OI3 of the third band are highly correlated, the correlation with the image component of the primary reference band (the image component OI1 of the first band) is the image component of the second band.
  • OI2 can be higher.
  • the missing pixel mp of the second band image component OI2 is interpolated using the primary reference image, and the second band image component OI2 interpolated is used as the secondary reference image.
  • Interpolating the missing pixel mp of the image component OI3 of the third band can be mentioned. According to such a configuration, it is possible to obtain an interpolated image with a higher resolution in the image components of each band.
  • the image components of some bands are determined to have low correlation with the image components of the primary reference band, but the image components of all bands are highly correlated with the image components of the primary reference band. Of course, even if judged.
  • a primary reference image is generated using the image components of all the bands.
  • the image sensor 14 has a 5-band filter array, but may have a 9-band or 10-band filter array, for example, as shown in FIGS. .
  • the image processing unit 12 is configured to be incorporated in the imaging device 10, but may be embodied as an image processing device configured as software in a personal computer, for example.
  • Imaging device 11 Imaging part 12 Image processing unit 13 Optical system 14 Imaging element 15 Image acquisition part 16 Correlation determination part 17 Reference image generation part 18 Interpolation image generation part C1 to C5 1st filter to 5th filter mp Missing pixel OI Original image OI1 to OI5 Image component of first band to image component of fifth band p2 to p5 Pixel position where image component of fifth band to image component of second band has pixel value RI ′ Primary reference band An image obtained by superimposing the mask image of the fourth band from the mask image of the second band on the image component of

Abstract

　画像処理ユニットは画像取得部と相関判定部と参照画像生成部と補間画像生成部とを有する。画像取得部は原画像を取得する。相関判定部は一次参照バンドの画像成分と一次参照バンド以外の各バンドの画像成分との相関性が高相関および低相関のいずれであるかを判定する。参照画像生成部は相関判定結果に基づいて一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行なうことにより一次参照画像を生成する。補間画像生成部は相関判定結果および一次参照画像を用いて一次参照バンドの画像成分の少なくとも一部における欠落画素の補間を行う。

Description

画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法
　本発明は、マルチバンド画像の解像感を向上させる画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法に関する。
　一般のデジタルカメラでは、単板撮像素子とカラーフィルタアレイ（ＣＦＡ）が用いられている。そこで、カラーフィルタアレイ（ＣＦＡ）をマルチバンド化することにより色再現性を高めることが出来る。しかし、バンド数の増加に伴い、単一のバンドのサンプル密度が低くなるため、デモザイキング時に偽色が発生し得る。
　そこで、マルチバンドの原画像を構成する複数のバンドの画像成分の中で、高周波成分を高精度で取得可能なバンドの画像成分を参照して、他のバンドの画像成分の補間画像を生成することが提案されている（特許文献１参照）。
特開２０１２－２３９０３８号公報
　しかし、特許文献１に記載された補間処理では、他のバンドの画像成分の補間画像は参照するバンドの画像成分の欠落画素を補間した参照画像を用いて生成されるため、他のバンドの画像成分の解像感、すなわち画像の再現性は参照画像の解像感に左右され、さらなる改善が求められていた。
　従って、上記のような問題点に鑑みてなされた本発明では、マルチバンドのフィルタアレイを有する撮像素子が生成する原画像に基づいて、解像感を向上させた補間画像を生成する画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法の提供を目的とする。
　上述した諸課題を解決すべく、本発明による画像処理ユニットは、
　任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子が撮像した原画像を取得する画像取得部と、
　前記原画像の、前記一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
　前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
　前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部とを備える
　ことを特徴とするものである。
　また、当該画像処理ユニットでは、
　前記参照画像生成部は、前記高相関であると判定された少なくとも１つのバンドの画像成分を用いて、前記一次参照バンドの画像成分における欠落画素の補間を行う
　ことが好ましい。
　また、当該画像処理ユニットでは、
　前記参照画像生成部は、前記高相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、該バンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
　ことが好ましい。
　また、当該画像処理ユニットでは、
　前記参照画像生成部は、前記低相関に分別されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された少なくとも１つのバンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
　ことが好ましい。
　また、当該画像処理ユニットでは、
　前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された複数のバンドの画像成分それぞれとの相関を用いて、前記一次参照バンドの画像成分における該画素位置の複数の補間値を算出し、該複数の補間値の重付け平均値を、前記一次参照バンドの画像成分における該画素位置の補間値として算出する
　ことが好ましい。
　また、当該画像処理ユニットでは、
　前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された単一のバンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
　ことが好ましい。
　また、当該画像処理ユニットでは、
　前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、該画素位置以外の一次参照バンドの画像成分を構成する画素値および前記高相関であると判定された少なくとも１つのバンドの画像成分との相関により算出した補間値の少なくとも一方を用いた補間処理により、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
　ことが好ましい。
　また、当該画像処理ユニットでは、
　前記参照画像生成部は、方向別に前記一次参照バンドの画像成分の補間値を算出する
　ことが好ましい。
　また、当該画像処理ユニットでは、
　前記相関判定部は、予め定められた相関情報に基づいて、前記相関性が高相関および低相関の何れであるかを判定する
　ことが好ましい。
　また、当該画像処理ユニットでは、
　前記相関情報は、任意の複数の画像データの分析、および前記マルチバンドフィルタアレイの分光感度特性の一方に基づいて予め定められる
　ことが好ましい。
　また、当該画像処理ユニットでは、
　前記相関判定部は、前記原画像に基づいて相関情報を生成し、該相関情報に基づいて、前記相関性が高相関および低相関の何れであるかを判定する
　ことが好ましい。
　また、当該画像処理ユニットでは、
　前記相関情報は、前記原画像に基づいて判定される撮像シーンであり、
　ことが好ましい。
　また、当該画像処理ユニットでは、
　前記相関情報は、前記原画像を構成するバンドの画像成分間の画素値の総和、平均値、分散値、最大値、および中央値の差分、ならびに前記一次参照バンド以外のバンドの画像成分を構成する画素値に基づく前記一次参照バンドの画像成分の補間値と前記一次参照バンドの画像成分を構成する画素値との差分のいずれかから算出される
　ことが好ましい。
　また、当該画像処理ユニットでは、
　前記相関判定部は、前記原画像を複数の領域に分割した部分領域毎に前記相関情報を生成し、前記部分領域毎に前記相関性が高相関及び低相関の何れであるかを判定する
　ことが好ましい。
　また、当該画像処理ユニットでは、
　前記補間画像生成部は、前記一次参照画像を用いて、前記高相関であると判定されたバンドの画像成分における欠落画素の補間を行う
　ことが好ましい。
　また、当該画像処理ユニットでは、
　前記補間画像生成部は、前記高相関であると判定された複数のバンドの画像成分の中で、他のバンドの画像成分よりも前記一次参照バンドの画像成分に対する相関性が低く且つ当該他のバンドの画像成分との相関性を有するバンドの画像成分における欠落画素の補間を、前記他のバンドの画像成分における欠落画素の補間を行った補間画像を二次参照画像として用いて行う
　ことが好ましい。
　また、当該画像処理ユニットでは、
　前記補間画像生成部は、前記低相関であると判定されたバンドの画像成分における欠落画素の補間を、該バンドの画像成分を用いて、行う
　ことが好ましい。
　また、本発明による撮像装置は、
　任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子と、
　前記撮像素子が撮像した原画像の、前記一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
　前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
　前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部とを備える
　ことを特徴とするものである。
　上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
　例えば、本発明をプログラムとして実現させた画像処理プログラムは、
　任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子が撮像した原画像の、前記一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
　前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
　前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部としてコンピュータを機能させる
　ことを特徴とするものである。
　また、本発明を方法として実現させた画像処理方法は、
　任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子に原画像を撮像させ、
　前記原画像の、前記一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定し、
　相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成し、
　前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う
　ことを特徴とするものである。
　上記のように構成された本発明に係る画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法によれば、マルチバンドのフィルタアレイを有する撮像素子が生成する原画像に基づいて、解像感を向上させた補間画像を生成可能である。
本発明の第１の実施形態に係る画像処理ユニットの概略構成を示す機能ブロック図である。 図１の撮像素子が有するフィルタアレイのフィルタ繰返し単位におけるフィルタの配置を示す配置図である。 図１の撮像素子が撮像した原画像および第１のバンドの画像成分から第５のバンドの画像成分の関係を示す図である。 図１の撮像素子のフィルタアレイを構成する各フィルタの分光透過率を示すグラフである。 図１の参照画像生成部が実行する第２のバンドによる相関補間画像の生成の過程を示すプロセス図である。 図１の参照画像生成部が実行する、第２のバンドから第５のバンドによる相関補間画像を用いた一次参照バンドの画像成分の補間の過程を示すプロセス図である。 図１の画像処理ユニットが実行する画像補間処理を説明するフローチャートである。 図１の参照画像生成部の変形例が実行する第２のバンドによる水平方向相関補間画像の生成の過程を示すプロセス図である。 図１の参照画像生成部の変形例が実行する第２のバンドによる垂直方向相関補間画像の生成の過程を示すプロセス図である。 図１の撮像素子の第１の変形例が有するフィルタアレイのフィルタ繰返し単位におけるフィルタの配置を示す配置図である。 図１の撮像素子の第２の変形例が有するフィルタアレイのフィルタ繰返し単位におけるフィルタの配置を示す配置図である。
　以下、本発明の実施形態について、図面を参照して説明する。
　図１は、本発明の一実施形態に係る画像処理ユニットを含む撮像装置の概略構成を示す機能ブロック図である。
　撮像装置１０は、例えばデジタルカメラ、デジタルビデオカメラ、カメラ付き多機能端末であって、撮像部１１および画像処理ユニット１２を含んで構成される。
　撮像部１１は、光学系１３および撮像素子１４を有する。光学系１３は少なくとも１つのレンズを有し、被写体像を結像する。撮像素子１４は、例えばＣＣＤエリアセンサまたはＣＭＯＳエリアセンサであって、光学系１３が結像する被写体像を撮像して原画像を生成する。
　撮像素子１４は、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを受光面に有する。例えば、本実施形態においては、マルチバンドフィルタアレイは、第１のバンド、第２のバンド、第３のバンド、第４のバンド、および第５のバンドの５バンドのフィルタを含む。当該４バンド以上のフィルタの中の任意のバンドが、補間処理に用いられる一次参照バンド画像に対応する一次参照バンドに定められる。一次参照バンドに定められるバンドは任意であるが、最高密度であるバンドが好ましく、本実施形態においては、第１のバンドが一次参照バンドに定められる。なお、各フィルタは、例えばＲＧＢなどの可視フィルタ、赤外フィルタ、および紫外フィルタである。
　フィルタアレイは、例えば、図２に示すような４行４列のフィルタ繰返し単位を有しており、当該フィルタ繰返し単位が列方向および行方向に繰返し配置される。フィルタ繰返し単位には、第１のバンドに対応する８つの第１のフィルタＣ１、第２のバンドに対応する２つの第２のフィルタＣ２、第３のバンドに対応する２つの第３のフィルタＣ３、第４のバンドに対応する２つの第４のフィルタＣ４、および第５のバンドに対応する２つの第５のフィルタＣ５が配置される。
　第１のフィルタＣ１は全行全列において、１画素おきに繰返し配置される。例えば、図２における左上を基準として、１、３行目には２、４列目に第１のフィルタＣ１が配置される。また、２、４行目には、１、３列目に第１のフィルタＣ１が配置される。
　また、第１のフィルタＣ１、第２のフィルタＣ２、および第３のフィルタＣ３が並ぶ行及び列が、列方向及び行方向に１画素おきに繰返し配置される。例えば、１行１列目及び３行３列目に第２のカラーフィルタＣ２が配置され、１行３列目及び３行１列目に第３のカラーフィルタＣ３が配置される。
　また、第１のフィルタＣ１、第４のフィルタＣ４、および第５のフィルタＣ５が並ぶ行及び列が、行方向及び列方向に１画素おきに繰返し配置される。例えば、２行２列目及び４行４列目に第４のフィルタＣ４が配置され、２行４列目及び４行２列目に第５のフィルタＣ５が配置される。
　上述のようなフィルタアレイを有する撮像素子１４において、透過したバンドの光の受光量に応じた画素信号が生成される。撮像素子１４は、すべての画素の画素信号を順番に出力し、全画素によって構成される１フレームの原画像を原画像信号として、画像処理ユニット１２に出力する。したがって、原画像において各画素は単一のバンドの画素値のみを有しており、図３に示すように、原画像ＯＩは、第１のバンドの画像成分ＯＩ１、第２のバンドの画像成分ＯＩ２、第３のバンドの画像成分ＯＩ３、第４のバンドの画像成分ＯＩ４、および第５のバンドの画像成分ＯＩ５に分解可能である。
　画像処理ユニット１２は、画像取得部１５、相関判定部１６、参照画像生成部１７、および補間画像生成部１８を含んで構成される（図１参照）。
　画像取得部１５は、例えば入力端子であり、撮像素子１４から原画像ＯＩを取得し、相関判定部１６、参照画像生成部１７、および補間画像生成部１８に伝送する。
　相関判定部１６、参照画像生成部１７、および補間画像生成部１８は、例えば、ＣＰＵ（中央処理装置）等の任意の好適なプロセッサ上で実行されるソフトウェアとして構成されたり、処理ごとに特化した専用のプロセッサとして構成され、以下に説明する機能を発揮する。
　相関判定部１６は、原画像ＯＩの一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）と、それ以外のバンドの画像成分、すなわち第２のバンドの画像成分ＯＩ２、第３のバンドの画像成分ＯＩ３、第４のバンドの画像成分ＯＩ４、および第５のバンドの画像成分ＯＩ５それぞれとの相関性を算出する。さらに、相関判定部１６は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）および各バンドの画像成分の相関性を、高相関および低相関のいずれに分別されるかを判定する。
　相関判定部１６は、相関情報に基づいて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）および各バンドの画像成分の相関性が高相関であるか低相関であるかを判定する。本実施形態においては、相関情報は、一次参照バンドの画像成分および他の各バンドの画像成分との相関性を高相関および低相関のいずれかに予め分別した対応テーブルである。相関性の高相関および低相関への分別は、例えば任意の複数の画像データの分析から算出されるバンド間の相関性に基づいて設定され得る。または、図４に示すように、一次参照バンドと各バンドの分光感度の重なりの度合いに基づいて設定され得る。本実施形態においては、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）に対して、第２のバンドの画像成分ＯＩ２、第３のバンドの画像成分ＯＩ３、および第４のバンドの画像成分ＯＩ４は高相関に分別され、第５のバンドの画像成分ＯＩ５は低相関に分別されるように定められる。
　参照画像生成部１７は、相関判定部１６の相関判定結果、すなわち高相関および低相関の何れであるかに基づいて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）における欠落画素ｍｐ（図３参照）の補間法方を切替えて補間を行い、一次参照画像を生成する。
　参照画像生成部１７は、高相関であると判定されたバンドの画像成分、本実施形態においては第２のバンドの画像成分ＯＩ２、第３のバンドの画像成分ＯＩ３、および第４のバンドの画像成分ＯＩ４が画素値を有する画素位置ｐ２、ｐ３、ｐ４においては、それぞれのバンドの画像成分の画素値を用いて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）における欠落画素ｍｐの補間を行う。参照画像生成部１７は、低相関であると判定されたバンドの画像成分、本実施形態においては第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５においては、高相関であると判定されたバンドの画像成分を用いて補間を行う。以下に、高相関と判定されたバンドの画像成分が画素値を有する画素位置、および低相関と判定されたバンドの画像成分が画素値を有する画素位置それぞれに対する補間方法について詳細に説明する。
　第２のバンドの画像成分ＯＩ２を例にして、高相関と判定されたバンドの画像成分の画素位置に対する一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の補間について、図５を用いて説明する。参照画像生成部１７は、第２のバンドの画像成分ＯＩ２内で、例えばバイリニア補間法およびバイキュービック補間法により、第２のバンドの画像成分ＯＩ２内の欠落画素ｍｐを補間した補間画像を、第２のバンドの単純補間画像として生成する（上段“バンド内補間”参照）。
　さらに、参照画像生成部１７は、第２のバンドの単純補間画像との相関を用いて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の補間を行い、第２のバンドによる相関一次補間画像として生成する（上段“相関補間”参照）。相関を用いた補間処理としては、例えばガイデッドフィルタ処理が用いられる。ガイデッドフィルタ処理について、以下に詳細に説明する。ガイデッドフィルタ処理において、参照画像生成部１７は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の、欠落画素ｍｐを含むすべての画素を、順番に注目画素に指定する。参照画像生成部１７は、第２のバンドの単純補間画像を参照画像として用い、注目画素ｘpに対して（１）式のコスト関数Ｅ（ａxp、ｂxp）が最小化するように、最小二乗法によりパラメータ（ａxp、ｂxp）を算出する。
Figure JPOXMLDOC01-appb-M000001
　（１）式において、ａxp、ｂxpは算出されるべきパラメータである。ωxpは周辺画素領域であり、ｘiは周辺画素領域に含まれる周辺画素である。ｐxiは一次参照バンドの画像成分の画素値である。Ｍxiはバイナリマスクであって、周囲画素が信号成分を有するときに１であり、周囲画素が信号成分を有さないときには０である。Ｉxiは周囲画素に対応する参照画像生成用の補間画像、すなわち第２のバンドの単純補間画像の画素値である。εは所定の平滑化パラメータである。
　全画素に対するパラメータを算出すると、参照画像生成部１７は、（２）式を用いて、第２のバンドによる相関一次補間画像の算出、すなわち全画素の画素値を、第２のバンドの単純補間画像の画素値に基づいて算出する。
Figure JPOXMLDOC01-appb-M000002
　（２）式において、ωxiは周辺画素領域であり、｜ω｜は注目画素および周囲画素の画素数である。（ａxp、ｂxp）は、各注目画素の画素位置毎に（１）式により算出されたパラメータである。
　さらに、参照画像生成部１７は、第２のバンドによる相関一次補間画像において、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の欠落画素ｍｐの画素位置の画素をマスクするマスク処理を施し、マスク画像を算出する（中段“マスク処理”参照）。さらに、参照画像生成部１７は、一次参照バンドの画像成分の各画素値からマスク画像の対応する各画素値を減算することにより、残差画像を生成する（下段“減算”参照）。さらに、参照画像生成部１７は、残差画像内で、例えばバイリニア補間法およびバイキュービック補間法により、残差画像内の欠落画素ｍｐを補間した残差補間画像を生成する（下段“バンド内補間”参照）。さらに、参照画像生成部１７は、残差補間画像の各画素値に第２のバンドによる相関一次補間画像の対応する画素値を加算することにより、第２のバンドによる相関補間画像を生成する（下段“加算”参照）。
　参照画像生成部１７は、第３のバンドおよび第４のバンドにおいても、第２のバンドと同様の処理により、第３のバンドによる相関補間画像および第４のバンドによる相関補間画像を生成する。さらに、図６に示すように、参照画像生成部１７は、第２のバンドによる相関補間画像において、第２のバンドの画像成分ＯＩ２の欠落画素ｍｐの画素位置の画素値を消去するマスク処理を施し、第２のバンドのマスク画像を生成する。同様に、参照画像生成部１７は、第３のバンドのマスク画像および第４のバンドのマスク画像を生成する。さらに、参照画像生成部１７は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）に、第２のバンドのマスク画像、第３のバンドのマスク画像、および第４のバンドのマスク画像を重ねることにより、一次参照バンドの画像成分の一部の欠落画素ｍｐが補間される（符号“ＲＩ’”参照）。
　次に、第５のバンドの画像成分ＯＩ５を例にして、低相関と判定されたバンドの画像成分が画素値を有する画素位置に対する一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の補間について説明する。参照画像生成部１７は、第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５においては、高相関であると判定された少なくとも１つのバンドの画像成分との相関を用いて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）における当該画素位置の補間値を算出する。
　例えば、参照画像生成部１７は、第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５の、前述の第２のバンドによる相関補間画像、第３のバンドによる相関補間画像、および第４のバンドによる相関補間画像における画素値の少なくともいずれかを用いて補間値を算出する。例えば、第２のバンドによる相関補間画像、第３のバンドによる相関補間画像、および第４のバンドによる相関補間画像における画素値の単純平均値、重付け平均値、および選択されたいずれか１つの画素値が、補間値として用いられる。
　なお、重付け平均や画素値の選択は、例えば、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）との相関性の高さ、および第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５への近さに基づく。例えば、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）と最も相関性が高いバンドが第３のバンドの画像成分ＯＩ３である場合には、第３のバンドによる相関補間画像の画素値の重付けを大きくしたり、当該画素値を補間値として用いてもよい。また、第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５に最も近い画素位置に画素値を有する第２のバンドの画像成分ＯＩ２および第３のバンドの画像成分ＯＩ３であることから、第２のバンドによる相関補間画像および第３のバンドによる相関補間画像の画素値に対する重付けを大きくしたり、両者の平均値を補間値として用いてもよい。
　また、例えば、参照画像生成部１７は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）を構成する画素の画素値および高相関と判定された少なくとも１つのバンドの画像成分との相関により算出した補間値の少なくとも一方を用いた補間処理により、第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５における補間値を、算出してもよい。例えば、参照画像生成部１７は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）に、第２のバンドのマスク画像、第３のバンドのマスク画像、および第４のバンドのマスク画像を重ねた画像ＲＩ’における欠落画素ｍｐ、すなわち第５のバンドの画像成分ＯＩ５が画素値を有する画素位置ｐ５の画素の周囲画素を用いて、例えばバイリニア補間法およびバイキュービック補間法を用いて補間値を算出してもよい。
　参照画像生成部１７は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）の欠落画素ｍｐを、上述の処理により補間して生成した一次参照画像を補間画像生成部１８に伝送する。
　補間画像生成部１８は、相関判定部１６が判定した相関判定結果と、参照画像生成部１７が生成した一次参照画像を用いて、一次参照バンド以外のバンドの画像成分の少なくとも一部のバンドの画像成分の欠落画素ｍｐの画素補間を行う。さらに詳細には、補間画像生成部１８は、一次参照画像を用いて、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）と高相関であると判定されたバンドの画像成分、本実施形態では、第２のバンドの画像成分ＯＩ２、第３のバンドの画像成分ＯＩ３、および第４のバンドの画像成分ＯＩ４それぞれの欠落画素ｍｐの画素補間を行う。一次参照画像を参照に用いた、他のバンドの画像成分の画素補間は、例えば、前述のガイデッドフィルタ処理、ジョイントバイラテラル処理などの処理を適用可能である。
　また、補間画像生成部１８は、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）と低相関であると判定されたバンドの画像成分、本実施形態では、第５のバンドの画像成分ＯＩ５の欠落画素ｍｐの画素補間を、一次参照画像を用いずに、第５のバンドの画像成分ＯＩ５を用いた、例えばバイリニア補間法およびバイキュービック補間法により補間する。
　補間画像生成部１８は、一事参照画像および欠落画素ｍｐの補間が行われた他のバンドの画像成分の補間画像、すなわち各バンドにおいて全画素に画素値を有する画像を、マルチバンドに対応したモニタおよび記憶媒体などに伝送する。
　次に、画像処理ユニット１２が実行する、画像補間処理について、図７のフローチャートを用いて説明する。画像補間処理は、画像処理ユニット１２が撮像部１１から原画像ＯＩを取得するときに開始する。
　ステップＳ１００において、画像処理ユニット１２は、一次参照バンドの画像成分と、それ以外のバンドの画像成分との相関性を判定する。画像処理ユニット１２は、相関性の判定においては、高相関および低相関のいずれかへの分別も行う。相関性の判定後、プロセスはステップＳ１０１に進む。
　ステップＳ１０１では、画像処理ユニット１２は、ステップＳ１００において高相関と判定したバンドの画像成分を選択する。バンドの画像成分の選択後、プロセスはステップＳ１０２に進む。
　ステップＳ１０２では、画像処理ユニット１２は、ステップＳ１０１で選択したバンドの画像成分を用いて、一次参照バンドの画像成分の欠落画素ｍｐを補間して、一次参照画像を生成する。一次参照画像を生成すると、プロセスはステップＳ１０３に進む。
　ステップＳ１０３では、画像処理ユニット１２は、ステップＳ１００において高相関と判定したバンドの画像成分の欠落画素ｍｐを、一次参照画像に基づく相関により補間する。一次参照画像に基づく画素補間後、プロセスはステップＳ１０４に進む。
　ステップＳ１０４では、画像処理ユニット１２は、ステップＳ１００において低相関と判定したバンドの画像成分の欠落画素ｍｐを、当該バンドの画像成分の周囲画素を用いたバイリニア補間およびバイキュービック補間法などにより補間する。補間後に、画像補間処理を終了する。
　以上のような構成の本実施形態の画像処理ユニットによれば、マルチバンドのフィルタアレイを有する撮像素子１４が生成する原画像ＯＩに対して、一次参照バンドの画像成分と相関性の判定結果に基づいて他のバンドの画像成分を用いて一次参照画像を生成するので、一次参照画像の解像感を、一次参照バンドの画像成分のみから生成した場合に比べて向上可能である。したがって、当該一次参照画像を用いた、当該他のバンドの画像成分の欠落画素ｍｐを補間した各バンドの補間画像の解像感を向上可能である。
　また、本実施形態の画像処理ユニットによれば、一次参照バンドの画像成分に対して低相関と判定されたバンドの画像成分は、一次参照画像を用いずに当該バンドの画像成分内で補間を行うので、当該バンドの画像成分の補間画像においてモアレの発生が抑制される。
　また、本実施形態の画像処理ユニットによれば、残差画像を補間して、相関補間画像を生成するので、相関一次補間画像によって直接、一次参照画像を生成する構成に比べて、高周波成分の少なさにより、一時参照画像におけるモアレの発生が抑制される。
　本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
　例えば、本実施形態において、相関情報は予め定められているが、画像処理ユニット１２が取得した原画像ＯＩから算出する構成であってもよい。例えば、原画像信号の全体の輝度や、バンドの画像成分毎の画素値の割合などから、画像処理ユニット１２が撮像状況を、ポートレートモードや風景モードなどの予め想定される複数の撮像シーンの中から推定し、統計的に定められた各撮像シーンにおけるバンドの画像成分の相関性に基づいて、各バンドの画像成分の一次参照バンドの画像成分との相関性を判定してもよい。
　また、例えば、原画像ＯＩにおける一次参照バンドの画像成分、および他のバンドの画像成分別の画素値の総和、平均値、分散値、最大値、中央値の比較に基づいて、相関性を判定してもよい。一次参照バンドの画像成分におけるこれらの値と、他のバンドの画像成分におけるこれらの値の差分が小さいほど相関性が高く、例えば閾値と比較することにより、高相関および低相関のいずれかに分別可能である。このような構成によれば、任意の複数の画像データの予めの分析が不要である。
　また、例えば、一次参照バンド以外のバンドの画像成分を構成する画素値を参照画像として用いたガイデッドフィルタ処理により補間した一次参照バンドの画像成分の補間値と一次参照バンドの画像成分を構成する画素値との差分、すなわち図５における残差画像の画素値に基づいて、相関性を判定してもよい。当該差分が小さいほど相関性が高く、例えば閾値と比較することにより、高相関および低相関のいずれかに分別可能である。このような構成によれば、任意の複数の画像データの予めの分析が不要である。
　また、本実施形態において、相関判定部１６は、画像全体で一次参照バンドの画像成分と、他のバンドの画像成分との相関性を判定する構成であるが、全体領域を分割した部分領域毎に相関性を判定してもよい。このような構成によれば、例えば、複数の光源によって被写体が照明されるような撮像状況において、光源の分光特性により変化し得る、一次参照バンドの画像成分および他のバンドの画像成分間の相関性に適切に対応可能である。
　また、本実施形態において、参照画像生成部１７は、高相関と判定されたバンドの画像成分の欠落画素ｍｐすべてを補間して（図５上段“バンド内補間”参照）、相関一次補間画像を生成する構成であるが、当該バンドの画像成分の欠落画素ｍｐを、方向別に補間して、水平方向および垂直方向の相関補間画像を生成してもよい（図８、９参照）。方向別の補間により生成した画素値を重付け平均することにより、当該バンドの画像成分による相関補間画像を生成可能である。このような方向別の補間によれば、補間の精度をさらに向上させ、一次参照画像の解像感を一層向上可能である。
　また、本実施形態において、一次参照バンドの画像成分に対して高相関と判定された全バンドの画像成分の補間に一次参照画像を用いる構成であるが、以下に説明するように、相関性に応じて二次参照画像を用いてバンドの画像成分の補間を行ってもよい。例えば、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）と、第２のバンドの画像成分ＯＩ２および第３のバンドの画像成分ＯＩ３とが高相関であって、かつ第２のバンドの画像成分ＯＩ２と第３のバンドの画像成分ＯＩ３とが高相関である場合に、一次参照バンドの画像成分（第１のバンドの画像成分ＯＩ１）との相関性が第２のバンドの画像成分ＯＩ２の方が高いことがあり得る。このような場合において、一次参照画像を用いて、第２のバンドの画像成分ＯＩ２の欠落画素ｍｐの補間を行い、補間した第２のバンドの画像成分ＯＩ２を二次参照画像として用いて、第３のバンドの画像成分ＯＩ３の欠落画素ｍｐの補間を行うことが挙げられる。このような構成によれば、各バンドの画像成分においてより解像感の高い補間画像を得ることが可能である。
　また、本実施形態において、一部のバンドの画像成分が一次参照バンドの画像成分に対して低相関と判定されるが、全バンドの画像成分が一次参照バンドの画像成分に対して高相関と判定されても、もちろんよい。全バンドの画像成分が高相関と判定されるときには、当該全バンドの画像成分を用いて、一次参照画像が生成される。
　また、本実施形態において、撮像素子１４は５バンドのフィルタアレイを有しているが、例えば、図１０、１１にそれぞれ示すように、９バンドまたは１０バンドのフィルタアレイを有していてもよい。
　また、本実施形態において、画像処理ユニット１２は、撮像装置１０に内臓される構成であるが、例えばパーソナルコンピュータなどにおいてソフトウェアとして構成される画像処理装置として具現化してもよい。
　１０　撮像装置
　１１　撮像部
　１２　画像処理ユニット
　１３　光学系
　１４　撮像素子
　１５　画像取得部
　１６　相関判定部
　１７　参照画像生成部
　１８　補間画像生成部
　Ｃ１からＣ５　第１のフィルタから第５のフィルタ
　ｍｐ　欠落画素
　ＯＩ　原画像
　ＯＩ１からＯＩ５　第１のバンドの画像成分から第５のバンドの画像成分
　ｐ２からｐ５　第２のバンドの画像成分から第５のバンドの画像成分が画素値を有する画素位置
　ＲＩ’　一次参照バンドの画像成分に、第２のバンドのマスク画像から第４のバンドのマスク画像を重ねた画像

Claims (20)

  1. 　任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子が撮像した原画像を取得する画像取得部と、
    　前記原画像における、前記一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
    　前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
    　前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部とを備える
    　ことを特徴とする画像処理ユニット。
  2. 　請求項１に記載の画像処理ユニットであって、
    　前記参照画像生成部は、前記高相関であると判定された少なくとも１つのバンドの画像成分を用いて、前記一次参照バンドの画像成分における欠落画素の補間を行う
    　ことを特徴とする画像処理ユニット。
  3. 　請求項２に記載の画像処理ユニットであって、
    　前記参照画像生成部は、前記高相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、該バンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
    　ことを特徴とする画像処理ユニット。
  4. 　請求項１から３のいずれか１項に記載の画像処理ユニットであって、
    　前記参照画像生成部は、前記低相関に分別されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された少なくとも１つのバンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
    　ことを特徴とする画像処理ユニット。
  5. 　請求項４に記載の画像処理ユニットであって、
    　前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された複数のバンドの画像成分それぞれとの相関を用いて、前記一次参照バンドの画像成分における該画素位置の複数の補間値を算出し、該複数の補間値の重付け平均値を、前記一次参照バンドの画像成分における該画素位置の補間値として算出する
    　ことを特徴とする画像処理ユニット。
  6. 　請求項４に記載の画像処理ユニットであって、
    　前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、前記高相関であると判定された単一のバンドの画像成分との相関を用いて、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
    　ことを特徴とする画像処理ユニット。
  7. 　請求項４に記載の画像処理ユニットであって、
    　前記参照画像生成部は、前記低相関であると判定されたバンドの画像成分が画素値を有する画素位置においては、該画素位置以外の一次参照バンドの画像成分を構成する画素値および前記高相関であると判定された少なくとも１つのバンドの画像成分との相関により算出した補間値の少なくとも一方を用いた補間処理により、前記一次参照バンドの画像成分における該画素位置の補間値を算出する
    　ことを特徴とする画像処理ユニット。
  8. 　請求項１から７のいずれか１項に記載の画像処理ユニットであって、
    　前記参照画像生成部は、方向別に前記一次参照バンドの画像成分の補間値を算出する
    　ことを特徴とする画像処理ユニット。
  9. 　請求項１から８のいずれか１項に記載の画像処理ユニットであって、
    　前記相関判定部は、予め定められた相関情報に基づいて、前記相関性が高相関および低相関の何れであるかを判定する
    　ことを特徴とする画像処理ユニット。
  10. 　請求項９に記載の画像処理ユニットであって、
    　前記相関情報は、任意の複数の画像データの分析、および前記マルチバンドフィルタアレイの分光感度特性の一方に基づいて予め定められる
    　ことを特徴とする画像処理ユニット。
  11. 　請求項１から８のいずれか１項に記載の画像処理ユニットであって、
    　前記相関判定部は、前記原画像に基づいて相関情報を生成し、該相関情報に基づいて、前記相関性が高相関および低相関の何れであるかを判定する
    　ことを特徴とする画像処理ユニット。
  12. 　請求項１１に記載の画像処理ユニットであって、
    　前記相関情報は、前記原画像に基づいて判定される撮像シーンである
    　ことを特徴とする画像処理ユニット。
  13. 　請求項１１に記載の画像処理ユニットであって、
    　前記相関情報は、前記原画像を構成するバンドの画像成分間の画素値の総和、平均値、分散値、最大値、および中央値の差分、ならびに前記一次参照バンド以外のバンドの画像成分を構成する画素値に基づく前記一次参照バンドの画像成分の補間値と前記一次参照バンドの画像成分を構成する画素値との差分のいずれかから算出される
    　ことを特徴とする画像処理ユニット。
  14. 　請求項１１から１３のいずれか１項に記載の画像処理ユニットであって、
    　前記相関判定部は、前記原画像を複数の領域に分割した部分領域毎に前記相関情報を生成し、前記部分領域毎に前記相関性が高相関及び低相関の何れであるかを判定する
    　ことを特徴とする画像処理ユニット。
  15. 　請求項１から１４のいずれか１項に記載の画像処理ユニットであって、
    　前記補間画像生成部は、前記一次参照画像を用いて、前記高相関であると判定されたバンドの画像成分における欠落画素の補間を行う
    　ことを特徴とする画像処理ユニット。
  16. 　請求項１から１４のいずれか１項に記載の画像処理ユニットであって、
    　前記補間画像生成部は、前記高相関であると判定された複数のバンドの画像成分の中で、他のバンドの画像成分よりも前記一次参照バンドの画像成分に対する相関性が低く且つ当該他のバンドの画像成分との相関性を有するバンドの画像成分における欠落画素の補間を、前記他のバンドの画像成分における欠落画素の補間を行った補間画像を二次参照画像として用いて行う
    　ことを特徴とする画像処理ユニット。
  17. 　請求項１から１６のいずれか１項に記載の画像処理ユニットであって、
    　前記補間画像生成部は、前記低相関であると判定されたバンドの画像成分における欠落画素の補間を、該バンドの画像成分を用いて、行う
    　ことを特徴とする画像処理ユニット。
  18. 　任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子と、
    　前記撮像素子が撮像した原画像の、一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
    　前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
    　前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部とを備える
    　ことを特徴とする撮像装置。
  19. 　任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子が撮像した原画像の、一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定する相関判定部と、
    　前記相関判定部による相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成する参照画像生成部と、
    　前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う補間画像生成部としてコンピュータを機能させる
    　ことを特徴とする画像処理プログラム。
  20. 　任意のバンドである一次参照バンドのフィルタを含む、４バンド以上のフィルタがアレイ状に配置されたマルチバンドフィルタアレイを有する撮像素子に原画像を撮像させ、
    　前記原画像の、一次参照バンドの画像成分と前記一次参照バンド以外の各バンドの画像成分との相関性が、高相関および低相関のいずれであるかを判定し、
    　相関判定結果に基づいて前記一次参照バンドの画像成分における欠落画素の補間方法を切替えて補間を行うことにより、一次参照画像を生成し、
    　前記相関判定結果および前記一次参照画像を用いて、前記一次参照バンド以外の各バンドの画像成分の少なくとも一部における欠落画素の補間を行う
    　ことを特徴とする画像処理方法。
PCT/JP2014/005392 2014-10-23 2014-10-23 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法 WO2016063316A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201480082798.7A CN106852190B (zh) 2014-10-23 2014-10-23 图像处理单元、拍摄装置及图像处理方法
PCT/JP2014/005392 WO2016063316A1 (ja) 2014-10-23 2014-10-23 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法
JP2016554949A JP6461184B2 (ja) 2014-10-23 2014-10-23 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法
US15/479,322 US10249020B2 (en) 2014-10-23 2017-04-05 Image processing unit, imaging device, computer-readable medium, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/005392 WO2016063316A1 (ja) 2014-10-23 2014-10-23 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/479,322 Continuation US10249020B2 (en) 2014-10-23 2017-04-05 Image processing unit, imaging device, computer-readable medium, and image processing method

Publications (1)

Publication Number Publication Date
WO2016063316A1 true WO2016063316A1 (ja) 2016-04-28

Family

ID=55760392

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/005392 WO2016063316A1 (ja) 2014-10-23 2014-10-23 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法

Country Status (4)

Country Link
US (1) US10249020B2 (ja)
JP (1) JP6461184B2 (ja)
CN (1) CN106852190B (ja)
WO (1) WO2016063316A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580519B1 (ko) * 2016-09-07 2023-09-21 삼성전자주식회사 영상처리장치 및 기록매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007068126A (ja) * 2005-09-02 2007-03-15 Victor Co Of Japan Ltd 欠陥画素補正方法及び装置
JP2011041208A (ja) * 2009-08-18 2011-02-24 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2014146872A (ja) * 2013-01-28 2014-08-14 Olympus Corp 画像処理装置、撮像装置、画像処理方法及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4352331B2 (ja) * 2004-09-09 2009-10-28 富士フイルム株式会社 信号処理装置、信号処理方法及び信号処理プログラム
JP5709131B2 (ja) * 2011-05-11 2015-04-30 国立大学法人東京工業大学 画像処理システム
JP5991749B2 (ja) * 2011-09-26 2016-09-14 キヤノン株式会社 画像処理装置及び方法
JP5830348B2 (ja) * 2011-10-26 2015-12-09 オリンパス株式会社 撮像装置
JP5771677B2 (ja) * 2013-12-24 2015-09-02 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007068126A (ja) * 2005-09-02 2007-03-15 Victor Co Of Japan Ltd 欠陥画素補正方法及び装置
JP2011041208A (ja) * 2009-08-18 2011-02-24 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2014146872A (ja) * 2013-01-28 2014-08-14 Olympus Corp 画像処理装置、撮像装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP6461184B2 (ja) 2019-01-30
CN106852190A (zh) 2017-06-13
US20170206631A1 (en) 2017-07-20
US10249020B2 (en) 2019-04-02
JPWO2016063316A1 (ja) 2017-08-03
CN106852190B (zh) 2019-03-19

Similar Documents

Publication Publication Date Title
EP3093819B1 (en) Imaging apparatus, imaging system, and signal processing method
JP5904281B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5128207B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP5036421B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
CN110463197B (zh) 增强立体相机成像系统中的空间分辨率
JP4668185B2 (ja) 画像処理方法
US8520099B2 (en) Imaging apparatus, integrated circuit, and image processing method
JP6600936B2 (ja) 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体
JP2012060641A (ja) デジタルｒａｗ画像のデモザイク方法、そのコンピュータプログラムおよびそのイメージセンサ回路またはグラフィック回路
US20120327259A1 (en) Image processing device, image processing method, image capturing device, and program
KR20190100792A (ko) 이미지 센싱 장치
KR101783229B1 (ko) 화상처리장치 및 그 제어 방법
JP5528139B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2012227758A (ja) 画像信号処理装置及びプログラム
JP5268321B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP6190119B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP6461184B2 (ja) 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法
US9530185B2 (en) Image processing apparatus, imaging apparatus, image processing method and storage medium
KR100810155B1 (ko) 다이내믹 레인지 넓힌 후 베이어 이미지를 출력할 수 있는이미지 센서
JP5673186B2 (ja) 撮像装置及び撮像装置の補間処理方法
JP4962293B2 (ja) 画像処理装置、画像処理方法、プログラム
KR101072877B1 (ko) 색 보간 방법 및 그 장치
JP2009033699A (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
WO2015083502A1 (ja) 画像処理装置、該方法および該プログラム
JP6552248B2 (ja) 画像処理装置及び方法、撮像装置、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14904558

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016554949

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14904558

Country of ref document: EP

Kind code of ref document: A1