WO2006137419A1 - 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム - Google Patents

画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム Download PDF

Info

Publication number
WO2006137419A1
WO2006137419A1 PCT/JP2006/312366 JP2006312366W WO2006137419A1 WO 2006137419 A1 WO2006137419 A1 WO 2006137419A1 JP 2006312366 W JP2006312366 W JP 2006312366W WO 2006137419 A1 WO2006137419 A1 WO 2006137419A1
Authority
WO
WIPO (PCT)
Prior art keywords
correlation
interpolation
pixel
correlation value
pixels
Prior art date
Application number
PCT/JP2006/312366
Other languages
English (en)
French (fr)
Inventor
Takuya Chiba
Ryota Kosakai
Akira Matsui
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to CN200680000682XA priority Critical patent/CN101006731B/zh
Priority to EP06767025A priority patent/EP1793620A4/en
Priority to KR1020077003122A priority patent/KR101253760B1/ko
Publication of WO2006137419A1 publication Critical patent/WO2006137419A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Definitions

  • the present invention relates to an image processing device and an image processing method for processing an output signal of a solid-state imaging device having a filter (color filter) of a predetermined color coding, and an imaging device using these image processing device or image processing method As well as computer 'programs.
  • An image sensor using a solid-state imaging device is configured by a mechanism in which each pixel (photodiode) arranged two-dimensionally converts light into electric charge using a photoelectric effect.
  • a color filter with R (red), green (G), and blue (B) color power is provided on the light-receiving surface to separate incident light into the three primary colors visible to the human eye. Then, each pixel can read the signal charge accumulated corresponding to the amount of incident light that has passed through the color filter to obtain an RGB image signal visible to the human eye.
  • RGB image signals are color space converted into YUV image signals and used for display output and image recording.
  • YUV expresses colors with two chromaticities consisting of luminance signal Y and red color difference U and blue color difference V.
  • YUV conversion provides high resolution for luminance but low resolution for color. This makes it easier to perform data compression using human visual characteristics.
  • NTSC National Television Standards Committee
  • Cb (BY) B- (0. 3R + 0. 6G + 0. IB) '(3) [0006]
  • R (red), G (green), and B (blue) primary color filters are arranged in the same spatial phase with respect to three solid-state imaging devices to obtain a high-resolution RGB signal.
  • a three-plate imaging device that achieves high image quality is known.
  • the three-plate type imaging device needs to use a prism that separates incident light into RGB colors using three solid-state imaging devices, which makes it difficult to reduce the size and cost of the device. .
  • the characteristics of the solid-state imaging device differ depending on the color coding.
  • R color filters and G color filters are alternately arranged on odd rows, and G color filters and B color filters are alternately arranged on even rows.
  • the Bayer array employs a configuration in which many G color filters are arranged for each RB color filter, and therefore G can be interpolated with higher accuracy than RB.
  • G is a main component in producing a luminance signal, and the resolution of the luminance signal greatly depends on the resolution of G.
  • the resolution of the image signal is proportional to the pixel sampling rate lZfs (fs is the pixel sampling frequency), but according to the Bayer array, By improving the accuracy of G color filter array interpolation, it is possible to obtain the characteristic that the G resolution is higher than the RB resolution. Since humans have low sensitivity to colors that have high resolution with respect to luminance and low visual sensitivity characteristics, the Bayer array can be said to be color coding that makes good use of human visual characteristics.
  • the RGB signal having the same spatial phase can be optimally generated from the RGB signals having different spatial phases by the interpolation technique. If the interpolation processing of the image signal is not optimal, it may be difficult to obtain a high-resolution image, or a false color signal may be generated.
  • this image processing apparatus by performing interpolation processing based on the above four pieces of pixel information based on the interpolation coefficient, the edge of the direction that is orthogonal to the direction of calculation of the correlation value is obtained.
  • the degree of correlation can be determined satisfactorily, so that it is possible to reproduce well without blurring the oblique edges after interpolation processing, and to interpolate well even in bent lines and corners bent at right angles. It becomes possible.
  • the limit resolution of G resolution and RB resolution determined from the color filter array is the same in the 45 ° direction. Since G is the main component in creating a luminance signal and greatly depends on the luminance resolution, and RB largely depends on the resolution of the color difference signal, increasing the resolution of G is the point that generates a high-resolution image. Become.
  • the human eye has the property that it is difficult to recognize high frequencies with respect to bright colors that can be recognized up to high frequencies, the Payer arrangement has a balance between color resolution and luminance resolution. It is well-matched with the human visual sensitivity characteristics, and it is reported as ⁇ .
  • the applicant of the present application uses the G component, which is the main component in creating the luminance component, as another R component.
  • G component which is the main component in creating the luminance component
  • the G component Arranged to surround each of the B components, and instead of setting the number of RB pixels to 1Z 2 for the Bayer array, increasing G instead of sacrificing color resolution slightly doubles the luminance resolution (See, for example, the specification of Japanese Patent Application No. 2005-107037).
  • This kind of color coding requires a more advanced interpolation process that produces a higher resolution than the color coding of the power Bayer array that matches the human visibility characteristics than the color coding of the Bayer array. Become.
  • Patent Document 1 Japanese Patent Laid-Open No. 11 177994
  • An object of the present invention is to provide an excellent image processing apparatus and image processing method capable of obtaining a higher luminance resolution by performing color filter array interpolation with higher accuracy with a color coded RGB image, To provide an imaging apparatus, as well as a computer program. Means for solving the problem
  • the present invention has been made in consideration of the above problems, and a first aspect of the present invention is an image processing apparatus for processing an image picked up by an image pickup means having a color filter for color coding. Il /,
  • Correlation value calculating means for calculating at least a first correlation value and a second correlation value indicating a degree of correlation between pixels for the image signal;
  • Interpolation pixel specifying means for specifying other pixels to be used when interpolating a desired pixel based on the first correlation value and the second correlation value;
  • An image processing apparatus comprising:
  • the image processing apparatus for example, when calculating a luminance component for a pixel array arranged in a square lattice so that each pixel is equally spaced in the horizontal direction and the vertical direction.
  • Color component power that is the main component
  • Color filter array interpolation is applied to image signals that have been color-coded using color filters placed around each of the other color components. To do.
  • Component power It is arranged so as to surround each of the other color components.
  • Such color coding increases the theoretical limit resolution of G by increasing G instead of setting the number of RB pixels to 1Z2 for the Bayer array. Therefore, since the G resolution is improved to near the limit resolution by performing the interpolation processing with high accuracy of G, the luminance resolution can be improved by a factor of about 2 although the color resolution is slightly sacrificed.
  • the correlation value calculating means surrounds the surrounding image signal surrounding the pixel. For, calculate a correlation value indicating the strength of the G correlation between pixels in at least two directions.
  • the correlation value between pixels can be obtained by filtering the image signal in two orthogonal directions such as the horizontal direction and the vertical direction of the image, and calculating a correlation value in one direction characteristic from the filter output.
  • the filter here is preferably a bandpass filter that removes a DC component, and a highpass filter such as a differential filter can be used.
  • the bandpass filter output in the horizontal direction is BPF (H) and the output of the bandpass filter in the vertical direction is BPF (V)
  • the correlation value S (HV) of the horizontal and vertical HV is BPF (H) / It is represented by ⁇ BPF (H) + BPF (V) ⁇ .
  • S (HV) is a force that takes a value between 0 and 1.
  • S (HV) approaches 1
  • there is a swell of the image signal in the horizontal direction indicating that the correlation between pixels is high in the vertical direction! Therefore, it is preferable to specify a pixel positioned in the vertical direction among surrounding pixels surrounding the desired pixel as a pixel for interpolation.
  • S (HV) approaches 0 there is a swell of the image signal in the vertical direction, indicating that the correlation between the pixels in the horizontal direction is high.
  • the correlation value calculation means can calculate the correlation value S (HV) in the horizontal and vertical directions as the first correlation value.
  • the correlation value S (HV) is a value close to 0.5
  • the inter-pixel direction is +45 degrees to the vertical axis. It is unclear whether the correlation is high or the correlation between the pixels in the 45 degree direction is high, and it becomes impossible to specify the pixel for interpolation.
  • the correlation value calculation means further obtains the second correlation value in a direction characteristic different from the first correlation value, compensates for the case where the first correlation value is an intermediate value, and performs interpolation pixels. Improved the resolution to specify the direction to interpolate pixels in a specific method.
  • the correlation value calculating means arranges another set of orthogonal filters having different directional characteristics from the one set of orthogonal filters used when calculating the first correlation value. Calculate the second correlation value based on the output.
  • the bandpass filter output BPF (NH) in the non-horizontal direction NH is calculated as the second correlation value.
  • the non-horizontal non-vertical NHZNV correlation value S (NH / NV) calculated based on the non-horizontal NH bandpass filter output BPF (NH) orthogonal to BPF (HN) can be used.
  • S (NHZNV) is represented by BPF (NH) Z ⁇ BPF (NH) + BPF (NV) ⁇ .
  • the output forces of the bandpass filters arranged in the orthogonal NH and NV directions are defined as the non-horizontal direction NH and the non-vertical direction NV respectively rotated by ⁇ 45 degrees with respect to the vertical direction H.
  • the interpolation pixel specifying means sets the direction of correlation in all directions (360 degrees) by comparing a plurality of correlation values obtained by the correlation value calculating means.
  • the direction to be interpolated can be specified with finer granularity.
  • the interpolation means may perform interpolation processing on the pixel to be interpolated based on the information on the surrounding pixels of the pixel existing in the specified direction.
  • a second aspect of the present invention is an image processing apparatus for processing an image captured by an imaging unit having a color filter for color coding.
  • a reliability calculation means for calculating a reliability related to each correlation value calculated by the correlation value calculation means
  • An image processing apparatus comprising:
  • two or more correlation values having different direction characteristics are obtained for the surrounding pixels of the pixel to be interpolated, and the correlation direction is determined by comparing the plurality of correlation values.
  • such a method for specifying the direction to be interpolated assumes that the correlation value obtained in each direction characteristic is reliable.
  • the reliability relating to the first correlation value and the second correlation value is calculated, and an interpolation processing method according to the reliability is used.
  • a desired pixel signal is configured to be interpolated.
  • the reliability can be calculated based on the sum of the correlation values calculated by the correlation value calculation means.
  • a correlation is obtained by comparing the obtained plurality of correlation values with a correlation line.
  • the direction to be interpolated is determined, and more accurate pixel interpolation is performed.
  • a high-resolution luminance signal can be obtained based on a highly accurate G signal.
  • interpolation is performed using an average value of information on neighboring pixels of the pixel to be interpolated.
  • the accuracy of the interpolated pixels is suppressed and a luminance signal with high resolution cannot be obtained, but the SN can be improved by averaging processing.
  • a computer program that is described in a computer-readable format so as to execute processing on an image captured by an imaging unit having a color filter for color coding on a computer.
  • a correlation value calculation procedure for calculating at least a first correlation value and a second correlation value indicating a degree of correlation between pixels for the image signal from the imaging means to the computer; Based on the first correlation value and the second correlation value, an interpolation pixel specifying procedure for specifying another pixel to be used when interpolating a desired pixel;
  • the fourth aspect of the present invention is a computer 'program described in a computer-readable format so as to execute processing on an image captured by an imaging means having a color filter for color coding on a computer.
  • a correlation value calculation procedure for calculating at least a first correlation value and a second correlation value indicating a degree of correlation between pixels for the image signal from the imaging means to the computer;
  • the computer program according to the third and fourth aspects of the present invention defines a computer program written in a computer-readable format so as to realize predetermined processing on the computer.
  • a cooperative action is exhibited on the computer, and each of the first and second aspects of the present invention is achieved.
  • the same effects as those of the image processing apparatus according to the aspect can be obtained.
  • an excellent image processing apparatus and image processing method that can obtain a higher luminance resolution by performing color filter array interpolation on a color-coded RGB image with higher accuracy.
  • An imaging apparatus as well as a computer 'program can be provided.
  • a color that is a main component when calculating a luminance component Component power The color filter of the main component that calculates the luminance component of an image signal that has been color-coded using a color filter that is placed around each of the other color components. Filter array interpolation can be performed with high accuracy.
  • the image processing apparatus can determine the direction of correlation in all directions (360 degrees) with respect to the pixel to be interpolated, and therefore performs an appropriate interpolation process based on the determined direction. be able to.
  • FIG. 1 is a block diagram showing an example of the configuration of an imaging apparatus to which an image processing apparatus or an image processing method according to the present invention is applied.
  • FIG. 2 is a diagram showing a pixel array in which only G is extracted in a Bayer array.
  • FIG. 4 is a diagram showing frequency characteristics of a bandpass filter.
  • FIG. 8 is a diagram showing a pixel array in which only G is extracted in a color coding example.
  • FIG. 10 is a flowchart showing a procedure of interpolation processing according to Embodiment 1 of the present invention.
  • FIG. 13 is a diagram showing a resolution chart.
  • FIG. 16 is a block diagram illustrating an example of a configuration of an interpolation processing circuit that executes interpolation processing according to the first embodiment.
  • FIG. 17 is a diagram showing an example of color coding to be subjected to interpolation processing according to Embodiment 2 of the present invention.
  • FIG. 20 is a diagram showing a result of interpolation processing by the pre-stage interpolation processing circuit.
  • any filter can be used as long as it has a band limiting characteristic that removes the force DC component that can use a high-pass filter such as a differential filter.
  • the interpolation value X of the interpolation pixel X is calculated using the G signals of the upper, lower, left and right surrounding pixels according to the following equation.
  • G which is a main component in creating a luminance component
  • R and B Two color coding examples are given as the color coding arranged so as to surround the enclosure, and interpolation processing for each of these two color coding examples will be described as Example 1 and Example 2.
  • FIG. 6 shows color coding example 1 that is an object of interpolation processing in the first embodiment of the present invention.
  • the color coding example 1 shown in the figure is a square lattice so that the pixels are equally spaced (pixel pitch) d in the horizontal direction (row direction along the pixel row) and the vertical direction (column direction along the pixel row).
  • the first row is arranged by repeating RGBG in units of 4 pixels in the horizontal direction
  • the second row contains only G
  • the third row contains 4 pixels in the horizontal direction. It is arranged by repeating BGRG as a unit, and only G is arranged in the 4th row, and thereafter, it is arranged by repeating these 4 rows as a unit.
  • the color component (G in this example) which is the main component in creating the luminance (Y) component, and the other color components (R and B in this example) and R and B with the force G
  • R and B are arranged at an interval of 4d with respect to horizontal and vertical.
  • the horizontal and vertical sampling rates for R and B are 1Z2 rate for G. So that every other column (odd column in the first embodiment) and every other row (odd row in the second embodiment described later) are arranged. That is, the sampling rate of G is d, the sampling rate of R and B is 2d, and there is a difference in resolution of 2 times between G and R and B in the horizontal and vertical directions. Also, if the sampling rate is considered at an angle of 45 degrees, the sampling rate for G is dZ22 and the sampling rate for R and B is 2dZ2.
  • the spatial frequency characteristic will be considered.
  • the sampling rate of G is d, based on the sampling theorem, the G signal can be captured up to the frequency of (lZ2) fs.
  • the G sampling rate is dZ2 2, so the G signal can be captured up to (1Z 2) fs based on the sampling theorem.
  • G can capture signals up to (1Z2) fs in the horizontal and vertical directions, and can capture signals up to (1Z 2) fs in the 45 ° direction.
  • R and B can capture signals up to (1Z4) fs in the horizontal and vertical directions, and signals up to (1Z4 2) fs in the diagonal 45 ° direction. That is, as is clear from the comparison between FIG. 5 and FIG. 7, by using the color coding example 1 shown in FIG. 6, the G limit resolution is greatly improved with respect to the Bayer array. The resolution of the luminance signal is approximately doubled.
  • the interpolation processing circuit 23 obtains the correlation between the interpolated pixel X and the surrounding pixels not only in the horizontal and vertical directions but also in the diagonal directions, and the horizontal and vertical correlations and the diagonal directions. Interpolation processing is performed while judging which surrounding pixels should actually be used for interpolation based on the correlation between the two.
  • the pixel X in Fig. 8 is set as an interpolation pixel (a pixel to be interpolated) (step S11), and first, a correlation value in the HV direction is calculated for each surrounding pixel of the interpolation pixel X (step S12). .
  • the correlation value in the HV direction is calculated by applying filtering by a bandpass filter in the HV direction centering on the pixel G4 on the upper left of the interpolation pixel X.
  • Figure 11 shows the frequency characteristics (filter characteristics) of this bandpass filter in the HV direction.
  • the HV direction correlation value S_H of the interpolated pixel X is substituted with the highly reliable correlation value of the HV direction obtained from the surrounding pixels. This is the purpose of step S13.
  • Bpf_Max
  • This correlation confidence value Bpf_Max is similarly calculated for the other three surrounding pixels G6, Gll, and G13.
  • the large output of the bandpass filter means that there is a signal with a large amplitude around the pixel, and the signal is not an image but an image.
  • the correlation confidence value Bpf_Max which is the sum of the absolute values of the output of the bandpass filter in two directions that are orthogonal to each other in the horizontal and vertical directions, is large, the reliability of the correlation value calculated from the output of these bandpass filters is high. Can be estimated.
  • the correlation confidence values Bpf_Max obtained for the four surrounding pixels are compared in size, and the two surrounding pixels are selected from the larger one, and the HV method calculated with these two surrounding pixels as the center.
  • Direction correlation value is selected as a substitute for the HV direction correlation value centered on interpolation pixel X.
  • FIG. 27 shows that S_H_G4 and S_H_G13 are selected as reliable correlation values.
  • the correlation values of the two highest places adopted are averaged into one correlation value (step S14).
  • the averaged correlation value is treated as the correlation value in the HV direction centering on the interpolation pixel X in the following processing steps. For example, if the reliability of the correlation values at two points G4 and G6 is selected as high !, the correlation values in the HV direction centering on these two points are averaged, and the HV direction for the interpolated pixel X is averaged. (See Figure 28).
  • the processing for calculating the correlation value in the HV direction of the interpolation pixel X in steps S12 to S14 is performed. Executed.
  • the NH direction here is the axial direction rotated right by 45 degrees with respect to the H direction
  • the NV direction is the axial direction rotated left by 45 degrees with respect to the H direction (described above).
  • a correlation value S_NH_G5 in the NH direction for the pixel G5 is also calculated by the following equation.
  • the NH correlation value S_NH_G5 represents the ratio of the filter outputs Bpf_NH and Bpf_NV in the NH and NV directions of the same bandpass filter.
  • step S15 the correlation in the NH direction centering on each of the four pixels G5, G8, G9, and G12 located above, left, right, and bottom of the interpolation pixel X
  • the values S_NH_G5, S_NH_G8, S_NH_G9, and S_NH_G12 were calculated (see Figure 29).
  • the correlation values S_NH_G5, S_H_G8, S—H—G9, and S—H—G12 calculated in step S15 are the four surrounding pixels G5, G8, G9, It is a correlation value in the HV direction centered on G12, and not a correlation value centered on the desired interpolation pixel X.
  • step S16 If it is not possible to build a bandpass filter centered on the interpolated pixel X, and there are other implementation reasons, the correlation value at the interpolated pixel X cannot be directly calculated. Therefore, based on the idea that the correlation values of adjacent pixels are almost equal, the NH direction correlation value of interpolation pixel X is substituted with the highly reliable NH direction correlation value obtained for the surrounding pixels. That is the purpose of step S16.
  • the reliability for selecting the correlation value is expressed using the output value of the bandpass filter calculated in the process of calculating the four correlation values.
  • the correlation confidence value Bpf_Max of the pixel G5 is also calculated as follows.
  • the correlation confidence value Bpf_Max is similarly calculated for the other three surrounding pixels G8, G9, and G12.
  • the correlation confidence value Bpf_Max is large, which is also the sum of the absolute values of the bandpass filter outputs in the two orthogonal directions of NH and NV, it is estimated that the correlation value calculated from the output of these bandpass filters is high. (Same as above).
  • Bpf_Max
  • Fig. 30 shows how S_NH_G5 and S_NH_G9 are selected as reliable correlation values.
  • the averaged correlation values are treated as correlation values in the NH and NV directions centered on the interpolated pixel X in the following processing steps. For example, if the correlation values at two locations G5 and G9 are selected as having high reliability, the correlation values in the HV direction centered on these two points are averaged, and NH centered on the interpolation pixel X And the NV direction correlation value (see Figure 31).
  • step S18 based on the correlation values S_H and S_NH in the H direction and NH direction for the interpolation pixel X, the direction in which the interpolation pixel X is strongly correlated with surrounding pixels, that is, the direction of the correlation is determined. Obtain (step S18).
  • the interpolation pixel X has no correlation with surrounding pixels in the HV direction, but has a strong correlation with surrounding pixels in the NH direction in the NH and NV directions.
  • the interpolation pixel X has no correlation with surrounding pixels in the HV direction, but has a strong correlation with surrounding pixels in the NV direction in the NH and NV directions.
  • the interpolated pixel X that is the same as point (a) has a strong correlation with the surrounding pixels in the H direction in the HV direction. It can be seen that there is no correlation with surrounding pixels in the NH and NV directions.
  • FIG. 14 shows the relationship between the spatial phase of the interpolated pixel and the correlation values with the surrounding pixels in the H and V directions and the NH and NV directions when the resolution chart shown in FIG. 13 is used as the input image.
  • a frequency chart is shown.
  • the straight line in the figure showing the correlation value between the interpolated pixel and the surrounding pixels in the HV direction and the NH and NV directions is also called a “correlation line”.
  • This correlation line can be obtained by calculating at least two patterns of correlation values in different directions and plotting the correlation values of the minimum two patterns against straight lines of various angles.
  • the one-dot chain line (A) corresponds to the correlation value S_H in the HV direction
  • the two-dot chain line (B) corresponds to the correlation value S_NH in the NH and NV directions.
  • the correlation lines (A) and (B) are out of phase by 45 degrees.
  • the force S_H that can specify that the interpolated pixel X has a strong correlation in the H or V direction is about 0.5.
  • the interpolation pixel X may exist at points (a) and (c) on the resolution chart, and the direction in which the interpolation pixel X has a strong correlation just by referring to the correlation line (A). Sex cannot be specified.
  • two orthogonal directions rotated 45 degrees with respect to the horizontal and vertical axes NH direction rotated 45 degrees to the H direction and NV direction rotated 45 degrees to the H direction.
  • the interpolation pixel X is A strong and correlated force in the direction of deviation can be identified with high resolution. That is, by comparing the correlation lines of S_H and S_NH, it is possible to determine the direction in which interpolation pixel X has a strong correlation with surrounding pixels in all directions (360 degrees).
  • the angle formed by the HV direction and the NH ZNV direction is different, such as a force of 40 to 50 degrees using two orthogonal bandpass filters rotated by 45 degrees as a predetermined angle. Even if the angle is such that the same effect as described above can be obtained.
  • step S18 When the resolution chart shown in FIG. 13 is used as an input image, in step S18, a one-dot chain line (A) and a two-dot chain line in the spatial phase where the interpolation pixel X is located on the frequency chart shown in FIG. By comparing the correlation values shown in (B), the interpolated pixel is It is possible to obtain the degree of correlation between the surrounding pixels in the NH and NV directions, that is, the direction with strong correlation.
  • step S18 When the direction of correlation of the interpolated pixel X is determined in step S18, it is subsequently determined whether or not the correlation values S_H and S_NH obtained in steps S12 to S14 and steps S15 to S17 are reliable. (Step S19).
  • the correlation value in each direction around the interpolation pixel X is not directly calculated, and each surrounding pixel surrounding the interpolation pixel X is not calculated.
  • the ones with high reliability are averaged and used as the correlation value of the interpolated pixel X. In such cases, the correlation reliability check is particularly important.
  • the frequency chart when the resolution chart shown in FIG. 13 is used as an input image that is, the relationship between the correlation values of the interpolated pixels and the surrounding pixels in the HV direction and the NH and NV directions is as shown in FIG.
  • Two orthogonal band-pass filters are arranged in the horizontal and vertical directions and in a direction rotated by 45 degrees with respect to the horizontal and vertical directions, and the output force of each pair of band-pass filters is also related to the correlation values S_H and NH in the H direction.
  • the direction correlation value S_NH can be calculated.
  • the correlation lines (A) and (B) of S_H and S_NH are out of phase by 45 degrees.
  • Fig. 32 shows a correlation line that also has an absolute value force obtained by subtracting 0.5 from S_H (correlation line (A) in Fig. 14) and S_NH (correlation line (B) in Fig. 14).
  • the correlation lines are also plotted for the force and the absolute value force subtracting 0.5.
  • the correlation values S_H and S_NH are ideal on the correlation line shown in Fig. 14, that is, if the reliability is high, the S_H force is also an absolute value obtained by subtracting 0.5.
  • the sum of absolute values of S_NH force subtracting 0.5 is close to 0.5.
  • the correlation values SH and S_NH obtained in steps S12 to S14 and steps S15 to S17 are substituted into the following conditional expressions that also have inequality forces, and the reliability of the correlation values S_H and S_NH depends on whether the conditions are satisfied. Can be determined. However, TH1 and TH2 are values close to 0.5 that satisfy the relationship of THKTH2 (the judgment conditions become more severe when TH1 and TH2 are close to 0.5).
  • step SI9 If it is determined in step SI9 that the correlation is reliable, the pixel that complements the interpolation pixel X is extracted from the surrounding pixels in the direction in which the correlation is determined to be strong in step S18, and the pixel Interpolate (step S20).
  • the directionality of the correlation of the interpolated pixel X is rotated by 45 degrees with respect to the horizontal and vertical axes rather than using only the correlation value S_H in the HV direction as in the past.
  • the correlation value S_NH which calculates the output force of two orthogonal bandpass filters, was also used.
  • the correlation line of the correlation value S_NH in the NH and NV directions is out of phase by 45 degrees with respect to S_H (see Fig. 14).
  • X is diagonal, strong in the direction of displacement, high correlation force, resolution It is possible to specify with. Therefore, when color coding is performed using the color filter shown in FIG. 6, the G signal can be interpolated with higher accuracy than the conventional Bayer arrangement, and as a result, a luminance signal with high resolution can be obtained. I can.
  • step S21 pixel interpolation is performed.
  • the correlation values S_H and S_NH calculated in steps S12 to S17 do not ride on the two correlation lines (A) and (B) shown in Fig. 14, and the reliability of the correlation values is low.
  • SZN-oriented interpolation processing is applied rather than performing resolution-oriented interpolation using surrounding pixels specified based on the correlation direction of the interpolation pixel X.
  • Example 1 color coding (see Fig. 6) is performed to surround the RB component with the G component (see Fig. 6), so in the NH and NV directions rotated by 45 degrees with respect to the HV direction.
  • the correlation in the NH direction can be further calculated based on the output of a set of orthogonal bandpass filters. Therefore, it is possible to determine the direction in which the interpolated pixel X has a strong correlation with the surrounding pixels in all directions (360 degrees), and the interpolation processing can cope with the diagonal interpolation.
  • the resolution of G is inclined 45 degrees. As a result, the resolution can be doubled compared to the Bayer array.
  • step S19 the reliability of the correlation is evaluated, and if the correlation is reliable, interpolation with emphasis on resolution is performed from the direction of correlation, but if the correlation is unreliable, interpolation with emphasis on SZN is performed.
  • the processing method is adaptively switched according to the reliability, a highly accurate interpolation process can be realized.
  • the reliability of correlation is basically high in all regions.
  • the reliability of the correlation may be low in subjects with complicated curves such as jari roads and bushes in general pictures. In this case, it is only necessary to adaptively switch to interpolation processing that emphasizes SZN.
  • FIG. 16 shows a configuration example of the interpolation processing circuit 23A having a hardware configuration for executing the interpolation processing according to the first embodiment.
  • the G4HV direction correlation value calculation circuit 31 calculates a correlation value in the HV direction by performing a filtering process on the HV direction centering on the pixel G4 on the upper left of the interpolation pixel X.
  • the G4HV direction correlation value calculation circuit 31 can be configured by a bandpass filter having the frequency characteristics shown in FIG.
  • the G4HV direction correlation value calculation circuit 31 calculates the correlation value S_H_G4 in the H direction for the pixel G4 from the following arithmetic expression.
  • the G4HV direction correlation value calculation circuit 31 further calculates the correlation value S_V_G4 in the V direction as follows.
  • each HV direction Correlation value calculation circuits 32, 33, and 34 are similar to G4HV direction correlation value calculation circuit 31, and each of pixel G6 on the upper right of interpolation pixel X, pixel Gl on the lower left, and pixel G13 on the lower right
  • the center correlation values S_H_G6, S_H_G11, S_H_G13 and the correlation values S_V_G6, S_V_G11, S_V_G13 in the center are calculated.
  • Each of the correlation value calculation circuits 31 to 35 realizes processing corresponding to step S12 of the flowchart shown in FIG.
  • the selection circuit 35 selects correlation values to be applied to the four medium force interpolation pixels X in each of the H direction and the V direction. Specifically, the selection circuit 35 compares the output values of the bandpass filters calculated in the process of calculating the correlation values in each of the correlation value calculation circuits 31 to 34, and among the four correlation values.
  • the two correlation confidence values Bpf_Max that is, the two most reliable, are adopted as the correlation values of the interpolated pixel X.
  • the selection circuit 35 realizes a process corresponding to step S13 in the flowchart shown in FIG.
  • the average value calculation circuit 36 calculates the average value of the two highest correlation values selected by the selection circuit 35, and outputs it as one correlation value S_H and SV from each HV direction.
  • the average value calculation circuit 36 realizes a process corresponding to step S14 in the flowchart shown in FIG.
  • the G5NH and NV direction correlation value calculation circuit 37 performs a filtering process on the orthogonal NH direction and NV direction around the pixel G5 above the interpolated pixel X to thereby obtain the NH direction and NV direction. A correlation value is calculated.
  • the G5NH and NV direction correlation value calculation circuit 37 can be configured by a bandpass filter having frequency characteristics shown in FIG. Specifically, the G5NH and NV direction correlation value calculation circuit 37 calculates an NH direction correlation value S_NH_G5 for the pixel G5 from the following arithmetic expression.
  • the G5NH and NV direction correlation value calculation circuit 37 further calculates the correlation value S_N V_G5 in the NV direction using the following arithmetic expression force.
  • each NH and NV direction correlation value calculation circuit 38, 39, and 40 are interpolated in the same manner as the G5NH and NV direction correlation value calculation circuit 37. Centering on each of the left pixel G8, right pixel G9, and lower pixel G12 of pixel X The NH correlation values S—NH—G8, S—NH—G9, S—NH—G12, and NV correlation values S—NV_G8, S_NV_G9, S_NV_G12 are calculated, respectively.
  • the correlation value calculation circuits 37 to 40 realize processing corresponding to step S15 in the flowchart shown in FIG.
  • the selection circuit 41 selects correlation values to be applied to the four intermediate force interpolation pixels X in each of the NH direction and the NV direction. Specifically, the selection circuit 41 compares the output values of the bandpass filters calculated in the process of calculating the four correlation values, and the largest correlation confidence value Bpf_Max among the four correlation values, that is, The two most reliable are used as the correlation values of the interpolated pixel X. The selection circuit 41 realizes a process corresponding to step S16 in the flowchart shown in FIG.
  • the average value calculation circuit 42 calculates the average value of the two highest correlation values selected by the selection circuit 41, and outputs it as one correlation value S_NH and S_NV from each of the NH direction and the NV direction.
  • the average value calculation circuit 42 realizes a process corresponding to step S17 in the flowchart shown in FIG.
  • the comparison circuit 43 calculates the directionality of the correlation of the interpolation pixel X, that is, in which direction the interpolation pixel X has a strong correlation with the surrounding pixels. Specifically, the comparison circuit 43 includes one correlation value SH and SV in each HV direction calculated by the average value calculation circuit 36 and each of the NH direction and NV direction calculated by the average value calculation circuit 42. By comparing the correlation values S_NH and S_NV with the correlation diagram shown in Fig. 14, the direction of correlation is specified. The comparison circuit 43 realizes a process corresponding to step S18 in the flowchart shown in FIG.
  • the determination circuit 44 determines whether or not the calculation result of the comparison circuit 43, that is, the directionality having a strong correlation, has the reliability of the correlation. Specifically, the determination circuit 44 determines whether the two correlation values S_H and S_NH calculated by the averaging calculation circuits 36 and 42 are on the two correlation lines (A) and (B) shown in FIG. The power to consider that there is a correlation These two correlation values S_H and S_NH are not on the two correlation lines (A) and (B)! / In some cases, it is considered that there is no correlation. The determination result by the determination circuit 44 is supplied to the interpolation circuit 45. The determination circuit 44 implements a process corresponding to step S19 in the flowchart shown in FIG.
  • the interpolation circuit 45 performs a first interpolation circuit that performs resolution-oriented interpolation processing on the interpolated pixel X. Path 451 and a second interpolation circuit 452 that performs SZN-oriented interpolation processing, adaptively according to the reliability of the correlation supplied from the judgment circuit, V, one of the interpolation circuits 451 or 452 To interpolate the process.
  • the first interpolation circuit 451 performs interpolation using pixels in a direction having a correlation in accordance with the determination result that the reliability of the correlation is high from the determination circuit 44. Interpolation processing performed on pixels in a direction with correlation is interpolation processing that emphasizes resolution.
  • the first interpolation circuit 451 realizes a process corresponding to step S20 in the flowchart shown in FIG.
  • the second interpolation circuit 452 performs interpolation using the average value of the peripheral pixels of the interpolation pixel X according to the determination result that the correlation reliability is low from the determination circuit 44.
  • the interpolated pixel X is interpolated according to the following equation using the image signals of the four neighboring pixels surrounding the interpolated pixel X.
  • the interpolation processing performed using the average value of the surrounding pixels of the interpolation pixel X is the interpolation processing with an emphasis on SZN.
  • the second interpolation circuit 452 implements a process corresponding to step S21 in the flowchart shown in FIG.
  • each HV direction correlation value calculation circuit 31 to 34 and each NH and NV direction correlation value calculation circuit 37 to 40 are configured by bandpass filters. Absent. These correlation value calculation circuits may be configured using, for example, a high-pass filter such as a differential filter, or may be configured as a high-pass filter by combining a low-pass filter and an inverter that inverts the output of the low-pass filter. It is pretty.
  • G which is the main component in creating the luminance component
  • G4 is the eight surrounding pixels positioned in the horizontal, vertical, and diagonal directions with respect to the interpolation pixel X, that is, the image.
  • Element G4, G5, G6, G8, G9, Gl l, G12, G13 [This is a self-contained device that achieves high luminance resolution.
  • a correlation diagram and a correlation diagram are obtained by obtaining a plurality of correlation values for a solid-state imaging device having such a color coating filter. By comparing, the correlation can be judged for all directions (360 degrees). In other words, the G signal can be interpolated with higher accuracy for the color coating shown in Fig. 6, compared to the conventional payer arrangement. A high resolution luminance signal can be obtained.
  • the interpolation processing method is determined depending on whether the correlation reliability is high or low by comparing a plurality of correlation values with a correlation diagram.
  • the pixel information in the determined direction is used to perform interpolation processing with an emphasis on resolution, and when it is determined that the correlation reliability is low,
  • interpolation with emphasis on SZN using values obtained by averaging the information of the peripheral pixels of the correction pixel, it is possible to realize high-performance interpolation processing with higher resolution and resistance to SZN.
  • FIG. 17 shows color coding example 2 that is an object of interpolation processing according to the second embodiment of the present invention.
  • each pixel pitch in the horizontal and vertical directions is 2d, and each pixel is shifted by 1Z2 with a pixel pitch of 2d for each row and for each column (odd and even rows in the horizontal direction).
  • G and R are arranged alternately in the first row, with the pixel pitch shifted by 1Z2 in the odd-numbered and even-numbered columns in the vertical direction by 1Z2 in the pixel pitch.
  • the second line is the G line where only G is arranged
  • the third line is the GB line where B and G are arranged alternately
  • the fourth line is the G line where only G is arranged, and so on.
  • Color coding example 2 shown in Fig. 17 is the color component that is the main component in creating the luminance (Y) component.
  • This color coding is the color coding itself in which the color arrangement in color coding example 1 shown in FIG. 6 is inclined by 45 degrees.
  • the sampling rate in the color coding example 2 shown in FIG. 17 is considered in the horizontal and vertical directions
  • the sampling rate of G is dZ 2 and the sampling rate of R and B is 22d. That is, R and B are arranged every other column (odd column in this example) and every other row (odd row in this example) so that the sampling rate in the horizontal and vertical directions is 1Z4 with respect to G. Has been. Therefore, there is a 4 times resolution difference between G and R and B in the horizontal and vertical directions. Also, considering the sampling rate at an angle of 45 degrees, the G The sampling rate is d, and the sampling rate for R and B is 2d.
  • R and B have the same pixel array interval, only R is described here.
  • the sampling rate of R is 22d in the horizontal and vertical directions, it is possible to capture the R signal up to a frequency of (lZ4 2) fs based on the sampling theorem.
  • the R sampling rate is 2d, so the R signal can be captured up to a frequency of (1/2) fs based on the sampling theorem.
  • the solid-state imaging device having an oblique pixel arrangement can obtain a high resolution because the pixel pitch is narrower than that in the case of a square lattice pixel arrangement.
  • the second embodiment is characterized by an interpolation process for the color coding example 2 shown in FIG.
  • the interpolation process will be specifically described.
  • FIG. 18 shows the color coding example 2 shown in FIG. 17 re-expressed with a square lattice. It can be seen that the arrangement of G in color coding example 1 shown in FIG. 6 and the arrangement of G in FIG. 18 are rotated 45 degrees. Therefore, with respect to the color coding example 2 shown in FIG. 17, the G pixel at the spatial position of the R and B pixels is increased in the positional relationship obtained by rotating the interpolation process according to the first embodiment described above by 45 degrees. Understand that you can interpolate with precision.
  • FIG. 19 shows a configuration example of the interpolation processing circuit 23B that executes the interpolation processing according to the second embodiment.
  • the interpolation processing circuit 23B according to the present embodiment has a pre-stage interpolation processing. It has a two-stage configuration consisting of a logic circuit 231 and a post-stage interpolation processing circuit 232.
  • the pre-stage interpolation processing circuit 231 basically performs interpolation processing in the same procedure as in the first embodiment, and thereby, in the G pixel array in FIG. 18, G pixels at the spatial positions of R and B pixels. Can be interpolated.
  • FIG. 20 shows the result of the interpolation processing by the pre-stage interpolation processing circuit 231, that is, the result of interpolating G pixels at the spatial positions of R and B pixels in the G pixel array of FIG.
  • the G array in Fig. 20 is interpolated with high accuracy.
  • G is arranged in a pinecone shape.
  • the post-stage interpolation processing circuit 232 basically performs the interpolation processing in the same procedure as that for the above-described Bayer array, and thereby performs the interpolation processing for the G pixel array in FIG. Do.
  • G is generated for all pixels from G arranged in a pine pattern.
  • FIG. 21 shows the result of the interpolation processing by the post-stage interpolation processing circuit 232, that is, the result of interpolation on all the G forces G arranged in the pine pattern.
  • the interpolation processing by the pre-stage interpolation processing circuit 231 that is, the interpolation processing according to the first embodiment
  • the interpolation processing by the post-stage interpolation processing circuit 232 By performing interpolation processing in combination with layer array interpolation processing, it is possible to obtain G resolution up to the limit resolution.
  • FIG. 22 shows the spatial resolution characteristics in each of the Bayer arrangement, color coding example 1 shown in FIG. 6, and color coding example 2 shown in FIG. Comparing the resolution of color coding example 1 shown in Fig. 6 with the resolution of color coding example 2 shown in Fig. 17, the resolution of color coding example 2 shown in Fig. 17 is better in the horizontal and vertical directions. It is advantageous. In general, when a subject is photographed with a camera, an image including a linear component is often distributed in the horizontal and vertical directions. From this viewpoint, it can be said that the color coding example 2 shown in FIG. 17 is more advantageous than the color coding example 1 shown in FIG.
  • the interpolation processing circuit 23B 'shown in FIG. 23 is provided with a switch 233 on the input side of the post-stage interpolation processing circuit 232, and the output signal of the pre-stage interpolation processing circuit 231 and the WB circuit 22 (see FIG. 1). And the output signal (input signal of the pre-stage interpolation processing circuit 231) can be selectively input to the post-stage interpolation processing circuit 232.
  • the present invention is a main component when calculating a luminance component for a pixel array in which each pixel is arranged in a square lattice so as to be equally spaced in the horizontal direction and the vertical direction.
  • Color component force Main color filter array that calculates the luminance component of an image signal that has been color-coded using a color filter that is placed around each of the other color components. Suitable for interpolation processing.
  • the power of the present invention is not limited to a specific color coding.
  • Fig. 8 and Fig. 17 are used as the color coding that surrounds each of R and B with G, which is a main component in creating a luminance component.
  • the color coding to which the present invention can be applied is not limited to these two color coding examples.
  • the first row is arranged by repeating RGGG in units of 4 pixels in the horizontal direction
  • the second row contains only G
  • the third row is 4 pixels in the horizontal direction.
  • the interpolation processing according to the present invention is similarly performed. Can be applied.
  • the interpolation processing similar to the force G described with attention to the interpolation processing of the G signal to achieve high resolution with respect to the luminance signal is performed using R, B, or other colors such as It can also be applied to cyan and yellow.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　色コーディングされたＲＧＢ画像をより高い精度で色フィルタ配列補間を施して、より高い輝度解像度を得られるようにする。 　水平及び垂直方向に配置した１組のバンドパスフィルタの出力から補間対象画素の周囲画素について第１の相関値を算出するとともに、垂直方向に対し±４５度だけずらして配置した１組のバンドパスフィルタの出力から周囲画素について第２の相関値を算出する。第１及び第２の相関値を相関線と比較して、補間対象を取り囲む全方向（３６０度）に渡って相関の方向を判定し、特定された方向に存在する周囲画素の情報を基に、補間画素Ｘの補間を行なう  

Description

画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ ·プロ グラム
技術分野
[0001] 本発明は、所定の色コーディングのフィルタ (色フィルタ）を有する固体撮像装置の 出力信号を処理する画像処理装置及び画像処理方法、これら画像処理装置又は画 像処理方法を用いた撮像装置、並びにコンピュータ 'プログラムに関する。
背景技術
[0002] カメラは、視覚的な情報を記録する手段として長!、歴史を持つ。最近では、フィルム や感光板を使って撮影する銀塩カメラに代わって、 CCD (ChargeCoupled Device )や CMOS (Complementary Mental -Oxide Semiconductor)などの固体撮 像素子で捕捉した画像をデジタルィ匕するデジタルカメラが広範に普及している。
[0003] 固体撮像素子を利用したイメージ ·センサは、 2次元に配列された各画素（フォトダ ィオード）が光電効果を利用して光を電荷に変換する仕組みにより構成される。通常 、受光面に R (赤）、緑 (G)、青 (B)の 3色力もなる色フィルタを設け、入射光を人間の 目で見える 3原色に色分解する。そして、各画素では色フィルタを通した入射光量に 対応して蓄積された信号電荷を読み取ることで、人間の目に見える RGB画像信号を 得ることができる。
[0004] さらに、 RGB画像信号を YUV画像信号に色空間変換して、表示出力や画像記録 に使用される。 YUVは、輝度信号 Yと赤の色差 U及び青の色差 Vからなる 2つの色 度で色を表現するものであり、 YUV変換することで、輝度に対する解像度は高いが 色に対する解像度が低 、と 、う人間の視感度特性を利用して、データ圧縮を行な ヽ 易くなる。例えば、 NTSC (National Television Standards Committee)規格 では、以下の 3式により RGB力 YUVへの色空間変換が施される。
[0005] Y=0. 6G + 0. 3R+0. IB …… (1)
Cr (R— Y) =R—（0. 3R+0. 6G + 0. IB) · '· (2)
Cb (B-Y) =B- (0. 3R+0. 6G + 0. IB) · '· (3) [0006] 例えば、 R (赤）、 G (緑)、 B (青）の原色フィルタを 3個の固体撮像装置に対して同 空間位相に配置することで高解像度な RGB信号を得て、高画質化を実現した 3板式 撮像装置が知られている。しかし、 3板式撮像装置は、 3個の固体撮像装置を用いて 入射光を RGBの色毎に分解するプリズムを用いる必要があるため、装置の小型化や 低コストィ匕を図る上で難がある。
[0007] 一方、 1個の固体撮像装置に RGBの色フィルタを画素単位で適当に配列すること で、小型化'低コストィ匕を図った単板式撮像装置もある。この単板式撮像装置では、 R、 G、 Bの各色フィルタを画素単位で間欠的に配列した色コーディングが施されて いる。色コーティングの代表的なものとして、従来力も広く用いられているべィヤー配 列が挙げられる（図 24を参照のこと)。
[0008] 色コーディングすると、 Rの色フィルタが配置された画素では G及び Bの成分の情報 が欠落し、 Gの色フィルタが配置された画素では R及び Bの成分の情報が欠落し、 B の色フィルタが配置された画素では G及び Rの成分の情報が欠落することになる。後 の信号処理で色空間変換を行なう際、各画素にお!、て RGBすべての信号が必要で ある。何故ならば、空間的に位相が異なる RGB信号力 上式（1)〜（2)を用いて輝 度信号 Yや色差信号 Cr、 Cbを生成すると、色偽信号を作る原因となる力 である。こ のため、色フィルタ配列補間により各画素で失われた色信号を復元して、同じ空間位 相の RGB信号を作った上で（図 25を参照のこと）、色空間変換を行なう必要がある。 このような補間技術は「デモザイク」と呼ばれる。
[0009] RGB信号の補間精度は色コーディングに依存するから、色コーディングに応じて 固体撮像装置の特性が異なることになる。図 24に示したペイヤー配列は、奇数行目 に Rの色フィルタと Gの色フィルタとを交互に配列し、偶数行目に Gの色フィルタと Bの 色フィルタを交互に配列している。べィヤー配列では、 RBの各色フィルタに対して G の色フィルタを多く配列した構成を採って 、るので、 RBよりも Gをより高 、精度で補間 することができる。
[0010] 上式（1)から明らかなように、 Gは輝度信号を作る上で主成分であり、輝度信号の 解像度は Gの解像度に大きく依存する。画像信号の解像度は画素のサンプリングレ ート lZfsに比例するが（fsは画素のサンプリング周波数）、べィヤー配列によれば、 Gの色フィルタ配列補間の精度を向上させることで、 RBの解像度よりも Gの解像度が 高いという特性を得ることができる。人間は輝度に対しての解像度が高ぐ色に対す る解像度が低 ヽと ヽぅ視感度特性を持つので、べィヤー配列は人間の視感特性をう まく利用した色コーディングと言える。
[0011] また、補間技術によって、空間的に位相が異なる RGB信号から同空間位相の RGB 信号を如何に最適に作ることができるかが重要である。画像信号の補間処理が最適 でないと、高解像度の画像が得られな力つたり、あるいは、偽色信号が発生したりす る原因となる。
[0012] 例えば、べィヤー配列で色コーディングされた RGB画像信号の補間処理を行なう 際に、補間すべき画素の近傍 8画素、すなわち注目画素の上、下、右、左、右上、右 下、左上、左下の計 8画素の変化量を算出し、この算出した変化量に重み付けをして 相関値を算出するとともに、この算出した相関値を基にして補間係数を決定し、補間 データに対して補間係数をそれぞれ掛け合わせた後で加算する画像処理装置につ いて提案がなされている（例えば、特許文献 1を参照のこと)。
[0013] この画像処理装置によれば、補間係数に基づいて上記 4つの画素情報を基に補間 処理を行なうことにより、相関値の算出方向に対して直交して ヽな 、方向のエッジに 対しても良好に相関の度合いを判定できることから、補間処理後の斜めエッジがぼや けることなく良好に再現できるとともに、折れ曲がった線や、直角に曲がった角の部分 などにおいても良好に補間することが可能となる。
[0014] ところで、べィヤー配列においては、色フィルタの配列から決定される Gの解像度と RBの解像度の限界解像度は斜め 45度方向で同じである。 Gは輝度信号を作る上で の主成分であって輝度解像度に大きく依存し、 RBは色差信号の解像度に大きく依 存するために、 Gの解像度を上げることが高解像度な画像を生成するポイントとなる。 また、人間の目は、輝度に関しては高い周波数まで認識できる力 色に関しては高 い周波数を認識することが困難であるいう性質があることから、ペイヤー配列は色解 像度と輝度解像度のバランスが人間の視感度特性と十分にはマッチングして 、な ヽ と資料される。
[0015] カゝかる点に鑑み、本出願人は、輝度成分を作る上で主成分となる G成分を、他の R B成分の各々の周囲を囲むように配置し、べィヤー配列に対して RBの画素数を 1Z 2にする代わりに Gを増やすことで、色解像度を若干犠牲にするが輝度解像度を約 2 倍に上げた色コーディングについて提案している（例えば、特願 2005— 107037号 明細書を参照のこと）。このような色コーディングの方力 べィヤー配列の色コーディ ングよりも人間の視感度特性にマッチする力 べィヤー配列の色コーディングの場合 よりも高い解像度を出すベぐより高度な補間処理が必要になる。
[0016] 特許文献 1 :特開平 11 177994号公報
発明の開示
発明が解決しょうとする課題
[0017] 本発明の目的は、色コーディングされた RGB画像をより高 、精度で色フィルタ配列 補間を施して、より高い輝度解像度を得られるようにした、優れた画像処理装置及び 画像処理方法、撮像装置、並びにコンピュータ 'プログラムを提供することにある。 課題を解決するための手段
[0018] 本発明は、上記課題を参酌してなされたものであり、その第 1の側面は、色コーディ ング用の色フィルタを有する撮像手段により撮像された画像を処理する画像処理装 ¾【こ; i l /、て、
画像信号を入力する手段と、
前記画像信号について、画素間の相関度合いを示す、少なくとも第 1の相関値及 び第 2の相関値を算出する相関値算出手段と、
前記第 1の相関値と前記第 2の相関値とに基づいて、所望の画素を補間する際に 使用する他の画素を特定する補間用画素特定手段と、
前記補間用画素特定手段により特定された画素から前記所望の画素を補間する 補間手段と、
を具備することを特徴とする画像処理装置である。
[0019] 本発明に係る画像処理装置は、例えば、各画素が水平方向及び垂直方向で等間 隔となるように正方格子状に配列された画素配列に対して、輝度成分を算出する際 に主成分となる色成分力 他の色成分のそれぞれの周囲を囲むように配置した色フ ィルタを用いた色コーディングが施された画像信号に対して、色フィルタ配列補間を 行なうものである。あるいは、色コーディング用の色フィルタ上には、各画素が 1行毎 及び 1列毎に画素ピッチの 1Z2ずつずれた斜め画素配列に対して、輝度成分を算 出する際に主成分となる色成分力 他の色成分のそれぞれの周囲を囲むように配置 されている。
[0020] このような色コーディングは、べィヤー配列に対して RBの画素数を 1Z2にする代 わりに Gを増やすことにより、理論的な Gの限界解像度が上がる。したがって、 Gの高 精度に補間処理することによって Gの解像度が限界解像度付近まで向上するので、 色解像度を若干犠牲にするものの、輝度解像度を約 2倍に向上させることができる。
[0021] 相関値算出手段は、補間対象となる (すなわち輝度信号の主成分となる Gが欠落し た)空間位置の画素にお 、て Gを補間する際、その画素を取り囲む周囲の画像信号 について、画素間で Gの相関の強さを示す相関値を少なくとも 2以上の方向で算出 する。
[0022] 画素間の相関値は、画像の水平方向と垂直方向といった具合に、直交する 2方向 で画像信号をフィルタリングし、そのフィルタ出力から 1つの方向特性において相関 値を算出することができる。ここで言うフィルタは、好ましくは DC成分を除去するバン ドパスフィルタであり、微分フィルタを始めとするハイパスフィルタを使用することがで きる。
[0023] 水平方向のバンドバスフィルタ出力を BPF (H)、垂直方向のバンドパスフィルタ出 力を BPF (V)とおくと、水平垂直方向 HVの相関値 S (HV)は BPF (H) /{BPF (H) + BPF (V) }で表される。そして、 S (HV)は 0〜1の値をとる力 1に近づくと水平方 向に画像信号のうねりがあり、垂直方向にお!/、て画素間の相関が高!、ことを表すか ら、所望画素を取り囲む周囲画素のうち垂直方向に位置する画素を補間用の画素と して特定することが好ましい。逆に S (HV)が 0に近づくと、垂直方向に画像信号のう ねりがあり、水平方向において画素間の相関が高いことを表す力 所望画素の水平 方向に位置する画素を補間用の画素として特定することが好ま 、。
[0024] 相関値算出手段は、水平垂直方向の相関値 S (HV)を第 1の相関値として算出す ることができる。但し、単一の方向特性で算出した相関値のみを使用する場合、相関 値 S (HV)が 0. 5付近の値となるときには、垂直軸に対し +45度の方向で画素間の 相関が高いのか、あるいは 45度の方向で画素間の相関が高いのかが不明となり、 補間用の画素を特定することができなくなる。
[0025] そこで、相関値算出手段は、さらに第 1の相関値とは異なる方向特性において第 2 の相関値を求め、第 1の相関値が中間的な値となるときを補い、補間用画素特定手 段において画素を補間する方向を特定する分解能を向上させるようにした。
[0026] 相関値算出手段は、第 1の相関値を算出する際に用いる 1組の直交するフィルタと は方向特性の異なる他のもう 1組の直交するフィルタを配設して、これらのフィルタ出 力に基づいて第 2の相関値を算出する。
[0027] 上述したように第 1の相関値として水平垂直方向 HVの相関値 S (HV)を算出する 場合、第 2の相関値として、非水平方向 NHのバンドパスフィルタ出力 BPF (NH)と、 BPF (HN)とは直交する非水平方向 NHのバンドパスフィルタ出力 BPF (NH)を基 に算出される非水平非垂直方向 NHZNVの相関値 S (NH/NV)を用いることがで きる。 S (NHZNV)は、 BPF (NH) Z{BPF (NH) +BPF (NV) }で表される。
[0028] 垂直方向 Hに対してそれぞれ ±45度だけ回転させた方向を非水平方向 NH、非 垂直方向 NVとして、直交する NH及び NV方向にそれぞれ配置したバンドパスフィ ルタの出力力 第 2の相関値を求める場合、第 1の相関値と第 2の相関値は一方が 0 . 5付近の相関値であるときに他方の相関値で補い合うことができ、補間方向を特定 するための分解能が最大限となる。
[0029] すなわち、本発明に係る画像処理装置によれば、補間用画素特定手段は、相関値 算出手段により求めた複数の相関値を比較することによって相関の方向を全方向（3 60度）に渡って判定することが可能であり、補間すべき方向をより細かい粒度で特定 することができる。そして、補間手段は、その特定された方向に存在する画素の周辺 画素の情報を基に、補間対象となる画素に対して補間処理を行なうようにすればよい
[0030] また、本発明の第 2の側面は、色コーディング用の色フィルタを有する撮像手段に より撮像された画像を処理する画像処理装置において、
画像信号を入力する手段と、
前記画像信号について、画素間の相関度合いを示す、少なくとも第 1の相関値及 び第 2の相関値を算出する相関値算出手段と、
前記相関値算出手段により算出した各相関値に関する信頼度を算出する信頼度 算出手段と、
前記信頼度に応じた補間処理で所望の画素を補間する補間手段と、
を具備することを特徴とする画像処理装置である。
[0031] 本発明の第 1の側面によれば、補間対象となる画素の周囲画素に関して、方向特 性の異なる 2以上の相関値を求め、これら複数の相関値を比較することによって相関 の方向を全方向（360度）に渡って判定して、補間すべき方向をより細かい粒度で特 定することができる。し力しながら、このような補間する方向の特定方法は、各方向特 性において求めた相関値が信頼できるものであることが前提となる。
[0032] そこで、本発明の第 2の側面に係る画像処理装置では、前記第 1の相関値と前記 第 2の相関値に関する信頼度を算出し、信頼度に応じた補間処理方法を用いて所望 の画素信号を補間するように構成した。例えば、前記相関値算出手段により算出さ れた各相関値の和に基づいて信頼度を算出することができる。
[0033] ここで、算出した相関値が信頼性のある場合には、本発明の第 1の側面に係る画像 処理装置と同様に、求めた複数の相関値を相関線と比較することによって相関の方 向を全方向（360度）に渡って判定することにより、補間すべき方向を決定して、より 精度の高い画素補間を行なう。この結果、精度の高い G信号を基に、解像度の高い 輝度信号を得ることができる。
[0034] 他方、算出した相関値が信頼性に欠けるときには、補間する対象となる画素の周辺 画素の情報の平均値を用いて補間を行なう。この場合、補間される画素の精度は抑 えられ、解像度の高い輝度信号を得ることはできない反面、平均化処理により SNを 向上することができる。
[0035] また、本発明の第 3の側面は、色コーディング用の色フィルタを有する撮像手段に より撮像された画像に対する処理をコンピュータ上で実行するようにコンピュータ可読 形式で記述されたコンピュータ 'プログラムにおいて、前記コンピュータに対し、 前記撮像手段による画像信号について、画素間の相関度合いを示す、少なくとも 第 1の相関値及び第 2の相関値を算出する相関値算出手順と、 前記第 1の相関値と前記第 2の相関値とに基づいて、所望の画素を補間する際に 使用する他の画素を特定する補間用画素特定手順と、
前記補間用画素特定手順を実行して特定された画素から前記所望の画素を補間 する補間手順と、
を実行させることを特徴とするコンピュータ ·プログラムである。
[0036] また、本発明の第 4の側面は、色コーディング用の色フィルタを有する撮像手段に より撮像された画像に対する処理をコンピュータ上で実行するようにコンピュータ可読 形式で記述されたコンピュータ 'プログラムにおいて、前記コンピュータに対し、 前記撮像手段による画像信号について、画素間の相関度合いを示す、少なくとも 第 1の相関値及び第 2の相関値を算出する相関値算出手順と、
前記相関値算出手順を実行して算出された各相関値に関する信頼度を算出する 信頼度算出手順と、
前記信頼度に応じた補間処理で所望の画素を補間する補間手順と、
を実行させることを特徴とするコンピュータ ·プログラムである。
[0037] 本発明の第 3及び第 4の各側面に係るコンピュータ 'プログラムは、コンピュータ上 で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ 'プロ グラムを定義したものである。換言すれば、本発明の第 3及び第 4の各側面に係るコ ンピュータ'プログラムをコンピュータにインストールすることによって、コンピュータ上 では協働的作用が発揮され、本発明の第 1及び第 2の各側面に係る画像処理装置と 同様の作用効果をそれぞれ得ることができる。
発明の効果
[0038] 本発明によれば、色コーディングされた RGB画像をより高 、精度で色フィルタ配列 補間を施して、より高い輝度解像度を得られるようにした、優れた画像処理装置及び 画像処理方法、撮像装置、並びにコンピュータ 'プログラムを提供することができる。
[0039] 本発明によれば、とりわけ、各画素が水平方向及び垂直方向で等間隔となるように 正方格子状に配列された画素配列において、輝度成分を算出する際に主成分とな る色成分力 他の色成分のそれぞれの周囲を囲むように配置した色フィルタを用い た色コーディングが施された画像信号に対し、輝度成分を算出する主成分の色フィ ルタ配列補間を高精度に行なうことができる。
[0040] また、本発明に係る画像処理装置は、補間対象となる画素に対して相関の方向を 全方向（360度）について判定できることから、その判定した方向を基に適切な補間 処理を行なうことができる。
[0041] 本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する 図面に基づくより詳細な説明によって明らかになるであろう。
図面の簡単な説明
[0042] [図 1]図 1は、本発明に係る画像処理装置又は画像処理方法を適用した撮像装置の 構成の一例を示したブロック図である。
[図 2]図 2は、べィヤー配列で Gのみを抜き出した画素配列を示した図である。
[図 3]図 3は、解像度チャートを示した図である。
[図 4]図 4は、バンドパスフィルタの周波数特性を示す図である。
[図 5]図 5は、べィヤー配列における G解像度と RB解像度の限界解像度を示した図 である。
[図 6]図 6は、本発明の実施例 1に係る補間処理の対象となる色コーディング例を示し た図である。
[図 7]図 7は、色コーディング例における G解像度と RB解像度の限界解像度を示した 図である。
[図 8]図 8は、色コーディング例で Gのみを抜き出した画素配列を示した図である。
[図 9]図 9は、 H方向、 V方向、 NH方向及び NV方向の関係を示した図である。
[図 10]図 10は、本発明の実施例 1に係る補間処理の手順を示したフローチャートで ある。
[図 11]図 11は、 HV方向のバンドパスフィルタの周波数特性を示した図である。
[図 12]図 12は、 NH、 NV方向のバンドパルスフィルタの周波数特性を示した図であ る。
[図 13]図 13は、解像度チャートを示した図である。
[図 14]図 14は、周波数チャートにおける各ポイントとその相関値の関係を示した相関 線図である。 [図 15]図 15は、相関値と補間値の関係を示した図である。
[図 16]図 16は、実施例 1に係る補間処理を実行する補間処理回路の構成の一例を 示したブロック図である。
[図 17]図 17は、本発明の実施例 2に係る補間処理の対象となる色コーディング例を 示した図である。
[図 18]図 18は、色コーディング例を正方格子で表現した図である。
[図 19]図 19は、実施例 2に係る補間処理を実行する補間処理回路の構成の一例を 示したブロック図である。
[図 20]図 20は、前段補間処理回路による補間処理の結果を示した図である。
[図 21]図 21は、後段補間処理回路による補間処理の結果を示した図である。
[図 22]図 22は、べィヤー配列、色コーディング 1、色コーディング 2での空間解像度 特性を示した図である。
[図 23]図 23は、実施例 2に係る補間処理を実行する補間処理回路の変形例を示し たブロック図である。
[図 24]図 24は、べィヤー配列の色コーディングを示した図である。
[図 25]図 25は、色コーディングが施された画像をデモザイク処理する様子を示した図 である。
[図 26]図 26は、補間画素 Xの周囲 4画素をそれぞれ中心とした HV方向の相関値を 算出する様子を示した図である。
[図 27]図 27は、 S_H_G4と S_H_G13を信頼できる相関値として選択した様子を示し た図である。
圆 28]図 28は、補間画素 X中心とした HV方向の相関値を算出する様子を示した図 である。
[図 29]図 29は、補間画素 Xの周囲 4画素をそれぞれ中心とした NH及び NV方向の 相関値を算出する様子を示した図である。
[図 30]図 30は、 S_NH_G5と S_NH_G9を信頼できる相関値として選択した様子を示 した図である。
[図 31]図 31は、補間画素 Xを中心とした NH及び NV方向の相関値を算出する様子 を示した図である。
[図 32]図 32は、 S_H (図 14中の相関線 (A) )から 0. 5を引き算した絶対値力もなる相 関線と、 S_NH (図 14中の相関線 (B) )力も 0. 5を引き算した絶対値力もなる相関線 をそれぞれプロットした相関線図である。
符号の説明
11· ,·撮像レンズ
12· ,·撮像デバイス
14· ··カメラ信号処理回路
21 · ··光学系補正回路
22· '•WB (ホワイトバランス）回路
23、 23Α、23Β、 23Β' …補間処理回路
24· '·ガンマ補正回路
25· ••Υ (輝度)信号処理回路
26· '•C (クロマ)信号処理回路
27· ' '·帯域制限 LPF (ローパスフィルタ）
28· ' -間引き処理回路
31- 34、 37〜40…相関値算出回路
35、 41 · ··選択回路
36、 42…平均値算出回路
43· ·比較回路
44· · •判定回路
45· · •補間回路
発明を実施するための最良の形態
[0044] 以下、図面を参照しながら本発明の実施形態について詳解する。
[0045] 図 1には、本発明に係る画像処理装置又は画像処理方法を用レ、た撮像装置の構 成の一例を示している。
[0046] ここで言う撮像装置、撮像デバイスとしての固体撮像装置、当該固体撮像装置の撮 像面 (受光面）上に被写体の像光を結像させる光学系及び当該固体撮像装置の信 号処理回路を含むカメラモジュール、当該カメラモジュールを搭載したデジタルスチ ルカメラやビデオカメラなどのカメラ装置、携帯電話などの電子機器を含むものとする
[0047] 図 1において、被写体（図示せず)からの像光は、光学系、例えば撮像レンズ 11に よって撮像デバイス 12の撮像面上に結像される。撮像デバイス 12として、光電変換 素子を含む画素が行列状に多数 2次元配置され、輝度成分を作る上で主成分となる 色成分と他の色成分を含む色フィルタが画素の表面上に配置されてなる固体撮像 装置が用いられる。
[0048] 色フィルタを有する固体撮像装置としては、 CCD (Charge Coupled Device :電 荷結合素子）に代表される電荷転送型固体撮像装置や、 MOS (Metal Oxide Se miconductor:金属酸化型半導体）に代表される X— Yアドレス型固体撮像装置な どのうち 、ずれであってもよ!/、。
[0049] また、以下では、色フィルタにお 、て、輝度 (Y)成分を作る上で主成分となる色成 分として例えば緑色 (G)を、他の色成分として例えば赤色 (R)、青色 (B)をそれぞれ 例に挙げて説明する。但し、本発明の要旨はこれらの色成分の組み合わせに限られ るものではなぐ Y成分を作る上で主成分となる色成分として、例えばホワイト、シアン 、イェローなどを用い、他の色成分として、例えばマゼンタ、シアン、イェローなどを用 いることも可能である。
[0050] 撮像デバイス 12では、入射する像光のうち、各色成分の光のみが色フィルタを通過 して各画素に入射する。画素の各々に入射した光は、フォトダイオードなどの光電変 換素子によって光電変換される。そして、各画素力 アナログ画像信号として読み出 され、 AZD変 13でデジタル画像信号に変換された後、本発明に係る画像処理 装置であるカメラ信号処理回路 14に入力される。
[0051] カメラ信号処理回路 14は、光学系補正回路 21、 WB (ホワイトバランス）回路 22、補 間処理回路 23、ガンマ補正回路 24、 Υ (輝度)信号処理回路 25、 C (クロマ)信号処 理回路 26、帯域制限 LPF (ローパスフィルタ） 27、間引き処理回路 28などで構成さ れる。
[0052] 光学系補正回路 21は、カメラ信号処理回路 14に入力されるデジタル画像信号に 対して黒レベルを合わせるデジタルクランプ、撮像デバイス 12の欠陥を補正する欠 陥補正、撮像レンズ 11の周辺光量落ちを補正するシェーディング補正など、撮像デ バイス 12や光学系の補正を行なう。
[0053] WB回路 22は、光学系補正回路 21を経た画像信号に対して、ホワイトバランスを調 整する処理を施して、白い被写体に対して RGBが同じになるようにする。補間処理 回路 23は、空間位相の異なる画素を補間によって作り出す、すなわちそれぞれ空間 的に位相がずれた RGB信号力 3枚のプレーン（同じ空間位置の RGB信号)を作り 出す。この補間処理回路 23における具体的な補間処理が本発明の特徴とするところ であるが、その詳細については後述に譲る。
[0054] ガンマ補正回路 24は、同じ空間位置の RGB信号に対してガンマ補正を掛けた後、 Y信号処理回路 25及び C信号処理回路 26に供給する。ガンマ補正は、被写体の色 の階調を正しく表現するために、撮像デバイス 12及び後段の映像再生手段などを含 むシステム全体の光電変換特性を 1とするように、 WB回路 22から出力される R、 G、 Bの色信号に対してそれぞれ所定のゲインを掛ける処理である。
[0055] Y信号処理回路 25は上式（1)から輝度 (Y)信号を作り、また、 C信号処理回路 26 は上式（2)及び（3)力も色差信号 Cr (R-Y)、 Cb (B— Y)を作る。
[0056] 帯域制限 LPF27は、カットオフ周波数がサンプリング周波数 fsの 1/8のフィルタで あり、色差信号 Cr及び Cbに関して通過帯域を（lZ2) fs力 （lZ8) fsまで落とす。 これは TV信号フォーマットに合わせた出力であり、帯域制限を行なわないで出力し た場合には、 lZ8fs以上の周波数信号が偽色信号として出力されてしまう。間引き 処理回路 28は、色差信号 Cr、 Cbのサンプリングの間引きを行なう。
[0057] ここで、ポイントとなるのは、色 (C)信号 (色差信号 Cr、 Cb)は、輝度 (Y)信号に対 して 1Z4以下の帯域しか必要ないことである。その理由は、人間の目の特性として、 輝度に関しては高い周波数まで認識することができるが、色に関しては高い周波数 を認識することが困難であるという性質がある力 であり（前述)、 TV信号のフォーマ ットもそのように取り決められて 、る。
[0058] 実際に、 Y: Cr: Cb =4 :4 :4 ( Yと Cの出力帯域が一緒）の場合と、 Y: Cr: Cb=4 : l ： 1の場合の差分を出力画で観察したとき、特殊な被写体、例えば赤色、青色の点光 源以外の通常の被写体ではその差を識別することは難しい。すなわち、 TV信号フォ 一マットで定められているように、 C信号は Y信号の 1Z4の帯域を持つことで十分な 解像度が得られることが分かる。
[0059] ここで、本発明の特徴部分である補間処理回路 23での補間処理について説明す る。
[0060] 補間処理は、先述したように、色フィルタが間欠的に配列されているために画素に 欠けている色成分の信号を、その周囲の画素すなわち空間位相の異なる画素の信 号を用いた補間によって作り出すと 、う色フィルタ配列補間であり、デモザイクとも呼 ばれる。この補間処理は、解像度の高い画像を得るためには非常に重要な処理とな る。何故ならば、補間処理によってうまく補間できない場合には、偽信号を生成して、 解像度の低下や色偽の発生の原因となってしまうからである。また、輝度信号の主成 分となる G成分を高 、精度で補間できなければ、輝度信号の解像度低下を招来する
[0061] 高い解像度を出すための補間処理として、従来から、相関処理を用いた補間処理 が行なわれている。ここで言う「相関処理」とは、補間対象となる画素について相関が 高い方向の画素の情報を用いて補間する処理のことである。
[0062] 例えば、図 3に示すような解像度チャートからなる入力画像を例にとって、画素の補 間処理について考えてみる。解像度チャートは、中心部分が低周波の信号であり、 中心からの距離が大きくなるにつれて高周波の信号となるチャートである。解像度チ ヤートは、同じ周波数の信号でもさまざまな方向を持っており、解像度チャートの信号 を信号処理回路に入力することで、さまざまな信号に対してどのような処理が適する かを分析することができる。同図において、縦軸上の A点のように横線の被写体のと きは、縦方向には画像信号にうねりが観察される一方、横方向の画像信号の相関は 高いことから、横方向の画素を用いて補間する。また、横軸上の C点のように縦線の 被写体のときは、横方向にはうねりが観察される一方、縦方向の画像信号の相関が 高いことから、縦方向の画素を用いて補間する。このように相関が高い方向の周囲画 像を用いて補間処理を行なうことで、より高い解像度を実現することができる。
[0063] 相関処理を用いた補間処理は、例えば図 2に示すように、巿松状に Gを配列したベ ィヤー配列のような色コーディングにおいて、 Gが存在しない空間位置の画素、例え ば図中の画素 Xの空間位置の G信号を作り出すときの処理に有効である。勿論、 G 信号だけでなぐ残りの R信号並びに B信号についても通常は補間処理を行なう。本 明細書では、輝度信号に関して高解像度を実現するための G信号の補間処理に注 目して説明している力 Gと同様の補間処理を Rや B、あるいはその他の色、例えば シアン、イェローに対して適用することも可能である。
[0064] 補間処理は、補間すべき画素の信号を空間位相の異なる周囲画素の信号を用い た補間によって作り出す処理であるから、補間処理の手順は周囲画素のレイアウトす なわち色コーディングにも依存する。まず、べィヤー配列に対する補間処理について 説明する。図 2から分るように、ペイヤー配列の Gは市松状に配置されており、 G信号 の歯抜け部分 (以下、「補間画素」とも呼ぶ）に対して補間処理を行なう。
[0065] 空間位置 (補間画素) Xを中心として、水平及び垂直方向にバンドパスフィルタによ るフィルタリングをそれぞれかけることで、水平及び垂直方向から観察ときにどの程度 の振幅を持つ画像信号が存在する力 (すなわち水平及び垂直の各方向における画 像信号のうねり）を算出する。バンドパスフィルタは、図 4に示すように、 lZ4fs (但し、 fsはサンプリング周波数）にピークを持ち、 lZ2fsの限界解像度近傍までの信号に 対して値を出力するフィルタである。バンドパスフィルタの出力が大きい場合には、そ の方向に振幅の大きい信号が存在する。逆に、バンドパスフィルタの出力が小さい場 合には、その方向で信号の変動が小さい、すなわち低周波の信号が存在するという ことになる。例えば、微分フィルタを始めとするハイノ スフィルタを用いることができる 力 DC成分を除去するような帯域制限特性を持つフィルタであれば何でもよい。
[0066] ここで、空間位置 (補間画素) Xを中心として水平方向に配置されたバンドパスフィ ルタのフィルタ出力を Bpf_Hとし、同様に垂直方向に配置されたバンドパスフィルタの フィルタ出力を Bpf_Vとすると、これらのフィルタ出力はそれぞれ下式のように表され る。
[0067] Bpf_H= - (G3 + G8) + 2 (G4 + G9) - (G5 + G10)
Bpf_V= - (Gl + G2) + 2 (G6 + G7) (G11 + G12)
[0068] 図 3中の各点 A〜Cにおいて、この 2つのバンドパスフィルタの出力 Bpf_H及び Bpf_ Vを観察してみる。 A点においては、水平方向には画像信号の振幅はないから Bpf_ H = 0となり、 B点においては斜め 45度方向に画像信号の振幅があるために Bpf_H = Bpf_Vとなり、 C点にお 、ては垂直方向には画像信号の新婦はな 、から Bpf_V = 0 となる。
[0069] 続、て、このバンドパスフィルタの出力 Bpf_H及び Bpf_Vを用いることで、水平及び 垂直方向の各相関値 S_H及び S Vを下式力 算出する。
[0070] S— H = Bpf_V/ (Bpf— H + Bpf— V)
S_V= 1 -S_H
[0071] これら水平及び垂直方向相関値 S_H及び S_Vは、水平及び垂直方向の隣接画素 間における画像信号の相関の強さを表している。ここで言う「相関」とは信号の変動比 のことである。上式に示したように、相関値 S_H及び S Vは、水平及び垂直方向にそ れぞれは位置したバンドパスフィルタのフィルタ出力 Bpf _H及び Bpf _Vの割合で表さ れる。信号の変動比が大きい場合には相関が低いことになり、信号の変動比が小さ V、ときは相関が高 、ことになる。
[0072] 図 3に示した例では、 A点においては、 3_11= 1及び3 =0となり、水平方向には 直線成分 (変動がない、若しくはフラットである）とみなすことができるから、信号の変 動比が小さ 、ために水平方向に相関が高ぐ垂直方向には相関がな 、と 、うことに なる。そして、相関値が大きい、すなわち相関が高い方向の画素で補間することで、 補間の精度は向上する。 G信号について精度のよい補間が実現されれば、 Gを主成 分とする輝度信号の解像度も高くなる。
[0073] また、 B点においては、 S_H = S_V=0. 5となり、水平'垂直方向の相関が同一、す なわち水平 ·垂直どちらも同じ画像の変化があることを示している。また、 C点におい ては、 S_H = 0、 S_V= 1となり、垂直方向の相関が高いことを示している。
[0074] 続いて、補間画素 Xの補間値 Xを、下式に従って、上下及び左右の周囲画素の G 信号を用いて算出する。
[0075] X= { (G6 + G7) X S— H + (G4 + G9) X S_V}/2
[0076] 上式力 分力るように、補間画素 Xについて、相関が高い方向に対してより大きな 重みを掛けて補間処理を行なう。例えば、 A点においては、 X= (G6 + G7) Z2となり 、水平方向の画素を用いて補間する。また、 B点においては、 X= (G6 + G7 + G4 + G9) Z4となり、水平'垂直方向の画素を用いて均等な重み付けで補間する。また、 C点においては、 X= (G4 + G9)Z2となり、垂直方向の画素を用いて補間する。
[0077] このように、相関処理を用いて画像信号の振幅の変化が少ない方向、すなわち相 関が高い方向の画素の成分に重みをかけながら（重み付けしながら)補間することで 、高 、解像度を実現することができると 、うことを十分理解された 、。
[0078] 図 5には、べィヤー配列における G解像度と RB解像度のそれぞれの限界解像度を 示している。同図から分るように、 Gの解像度は水平'垂直方向に lZ2fs、斜め 45度 方向には（1Z2 2) fsであり、特に斜め 45度方向では Gの解像度と RBの解像度が 同じである。
[0079] 色空間変換を行なう前述の式（ 1)〜（3)力 分るように、 Gは輝度信号を作る上で の主成分であって輝度解像度に大きく依存し、 RBは色差信号の解像度に大きく依 存する。したがって、 Gの解像度を上げることが高解像度な画像を生成するポイントと なる。また、人間の目には、輝度に関しては高い周波数まで認識できるが、色に関し ては高い周波数を認識することが困難であるいう性質があることから、ペイヤー配列 は色解像度と輝度解像度のバランスが人間の視感度特性とマッチングして 、な 、。
[0080] 力かる点に鑑み、本出願人に既に譲渡されている特願 2005— 107037号明細書 では、輝度成分を作る上で主成分となる G成分を、 RB成分の各々の周囲を囲むよう に配置した色コーディングを提案している（前述)。この色コーディングによれば、べィ ヤー配列に対して RBの画素数を 1Z2にする代わりに Gを増やすことで、色解像度を 若干犠牲にするが輝度解像度を約 2倍に向上することができる。
[0081] このように RB成分を G成分で取り囲むという色コーディングは、べィヤー配列の色コ ーデイングよりも人間の視感度特性にマッチする、と本発明者らは思料する。また、特 に Y: Cr: Cb=4 : 1： 1の出力フォーマットに準拠した信号処理系、例えばビデオカメ ラなどの信号処理系では、上記のような帯域の色コーディングの方が望ましいと言え る。但し、 Gを主成分とする輝度信号を高解像度に得るには、べィヤー配列の色コー デイングの場合よりもさらに高度な補間処理が要求される。
[0082] 以下では、輝度成分を作る上で主成分となる例えば Gを、例えば R、 Bの各々の周 囲を囲むように配置した色コーディングとして 2つの色コーディング例を挙げ、これら 2 つの色コーディング例の各々に対する補間処理を実施例 1及び実施例 2として説明 する。
[0083] [実施例 1]
図 6には、本発明の実施例 1において補間処理の対象とする色コーディング例 1を 示している。同図に示す色コーディング例 1は、画素が水平方向（画素行に沿った行 方向）及び垂直方向（画素列に沿った列方向）で等間隔 (画素ピッチ) dとなるように 正方格子状に配列されている画素配列に対して、 1行目は水平方向の 4画素を単位 として RGBGの繰り返しで配列され、 2行目は Gのみが配列され、 3行目は水平方向 の 4画素を単位として BGRGの繰り返しで配列され、 4行目は Gのみが配列され、以 降、この 4行を単位として繰り返して配列された構成となっている。同図から分るように 、輝度 (Y)成分を作る上で主成分となる色成分 (本例では G)と、他の色成分 (本例で は R及び B)力 Gで R及び Bの各々の周囲を囲むように配置され、また R及び Bが水 平 ·垂直に対して 4dの間隔で配置されることになる。
[0084] 画素間のサンプリングレートを画素ピッチに対応した dとして、サンプリングレートを 水平及び垂直方向で考えた場合、 R及び Bの水平及び垂直方向のサンプリングレー トは、 Gに対して 1Z2のレートとなるように 1列おき (本実施例 1では奇数列)及び 1行 おき（後述する実施例 2では奇数行）に配置されている。すなわち、 Gのサンプリング レートは dであり、 R及び Bのサンプリングレートは 2dであり、 Gと R及び Bの間には水 平及び垂直方向に 2倍の解像度の差がある。また、サンプリングレートを斜め 45度方 向で考えると、 Gのサンプリングレートは dZ2 2であり、 R及び Bのサンプリングレー トは 2dZ 2である。
[0085] ここで、空間周波数特性について考察してみる。水平及び垂直方向については、 G のサンプリングレートが dであるから、サンプリング定理に基づき（lZ2) fsの周波数ま で G信号を捉えることができる。また、斜め 45度方向については、 Gのサンプリングレ ートが dZ2 2であるから、サンプリング定理に基づき（1Z 2) fsまで G信号を捉え ることがでさる。
[0086] 同様に R及び Bの空間周波数特性についても考察してみる。但し、 Rと Bは画素配 列の間隔が同じであり同様に考えることができるから、以下では Rだけについて述べ る。水平及び垂直方向については、 Rのサンプリングレートが 2dであるから、サンプリ ング定理に基づき lZ4fsの周波数まで R信号を捉えることが可能である。また、斜め 45度方向については、 Rのサンプリングレートが dZ2 2であるから、サンプリング定 理に基づき（1Z4 2)fsの周波数まで信号を捉えることができる。
[0087] 図 7には、図 6に示した色コーディング例 1における空間周波数特性を示している。
Gは水平及び垂直方向に関して（1Z2) fsの周波数まで信号を捉えることができ、斜 め 45度方向に関して（1Z 2) fsまでの信号を捉えることができる。また、 R及び Bは 水平及び垂直方向に関して（1Z4) fsの周波数まで信号を捉えることができ、斜め 4 5度方向に関して（1Z4 2) fsの周波数までの信号を捉えることができる。すなわち 、図 5と図 7の対比から明らかなように、図 6に示した色コーディング例 1を用いること で、 G限界解像度がべィヤー配列に対して大幅に向上するから、 G信号を主成分と する輝度信号の解像度は約 2倍になる。
[0088] 続いて、図 6に示した色コーディング例 1に対する補正処理について、以下で具体 的に説明する。図 8には、図 6に示した色コーディング例 1の Gだけを抜き出した画素 配列を示している。
[0089] 図示の通り、補間画素 Xを取り囲む水平 ·垂直 ·斜め方向の合計 8個の周囲画素、 すなわち画素 G4、 G5、 G6、 G8、 G9、 Gl l、 G12、 G13に G信号力 S存在しており、 これらを用いて補間画素 Xの G信号の補間処理を行なう。べィヤー配列の色コーディ ングでは、水平及び垂直 4方向にしか Gの画素が存在しない。これに対して、図 6に 示した色コーディング例 1では、水平、垂直、及び斜め方向に 8画素が存在し、補間 画素 Xを観察すると、 Gの画素が碁盤の目のように配置されていることが分かる。この ことが高解像度を実現する上でも非常に重要である。
[0090] 本実施例 1では、補間処理回路 23は、水平及び垂直方向だけでなく斜め方向に ついても補間画素 Xと周囲画素との相関関係を求め、水平及び垂直方向の相関と斜 め方向の相関の関係から、実際にどの周囲画素を用いて補間を行なったらよいかを 判断しつつ補間処理を行なう。
[0091] 図 10には、補間処理回路 23において実施される補間処理の手順をフローチャート の形式で示している。以下では、図 9に示すように、水平方向を H方向、垂直方向を V方向、 H方向に対して 45度だけ右回転した軸方向を NH方向、 H方向に対して 45 度だけ左回転した軸方向を NV方向と記述することとする。以下、図 10を参照しなが ら、補間処理について詳解する。
[0092] 図 8の画素 Xを補間画素 (補間対象となる画素）とし (ステップ S 11)、先ず、この補 間画素 Xの各周囲画素について HV方向の相関値を算出する (ステップ S 12)。具体 的には、補間画素 Xの左斜め上の画素 G4を中心としてバンドパスフィルタによるフィ ルタリングを HV方向にかけることで、 HV方向の相関値を算出する。図 11には、この HV方向のバンドパスフィルタの周波数特性 (フィルタ特性）を示して 、る。
[0093] ここで、バンドパスフィルタの水平方向の出力を Bpf_H_G4、垂直方向の出力を Bpf _V_G4とすると、下式で表されるフィルタリング結果が得られる。
[0094] Bpf— H— G4=— G3 + 2G4— G5
Bpf— V— G4 =— G 1 + 2G4 G8
[0095] 続いて、画素 G4に対する H方向の相関値 S_H_G4を下式に従って算出する。 H方 向の相関値 S_H_G4はフィルタ特性が同じバンドパスフィルタの水平及び垂直方向 のフィルタ出力 Bpf _H及び Bpf _Vの割合を表す。
[0096] S— H— G4 = Bpf_V/ (Bpf— H + Bpf— V)
[0097] V方向の相関値 S— V— G4は、 S— V— G4= 1— S— H— G4であり、 H方向の相関値 S— H— G4さえ算出してしまえば容易に算出できるから、特に算出する必要はない。すなわ ち、この時点で、画素 G4を中心とした HV方向の相関値 S_H_G4及び S_V_G4を算 出したことになる。例えば、 H方向の相関値 S_H_G4が 1. 0で V方向相関値 S_V_G4 が 0. 0であるときには、 V方向の相関値 S_V_G4で画素 Xを補間すると、よい補間結 果が得られる。
[0098] 補間画素 Xの左斜め上の画素 G4を中心とした H方向の相関値 S_H_G4の算出と同 様にして、右斜め上の画素 G6、左斜め下の画素 Gl l、右斜め下の画素 G13の各々 を中心としたそれぞれの H方向の相関値 S_H_G6、 S_H_G11、 S_H_G13についても 算出する。
[0099] ここまでの処理、すなわちステップ S12での処理により、補間画素 Xを取り囲む 4点 の画素 G4、 G6、 Gl l、 G13の各々を中心とした HV方向の相関値 S_H_G4、 S_H_G 6、 S_H_G11、 S_H_G13がそれぞれ算出されたことになる（図 26を参照のこと）。
[0100] 続いて、算出された 4つの相関値 S_H_G4、 S_H_G6、 S_H_G11、 S_H_G13の中力 ら、補間画素 Xに代用するに相応しい相関値を 2つだけ選択する。具体的には、 4つ の相関値の中で最も相関の高い、すなわち算出した相関値の信頼度の高い 2つを補 間画素 Xの相関値として選択する (ステップ S 13)。
[0101] 図 26からも分るように、ステップ S12で算出した各相関値相関値 S_H_G4、 S_H_G6 、 S— H— Gl l、 S— H— G13は、それぞれ周囲 4画素 G4、 G6、 Gl l、 G13を中心とした H V方向の相関値であって、所望の補間画素 Xを中心とした HV方向の相関値 S_Hで はな 、。補間画素 Xを中心としたバンドパスフィルタを組むことができな 、と 、つた実 装上の都合などがある場合には、補間画素 Xにおける相関値を直接算出することが できない。そこで、隣接画素において相関値はほぼ等しいものであるという考え方に 基づいて、周囲画素で求めた信頼度の高い HV方向の相関値を以つて補間画素 X の HV方向の相関値 S_Hに代用するというのがステップ S 13の趣旨である。
[0102] 相関値を選択するための信頼度として、 4つの相関値を算出する過程で算出した バンドパスフィルタの出力値を用いて表すことができる。例えば、画素 G4の相関信頼 値 Bpf_Maxを下式力 算出する。
[0103] Bpf_Max= |Bpf_H_G4| + |Bpf_V_G4|
[0104] この相関信頼値 Bpf_Maxの算出を他の 3点の周囲画素 G6、 Gl l、 G13に対して も同様に行なう。バンドパスフィルタの出力が大きいということは、その画素周囲では 大きな振幅の信号が存在し、信号がノイズではなく画像によるものであることが言える 。逆に、バンドパスフィルタの出力が小さい場合には信号がノイズに埋もれていて相 関の信頼性が低ぐ相関値を信頼することが難しい。つまり、水平及び垂直の直交す る 2方向のバンドパスフィルタの出力の絶対値の和からなる相関信頼値 Bpf_Maxが 大きい場合は、これらバンドパスフィルタの出力より算出される相関値の信頼性が高 いと推定することができる。
[0105] そして、 4点の周囲画素で求めた各相関信頼値 Bpf_Maxを大小比較して大きい方 から 2点の周囲画素を選択し、これら 2点の周囲画素を中心として算出された HV方 向の相関値を、補間画素 Xを中心とした HV方向の相関値に代用する値として選択 する。図 27には、 S_H_G4と S_H_G13を信頼できる相関値として選択した様子を示し ている。
[0106] なお、相関の信頼度算出では、相関信頼値 Bpf_Max、すなわちフィルタ出力の合 計値ではなぐ |Bpf_H— Bpf_V|の結果、すなわちフィルタ出力の差分値の大きいも のを選択するようにしてもよい。これには、バンドパスフィルタの H方向の出力 Bpf_H と V方向の出力 Bpf_Vの差が大きい、つまり水平及び垂直方向に強い相関を持って いることが言えるので、相関の強い部分の相関値を採用するという目的がある。
[0107] 続いて、採用した上位 2箇所の相関値を平均して 1つの相関値にする (ステップ S1 4)。平均化された相関値は、以下の処理ステップでは補間画素 Xを中心とする HV 方向の相関値として扱われる。例えば、 G4と G6の 2箇所における相関値の信頼度が 高!、として選択された場合には、これら 2点を中心とする HV方向の相関値が平均化 され、補間画素 Xについての HV方向の相関値とみなされる（図 28を参照のこと)。
[0108] このとき、相関信頼値 Bpf_Maxが最大となる 1点の周囲画素の相関値を選択するこ とで、 4つの相関値から 1つの水平及び垂直方向の相関値を選択することも可能であ るであるが、上位 2箇所の相関値の平均値を採用することで、よい結果が得られてい る。また、 4つの相関値力も上位 3箇所の相関値を採用してそれらの平均値をとる方 法も考えられる。
[0109] なお、補間画素 Xを中心としたバンドパスフィルタを組む場合には、信頼度の高 ヽ 周囲画素の相関値の平均ではなぐ補間画素 Xにおける相関値を直接算出すること ができ、ステップ S12〜S14における処理は簡略ィ匕される。
[0110] また、ステップ S12〜S14における補間画素 Xの HV方向の相関値算出の処理と並 行して、ステップ S 15〜S 17における補間画素 Xの NH及び NV方向の相関値算出 の処理が実行される。ここで言う NH方向は H方向に対して 45度だけ右回転した軸 方向であり、 NV方向は H方向に対して 45度だけ左回転した軸方向である（前述)。
[0111] 先ず、補間画素 Xの各周囲画素について NH及び NV方向の相関値を算出する（ ステップ S 15)。具体的には、補間画素 Xの上の画素 G5を中心としてバンドパスフィ ルタによるフィルタリングを斜め方向にかけることで、 NH及び NV方向の相関値を算 出する。図 12には、 NH及び NV方向のバンドパルスフィルタの周波数特性（フィルタ 特'性)を図 12に示している。
[0112] ここで、バンドパスフィルタの NH方向の出力を Bpf_NH_G5、 NV方向の出力を Bp f_NV_G5とすると、下式で表されるフィルタリング結果が得られる。
[0113] Bpf— NH— G5=—G1 + 2G5— G9
Bpf_NV_G5 = -G2 + 2G5-G8
[0114] 続いて、画素 G5に対する NH方向の相関値 S_NH_G5を次式力も算出する。 NH 方向の相関値 S_NH_G5はフィルタ特性が同じバンドパスフィルタの NH及び NV方 向のフィルタ出力 Bpf _NH及び Bpf _NVの割合を表す。
[0115] S— NH— G5 = Bpf_NV_G5/ (Bpf— NH— G5 + Bpf— NV— G5)
[0116] NV方向の相関値 S— NV— G5は、 S— NV— G5 = l— S— NH— G5であり、 NH方向の相 関値 S_NH_G5さえ算出してしまえば容易に算出できるから、ここでは特に算出する 必要はない。すなわち、この時点で、画素 G5を中心とした NH及び NV方向の相関 値 S_NH_G5及び S_NV_G5を算出したことになる。例えば、 NH方向の相関値 S_NH
— G5が 1. 0で NV方向相関値 S— V— G5が 0. 0であるときには、 NV方向の相関値 S— N
V_G5で画素 Xを補間すると、ょ 、補間結果が得られる。
[0117] 補間画素 Xの上の画素 G5を中心とした NH方向の相関値 S_NH_G5の算出の場合 と同様にして、左の画素 G8、右の画素 G9、下の画素 G12の各々を中心としたそれ ぞれの NH方向の相関値 S_NH_G8、 S_NH_G9、 S_NH_G12についても同様にして 算出する。
[0118] ここまでの処理、すなわちステップ S15の処理により、補間画素 Xの上、左、右、下 に位置する 4点の画素 G5、 G8、 G9、 G12の各々を中心とした NH方向の相関値 S_ NH_G5、 S_NH_G8、 S_NH_G9、 S_NH_G12がそれぞれ算出されたことになる（図 2 9を参照のこと)。
[0119] 続いて、算出された 4つの相関値 S_NH_G5、 S_NH_G8、 S_NH_G9、 S_NH_G12 の中から、補間画素 Xに代用する相関値を 2つだけ選択する。具体的には、 4つの相 関値の中で信頼度の高 、方から 2つを補間画素 Xの相関値として採用する (ステップ S16)。 [0120] 図 29からも分るように、ステップ S15で算出した各相関値相関値 S_NH_G5、 S_H_ G8、 S— H— G9、 S— H— G12は、それぞれ周囲 4画素 G5、 G8、 G9、 G12を中心とした HV方向の相関値であって、所望の補間画素 Xを中心とした相関値ではない。補間 画素 Xを中心としたバンドパスフィルタを組むことができな 、と 、つた実装上の都合な どがある場合には、補間画素 Xにおける相関値を直接算出することができない。そこ で、隣接画素において相関値はほぼ等しいものであるという考え方に基づいて、周 囲画素で求めた信頼度の高い NH方向の相関値を以つて補間画素 Xの NH方向の 相関値に代用するというのがステップ S 16の趣旨である。
[0121] 相関値を選択するための信頼度を、 4つの相関値を算出する過程で算出したバン ドパスフィルタの出力値を用いて表す。例えば、画素 G5の相関信頼値 Bpf_Maxを 下式力も算出する。また、他の 3点の周囲画素 G8、 G9、 G12に対しても同様に相関 信頼値 Bpf_Maxの算出を行なう。 NH及び NVの直交する 2方向のバンドパスフィル タの出力の絶対値の和力もなる相関信頼値 Bpf_Maxが大きい場合は、これらバンド パスフィルタの出力より算出される相関値の信頼性が高いと推定することができる（同 上)。
[0122] Bpf_Max = |Bpf_NH_G5| + |Bpf_NV_G5|
[0123] 続いて、採用した上位 2箇所の相関値を平均して 1つの相関値にする (ステップ SI 7)。図 30には、 S_NH_G5と S_NH_G9を信頼できる相関値として選択した様子を示 している。
[0124] 平均化された相関値は、以下の処理ステップでは補間画素 Xを中心とする NH及 び NV方向の相関値として扱われる。例えば、 G5と G9の 2箇所における相関値の信 頼度が高いとして選択された場合には、これら 2点を中心とする HV方向の相関値が 平均化され、補間画素 Xを中心とする NH及び NV方向の相関値とみなされる（図 31 を参照のこと)。
[0125] なお、補間画素 Xを中心としたバンドパスフィルタを組む場合には、信頼度の高 ヽ 周囲画素の相関値の平均ではなぐ補間画素 Xにおける相関値を直接算出すること ができ、ステップ S 15〜S 17における処理は簡略化される（同上)。
[0126] ここまでの処理により、補間画素 Xについての H方向の相関値 S_H、及び NH方向 の相関値 S_NHが求まったことになる（図 28及び図 31を参照のこと)。
[0127] 続いて、補間画素 Xについての H方向及び NH方向の各相関値 S_H及び S_NHに 基づいて、補間画素 Xがどの方向の周囲画素との相関が強いか、すなわち相関の方 向性を求める（ステップ S18)。
[0128] ここで、図 13に示す解像度チャートからなる入力画像を例にとって、補間画素 に ついて H方向及び NH方向それぞれにおいて算出された相関値 S_H及び S_NHと、 補間画素 Xとこれを取り囲む周囲画素の相関の度合!/、につ 、て考察してみる。解像 度チャートは、中心部分が低周波の信号であり、中心からの距離が大きくなるにつれ て高周波の信号となるチャートである。解像度チャートは、同じ周波数の信号でもさま ざまな方向を持っており、解像度チャートの信号を信号処理回路に入力することで、 さまざまな信号に対してどのような処理が適するかを分析することができる。
[0129] 例えば、図 13の（a)点〜（e)点の信号が補間画素 Xとして入力され、上述したステ ップ312〜317の処理を実行すると、 2つの相関値 S_H及び S_NHは、（a)点では、 S_H= 1. 0 (S_V=0. 0) , S_NH = 0. 5 (S_NV=0. 5)となる。これ力ら、ネ ΐ間画素 Xは、 HV方向では Η方向の周囲画素との強い相関があることが分かる。また、 ΝΗ及 び NV方向では ΝΗ方向と NV方向で同じ相関、つまり補間画素 Xは斜め方向では周 囲画素との相関がないことが分かる。
[0130] また、（b)点では、 S— H = 0. 5 (S_V=0. 5)、 S— NH= 1. 0 (S_NV=0. 0)となる。
すなわち、補間画素 Xは、 HV方向では周囲画素との相関がないが、 NH及び NV方 向では NH方向の周囲画素との強い相関があることが分かる。
[0131] また、（c)点では、 S— H = 0. 0 (S_V= 1. 0)、 S— NH = 0. 5 (S_NV=0. 5)となる。
すなわち、補間画素 Xは、 HV方向では V方向の周囲画外強い相関がある。また、 N H及び NV方向では補間画素 Xは周囲画素との相関がないことが分かる。
[0132] また、（d)点では、 S_H = 0. 5 (S_V=0. 5)、 S_NH = 0. 0 (S_NV= 1. 0)となる。
すなわち、補間画素 Xは、 HV方向では周囲画素との相関がないが、 NH及び NV方 向では NV方向の周囲画素と強い相関があることが分かる。
[0133] また、（e)点では、 S— H= l. 0 (S_V=0. 0)、 S— NH = 0. 5 (S_NV=0. 5)となる。
すなわち、（a)点と同じぐ補間画素 Xは、 HV方向では H方向の周囲画素と強い相 関がある力 NH及び NV方向では周囲画素との相関がないことが分かる。
[0134] また、図 14には、図 13に示した解像度チャートを入力画像とした場合の補間画素 の空間位相と H及び V方向、並びに NH及び NV方向の周囲画素との相関値の関係 を表した周波数チャートを示している。以下では、補間画素と HV方向、並びに NH 及び NV方向の周囲画素との相関値の関係を表す同図中の直線のことを「相関線」と も呼ぶ。この相関線は、相関値を異なった方向に対して最低 2パターンだけ算出し、 当該最低 2パターンの相関値をさまざまな角度の直線に対してプロットして得ることが できる。図 14の相関線図において、 1点鎖線 (A)が HV方向の相関値 S_Hに、 2点鎖 線 (B)が NH及び NV方向の相関値 S_NHに、それぞれ相当している。相関線 (A)と (B)とは 45度だけ位相がずれて 、る。
[0135] HV方向の相関値 S_Hのみを用いた場合、 S_Hが 0又は 1に近いときには補間画素 Xが H方向又は V方向に相関が強いことを特定することができる力 S_Hが 0. 5付近 の値をとるときには、補間画素 Xが解像度チャート上で (a)点と (c)点に存在する可能 性があり、相関線 (A)を参照しただけでは補間画素 Xが強い相関を持つ方向性を特 定することはできない。これに対し、 H方向に対して 45度だけ右回転した NH方向、 及び H方向に対して 45度だけ左回転した NV方向という、水平及び垂直軸に対し 45 度だけ回転させた直交する 2つのバンドパスフィルタの出力力も算出される相関値 S_ NHをプロットした相関線 (B)を参照することで、 S_Hが 0. 5付近の値をとるときであつ ても、補間画素 Xが斜めの 、ずれの方向に強 、相関を持つ力を高 、分解能で特定 することができる。すなわち、 S_Hと S_NHの相関線を比較することによって、補間画 素 Xが周辺画素と強い相関を持つ方向を全方向（360度）に渡って判定することが可 能である。なお、本実施形態では、一例として、所定の角度として 45度だけ回転させ た直交する 2つのバンドパスフィルタを用いた力 40度〜 50度など、 HV方向と NH ZNV方向が形成する角度が別の角度であっても、上記と同程度の効果を奏するも のであれば構わない。
[0136] 図 13に示した解像度チャートを入力画像とした場合、ステップ S18では、図 14に示 した周波数チャート上の補間画素 Xが位置する空間位相において、 1点鎖線 (A)と 2 点鎖線 (B)で示された相関値を比較することによって、補間画素が HV方向、並びに NH及び NV方向の周囲画素とそれぞれどの程度の相関を持つ力、すなわち相関の 強い方向性を求めることができる。
[0137] ステップ S18において補間画素 Xが持つ相関の方向性が判ると、続いて、ステップ S12〜S14及びステップ S15〜S17において求められた相関値 S_H及び S_NHの 信頼度がある力否かを判断する (ステップ S 19)。
[0138] 既に述べたように、ステップ S12〜S14、及びステップ S15〜S17では、補間画素 Xを中心とした各方向の相関値を直接算出しておらず、補間画素 Xを取り囲む各周 囲画素を中心として算出された H方向及び NH方向の相関値のうち信頼度の高いも のを平均化して、補間画素 Xの相関値として代用している。このような場合は、とりわ け相関の信頼度チ ックは重要になる。
[0139] ここで、相関の信頼度をチェックする具体的な方法について説明しておく。図 13に 示した解像度チャートを入力画像とした場合の周波数チャート、すなわち補間画素と HV方向、並びに NH及び NV方向の周囲画素との相関値の関係は、図 14に示した 通りである。 2組の直交するバンドパスフィルタを水平垂直方向、並びに水平垂直方 向に対し 45度だけ回転させた方向にそれぞれ配置して、各組のバンドパスフィルタ の出力力も H方向の相関値 S_Hと NH方向の相関値 S_NHを算出することができる。 S_H及び S_NHそれぞれの相関線 (A)と（B)は 45度だけ位相がずれて 、る。
[0140] また、図 32には、 S_H (図 14中の相関線 (A) )から 0. 5を引き算した絶対値力もな る相関線と、 S_NH (図 14中の相関線 (B) )力も 0. 5を引き算した絶対値力もなる相 関線をそれぞれプロットしている。同図力も分るように、相関値 S_H及び S_NHが図 1 4に示した相関線上に乗る理想的なもの、すなわち信頼度の高いものであれば、 S_H 力も 0. 5を引き算した絶対値と S_NH力も 0. 5を引き算した絶対値の和は 0. 5に近 い値となる。そこで、ステップ S12〜S 14及びステップ S15〜S 17において求められ た相関値 S H及び S_NHを以下の不等式力もなる条件式に代入し、条件を満たすか どうかによって、相関値 S_H及び S_NHの信頼度を判定することができる。但し、 TH1 及び TH2は、 THKTH2の関係を満たす 0. 5に近い値である（TH1及び TH2を 0 . 5に近づけると、判定条件がより厳しくなる)。
[0141] THK I S— H— 0. 5 I + I S— NH— 0. 5 | <TH2 [0142] ステップ SI 9において相関の信頼度があると判定された場合には、補間画素 Xを補 間する画素を、ステップ S18において相関が強いと判断された方向の周囲画素から 取り出して、画素補間を行なう (ステップ S20)。
[0143] 図 15には、補間画素 Xが持つ相関の方向性と補間に用いる周囲画素の関係を示 している。例えば、ステップ S18において補間画素 Xが持つ相関の方向性が（a)点（ すなわち、周波数チャート上の 90度）にあると判断された場合には、 H方向の相関が 強いので、補間画素 Xの G信号を X= (G8 + G9)Z2で補間する。また、補間画素 X の相関の方向性が（b)点（すなわち、周波数チャート上の 45度）となる場合には、 N H方向の相関が強いので、補間画素 Xの G信号を X= (G4 + G13)Z2で補間する。 補間画素 Xの相関の方向性が (c)点、（d)点、（e)点とる場合も同様である。
[0144] また、補間画素 Xの相関の方向性が (c)点と (b)点の間の相関値が算出される (f) 点となる場合には、 S_H^O. 25で且つ S_NH = 0. 75を示すこと力ら、その方向の 画素を用いて X= (G1 + G16)Z2で補間する。
[0145] また、補間画素 Xの相関の方向性が (b)点と (f)点の中間などのように、補間画素 X の相関の方向性を示す直線上にちょうど乗る周囲画素がない場合には、（b)点の補 間値と (f)点の補間値に重みを付けて補間するといつた、相関値と補間値の関係に 基づく線形補間を行なう。例えば、図 15中の P点に相当する方向にちょうど乗る周囲 画素はないが、その方向に隣接する方向性において適用される 2つの補間値 (G6 + Gl 1) Z2及び (G7 + G10) Z2で線形補間する以下の式により、補間画素 Xの相関 値を算出することができる。但し、 aは重み付け係数を aである。
[0146] X= { (G6 + Gl l) /2} X a+ { (G7 + G10) /2} X (1 -a)
[0147] このように、本実施例 1では、補間画素 Xの相関の方向性を、従来のように HV方向 の相関値 S_Hのみ力 求めるのではなぐ水平及び垂直軸に対し 45度だけ回転させ た直交する 2つのバンドパスフィルタの出力力も算出される相関値 S_NHも用いるよう にした。 HV方向の相関値 S_Hがちょうど 0. 5になると、 S_Hだけでは相関の方向性 を特定できなくなる。これに対し、 NH及び NV方向の相関値 S_NHの相関線は S_H に対して 45度だけ位相がずれていることから（図 14を参照のこと）、さらに S_NHを参 照することで、補間画素 Xが斜めの 、ずれの方向に強 、相関を持つ力を高 、分解能 で特定することが可能である。したがって、図 6に示した色フィルタを用いて色コーデ イングを行なうと、従来のべィヤー配列に比べてより高 、精度で G信号を補間すること ができ、この結果、高い解像度の輝度信号をえることができる。
[0148] 一方、ステップ S12〜S14及びステップ S15〜S17において求められた相関値 S— H及び S_NHに関して、十分な信頼度が得られな力つた場合には (ステップ S19の N o)、周囲画素の平均値を用いて SZN重視の画素補間を行なう（ステップ S21)。
[0149] 2つの相関値 S_H及び S_NHが図 14に示した 2つの相関線 (A)及び (B)に乗らな い場合は、相関がないとみなすことができる。例えば、 S_H= 1. 0、 S_NH = 0. 5のと きは相関があると言える力 S_H= 1. 0、 S_NH= 1. 0のときには図 14中のいずれの 相関線 (A)及び (B)の乗らないために、相関の信頼度が低いと言える。後者の場合 、いかなる方向の画素を用いて補間しても正しく補間できる確立は低ぐ逆に間違つ た補間により偽色信号を生成する可能性が高い。
[0150] このように、ステップ S12〜S17において算出された相関値 S_H及び S_NHが図 14 に示した 2つの相関線 (A)及び (B)に乗らず、相関値の信頼度が低いことが判明し た場合には、補間画素 Xが持つ相関の方向性に基づいて特定された周囲画素を用 いて解像度重視の補間を行なうのではなぐ SZN重視の補間処理を適用する。例え ば、周囲 4画素を用いて X= (G5 + G8 + G9 + G12) Z4により補間画素 Xの G信号 を補間することで、撮像装置の性能を上げることができる。
[0151] 先述したべィヤー配列の補間では、 HV方向に配置した 1組の直交するバンドパス フィルタの出力を基に HV方向の相関 S_Hしか求めることができない。このため、相関 の信頼度というものを評価することができず、例えば NH及び NV方向に対しても、 H V方向の場合と同様の補間を行なうより他ない。
[0152] これに対して、本実施例 1では、 RB成分を G成分で取り囲むという色コーディング（ 図 6を参照のこと）を行なうので、 HV方向に対し 45度だけ回転した NH及び NV方向 に配置した 1組の直交するバンドパスフィルタの出力を基に NH方向の相関をさらに 算出することができる。したがって、補間画素 Xが周辺画素と強い相関を持つ方向を 全方向（360度）に渡って判定することが可能であり、その補間処理では斜め方向の 補間に対応することができる。 [0153] また、図 5と図 7にそれぞれ示した画像信号の限界解像度の対比力も明らかなよう に、本実施例 1における色コーディングによれば、 Gの解像度に関して、斜め 45度方 向にお 、ては、べィヤー配列に比べて 2倍の解像度を得ることができる。
[0154] また、ステップ S 19にて相関の信頼度を評価し、相関が信頼できるときは相関の方 向から解像度重視の補間を行なうが、相関が信頼できないときは SZN重視の補間 を行なうというように、信頼度に応じて適応的に処理方法を切り換えるので、高精度な 補間処理を実現することができる。
[0155] 例えば、図 13に示すような人工的な解像度チャートにおいては、基本的に全領域 において相関の信頼度は高く出力される。これに対し、一般画におけるジャリ道や、 木の茂みといった複雑な曲線が入り組んだ被写体において、相関の信頼度が低くな る事態が起こり得る。この場合は、適応的に SZNを重視した補間処理に切り換える ようにすればよい。
[0156] 本実施例 1に係る一連の補間処理を実行する専用のハードウェア装置を設計製作 することもできる力 例えばコンピュータ上で所定のコンピュータ 'プログラムを実行す るというソフトウェア処理によって同様の補間処理を実現することも可能である。
[0157] 図 16には、本実施例 1に係る補間処理を実行するハードウェアの構成の補間処理 回路 23Aの構成例を示して 、る。
[0158] G4HV方向相関値算出回路 31は、補間画素 Xの左斜め上の画素 G4を中心として HV方向に対してフィルタリング処理を行なうことによって HV方向の相関値を算出す る。例えば、図 11に示した周波数特性を持つバンドパスフィルタによって G4HV方向 相関値算出回路 31を構成することができる。具体的には、 G4HV方向相関値算出 回路 31は、画素 G4に対する H方向の相関値 S_H_G4を、以下の演算式から算出す る。
[0159] S— H— G4 = Bpf_V/ (Bpf— H + Bpf— V)
[0160] そして、 G4HV方向相関値算出回路 31は、さらに V方向の相関値 S_V_G4を以下 の演算式力 算出する。
[0161] S— V— G4 = 1— S— H— G4
[0162] 補間画素 Xを取り囲むその他の周囲画素 G6、 Gl l、 G13に関しても、各 HV方向 相関値算出回路 32、 33、 34が G4HV方向相関値算出回路 31と同様にして、補間 画素 Xの右斜め上の画素 G6、左斜め下の画素 Gl l、右斜め下の画素 G13の各々 を中心とした H方向の相関値 S_H_G6、 S_H_G11、 S_H_G13及び V方向の相関値 S _V_G6、 S_V_G11、 S_V_G13それぞれを算出する。各相関値算出回路 31〜35によ つて、図 10に示したフローチャートのステップ S 12に相当する処理が実現する。
[0163] 選択回路 35は、 H方向及び V方向の各々について、 4つの中力 補間画素 Xに適 用する相関値を選択する。具体的には、選択回路 35は、各相関値算出回路 31〜3 4にお 、てそれぞれ相関値を算出する過程で算出したバンドパスフィルタの出力値 を比較し、 4つの相関値の中で最も相関信頼値 Bpf_Maxの大きい、すなわち最も信 頼性の高い 2つを補間画素 Xの相関値として採用する。選択回路 35によって、図 10 に示したフローチャートのステップ S 13に相当する処理が実現する。
[0164] 平均値算出回路 36は、選択回路 35で選択した上位 2箇所の相関値の平均値を算 出し、 HV各方向から 1つの相関値 S_H及び S Vとして出力する。平均値算出回路 3 6によって、図 10に示したフローチャートのステップ S 14に相当する処理が実現する
[0165] G5NH及び NV方向相関値算出回路 37は、補間画素 Xの上の画素 G5を中心とし て、直交する NH方向及び NV方向に対してフィルタリング処理を行なうことによって、 NH方向及び NV方向の相関値を算出する。例えば、図 12に示す周波数特性を持 つバンドパスフィルタによって G5NH及び NV方向相関値算出回路 37を構成するこ とができる。具体的には、 G5NH及び NV方向相関値算出回路 37は、画素 G5に対 する NH方向の相関値 S_NH_G5を、以下の演算式から算出する。
[0166] S— NH— G5 = Bpf_NV_G5/ (Bpf— NH— G5 + Bpf_NV_G5)
[0167] そして、 G5NH及び NV方向相関値算出回路 37は、さらに NV方向の相関値 S_N V_G5を以下の演算式力も算出する。
[0168] S_NV_G5 = 1— S— NH— G5
[0169] 補間画素 Xを取り囲むその他の周囲画素 G8、 G9、 G12に関しても、各 NH及び N V方向相関値算出回路 38、 39、 40が G5NH, NV方向相関値算出回路 37と同様 にして、補間画素 Xの左の画素 G8、右の画素 G9、下の画素 G12の各々を中心とし た NH方向の相関値 S— NH— G8、 S— NH— G9、 S— NH— G12及び NV方向の相関値 S— NV_G8、 S_NV_G9、 S_NV_G12をそれぞれ算出する。各相関値算出回路 37〜40 によって、図 10に示したフローチャートのステップ S15に相当する処理が実現する。
[0170] 選択回路 41は、 NH方向及び NV方向の各々について、 4つの中力 補間画素 X に適用する相関値を選択する。具体的には、選択回路 41は、 4つの相関値を算出す る過程で算出したバンドパスフィルタの出力値を比較し、 4つの相関値の中で最も相 関信頼値 Bpf_Maxの大き 、、すなわち最も信頼性の高 、2つを補間画素 Xの相関 値として採用する。選択回路 41によって、図 10に示したフローチャートのステップ S1 6に相当する処理が実現する。
[0171] 平均値算出回路 42は、選択回路 41で選択した上位 2箇所の相関値の平均値を算 出し、 NH方向及び NV方向の各々から 1つの相関値 S_NH、 S_NVとして出力する。 平均値算出回路 42によって、図 10に示したフローチャートのステップ S 17に相当す る処理が実現する。
[0172] 比較回路 43は、補間画素 Xが持つ相関の方向性、すなわちどの方向において補 間画素 Xが周囲画素との相関が強いかを算出する。具体的には、比較回路 43は、平 均値算出回路 36で算出された HV各方向 1つの相関値 S H及び S Vと、平均値算 出回路 42で算出された NH方向及び NV方向の各々の相関値 S_NH及び S_NVを 図 14に示した相関線図と比較することで、相関の方向性を特定する。比較回路 43に よって、図 10に示したフローチャートのステップ S18に相当する処理が実現する。
[0173] 判定回路 44は、比較回路 43の算出結果、すなわち相関の強い方向性について、 その相関の信頼度がある力否かを判断する。具体的には、判定回路 44は、平均化 算出回路 36及び 42によってそれぞれ算出された 2つの相関値 S_H及び S_NHが図 14に示した 2つの相関線 (A)及び (B)に乗る場合は相関があるものとみなす力 これ ら 2つの相関値 S_H及び S_NHが 2つの相関線 (A)及び (B)に乗らな!/、場合には相 関が無いものとみなす。判定回路 44による判断結果は、補間回路 45に供給される。 判定回路 44によって、図 10に示したフローチャートのステップ S19に相当する処理 が実現する。
[0174] 補間回路 45は、補間画素 Xに対して解像度重視の補間処理を行なう第 1の補間回 路 451と、 SZN重視の補間処理を行なう第 2の補間回路 452で構成され、判定回路 から供給される相関の信頼度に応じて適応的に、 V、ずれか一方の補間回路 451又 は 452に補間処理を委ねる。
[0175] 第 1の補間回路 451は、判定回路 44から相関の信頼度が高いという判定結果に応 じて、相関がある方向の画素を用いて補間する。相関がある方向の画素で行なう補 間処理は、解像度重視の補間処理である。第 1の補間回路 451によって、図 10に示 したフローチャートのステップ S20に相当する処理が実現する。
[0176] 一方、第 2の補間回路 452は、判定回路 44から相関の信頼度が低いという判定結 果に応じて、補間画素 Xの周辺画素の平均値を用いて補間する。例えば、補間画素 Xを取り囲む周囲近接 4画素の画像信号を用いて、下式に従って補間画素 Xを補間 する。このように、補間画素 Xの周辺画素の平均値を用いて行なう補間処理が SZN 重視の補間処理である。第 2の補間回路 452によって、図 10に示したフローチャート のステップ S21に相当する処理が実現する。
[0177] X= (G5 + G8 + G9 + G12) /4
[0178] なお、各 HV方向相関値算出回路 31〜34及び各 NH及び NV方向相関値算出回 路 37〜40をバンドパスフィルタで構成することを既に述べた力 バンドパスフィルタ に限られるものではない。これらの相関値算出回路を、例えば、微分フィルタなどの ハイパスフィルタを用いて構成したり、あるいはローパスフィルタと当該ローパスフィル タの出力を反転させるインバータとの組み合わせによってハイパスフィルタ構成とした りすることち可會である。
[0179] 図 6に示した色コーディングは、輝度成分を作る上で主成分となる Gが、補間画素 X に対して水平、垂直、斜めそれぞれの方向に位置する 8個の周囲画素、すなわち画 素 G4、 G5、 G6、 G8、 G9、 Gl l、 G12、 G13【こ酉己置され、従来のべィヤー酉己歹 U【こ it ベて高い輝度解像度の実現を図ったものである。これまで説明してきたように、本実 施例 1に係る補間処理によれば、このような色コーティング用のフィルタを持つ固体撮 像装置に対して、複数の相関値を求めて相関線図と比較することで、全方向（360度 )について相関性を判断することができる。すなわち、図 6に示した色コーティングに 対して G信号をより高精度に補間処理することができ、従来のペイヤー配列に比べて 高 、解像度の輝度信号を得ることができる。
[0180] 特に、本実施例 1では、図 32を参照しながら説明したように、複数の相関値と相関 線図との比較により、相関の信頼性が高いか低いかによつて補間処理の方法を適応 的に切り換えるようになつている。すなわち、相関の信頼性が高いと判定したときはそ の判定した方向の画素の情報を用いて解像度を重視した補間処理を行な 、、また、 相関の信頼性が低いと判定したときは、補正画素の周辺画素の情報を平均した値を 用いて SZN重視の補間を行なうことで、より高解像度で、且つ SZNにも強い高性 能な補間処理を実現することができる。
[0181] [実施例 2]
図 17には、本発明の実施例 2に係る補間処理の対象となる色コーディング例 2を示 している。同図に示す色コーディングは、水平及び垂直方向の各画素ピッチを 2d とし、各画素が 1行毎及び 1列毎に画素ピッチ 2dの 1Z2ずつずれた (奇数行と偶 数行で水平方向に画素ピッチの 1Z2だけ、奇数列と偶数列で垂直方向に画素ピッ チの 1Z2だけ画素がずれた）、いわゆる斜め画素配列に対して、 1行目は Gと Rが交 互に配列された GRライン、 2行目は Gのみが配列された Gライン、 3行目は Bと Gが交 互に配列された GBライン、 4行目は Gのみが配列された Gライン、以降、この 4行を単 位として繰り返して配列されて 、る。
[0182] 図 17に示した色コーディング例 2は、輝度 (Y)成分を作る上で主成分となる色成分
(本例では G)と、他の色成分 (本例では R及び B) 1S Gで R及び Bの周囲を囲むよう に配置され、 R及び Bが水平 '垂直に対して 2 2dの間隔で配置された構成である。 この色コーディングは、図 6に示した色コーディング例 1における色配列を 45度傾け た色コーディングそのものである。
[0183] 図 17に示した色コーディング例 2におけるサンプリングレートを水平及び垂直方向 で考えた場合、 Gのサンプリングレートは dZ 2であり、 R及び Bのサンプリングレート は 2 2dである。すなわち、 R及び Bは、水平及び垂直方向のサンプリングレートが G に対して 1Z4となるように 1列おき (本実施例では奇数列)及び 1行おき (本実施例で は奇数行）に配置されている。したがって、 Gと R及び Bの間に水平及び垂直方向に 4 倍の解像度の差がある。また、サンプリングレートを斜め 45度方向で考えると、 Gのサ ンプリングレートは dであり、 R及び Bのサンプリングレートは 2dである。
[0184] ここで、空間周波数特性について考察してみる。水平及び垂直方向については、 G のサンプリングレートが dZ 2であるから、サンプリング定理に基づき（1Z 2) fsの 周波数まで G信号を捉えることができる。斜め 45度方向については、 Gのサンプリン グレートが dであるから、サンプリング定理に基づき（lZ4) fsの周波数まで G信号を 捉えることができる。
[0185] 同様に R及び Bについて考察してみる。但し、 Rと Bは画素配列の間隔が同じである ため、ここでは Rだけについて述べる。 Rの空間周波数特性に関して、水平及び垂直 方向については、 Rのサンプリングレートが 2 2dであるから、サンプリング定理に基 づき（lZ4 2) fsの周波数まで R信号を捉えることが可能である。また、斜め 45度方 向については、 Rのサンプリングレートが 2dであるから、サンプリング定理に基づき（1 /2) fsの周波数まで R信号を捉えることができる。
[0186] ちなみに、斜め画素配列の固体撮像装置は、正方格子状の画素配列の場合に比 ベて、画素ピッチが狭くなるので、高い解像度を得ることができる。また、正方格子状 の画素配列と同じ解像度とする場合には、正方格子状の画素配列の画素ピッチより も広い画素ピッチで画素を配列することが可能となるから、画素の開口を広くとること ができ、その結果、 SZNを向上できる。
[0187] 図 17に示した色コーディングの詳細に関しては、例えば本出願人に既に譲渡され て ヽる #112005— 107037 明糸田 の 0055〜0072を された!/ヽ。
[0188] 本実施例 2では、図 17に示した色コーディング例 2に対する補間処理を特徴として いる。以下、その補間処理について具体的に説明する。
[0189] 図 18には、図 17に示した色コーディング例 2を正方格子で表現し直したものである 。図 6に示した色コーディング例 1における Gの配列と図 18における Gの配列とは、 4 5度方向回転した関係にあることが分かる。このことから、図 17に示した色コーディン グ例 2に対して、先述した実施例 1に係る補間処理を 45度回転させた位置関係にて 、R及び B画素の空間位置における G画素を高精度に補間できることを理解できょう。
[0190] 図 19には、本実施例 2に係る補間処理を実行する補間処理回路 23Bの構成例を 示している。同図に示すように、本実施例に係る補間処理回路 23Bは、前段補間処 理回路 231と後段補間処理回路 232とからなる 2段構成となっている。
[0191] 前段補間処理回路 231は、基本的に、実施例 1と同様の手順で補間処理を行ない 、これによつて図 18中の Gの画素配列において R及び B画素の空間位置の G画素を 補間することができる。図 20には、この前段補間処理回路 231による補間処理の結 果、すなわち図 18の Gの画素配列において R及び B画素の空間位置の G画素を補 間した結果を示している。この補間処理により、図 20中の G配列が高精度に補間さ れる。ここで、図 20の Gの配列に注目すると、 Gが巿松状に配置されていることが分 かる。
[0192] 後段補間処理回路 232は、基本的に、先述したべィヤー配列に対する場合と同様 の手順で補間処理を行ない、これによつて図 20中の Gの画素配列に対して補間処 理を行なう。このべィヤー配列の補間処理により、巿松状に配置された Gから全画素 について Gが生成される。図 21には、後段補間処理回路 232による補間処理の結果 、すなわち巿松状に配置された G力 全画素 Gに補間した結果を示して 、る。
[0193] このように、図 17に示した色コーディング例 2に対して、前段補間処理回路 231に よる補間処理すなわち実施例 1に係る補間処理と、後段補間処理回路 232による補 間処理すなわちべィヤー配列の補間処理とを組み合わせて補間処理を行なうことで 、限界解像度に至るまでの Gの解像度を得ることができる。
[0194] 図 22には、べィヤー配列、図 6に示した色コーディング例 1と、図 17に示した色コ ーデイング例 2の各々における空間解像度特性を示している。図 6に示した色コーデ イング例 1の解像度と図 17に示した色コーディング例 2の解像度とを比較すると、水 平 ·垂直方向では、図 17に示した色コーディング例 2の解像度の方が有利である。一 般的に、カメラで被写体を撮影する場合には直線成分を含んだ画像は水平及び垂 直方向に分布していることが多い。この観点力もすると、図 17に示した色コーディン グ例 2の方が図 6に示した色コーディング例 1よりも有利であると言える。
[0195] また、カメラ信号処理回路 14 (図 1を参照のこと）の出力として画像信号を正方格子 状に出力する必要があることを考慮すると、図 17に示した色コーデイングでは画素数 の 2倍の出力サイズとして出力することができるというメリットがある。無論、べィヤー配 列に比べると解像度が格段に上がっていることが図 22から理解できょう。 [0196] カメラ信号処理回路 14において、本実施例 2に係る補間処理回路 23Bをそのまま 補間処理回路 23として用いることで、上記のような作用効果を得ることができる。また 、図 23に示すような、補間処理回路 23Bを変形した補間処理回路 23B' のような構 成を採ることも可能である。
[0197] 図 23に示した補間処理回路 23B' は、後段補間処理回路 232の入力側に切替ス イッチ 233を設け、前段補間処理回路 231の出力信号と WB回路 22 (図 1を参照のこ と)の出力信号 (前段補間処理回路 231の入力信号)の一方を後段補間処理回路 2 32に選択的に入力可能な構成である。力かる構成を採ることで、 1つのカメラシステ ムで図 17に示した色コーディングとべィヤー配列という 2タイプの固体撮像装置に対 応でさること〖こなる。
産業上の利用可能性
[0198] 以上、特定の実施形態を参照しながら、本発明につ 、て詳解してきた。しかしなが ら、本発明の要旨を逸脱しな ヽ範囲で当業者が該実施形態の修正や代用を成し得 ることは自明である。
[0199] 本発明は、とりわけ、各画素が水平方向及び垂直方向で等間隔となるように正方格 子状に配列された画素配列に対して、輝度成分を算出する際に主成分となる色成分 力 他の色成分のそれぞれの周囲を囲むように配置した色フィルタを用いた色コー デイングが施された画像信号に対し、輝度成分を算出する主成分の色フィルタ配列 補間の処理に好適に適用することができる力 本発明の要旨は特定の色コーディン グに限定されるものではない。
[0200] また、本明細書では、輝度成分を作る上で主成分となる Gで、 R及び Bの各々の周 囲を囲む色コーディングとして、図 8並びに図 17に示した 2つの色コーディング例を 用 ヽた実施例を中心に説明したが、本発明が適用可能な色コーデイングはこれら 2 つの色コーディング例に限られるものではない。例えば、正方格子状の画素配列に 対して、 1行目は水平方向の 4画素を単位として RGGGの繰り返しで配列し、 2行目 は Gのみを配列し、 3行目は水平方向の 4画素を単位として GGBGの繰り返しで配列 し、 4行目は Gのみを配列し、以降はこの 4行を単位として繰り返して配列した色コー デイングなどであっても、同様に本発明に係る補間処理を適用することができる。 [0201] また、本明細書では輝度信号に関して高解像度を実現するための G信号の補間処 理に注目して説明してきた力 Gと同様の補間処理を Rや B、あるいはその他の色、 例えばシアン、イェローに対して適用することも可能である。
[0202] 要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容 を限定的に解釈するべきではない。本発明の要旨を判断するためには、請求の範囲 の記載を参酌すべきである。

Claims

請求の範囲
[1] 色コーディング用の色フィルタを有する撮像手段により撮像された画像を処理する 画像処理装置において、
画像信号を入力する手段と、
前記画像信号について、画素間の相関度合いを示す、少なくとも第 1の相関値及 び第 2の相関値を算出する相関値算出手段と、
前記第 1の相関値と前記第 2の相関値とに基づいて、所望の画素を補間する際に 使用する他の画素を特定する補間用画素特定手段と、
前記補間用画素特定手段により特定された画素から前記所望の画素を補間する 補間手段と、
を具備することを特徴とする画像処理装置。
[2] 前記相関値算出手段は、直交する 2つのフィルタの出力に基づいて前記第 1の相 関値を算出するとともに、前記第 1の相関値の算出の際とは異なる方向特性を持つ 直交する 2つのフィルタの出力に基づいて前記第 2の相関値を算出する、 ことを特徴とする請求項 1に記載の画像処理装置。
[3] 前記相関値算出手段は、前記第 2の相関値の算出において、前記第 1の相関値の 算出に使用するフィルタとは所定の角度だけ方向特性がずれたフィルタを用いる、 ことを特徴とする請求項 2に記載の画像処理装置。
[4] 前記補間用画素特定手段は、前記第 1の相関値と前記第 2の相関値との相関関係 を比較することにより、補間しょうとする所望の画素回り 360度の相関性に基づいて、 所望の画素を補間する際に使用する他の画素を特定する、
ことを特徴とする請求項 2に記載の画像処理装置。
[5] 前記色コーディング用の色フィルタ上には、各画素が水平方向及び垂直方向で等 間隔となるように正方格子状に配列された画素配列に対して、輝度成分を算出する 際に主成分となる色成分が、他の色成分のそれぞれの周囲を囲むように配置されて いる、
ことを特徴とする請求項 1に記載の画像処理装置。
[6] 前記色コーディング用の色フィルタ上には、各画素が 1行毎及び 1列毎に画素ピッ チの 1Z2ずつずれた斜め画素配列に対して、輝度成分を算出する際に主成分とな る色成分が、他の色成分のそれぞれの周囲を囲むように配置されて 、る、 ことを特徴とする請求項 1に記載の画像処理装置。
[7] 前記の斜め画素配列に対する色コーディングを補間処理によってべィヤー配列の 色コーディングにする前段補間処理手段と、
前記べィヤー配列の色コーディングに対して補間を用いたべィヤー補間処理を行 なう後段補間処理手段と、
を有することを特徴とする請求項 1に記載の画像処理装置。
[8] 色コーディング用の色フィルタを有する撮像手段により撮像された画像を処理する 画像処理装置において、
画像信号を入力する手段と、
前記画像信号について、画素間の相関度合いを示す、少なくとも第 1の相関値及 び第 2の相関値を算出する相関値算出手段と、
前記相関値算出手段により算出した各相関値に関する信頼度を算出する信頼度 算出手段と、
前記信頼度に応じた補間処理で所望の画素を補間する補間手段と、
を具備することを特徴とする画像処理装置。
[9] 前記信頼度算出手段は、前記相関値算出手段により算出された各相関値の和に 基づいて信頼度を算出する、
ことを特徴とする請求項 8に記載の画像処理装置。
[10] 前記補間手段は、前記信頼度が所定の範囲外にあるときには、補間する前記所望 の画素の周辺画素の情報の平均値を用いて補間を行なう、
ことを特徴とする請求項 8に記載の画像処理装置。
[11] 前記補間手段は、前記信頼度が所定の範囲内に収まるときには、前記第 1の相関 値と前記第 2の相関値とに基づいて、補間する前記所望の画素の周辺画素の中から 補間に使用する画素を特定し、該特定された画素を用いて補間を行なう、 ことを特徴とする請求項 8に記載の画像処理装置。
[12] 色コーディング用の色フィルタを有する撮像手段により撮像された画像を処理する 画像処理方法において、
前記撮像手段による画像信号について、画素間の相関度合いを示す、少なくとも 第 1の相関値及び第 2の相関値を算出する相関値算出ステップと、
前記第 1の相関値と前記第 2の相関値とに基づいて、所望の画素を補間する際に 使用する他の画素を特定する補間用画素特定ステップと、
前記補間用画素特定ステップにおいて特定された画素から前記所望の画素を補 間する補間ステップと、
を具備することを特徴とする画像処理方法。
[13] 前記相関値算出ステップでは、直交する 2つのフィルタの出力に基づいて前記第 1 の相関値を算出するとともに、前記第 1の相関値の算出の際とは異なる方向特性を 持つ直交する 2つのフィルタの出力に基づいて前記第 2の相関値を算出する、 ことを特徴とする請求項 12に記載の画像処理方法。
[14] 前記相関値算出ステップでは、前記第 2の相関値の算出において、前記第 1の相 関値の算出に使用するフィルタとは所定の角度だけ方向特性がずれたフィルタを適 用する、
ことを特徴とする請求項 13に記載の画像処理方法。
[15] 前記補間用画素特定ステップでは、前記第 1の相関値と前記第 2の相関値との相 関関係を比較することにより、補間しょうとする所望の画素回り 360度の相関性に基 づいて、所望の画素を補間する際に使用する他の画素を特定する、
ことを特徴とする請求項 13に記載の画像処理方法。
[16] 各画素が水平方向及び垂直方向で等間隔となるように正方格子状に配列された画 素配列に対して、輝度成分を算出する際に主成分となる色成分が、他の色成分のそ れぞれの周囲を囲むように配置された色フィルタにより色コーディングが施された画 像信号について前記の各ステップを実施して、前記の輝度成分を算出する際に主成 分となる色成分の色フィルタ配列補間を行なう、
ことを特徴とする請求項 12に記載の画像処理方法。
[17] 各画素が 1行毎及び 1列毎に画素ピッチの 1Z2ずつずれた斜め画素配列に対し て、輝度成分を算出する際に主成分となる色成分が、他の色成分のそれぞれの周囲 を囲むように配置された色フィルタにより色コーディングが施された画像信号につい て前記の各ステップを実施して、前記の輝度成分を算出する際に主成分となる色成 分の色フィルタ配列補間を行なう、
ことを特徴とする請求項 12に記載の画像処理方法。
[18] 前記の斜め画素配列に対する色コーディングを補間処理によってべィヤー配列の色 コーディングにする前段補間処理ステップと、
前記べィヤー配列の色コーディングに対して補間を用いたべィヤー補間処理を行 なう後段補間処理ステップと、
を有することを特徴とする請求項 12に記載の画像処理方法。
[19] 色コーディング用の色フィルタを有する撮像手段により撮像された画像を処理す る画像処理方法において、
前記撮像手段による画像信号について、画素間の相関度合いを示す、少なくとも 第 1の相関値及び第 2の相関値を算出する相関値算出ステップと、
前記相関値算出ステップにおいて算出した各相関値に関する信頼度を算出する信 頼度算出ステップと、
前記信頼度に応じた補間処理で所望の画素を補間する補間ステップと、 を具備することを特徴とする画像処理方法。
[20] 前記信頼度算出ステップでは、前記相関値算出ステップにおいて算出された各相 関値の和に基づ!、て信頼度を算出する、
ことを特徴とする請求項 19に記載の画像処理方法。
[21] 前記補間ステップでは、前記信頼度が所定の範囲外にあるときには、補間する前 記所望の画素の周辺画素の情報の平均値を用いて補間を行なう、
ことを特徴とする請求項 19に記載の画像処理方法。
[22] 前記補間ステップでは、前記信頼度が所定の範囲内に収まるときには、前記第 1の 相関値と前記第 2の相関値とに基づいて、補間する前記所望の画素の周辺画素の 中から補間に使用する画素を特定し、該特定された画素を用いて補間を行なう、 ことを特徴とする請求項 19に記載の画像処理方法。
[23] 色コーディング用の色フィルタを有する撮像手段と、 前記撮像手段により撮像された画像信号について、画素間の相関度合いを示す、 少なくとも第 1の相関値及び第 2の相関値を算出する相関値算出手段と、
前記第 1の相関値と前記第 2の相関値とに基づいて、所望の画素を補間する際に 使用する他の画素を特定する補間用画素特定手段と、
前記補間用画素特定手段により特定された画素から前記所望の画素を補間する 補間手段と、
前記補間手段により画素が補間された画像情報に対し、色空間分離又はその他の 信号処理を施す信号処理手段と、
を含むことを特徴とする撮像装置。
[24] 色コーディング用の色フィルタを有する撮像手段と、
前記撮像手段により撮像された画像信号について、画素間の相関度合いを示す、 少なくとも第 1の相関値及び第 2の相関値を算出する相関値算出手段と、
前記相関値算出手段により算出した各相関値に関する信頼度を算出する信頼度 算出手段と、
前記信頼度に応じた補間処理で所望の画素を補間する補間手段と、
前記補間手段により画素が補間された画像情報に対し、色空間分離又はその他の 信号処理を施す信号処理手段と、
を含むことを特徴とする撮像装置。
[25] 色コーディング用の色フィルタを有する撮像手段により撮像された画像に対する処 理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ 'プログラムにおいて、前記コンピュータに対し、
前記撮像手段による画像信号について、画素間の相関度合いを示す、少なくとも 第 1の相関値及び第 2の相関値を算出する相関値算出手順と、
前記第 1の相関値と前記第 2の相関値とに基づいて、所望の画素を補間する際に 使用する他の画素を特定する補間用画素特定手順と、
前記補間用画素特定手順を実行して特定された画素から前記所望の画素を補間 する補間手順と、
を実行させることを特徴とするコンピュータ ·プログラム。
[26] 色コーディング用の色フィルタを有する撮像手段により撮像された画像に対する処 理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ 'プログラムにおいて、前記コンピュータに対し、
前記撮像手段による画像信号について、画素間の相関度合いを示す、少なくとも 第 1の相関値及び第 2の相関値を算出する相関値算出手順と、
前記相関値算出手順を実行して算出された各相関値に関する信頼度を算出する 信頼度算出手順と、
前記信頼度に応じた補間処理で所望の画素を補間する補間手順と、
を実行させることを特徴とするコンピュータ ·プログラム。
[27] 所定の色コーディングのフィルタを有する固体撮像装置上の補間対象の画素に関 して、画像の相関度合いを示す複数の相関値を算出する相関値算出手段と、 前記相関値算出手段で算出された前記複数の相関値を、相関値を異なつた方向 に対して最低 2パターン算出し、当該最低 2パターンの相関値をさまざまな角度の直 線に対してプロットして得た相関線と比較することによって補間すべき方向を判定す る判定手段と、
前記判定手段によって判定された方向に存在する前記補間対象の画素の周辺画 素の情報を基に当該補間対象の画素に対して補間処理を行なう補間手段と、 を具備することを特徴とする画像処理装置。
[28] 前記相関値算出手段は、前記補間対象の画素の周辺画素を中心として前記複数 の相関値を算出する、
ことを特徴とする請求項 27記載の画像処理装置。
[29] 前記相関値算出手段は、前記複数の相関値のうちの相関の高い上位複数の平均 値を算出し、
前記判定手段は、前記上位複数の平均値に基づ!、て補間すべき方向を判定する ことを特徴とする請求項 27記載の画像処理装置。
[30] 前記相関値算出手段は、第 1の方向に対して第 1のバンドパスフィルタによるフィル タリング処理を行なうことによって得られる第 1のフィルタ出力と、前記第 1の方向と直 交する第 2の方向に対して前記第 1のバンドパスフィルタと同じフィルタ特性の第 2の バンドパスフィルタによるフィルタリング処理を行なうことによって得られる第 2のフィル タ出力との割合力 前記複数の相関値を算出する、
ことを特徴とする請求項 27記載の画像処理装置。
[31] 前記異なつた方向は 45度だけずれた方向である、
ことを特徴とする請求項 27記載の画像処理装置。
[32] 前記判定手段は、前記異なった方向についての 2つの相関値が前記相関線上に あるときは相関の信頼性が高いとみなし、当該 2つの相関値が前記相関線上にない ときは相関の信頼性が低いとみなす、
ことを特徴とする請求項 31に記載の画像処理装置。
[33] 前記補間手段は、前記判定手段が相関の信頼性が高いと判定したときは、当該判 定手段によって判定された方向に存在する前記補間対象の画素の周辺画素の情報 を用いて補間を行ない、前記判定手段が相関の信頼性が低いと判定したときは、前 記周辺画素の情報の平均値を用いて補間を行なう、
ことを特徴とする請求項 32に記載の画像処理装置。
[34] 前記所定の色コーディングは、画素が水平方向及び垂直方向で等間隔となるよう に正方格子状に配列された画素配列に対して、輝度成分を作る上で主成分となる色 成分が、他の色成分の各々の周囲を囲むように配置されて 、る、
ことを特徴とする請求項 27に記載の画像処理装置。
[35] 前記所定の色コーディングは、画素が 1行毎及び 1列毎に画素ピッチの 1Z2ずつ ずれた斜め画素配列に対して、輝度成分を作る上で主成分となる色成分が、他の色 成分の各々の周囲を囲むように配置されて 、る、
ことを特徴とする請求項 27に記載の画像処理装置。
[36] 前記斜め画素配列に対する色コーディングを補間処理によってべィヤー配列の色 コーディングにする前段補間処理手段と、
前記べィヤー配列の色コーディングに対して補間を用いたべィヤー補間処理を行 なう後段補間処理手段をさらに備え、
前記前段補間処理手段は、 補間対象の画素に関して、画像の相関度合いを示す複数の相関値を算出する相 関値算出手段と、
前記相関値算出手段で算出された前記複数の相関値を、相関値を異なつた方向 に対して最低 2パターン算出し、当該最低 2パターンの相関値をさまざまな角度の直 線に対してプロットして得た相関線と比較することによって補間すべき方向を判定す る判定手段と、
前記判定手段によって判定された方向に存在する前記補間対象の画素の周辺画 素の情報を基に当該補間対象の画素に対して補間処理を行なう補間手段を備える、 ことを特徴とする請求項 35に記載の画像処理装置。
[37] 所定の色コーディングのフィルタを有する固体撮像装置上の補間対象の画素に関 して、画像の相関度合いを示す複数の相関値を算出する第 1ステップと、
前記第 1ステップで算出した前記複数の相関値を、相関値を異なった方向に対して 最低 2パターン算出し、当該最低 2パターンの相関値を様々な角度の直線に対して プロットして得た相関線と比較することによって補間すべき方向を判定する第 2ステツ プと、
前記第 2ステップで判定した方向に存在する前記補間対象の画素の周辺画素の情 報を基に当該補間対象の画素に対して補間処理を行なう第 3ステップと
を具備することを特徴とする画像処理方法。
[38] 所定の色コーディングのフィルタを有する固体撮像装置と、前記固体撮像装置の 出力信号を処理する画像処理装置とを具備する撮像装置であって、前記画像処理 装置は、
前記固体撮像装置上の補間対象の画素に関して、画像の相関度合いを示す複数 の相関値を算出する相関値算出手段と、
前記相関値算出手段で算出された前記複数の相関値を、相関値を異なつた方向 に対して最低 2パターン算出し、当該最低 2パターンの相関値をさまざまな角度の直 線に対してプロットして得た相関線と比較することによって補間すべき方向を判定す る判定手段と、
前記判定手段によって判定された方向に存在する前記補間対象の画素の周辺画 素の情報を基に当該補間対象の画素に対して補間処理を行なう補間処理手段と、 を具備することを特徴とする撮像装置。
PCT/JP2006/312366 2005-06-21 2006-06-20 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム WO2006137419A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN200680000682XA CN101006731B (zh) 2005-06-21 2006-06-20 图像处理装置及图像处理方法、摄像装置
EP06767025A EP1793620A4 (en) 2005-06-21 2006-06-20 PICTURE PROCESSING DEVICE AND METHOD, PICTURE DEVICE AND COMPUTER PROGRAM
KR1020077003122A KR101253760B1 (ko) 2005-06-21 2006-06-20 화상처리장치 및 화상처리방법, 촬상장치와컴퓨터·프로그램

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005180266 2005-06-21
JP2005-180266 2005-06-21
JP2006-169322 2006-06-19
JP2006169322A JP5151075B2 (ja) 2005-06-21 2006-06-19 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム

Publications (1)

Publication Number Publication Date
WO2006137419A1 true WO2006137419A1 (ja) 2006-12-28

Family

ID=37570448

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/312366 WO2006137419A1 (ja) 2005-06-21 2006-06-20 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム

Country Status (6)

Country Link
US (1) US7982781B2 (ja)
EP (1) EP1793620A4 (ja)
JP (1) JP5151075B2 (ja)
KR (1) KR101253760B1 (ja)
CN (4) CN101924947B (ja)
WO (1) WO2006137419A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7911507B2 (en) 2007-01-05 2011-03-22 Kabushiki Kaisha Toshiba Solid-state image pickup device in which the saturated signal quantity of a W pixel is controlled

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100994003B1 (ko) 2001-01-31 2010-11-11 가부시키가이샤 히타치세이사쿠쇼 데이터 처리 시스템 및 데이터 프로세서
US7697046B2 (en) * 2005-12-07 2010-04-13 Hoya Corporation Image signal processing device and method of image signal processing including pixel array pattern determination
JP4982897B2 (ja) * 2007-08-27 2012-07-25 株式会社メガチップス 画像処理装置
TWI422020B (zh) * 2008-12-08 2014-01-01 Sony Corp 固態成像裝置
JP5134528B2 (ja) * 2008-12-25 2013-01-30 ブラザー工業株式会社 画像読取装置
US8198578B2 (en) * 2009-06-23 2012-06-12 Nokia Corporation Color filters for sub-diffraction limit-sized light sensors
CN102884796B (zh) 2011-02-21 2014-07-09 富士胶片株式会社 彩色成像元件
WO2012117584A1 (ja) * 2011-02-28 2012-09-07 富士フイルム株式会社 カラー撮像装置
WO2012117583A1 (ja) * 2011-02-28 2012-09-07 富士フイルム株式会社 カラー撮像装置
CN102870405B (zh) 2011-03-09 2015-06-17 富士胶片株式会社 彩色成像元件
WO2012124184A1 (ja) * 2011-03-11 2012-09-20 富士フイルム株式会社 撮像装置およびその動作制御方法ならびに撮像システム
JP5378626B2 (ja) * 2011-03-11 2013-12-25 富士フイルム株式会社 撮像装置およびその動作制御方法
JP5353945B2 (ja) * 2011-05-13 2013-11-27 株式会社ニコン 画像処理装置および画像処理プログラム並びに電子カメラ
JP2013009293A (ja) * 2011-05-20 2013-01-10 Sony Corp 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置
JP2013038504A (ja) * 2011-08-04 2013-02-21 Sony Corp 撮像装置、および画像処理方法、並びにプログラム
WO2013100036A1 (ja) 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子
CN104025578B (zh) * 2011-12-27 2015-09-02 富士胶片株式会社 彩色摄像元件
WO2013100039A1 (ja) 2011-12-27 2013-07-04 富士フイルム株式会社 カラー撮像素子及び撮像装置
JP5621058B2 (ja) * 2011-12-27 2014-11-05 富士フイルム株式会社 カラー撮像素子
CN104025579B (zh) 2011-12-27 2016-05-04 富士胶片株式会社 固体摄像装置
CN104025583B (zh) 2011-12-28 2016-10-19 富士胶片株式会社 图像处理装置、方法及摄像装置
CN104041009B (zh) 2011-12-28 2016-02-03 富士胶片株式会社 摄像元件及摄像装置
WO2013100033A1 (ja) 2011-12-28 2013-07-04 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
WO2013099637A1 (ja) 2011-12-28 2013-07-04 富士フイルム株式会社 カラー撮像素子及び撮像装置
WO2013183378A1 (ja) 2012-06-07 2013-12-12 富士フイルム株式会社 撮像装置、画像処理装置、及び画像処理方法
JP5697801B2 (ja) 2012-06-19 2015-04-08 富士フイルム株式会社 撮像装置及び自動焦点調節方法
CN104380726B (zh) 2012-07-06 2016-04-13 富士胶片株式会社 图像处理装置及方法以及摄像装置
WO2014007280A1 (ja) 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
WO2014006785A1 (ja) 2012-07-06 2014-01-09 富士フイルム株式会社 撮像装置及び画像処理方法
DE112013003422B4 (de) 2012-07-06 2017-09-07 Fujifilm Corporation Farbbildaufnahmeelement und Bildaufnahmevorrichtung
JP5740054B2 (ja) 2012-07-06 2015-06-24 富士フイルム株式会社 撮像装置及び画像処理方法
JP5927068B2 (ja) 2012-07-06 2016-05-25 富士フイルム株式会社 カラー撮像素子
CN104412579B (zh) 2012-07-06 2016-08-24 富士胶片株式会社 彩色摄像元件以及摄像装置
WO2014006930A1 (ja) 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
WO2014006783A1 (ja) 2012-07-06 2014-01-09 富士フイルム株式会社 撮像装置及び画像処理方法
WO2014007279A1 (ja) 2012-07-06 2014-01-09 富士フイルム株式会社 カラー撮像素子および撮像装置
DE112013004198T5 (de) 2012-08-27 2015-05-07 Fujifilm Corporation Bildverarbeitungsvorrichtung, Verfahren, Programm, Aufzeichnungsmedium und Bildaufnahmevorrichtung
JP6012375B2 (ja) * 2012-09-28 2016-10-25 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
JP5777825B2 (ja) 2012-12-05 2015-09-09 富士フイルム株式会社 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
JP5778873B2 (ja) 2012-12-07 2015-09-16 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム、並びに記録媒体
WO2015076139A1 (ja) * 2013-11-20 2015-05-28 京セラドキュメントソリューションズ株式会社 画像圧縮伸張装置および画像形成装置
KR20150091717A (ko) * 2014-02-03 2015-08-12 삼성전자주식회사 이미지의 색상 신호를 보간하는 방법 및 장치
JP6598507B2 (ja) 2015-05-11 2019-10-30 キヤノン株式会社 撮像装置、撮像システム、信号処理方法
KR102512521B1 (ko) * 2015-10-12 2023-03-21 삼성전자주식회사 텍스쳐 처리 방법 및 장치
EP3497928B1 (en) * 2016-08-31 2020-11-18 Huawei Technologies Co., Ltd. Multi camera system for zoom
CN106454286A (zh) * 2016-09-29 2017-02-22 杭州雄迈集成电路技术有限公司 一种g模式色彩滤波阵列
CN106303474A (zh) * 2016-09-29 2017-01-04 杭州雄迈集成电路技术有限公司 一种基于g模式色彩滤波阵列的去马赛克方法及装置
CN106298826A (zh) * 2016-09-29 2017-01-04 杭州雄迈集成电路技术有限公司 一种图像传感器
CN107529046B (zh) 2017-02-23 2024-03-08 思特威(深圳)电子科技有限公司 一种色彩滤镜阵列及图像传感器
EP3709623A1 (en) * 2019-03-15 2020-09-16 Aptiv Technologies Limited Method for simulating a digital imaging device
US20220368867A1 (en) * 2019-09-26 2022-11-17 Sony Semiconductor Solutions Corporation Imaging device
CN112954436B (zh) * 2019-11-26 2023-04-25 西安诺瓦星云科技股份有限公司 视频图像画质调节方法、装置和视频处理设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150668A (ja) * 1996-11-18 1998-06-02 Sony Corp 撮像装置及びカラー画像信号の処理方法
JPH11177994A (ja) 1997-12-08 1999-07-02 Sony Corp 画像処理装置および画像処理方法、並びにカメラ
JP2004048465A (ja) * 2002-07-12 2004-02-12 Olympus Corp 画像処理装置および画像処理プログラム
JP2004299055A (ja) * 2003-03-28 2004-10-28 Seiko Epson Corp 液体噴射装置、インクジェット式記録装置及び液体注入装置
JP2004364201A (ja) * 2003-06-09 2004-12-24 Fuji Photo Film Co Ltd 補間画素生成装置および方法
JP2005094119A (ja) * 2003-09-12 2005-04-07 Canon Inc 画像処理装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3935588A (en) * 1971-04-20 1976-01-27 Matsushita Electric Industrial Co., Ltd. Color image pick-up system using strip filter
US6278803B1 (en) * 1990-04-26 2001-08-21 Canon Kabushiki Kaisha Interpolation apparatus for offset sampling signals
JP3064598B2 (ja) * 1991-12-02 2000-07-12 松下電器産業株式会社 相関検出補間方法および装置
JP2940762B2 (ja) * 1993-06-28 1999-08-25 三洋電機株式会社 手振れ補正装置を有するビデオカメラ
JP2816095B2 (ja) * 1994-04-26 1998-10-27 三洋電機株式会社 ビデオカメラの信号処理回路
JP3704238B2 (ja) * 1997-03-31 2005-10-12 株式会社リコー 撮像装置
JP3212917B2 (ja) * 1997-08-26 2001-09-25 エヌイーシービューテクノロジー株式会社 走査線補間装置および走査線補間方法
JP4269369B2 (ja) * 1997-11-28 2009-05-27 ソニー株式会社 カメラ信号処理装置及びカメラ信号処理方法
JPH11220749A (ja) * 1997-11-28 1999-08-10 Sony Corp カメラ信号処理装置及びカメラ信号処理方法
EP1122651B1 (en) * 2000-02-03 2010-05-19 Hitachi, Ltd. Method and apparatus for retrieving and delivering documents, and recording media storing a program therefor
JP2002024815A (ja) * 2000-06-13 2002-01-25 Internatl Business Mach Corp <Ibm> 拡大画像データに変換するための画像変換方法、画像処理装置、および画像表示装置
JP3862506B2 (ja) * 2001-02-06 2006-12-27 キヤノン株式会社 信号処理装置およびその信号処理方法およびその動作処理プログラムおよびそのプログラムを記憶した記憶媒体
JP4011861B2 (ja) * 2001-03-29 2007-11-21 キヤノン株式会社 信号処理装置及び方法
JP3965457B2 (ja) 2001-04-12 2007-08-29 有限会社ビーテック 単板カラーカメラの市松配列緑色信号等インタリーブの関係にある画素信号の補間方法
JP3717863B2 (ja) * 2002-03-27 2005-11-16 三洋電機株式会社 画像補間方法
JP2003319408A (ja) * 2002-04-26 2003-11-07 Seiko Epson Corp カラーエリアセンサ及び撮像回路
KR101001462B1 (ko) * 2002-08-19 2010-12-14 소니 주식회사 화상 처리 장치 및 방법, 영상 표시 장치와 기록 정보재생 장치
JP2004229055A (ja) * 2003-01-24 2004-08-12 Pentax Corp 画像処理装置
US7477803B2 (en) * 2003-09-12 2009-01-13 Canon Kabushiki Kaisha Image processing apparatus
JP2005107037A (ja) 2003-09-29 2005-04-21 Seiko Epson Corp 混合方法、トナーの製造方法およびトナー
JP3960965B2 (ja) * 2003-12-08 2007-08-15 オリンパス株式会社 画像補間装置及び画像補間方法
JP4446818B2 (ja) * 2004-07-06 2010-04-07 株式会社メガチップス 画素補間方法
JP4352331B2 (ja) * 2004-09-09 2009-10-28 富士フイルム株式会社 信号処理装置、信号処理方法及び信号処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150668A (ja) * 1996-11-18 1998-06-02 Sony Corp 撮像装置及びカラー画像信号の処理方法
JPH11177994A (ja) 1997-12-08 1999-07-02 Sony Corp 画像処理装置および画像処理方法、並びにカメラ
US6714242B1 (en) 1997-12-08 2004-03-30 Sony Corporation Image processing apparatus, image processing method, and camera
JP2004048465A (ja) * 2002-07-12 2004-02-12 Olympus Corp 画像処理装置および画像処理プログラム
JP2004299055A (ja) * 2003-03-28 2004-10-28 Seiko Epson Corp 液体噴射装置、インクジェット式記録装置及び液体注入装置
JP2004364201A (ja) * 2003-06-09 2004-12-24 Fuji Photo Film Co Ltd 補間画素生成装置および方法
JP2005094119A (ja) * 2003-09-12 2005-04-07 Canon Inc 画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1793620A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7911507B2 (en) 2007-01-05 2011-03-22 Kabushiki Kaisha Toshiba Solid-state image pickup device in which the saturated signal quantity of a W pixel is controlled

Also Published As

Publication number Publication date
CN101006731B (zh) 2012-03-21
US20070013786A1 (en) 2007-01-18
CN101006731A (zh) 2007-07-25
EP1793620A1 (en) 2007-06-06
CN102256141B (zh) 2014-12-17
KR20080016984A (ko) 2008-02-25
JP2007037104A (ja) 2007-02-08
KR101253760B1 (ko) 2013-04-12
CN101924947B (zh) 2011-12-28
EP1793620A4 (en) 2012-04-18
CN101924947A (zh) 2010-12-22
CN102256140A (zh) 2011-11-23
US7982781B2 (en) 2011-07-19
CN102256141A (zh) 2011-11-23
JP5151075B2 (ja) 2013-02-27

Similar Documents

Publication Publication Date Title
JP5151075B2 (ja) 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
US7847829B2 (en) Image processing apparatus restoring color image signals
JP5036421B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
US7479998B2 (en) Image pickup and conversion apparatus
US6847397B1 (en) Solid-state image sensor having pixels shifted and complementary-color filter and signal processing method therefor
JP5036482B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP5040519B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20080247671A1 (en) Image Processing Device
JPH0823543A (ja) 撮像装置
US20060050956A1 (en) Signal processing apparatus, signal processing method, and signal processing program
JP2013017142A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP4548390B2 (ja) 撮像装置及び信号処理方法
JP5268321B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP4635769B2 (ja) 画像処理装置、画像処理方法および撮像装置
JP4687454B2 (ja) 画像処理装置および撮像装置
JP4962293B2 (ja) 画像処理装置、画像処理方法、プログラム
JP4385748B2 (ja) 画像信号処理装置及び画像信号処理方法
JP4329485B2 (ja) 画像信号処理装置及び画像信号処理方法
US7250967B2 (en) Apparatus for modifying reproduction frequency band of video signal
JP5454820B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JPH10248069A (ja) 撮像装置
JP2003143613A (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 1028/DELNP/2007

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 1020077003122

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2006767025

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 200680000682.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2006767025

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE