WO2014188950A1 - 画素補間装置およびその動作制御方法 - Google Patents

画素補間装置およびその動作制御方法 Download PDF

Info

Publication number
WO2014188950A1
WO2014188950A1 PCT/JP2014/062943 JP2014062943W WO2014188950A1 WO 2014188950 A1 WO2014188950 A1 WO 2014188950A1 JP 2014062943 W JP2014062943 W JP 2014062943W WO 2014188950 A1 WO2014188950 A1 WO 2014188950A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
color
pixels
mixed
same
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/062943
Other languages
English (en)
French (fr)
Inventor
田中　誠二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015518212A priority Critical patent/JP5877931B2/ja
Priority to CN201480029601.3A priority patent/CN105264886B/zh
Publication of WO2014188950A1 publication Critical patent/WO2014188950A1/ja
Priority to US14/947,916 priority patent/US9727948B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels

Definitions

  • the present invention relates to a pixel interpolation device, its operation control method, and its operation control program.
  • ⁇ Pixels may be mixed for each pixel of the same color to generate a reduced image.
  • the pixel addition ratio is adjusted so that the centers of gravity of the addition pixels are evenly spaced (Patent Document 1).
  • Patent Document 2 There is a technique in which the amplification amount before pixel addition is adjusted so that the centers of gravity of the addition pixels are equally spaced (Patent Document 2).
  • This invention is intended to prevent the occurrence of false colors.
  • the pixel interpolating device has a basic array pattern including a first color pixel, a second color pixel and a third color pixel each having a lower contribution rate to the luminance than the first color pixel.
  • the first color pixel is the first type of first pixel present in the same row as at least the second color pixel or the third color pixel.
  • the second color pixel and the third color pixel are mixed for each pixel of the same color for each pixel mixture pattern composed of a plurality of pixels in the row direction and the column direction.
  • Multiple types of mixed pixels of the first color and mixed colors of the second color for each mixed pattern Same color pixel mixing means for obtaining mixed pixels of the pixel and the third color, and the color image is correlated with either the column direction or the row direction based on the plurality of kinds of first color mixed pixels obtained by the same color pixel mixing means.
  • interpolating means for generating an interpolated pixel of the first color, an interpolated pixel of the second color, and an interpolated pixel of the third color for each pixel mixed pattern using the mixed pixels of the colors .
  • the present invention also provides an operation control method suitable for a pixel interpolation device. That is, in this method, the same color pixel mixing means includes a first color pixel, a second color pixel, and a third color pixel, each having a lower contribution rate to the luminance than the first color pixel. In the color image in which the basic array pattern is repeated in the row direction and the column direction, the first color pixels are present in the same row as at least the second color pixels or the third color pixels.
  • the second color pixel and the third color pixel are mixed for each pixel of the same color, and for each pixel mixture pattern composed of a plurality of pixels in the row direction and the column direction.
  • a plurality of types of mixed pixels of the first color for each pixel mixture pattern, The mixed pixel of the first color and the mixed pixel of the third color are obtained, and the correlation discriminating unit is arranged in the column direction or the row in the color image based on the plurality of types of first color mixed pixels obtained by the same color pixel mixing unit.
  • the interpolation means determines the mixed pixels of the first color and the second color of the plurality of types obtained by the same color pixel mixing means based on the determination result by the correlation determination means.
  • a first color interpolation pixel, a second color interpolation pixel, and a third color interpolation pixel are generated for each pixel mixture pattern using the mixed pixel and the third color mixed pixel.
  • the present invention also provides a program for executing the operation control method of the pixel interpolation device.
  • a recording medium storing such a program may be provided.
  • the first color pixel includes at least the first color pixel of the first type existing in the same row as the second color pixel or the third color pixel, and the second color pixel.
  • a second color (different from the first type) first color pixel existing in the same column as the pixel or the third color pixel is mixed for each same color pixel, and the second color pixel and
  • the mixing process is performed for each pixel mixture pattern for each pixel of the same color. Whether the color image has a correlation in the column direction or the row direction based on a plurality of types of first color mixed pixels and second color mixed pixels and third color mixed pixels obtained in pixel mixing Is determined.
  • the first color interpolated pixel, the second color mixed pixel, the second color mixed pixel, and the third color mixed pixel are used for each pixel mixture pattern.
  • Color interpolation pixels and third color interpolation pixels are generated.
  • the interpolating unit for the second color pixel, is the first color pixel in the same row as the second color pixel.
  • the third color pixel is less affected by the first color pixel in the same row as the third color pixel, and the correlation determination means correlates the row direction of the color image. Is determined, the second color pixel is less affected by the first color pixel in the same column as the second color pixel, and the third color pixel is the third color.
  • the influence of the first color pixels in the same column as the first pixel is reduced, and a plurality of types of first color mixed pixels, second color mixed pixels and third color obtained in the same color pixel mixing means are obtained.
  • the first color interpolation pixel, the second color interpolation pixel, and the third color for each pixel mixture pattern It may be generated interpolated pixel.
  • the interpolating means outputs a second of the mixed pixels of the second color and the mixed pixels of the first color existing in the direction determined to be correlated by the correlation determining means among the plurality of kinds of mixed pixels of the first color.
  • Difference data calculating means for calculating difference data for the third color may be provided.
  • an average pixel of a plurality of types of first color mixed pixels is set as the first color interpolation pixel, and the difference between the first color interpolation pixel and the second color calculated by the difference data calculation unit is used.
  • the pixel added with the data is set as the second color interpolation pixel, and the pixel obtained by adding the difference data for the third color calculated by the difference data calculation means to the first color interpolation pixel is set as the third color interpolation pixel. It would be a color interpolation pixel.
  • the absolute value of the difference between the second color mixed pixel and the plurality of types of first color mixed pixels between the second color and the first color mixed pixel on the same column, and the third color mixed A first addition value obtained by adding the absolute value of the difference between the third color and the first color mixed pixel on the same column among the plurality of types of mixed pixels of the first color; , The absolute value of the difference between the second color mixed pixel and the first color mixed pixel on the same row among the plurality of types of first color mixed pixels, and the third color A second addition value obtained by adding the absolute value of the difference between the mixed pixel and the first color mixed pixel on the same row among the mixed pixels of the plurality of types of first colors And an addition value determining means for determining which is greater.
  • the correlation determination means determines that there is a correlation in the column direction according to the addition value determination means determining that the first addition value is smaller than the second addition value. It will be determined that there is a correlation in the row direction when it is determined that the first added value is larger than the added value of.
  • the basic array pattern is based on, for example, a Bayer array.
  • a first color pixel having a green or magenta color component in the row direction and the column direction and a second color pixel having a red or cyan color component
  • a third color pixel having a blue or yellow color component and at least one of the first color pixels is included in the column direction, the row direction, and the diagonal direction, and the column direction , At least one of two consecutive portions in the row direction and the oblique direction may be included.
  • the color image includes pixels of the first color in the same row and column as the pixels of the second color, and pixels of the first color also in the same column and row as the third color pixels. Is something that exists.
  • An imaging device provided with a pixel interpolation device may be provided.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • a partial color image of horizontal stripes is shown.
  • a partial color image of vertical stripes is shown. 2 shows the electrical configuration of a digital camera.
  • a partial color image It is an example of a partial color image.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • a partial color image of horizontal stripes is shown.
  • a partial color image of vertical stripes is shown. It is an example of a partial color image.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • the state of pixel mixing is shown.
  • a partial color image of horizontal stripes is shown.
  • a partial color image of vertical stripes is shown.
  • a partial color image of diagonal stripes is shown. It is an example of a partial color image.
  • R pixels are shown.
  • B pixels are shown.
  • the G1 pixel is shown.
  • the G2 pixel is shown.
  • FIG. 1 is a partial color image 1 showing a part of a color image obtained by an image sensor in which color filters are formed in a Bayer array on the light receiving surfaces of a large number of photodiodes.
  • the partial color image 1 in FIG. 1 is composed of six pixels 10 in both the row direction (the direction in which the number of rows increases) and the column direction (the direction in which the number of columns increase).
  • red pixels R pixels, second pixels
  • Color pixels In the odd-numbered columns and odd-numbered rows, red pixels (R pixels, second pixels) obtained from the signal charges accumulated in the photodiode in which the red filter having the characteristic of transmitting the red light component is formed on the light receiving surface.
  • Color pixels In the even-numbered column and the even-numbered row, a blue pixel (B pixel, third color) obtained from a signal charge accumulated in a photodiode in which a blue filter having a characteristic of transmitting a blue light component on the light receiving surface is formed. Pixels).
  • green pixels obtained from signal charges accumulated in photodiodes having a green filter having a characteristic of transmitting a green light component on the light receiving surface are formed.
  • Color pixels a green pixel between R pixels in an odd row is called a Gr pixel (first-type first color pixel), and a green pixel between B pixels in an even row is a Gb pixel (first pixel).
  • R pixels may be arranged in odd rows and even columns
  • B pixels may be arranged in even rows and odd columns
  • green pixels may be arranged in addition.
  • Gb pixels exist in the same row as B pixels
  • Gr pixels exist in the same column.
  • Gr pixels exist in the same row as the R pixels, and Gb pixels exist in the same column.
  • the pixels 10 are repeated according to the basic array pattern of 2 pixels ⁇ 2 pixels in the column direction and the row direction.
  • a pixel mixed block Br (pixel mixed pattern) of 3 pixels ⁇ 3 pixels in the column direction and the row direction is defined.
  • the same color pixels are mixed to reduce the color image to 1/9.
  • the Gr pixel and the Gb pixel are the same color pixels, they are distinguished in the pixel mixture, and the Gr pixels and the Gb pixels are mixed.
  • the pixel mixture block Br does not have to have a size of 3 pixels ⁇ 3 pixels.
  • the upper left, the upper right, the lower left and the lower right image portions are represented as image portions 11, 12, 13 and 14
  • FIG. 2 shows a pixel mixture of R pixels constituting the image portion 11.
  • pixels other than the R pixel are omitted for easy understanding.
  • the pixels 10 at the four corners are R pixels.
  • Four R pixels at the four corners are mixed, and the averaged pixel becomes an R mixed pixel (mixed pixel of the second color) after the reduction of the image portion 11.
  • FIG. 3 shows a pixel mixture of Gr pixels constituting the image portion 11.
  • reference numerals representing the colors of pixels other than the Gr pixel are omitted.
  • the upper and lower sides of the central pixel 10 are Gr pixels. These two Gr pixels are mixed, and the averaged pixel becomes a Gr mixed pixel (mixed pixel of the first color) after the reduction of the image portion 11.
  • FIG. 4 shows a pixel mixture of Gb pixels constituting the image portion 11.
  • reference numerals representing the colors of pixels other than Gb pixels are omitted.
  • the left and right of the center pixel are Gb pixels. These two Gb pixels are mixed, and the averaged pixel becomes a Gb mixed pixel after reduction of the image portion 11 (mixed pixel of the first color).
  • FIG. 5 shows B pixels constituting the image portion 11. Since the image portion 11 has one B pixel at the center, the B pixel itself is a reduced B mixed pixel (mixed pixel of the third color). As described above, the barycentric positions of the mixed pixels of the respective colors after the pixel mixing of the green component pixel, the blue component pixel, and the red component pixel, which are the pixels of each color, are on the same pixel position in the pixel mixture block Br. The pixels are mixed so that Since pixel reduction and pixel interpolation are performed simultaneously by such pixel mixing, interpolation processing (also referred to as demosaicing processing) generally performed as separate processing can be omitted, and the processing circuit can be simplified. The processing speed can be increased.
  • interpolation processing also referred to as demosaicing processing
  • FIG. 6 shows a pixel mixture of R pixels in the image portion 12. Since there are R pixels above and below the central pixel 10, these two R pixels are mixed to generate an R mixed pixel.
  • FIG. 7 is a pixel mixture of Gr pixels in the image portion 12. Since there are Gr pixels at the four corners, these four Gr pixels are mixed to generate a Gr mixed pixel.
  • FIG. 8 shows Gb pixels in the image portion 12. There is a Gb pixel in the center, and the Gb pixel is a Gb mixed pixel.
  • FIG. 9 shows the B pixel of the image portion 12. Since there are B pixels on the left and right of the central pixel 10, the two B pixels are mixed to generate a B mixed pixel.
  • FIG. 10 shows a pixel mixture of R pixels in the image portion 13. There are R pixels on the left and right of the center pixel 10, and these two R pixels are mixed to generate an R mixed pixel.
  • FIG. 11 shows Gr pixels in the image portion 13. Since the Gr pixel is in the center, the Gr pixel becomes a Gr mixed pixel.
  • FIG. 12 shows a pixel mixture of Gb pixels in the image portion 13.
  • the Gb pixels at the four corners of the image portion 13 are mixed to generate a Gb mixed pixel.
  • FIG. 13 shows a pixel mixture of B pixels in the image portion 13.
  • the B pixels above and below the center pixel of the image portion 13 are mixed to generate a B mixed pixel.
  • FIG. 14 to FIG. 17 show how pixels are mixed in the image portion 14. In these cases as well, the pixels other than the pixels to be mixed are not shown in the same manner as described above.
  • FIG. 14 shows the R pixel of the image portion 14. Since the R pixel is in the center, the R pixel becomes an R mixed pixel.
  • FIG. 15 shows Gr pixels of the image portion 14. Since the Gr pixels are on the left and right of the center pixel 10, the two Gr pixels are mixed to form a Gr mixed pixel.
  • FIG. 16 shows the B pixel of the image portion 14. Since the B pixels are at the four corners, the four B pixels are mixed to form a B mixed pixel.
  • FIG. 18 shows a partial color image 1 with horizontal stripes.
  • the subject is a black and white horizontal stripe, and the period of white and black is equal to the interval at which the photodiode of the image sensor is formed. Then, as shown in FIG. 18, odd lines (or even lines) become white lines, and even lines (or odd lines) become black lines.
  • the partial color image 1 is hatched so that it can be seen that it is a black line. The part not hatched represents a white line.
  • the white level is 100 and the black level to 0.
  • the level of the R mixed pixel is 100.
  • the level of the Gr mixed pixel is also 100.
  • the Gb pixel and the B pixel are each black, the levels of the Gb mixed pixel and the B mixed pixel are both 0.
  • the Gr mixed pixel and the Gb mixed pixel are obtained from the same color filter characteristics, when they are mixed, the level of the G pixel after mixing becomes 50, and the reduced image after the pixel mixing is displayed. Will cause false colors. The same applies to portions other than the image portion 11.
  • FIG. 19 shows a partial color image 1 with vertical stripes.
  • the subject is a black and white vertical stripe, and the period of white and black is equal to the interval at which the photodiodes of the image sensor are formed. Then, as shown in FIG. 19, odd columns (or even columns) are white lines, and even columns (or odd columns) are black lines. Also in FIG. 18, hatching is added so that it can be seen that the color is black. The part not hatched is white.
  • the white level is 100 and the black level is 0.
  • the level of the R mixed pixel is 100.
  • the level of the Gr mixed pixel is zero.
  • the Gb pixel represents white as shown in FIG. 4, the level of the Gb mixed pixel is 100.
  • the B pixel is black, the levels of the B mixed pixels are all zero.
  • correlation direction determination is performed using an R mixed pixel, a Gr mixed pixel, a Gb mixed pixel, and a B mixed pixel obtained by pixel mixing.
  • Expression 1 it is determined that the partial color image 1 has a correlation in the horizontal direction (column direction) as shown by the horizontal stripes in FIG. If Expression 1 is not satisfied, it is determined that the partial color image 1 has a correlation in the vertical direction (row direction) as shown by vertical stripes in FIG.
  • the left side of the inequality sign in Equation 1 is the difference value of the mixed pixels generated from the pixels in the same row
  • the left side of the inequality sign in Equation 1 is the difference value of the mixed pixels generated from the pixels in the same column.
  • the fact that 1 is satisfied is because the level difference between pixels in the same row is small and it is considered that there is a correlation in the horizontal direction.
  • Expression 1 does not hold is because the level difference between pixels in the same column is small and it is considered that there is a correlation in the vertical direction.
  • the mixed pixel is corrected according to the correlation direction.
  • an R pixel difference value Rsub and a B pixel difference value Bsub are respectively calculated.
  • the R pixel difference value Rsub and the B pixel difference value Bsub are expressed by Expression 3 and Expression 4, respectively.
  • the influence of the Gr pixel in the same row as the R pixel and the influence of the Gb pixel in the same row as the B pixel are reduced.
  • R pixel difference value Rsub R mixed pixel ⁇ Gr mixed pixel Equation 3
  • B pixel difference value Bsub B mixed pixel ⁇ Gb mixed pixel Equation 4
  • the R pixel difference value Rsub and the B pixel difference value Bsub are expressed by Expression 5 and Expression 6, respectively.
  • the influence of the Gb pixel in the same column as the R pixel and the influence of the Gr pixel in the same column as the B pixel are reduced.
  • R pixel difference value Rsub R mixed pixel ⁇ Gb mixed pixel Equation 5
  • B pixel difference value Bsub B mixed pixel ⁇ Gr mixed pixel Equation 6
  • Interpolated pixels are generated from the mixed pixels obtained as described above as follows.
  • G interpolation pixel (Gr mixed pixel + Gb mixed pixel) / 2 Equation 7
  • R interpolation pixel G interpolation pixel + R pixel difference value
  • B interpolation pixel G interpolation pixel + B pixel difference value
  • FIG. 20 is a block diagram showing an electrical configuration of a digital camera that performs the above-described reduction and interpolation processing.
  • the image sensor 20 has the above-described Bayer array, and outputs color image data (RAW data) representing a color image including the partial color image 1 as described above.
  • the color image data output from the image sensor 20 is given to the correlation information calculation circuit 22 that constitutes the pixel interpolation device 21.
  • the correlation information calculation circuit 22 pixel mixing is performed as described above, and an R mixture pixel, a B mixture pixel, a Gr mixture pixel, and a Gb mixture pixel are generated. Correlation information indicating the correlation direction of the color image is calculated from Equation 1 using these mixed pixels.
  • RGB pixel interpolation circuit 23 From the correlation information calculation circuit 22, data representing R mixed pixels, B mixed pixels, Gr mixed pixels and Gb mixed pixels and data representing correlation information are output and supplied to the RGB pixel interpolation circuit 23.
  • pixel difference values represented by Expression 3 and Expression 4 or Expression 5 and Expression 6 are calculated according to the correlation direction, and an interpolation pixel is generated based on Expression 7 to Expression 9. .
  • the generated data representing the interpolated pixels is given to the display processing device 25 via the memory 24.
  • the display processing device 25 When the display device 26 is controlled by the display processing device 25, the reduced image subjected to the interpolation processing is displayed. Needless to say, the display of the image displayed on the display device 26 prevents false colors.
  • Pixel mixing is performed in the correlation information calculation circuit 22 to generate an R mixed pixel, a B mixed pixel, a Gr mixed pixel, and a Gb mixed pixel.
  • Pixel mixing may be performed at the stage of reading out or outputting the image data. Thereby, the processing speed can be improved.
  • FIG. 21 corresponds to FIG. 1, and is a partial color image 1A showing a part of a color image obtained by an image sensor formed in a predetermined arrangement on the light receiving surfaces of a large number of photodiodes.
  • the partial color image 1A in FIG. 21 is also composed of six pixels 10A in both the row direction and the column direction.
  • the red pixel, the green pixel, and the blue pixel are denoted by R, G, or B, respectively.
  • the center G pixel G and the four corner G pixels G are distinguished in the pixel mixture block Br.
  • the G pixels at the four corners are G1 pixels, and the center G pixel is the G2 pixel.
  • the image portions 31 and 34 defined by the pixel mixture block Br at the upper left and lower right of the image portion 1A there are R pixels above and below the central G2 pixel, and there are B pixels on the left and right of the central G2 pixel. .
  • the color image is repeated with the partial color image 1A shown in FIG. 21 as a basic array pattern.
  • the partial color image 1A there are at least one G1 pixel, G2 pixel, R pixel, and B pixel in the horizontal direction (column direction) and the vertical direction (row direction), and the partial color image 1A is repeatedly arranged.
  • at least one G1 pixel or G2 pixel exists in any horizontal direction, vertical direction, and diagonal direction of the color image.
  • the partial color image 1A includes at least one portion where two G1 pixels or G2 pixels are continuous in the horizontal direction, the vertical direction, and the oblique direction. Further, the partial color image 1A includes at least one portion where two G1 pixels are continuous in the horizontal direction and the vertical direction.
  • the G1 pixel is in the 6n (m is a positive integer) +1 row in the 6n (n is a positive integer) +1 row, the 6n + 3 row, the 6n + 4 row, and the 6n + 6 row.
  • 6m + 3 rows, 6m + 4 rows and 6m + 6 rows are formed.
  • the G2 pixels are formed in the sixth m + 2 column and the sixth m + 5 column in the sixth n + 2 row and the sixth n + 5 row.
  • the B pixel B is in the sixth m + 5 column in the sixth n + 1 row and the sixth n + 3 row, in the sixth m + 1 column and the sixth m + 3 column in the sixth n + 2 row, in the sixth m + 2 column in the sixth n + 4 row and the sixth n + 6 row, and in the sixth n + 5 row. Then, it exists in the 6m + 4th column and the 6th + 6th column, respectively.
  • the R pixel is in the sixth m + 2 column in the sixth n + 1 row, in the sixth m + 4 column and the sixth m + 6 column in the sixth n + 2 row, in the sixth m + 5 column in the sixth n + 4 row and the sixth n + 6 row, in the sixth m + 1 column and the sixth m + 3 column in the sixth n + 5 row.
  • a color image is obtained by forming a red filter, a green filter or a blue filter on the light receiving surface of the photodiode of the photoelectric conversion element, but the light component of cyan C which is a complementary color of the three primary colors is transmitted.
  • a cyan filter having characteristics, a magenta filter having characteristics that transmit the light component of magenta M, or a yellow filter having characteristics that transmit the light component of yellow Y are formed on the light receiving surface of the photodiode of the photoelectric conversion element.
  • FIG. 22 shows a pixel mixture of R pixels. For ease of understanding, pixels other than the R pixel are omitted.
  • the upper and lower pixels of the center pixel 10A are R pixels. These two R pixels are mixed, and the averaged pixel becomes the R mixed pixel after the image portion 31 is reduced.
  • FIG. 23 shows a pixel mixture of G1 pixels constituting the image portion 31. Also in FIG. 23, reference numerals representing the colors of pixels other than the G1 pixel are omitted.
  • the four corners are G1 pixels. These four G1 pixels are mixed, and the averaged pixel becomes the G1 mixed pixel after the image portion 31 is reduced.
  • FIG. 24 shows a pixel mixture of G2 pixels constituting the image portion 31.
  • the symbols representing the colors of the pixels other than the G2 pixel are omitted for easy understanding.
  • the center pixel is a G2 pixel. This G2 pixel is used as the G2 mixed pixel after the image portion 31 is reduced.
  • FIG. 25 shows B pixels constituting the image portion 31. The sign of the color of pixels other than the B pixel is omitted.
  • B pixels on the left and right of the center pixel 10A There are B pixels on the left and right of the center pixel 10A. These two B pixels are mixed and averaged to become a reduced B mixed pixel.
  • FIG. 26 and FIG. 27 show the state of pixel mixing in the image portion 32.
  • the pixel mixture of the G1 pixels is the same as that shown in FIG. This is the same as that shown in FIG.
  • FIG. 26 shows a pixel mixture of R pixels. Since there are R pixels on the left and right of the central pixel 10A, these two R pixels are mixed to generate an R mixed pixel. Needless to say, they are averaged.
  • FIG. 27 shows a pixel mixture of B pixels. Since there are B pixels above and below the central pixel 10A, these two B pixels are mixed to generate a B mixed pixel. In this way, pixel mixing is performed so that the barycentric positions of the mixed pixels of each color after mixing the respective pixels of the green component, the blue component pixel, and the red component pixel are the same pixel position. is doing. Since pixel reduction and pixel interpolation are performed simultaneously by such pixel mixing, interpolation processing (also referred to as demosaicing processing) generally performed as separate processing can be omitted, and the processing circuit can be simplified. The processing speed can be increased.
  • FIG. 28 corresponds to FIG. 18 and shows a partial color image 1A with horizontal stripes.
  • the subject has horizontal stripes and the period of white and black is equal to the interval at which the photodiodes of the image sensor are formed. Then, as shown in FIG. 28, odd lines (or even lines) become white lines, and even lines (or odd lines) become black lines.
  • the partial color image 1A is hatched so that it can be seen that it is a black line. The part not hatched represents a white line.
  • FIG. 29 shows a vertically striped partial color image 1A.
  • the R mixed pixel, G1 mixed pixel, and G2 mixed obtained by pixel mixing are used.
  • the correlation direction is determined using the pixel and the B mixed pixel.
  • the correlation direction is determined using Expression 10A in which the R mixed pixel and the B mixed pixel are reversed in Expression 10.
  • Expression 10A it is determined that the image portions 32 and 33 are correlated in the horizontal direction as shown in FIG. 28. If Expression 10A is not satisfied, the image portions 32 and 33 are the vertical stripes shown in FIG. Thus, it is determined that there is a correlation in the vertical direction.
  • the sum of the absolute difference between the R mixed pixel and the G mixed pixel mixed on the same column and the absolute difference between the B mixed pixel and the G mixed pixel mixed on the same column is the same row.
  • the correlation in the column direction is based on the comparison between the absolute value of the difference between the R mixed pixel and the G mixed pixel mixed in step B and the sum of the absolute difference between the B mixed pixel and the G mixed pixel mixed in the same row. It is judged whether there is a correlation in the row direction.
  • the mixed pixel is corrected according to the correlation direction.
  • an R pixel difference value Rsub and a B pixel difference value Bsub are respectively calculated.
  • the R pixel difference value Rsub and the B pixel difference value Bsub are expressed by Expression 11 and Expression 12, respectively.
  • the influence of the G1 pixel in the same row as the R pixel and the influence of the G2 pixel in the same row as the B pixel are reduced.
  • R pixel difference value Rsub R mixed pixel ⁇ G1 mixed pixel Equation 11
  • B pixel difference value Bsub B mixed pixel ⁇ G2 mixed pixel Equation 12
  • the R pixel difference value Rsub and the B pixel difference value Bsub are expressed by Expression 13 and Expression 14, respectively.
  • Expression 13 and Expression 14 As will be described later, when there is a correlation in the vertical direction, the influence of the G2 pixel in the same column as the R pixel and the influence of the G1 pixel in the same column as the B pixel are reduced.
  • R pixel difference value Rsub R mixed pixel ⁇ G2 mixed pixel Equation 13
  • B pixel difference value Bsub B mixed pixel ⁇ G1 mixed pixel Equation 14
  • Interpolated pixels are generated from the mixed pixels obtained as described above as follows.
  • G interpolation pixel (G1 mixed pixel + G2 mixed pixel) / 2 Equation 15
  • R interpolation pixel G interpolation pixel + R pixel difference value
  • B interpolation pixel G interpolation pixel + B pixel difference value
  • FIG. 30 corresponds to FIG. 1 and FIG. 21, and is a partial color image 1A showing a part of a color image obtained by an image sensor formed in a predetermined arrangement on the light receiving surfaces of a number of photodiodes. is there.
  • the partial color image 1B shown in FIG. 30 is also composed of six pixels 10B in both the row direction and the column direction.
  • the red pixel, the green pixel, and the blue pixel are denoted by R, G, or B, respectively.
  • any image portion 41 to 44 of the pixel mixture block Br of 3 pixels ⁇ 3 pixels there are G pixels at the center and at the top, bottom, left and right of the center. There are R pixels in the upper left and lower right of the center, and B pixels in the upper right and lower left of the center.
  • the central G pixel, the upper and lower G pixels of the central G pixel, and the left and right G pixels of the central G pixel are distinguished.
  • the upper and lower G pixels of the central G pixel are G1 pixels
  • the left and right G pixels of the central G pixel are G2 pixels
  • the central G pixel is a G3 pixel.
  • the color image is repeated with the image portion 41 as a basic arrangement pattern.
  • a color image is obtained by forming a red filter, a green filter or a blue filter on the light receiving surface of the photodiode of the photoelectric conversion element, but the light component of cyan C which is a complementary color of the three primary colors is transmitted.
  • a cyan filter having characteristics, a magenta filter having characteristics that transmit the light component of magenta M, or a yellow filter having characteristics that transmit the light component of yellow Y are formed on the light receiving surface of the photodiode of the photoelectric conversion element.
  • FIG. 31 to FIG. 35 show how pixels are mixed in the image portion 41. The same applies to the other image portions 42 to 44.
  • FIG. 31 shows a pixel mixture of R pixels. For ease of understanding, pixels other than the R pixel are omitted.
  • the upper left and lower right pixels of the center pixel 10B are R pixels. These two R pixels are mixed, and the averaged pixel becomes the R mixed pixel after the reduction of the image portion 41.
  • FIG. 32 shows a pixel mixture of G1 pixels constituting the image portion 41. Also in FIG. 32, symbols representing the colors of pixels other than the G1 pixel are omitted.
  • the top and bottom of the central pixel 10B are G1 pixels. These two G1 pixels are mixed, and the averaged pixel becomes the G1 mixed pixel after the image portion 41 is reduced.
  • FIG. 33 shows a pixel mixture of G2 pixels constituting the image portion 41. Also in FIG. 33, symbols representing the colors of pixels other than the G2 pixel are omitted for the sake of clarity.
  • the left and right of the center pixel 10B are G2 pixels. These G2 pixels are mixed and averaged to obtain a G2 mixed pixel after reduction of the image portion 41.
  • FIG. 34 shows B pixels constituting the image portion 41. The sign of the color of pixels other than the B pixel is omitted.
  • B pixels in the upper right and lower left of the center pixel 10B There are B pixels in the upper right and lower left of the center pixel 10B. These two B pixels are mixed and averaged to become a reduced B mixed pixel.
  • FIG. 35 shows G3 pixels constituting the image portion 41.
  • the G3 pixel at the center of the image portion 41 is a G3 mixed pixel.
  • the pixels where the center of gravity of the mixed pixels of the respective colors after mixing the pixels of the green component, the blue component, and the red component, which are the pixels of each color, are on the same pixel position.
  • interpolation processing also referred to as demosaicing processing
  • the processing speed can be increased.
  • FIG. 36 corresponds to FIGS. 18 and 28 and shows a partial color image 1B with horizontal stripes.
  • the subject is a horizontal stripe and the period of white and black is equal to the interval at which the photodiodes of the image sensor are formed. Then, as shown in FIG. 36, odd lines (or even lines) become white lines, and even lines (or odd lines) become black lines.
  • the partial color image 1B is hatched so that it can be seen that it is a black line. The part not hatched represents a white line.
  • FIG. 37 shows a vertically striped partial color image 1B.
  • FIG. 38 shows a partial color image 1B with diagonal stripes.
  • the third absolute value When the absolute value of the difference from the pixel is the third absolute value, it is considered that there is a correlation of the image portion 41 in the direction that gives the smallest absolute value.
  • the first absolute value, the second absolute value, or the third absolute value is the smallest, it is considered that there is a horizontal correlation, a vertical correlation, or a diagonal correlation.
  • Equation 18 The R pixel difference value Rsub and the B pixel difference value Bsub when the correlation direction is the horizontal direction are expressed by Equation 18 and Equation 19.
  • R pixel difference value Rsub R mixed pixel ⁇ G1 mixed pixel Equation 18
  • B pixel difference value Bsub B mixed pixel ⁇ G1 mixed pixel Equation 19
  • Equation 20 The R pixel difference value Rsub and the B pixel difference value Bsub when the correlation direction is the vertical direction are expressed by Equation 20 and Equation 21.
  • R pixel difference value Rsub R mixed pixel ⁇ G2 mixed pixel Equation 20
  • B pixel difference value Bsub B mixed pixel ⁇ G2 mixed pixel Equation 21
  • Equation 22 The R pixel difference value Rsub and the B pixel difference value Bsub when the correlation direction is an oblique direction are expressed by Equation 22 and Equation 23.
  • R pixel difference value Rsub R mixed pixel ⁇ G3 mixed pixel Equation 22
  • B pixel difference value Bsub B mixed pixel ⁇ G3 mixed pixel Equation 23
  • Interpolated pixels are generated from the mixed pixels obtained as described above. Needless to say, the R pixel difference value Rsub and the B pixel difference value Bsub are used corresponding to the correlation direction.
  • G interpolation pixel (G1 mixed pixel + G2 mixed pixel + G3 mixed pixel) / 3 Equation 24
  • R interpolation pixel G interpolation pixel + R pixel difference value
  • B interpolation pixel G interpolation pixel + B pixel difference value Bsub Equation 26
  • a reduced image is generated using the interpolation pixels obtained based on Expressions 24 to 26, so that the high-frequency horizontal stripes, vertical stripes, or diagonal stripes are generated as described above. Even a striped black and white image can be reduced and interpolated without generating false colors.
  • FIG. 39 corresponds to FIG. 1, FIG. 21, and FIG. 30, and is a partial color showing a part of a color image obtained by an image sensor formed in a predetermined arrangement on the light receiving surfaces of a large number of photodiodes. Image 1C.
  • the partial color image 1C shown in FIG. 39 is composed of three pixels 10C in both the row direction and the column direction.
  • the red pixel, the green pixel, and the blue pixel are denoted by R, G, and B, respectively.
  • R pixels are arranged in the 3n + 1 row, the 3n + 2 column, and the 3n + 2 row, the 3n + 3 column.
  • B pixels are arranged in the 3n + 2 row, the 3n + 1 column, and the 3n + 3 row, the 3n + 2 column.
  • G pixels are arranged at other locations. By repeating such a basic array pattern, a color image is formed.
  • a color image is obtained by forming a red filter, a green filter or a blue filter on the light receiving surface of the photodiode of the photoelectric conversion element, but the light component of cyan C which is a complementary color of the three primary colors is transmitted.
  • a cyan filter having characteristics, a magenta filter having characteristics that transmit the light component of magenta M, or a yellow filter having characteristics that transmit the light component of yellow Y are formed on the light receiving surface of the photodiode of the photoelectric conversion element.
  • FIG. 40 is an example of a partial color image 1D configured by repeating the partial color image 1C shown in FIG. 39 in the row direction and the column direction.
  • G1 pixels first type of first color pixels
  • G2 pixels second type of first colors
  • G pixels are arranged in the 6n + 4 rows and 6n + 4 columns.
  • predetermined G pixels are defined as G1 pixels and G2 pixels. Only the B pixel exists in the same row of the G1 pixel, and the R pixel does not exist. In the same column of G1 pixels, there are only R pixels and no B pixels. Only the R pixel exists in the same row of the G2 pixels, and the B pixel does not exist. Only the B pixel exists and the R pixel does not exist in the same column of the G2 pixels.
  • the pixel mixture block Br is composed of a total of 16 pixels, 4 pixels in each of the horizontal direction and the vertical direction defined by the 6n + 2 row to the 6n + 5 row and the 6n + 2 column to the 6n + 5 column.
  • FIG. 41 shows R pixels constituting the image portion of the pixel mixture block Br. Also in FIG. 41, reference numerals representing the colors of pixels other than the R pixel are omitted. A plurality of R pixels are mixed and the averaged pixel becomes an R mixed pixel after reduction of the image portion of the pixel mixed block Br.
  • FIG. 42 shows B pixels constituting the image portion of the pixel mixture block Br.
  • symbols representing the colors of pixels other than the B pixel are omitted for the sake of clarity.
  • a plurality of B pixels are mixed and the averaged pixel becomes the B mixed pixel after reduction of the pixel mixed block Br.
  • FIG. 43 shows G1 pixels constituting the image portion of the pixel mixture block Br.
  • the sign of the color of pixels other than the G1 pixel is omitted. Since there is one G1 pixel in the pixel mixture block Br, the G1 pixel becomes the G1 mixture pixel.
  • FIG. 44 shows G2 pixels constituting the image portion of the pixel mixture block Br.
  • the sign of the color of pixels other than the G2 pixel is omitted. Since the G2 pixel is also one in the pixel mixture block Br, the G2 pixel becomes the G2 mixture pixel.
  • the correlation direction determination is performed using the R mixed pixel, the B mixed pixel, the G1 mixed pixel, and the G2 mixed pixel obtained by pixel mixing for each pixel mixed block Br.
  • the above-described equation 10A can be used.
  • Expression 10A holds, it is determined that the image portion of the pixel mixture block Br has a correlation in the horizontal direction. If Expression 10A does not hold, it is determined that the image portion of the pixel mixture block Br has a correlation in the vertical direction.
  • the R pixel difference value Rsub described above is calculated from Equation 13
  • the B pixel difference value Bsub is calculated from Equation 14. If it is determined that there is a correlation in the vertical direction, the R pixel difference value Rsub is calculated from Equation 11 and the B pixel difference value Bsub is calculated from Equation 12.
  • the G interpolation pixels include eight G pixels (G1 and G2 pixels included in the pixel mixture block Br, and G pixels indicated by blank portions of the pixel mixture block Br shown in FIG. 40 and the like as described above. It is obtained from Equation 27 as an average value of However, the G interpolation pixel may be calculated from Equation 15.
  • G interpolation pixel ⁇ G / 8 Equation 27
  • the R interpolation pixel and the B interpolation pixel are obtained from Equation 16 and Equation 17, respectively.
  • the pixel mixture block Br pixel mixture pattern
  • G1 pixels first color pixels of the first type
  • G2 pixels where R pixels (second color pixels) or B pixels (third color pixels) exist in the same column.
  • the pixel mixture block Br pixel mixture pattern
  • the pixel mixture block Br is set so that there are G2 pixels (second-type first color pixels) different from the G1 pixels. This is because, in a color image in which the basic array pattern is repeated in the horizontal and vertical directions, at least R pixels (second color pixels) or B pixels (third color pixels) exist only in the same row.
  • the color image is correlated in either the column direction or the row direction. It is determined whether there is. Specifically, the mixed pixel of the first color pixel (G1 pixel or G2 pixel) existing in the same row as the second color pixel (R pixel), the second color mixed pixel, and the third color A first correlation that is a correlation with the mixed pixel of the first color, and a mixed pixel of the first color pixel (G2 pixel or G1 pixel) and the second color pixel (R pixel) in the same column as the second color pixel.
  • the second correlation which is a correlation between the mixed pixel of the second color and the mixed pixel of the first color pixel (G1 pixel or G2 pixel) existing in the same column as the third color pixel (B pixel) Are compared, and it is determined whether the color image has a correlation in the column direction or the work direction.
  • G1, G2 a mixed pixel of the second color
  • B a third color
  • an interpolation pixel of the first color (G), an interpolation pixel of the second color (R), and an interpolation pixel of the third color (B) are generated for each pixel mixture pattern.
  • the color image is obtained by forming each color filter on the light receiving surface of the photodiode of the photoelectric conversion element.
  • the present invention is not limited to this.
  • a photoelectric conversion element using an organic substance or the like may be employed, and a color image may be obtained from an imaging element that performs photoelectric conversion on a specific color component of incident light in a photodiode.
  • FIG. 45 is a block diagram showing the electrical configuration of the personal computer.
  • the overall operation of the personal computer is controlled by the CPU 70.
  • the CPU 70 is connected to a communication device 71, a memory 72, an input device 73 such as a keyboard, and a display device 74.
  • the personal computer also includes a hard disk 78, a hard disk drive 77 for accessing the hard disk 78, and a CD-ROM (compact disk-read only memory) drive 75.
  • ⁇ CD-ROM 76 storing a program for performing the above-described processing is loaded into the CD-ROM drive 75, and the program is read from the CD-ROM 76.
  • the above-described processing is executed by installing the read program on the personal computer. Even if the program is not stored in the CD-ROM 76, the program transmitted via the network may be received by the communication device 71 and installed in the personal computer.
  • FIG. 46 is a flowchart showing the processing procedure of the personal computer shown in FIG.
  • the color image data captured by the image sensor is recorded on the hard disk 78, and the color image data is read from the hard disk 78 (step 81).
  • the read color image data is subjected to the following processing for each pixel mixture block Br.
  • pixels are mixed for each pixel of the same color (step 82).
  • the Gr pixel, Gb pixel, G1 pixel, G2 pixel, and G3 pixel are pixel-mixed so as not to be mixed for each pixel.
  • correlation information representing the correlation direction is calculated (step 87).
  • the correlation information indicating the correlation direction is calculated based on Equation 1 and the like.
  • step 84 Based on the correlation information, it is determined in which direction there is a correlation (step 84). If there is a correlation in the column direction (horizontal direction), as described above, the R pixel difference value Rsub and the B pixel difference value Bsub corresponding to the horizontal direction are calculated (step 85). If there is a correlation in the row direction (vertical direction), an R pixel difference value Rsub and a B pixel difference value Bsub corresponding to the vertical direction are calculated (step 86).
  • Interpolated pixels are generated as described above using the calculated R pixel difference value Rsub and B pixel difference value Bsub (step 87).
  • the digital camera and the personal computer have been described as the embodiments of the photographing apparatus according to the embodiment of the present invention.
  • the configuration of the photographing apparatus is not limited to this.
  • a built-in type or an external type PC camera or a portable terminal device having a photographing function as described below can be used.
  • Examples of the portable terminal device that is an embodiment of the photographing device according to the embodiment of the present invention include a mobile phone, a smartphone, a PDA (Personal Digital Assistants), and a portable game machine.
  • a smartphone will be described as an example, and will be described in detail with reference to the drawings.
  • FIG. 47 shows the appearance of a smartphone 91 which is an embodiment of the photographing apparatus of the present invention.
  • a smartphone 91 shown in FIG. 47 includes a flat casing 92, and a display input in which a display panel 111 as a display unit and an operation panel 112 as an input unit are integrated on one surface of the casing 92.
  • the unit 110 is provided.
  • the casing 92 includes a microphone 122, a speaker 121, an operation unit 130, and a camera unit 131.
  • the configuration of the housing 92 is not limited to this, and for example, a configuration in which the display unit and the input unit are independent, or a configuration having a folding structure or a slide mechanism may be employed.
  • FIG. 48 is a block diagram showing a configuration of the smartphone 91 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 100, a display input unit 110, a call unit 120, an operation unit 130, a camera unit 131, a storage unit 140, and an external input / output unit. 150, a GPS (Global Positioning System) receiving unit 160, a motion sensor unit 170, a power supply unit 180, and a main control unit 190.
  • a wireless communication function for performing mobile wireless communication via the base station device BS and the mobile communication network NW is provided.
  • the radio communication unit 100 performs radio communication with the base station apparatus BS accommodated in the mobile communication network NW in accordance with an instruction from the main control unit 190. Using such wireless communication, transmission / reception of various file data such as audio data and image data, e-mail data, and reception of Web data, streaming data, and the like are performed.
  • the display input unit 110 displays images (still images and moving images), character information, etc., visually transmits information to the user, and detects user operations on the displayed information.
  • a so-called touch panel which includes a display panel 111 and an operation panel 112.
  • the display panel 111 uses an LCD (Liquid Crystal Display), OELD (Organic Electro-Luminescence Display) or the like as a display device.
  • the operation panel 112 is a device that is placed so that an image displayed on the display surface of the display panel 111 is visible and detects one or more coordinates operated by a user's finger or stylus.
  • a detection signal generated due to the operation is output to the main control unit 190.
  • the main control unit 190 detects an operation position (coordinates) on the display panel 111 based on the received detection signal.
  • the display panel 111 and the operation panel 112 of the smartphone 131 illustrated as an embodiment of the photographing apparatus of the present invention integrally constitute the display input unit 110.
  • 112 is arranged so as to completely cover display panel 111.
  • the operation panel 112 may have a function of detecting a user operation even in an area outside the display panel 111.
  • the operation panel 112 has a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 111 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 111. May be included).
  • the operation panel 112 may be provided with two sensitive regions of the outer edge portion and the other inner portion. Furthermore, the width of the outer edge portion is appropriately designed according to the size of the housing 92 and the like. Furthermore, examples of the position detection method employed in the operation panel 112 include a matrix switch method, a resistive film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method. You can also
  • the call unit 120 includes a speaker 121 and a microphone 122, converts user's voice input through the microphone 122 into voice data that can be processed by the main control unit 190, and outputs the voice data to the main control unit 190. 100 or the audio data received by the external input / output unit 150 is decoded and output from the speaker 121. Also, as shown in FIG. 21, for example, the speaker 121 can be mounted on the same surface as the surface on which the display input unit 110 is provided, and the microphone 122 can be mounted on the side surface of the housing 92.
  • the operation unit 130 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 130 is mounted on the side surface of the housing 92 of the smartphone 91 and is turned on when pressed with a finger or the like, and turned off when the finger is released with a restoring force such as a spring. It is a push button type switch.
  • the storage unit 140 includes control programs and control data of the main control unit 190, application software, address data that associates names and telephone numbers of communication partners, transmitted and received e-mail data, Web data downloaded by Web browsing, Stores downloaded content data and temporarily stores streaming data and the like.
  • the storage unit 140 includes an internal storage unit 141 built in the smartphone and an external storage unit 142 having a removable external memory slot.
  • Each of the internal storage unit 141 and the external storage unit 142 constituting the storage unit 140 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), It is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • flash memory type flash memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • the external input / output unit 150 serves as an interface with all external devices connected to the smartphone 91, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE 1394, etc.
  • a network for example, the Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication (IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark), ZigBee ( ZigBee) (registered trademark, etc.) for direct or indirect connection.
  • Examples of the external device connected to the smartphone 91 include a memory card connected via a wired / wireless headset, wired / wireless external charger, wired / wireless data port, card socket, and SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • external audio / video equipment connected via audio / video I / O (Input / Output) terminal
  • external audio video equipment connected wirelessly
  • smartphones wired / wireless personal computers, wired / wireless connected PDAs, wired / wireless personal computers, earphones, and the like.
  • the external input / output unit may transmit data received from such an external device to each internal component of the smartphone 1 or allow the internal data of the smartphone 1 to be transmitted to the external device. it can.
  • the GPS receiving unit 160 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 190, executes positioning calculation processing based on the received GPS signals, and calculates the latitude of the smartphone 91 Detects position consisting of, longitude and altitude.
  • the GPS receiving unit 160 can acquire position information from the wireless communication unit 100 or the external input / output unit 150 (for example, a wireless LAN), it can also detect the position using the position information.
  • the motion sensor unit 170 includes, for example, a three-axis acceleration sensor and detects the physical movement of the smartphone 91 in accordance with an instruction from the main control unit 190. By detecting the physical movement of the smartphone 91, the moving direction and acceleration of the smartphone 91 are detected. The detection result is output to the main control unit 190.
  • the power supply unit 180 supplies power stored in a battery (not shown) to each unit of the smartphone 91 in accordance with an instruction from the main control unit 190.
  • the main control unit 190 includes a microprocessor, operates according to a control program and control data stored in the storage unit 140, and controls each unit of the smartphone 91 in an integrated manner. Further, the main control unit 190 includes a mobile communication control function for controlling each part of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 100.
  • the application processing function is realized by the main control unit 190 operating according to the application software stored in the storage unit 140.
  • Application processing functions include, for example, an infrared communication function for controlling external input / output unit 150 to perform data communication with an opposite device, an e-mail function for sending and receiving e-mails, and a web browsing function for browsing web pages. .
  • the main control unit 170 also has an image processing function such as displaying video on the display input unit 110 based on image data (still image data or moving image data) such as received data or downloaded streaming data.
  • the image processing function refers to a function in which the main control unit 190 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 100.
  • the main control unit 190 executes display control for the display panel 111 and operation detection control for detecting a user operation through the operation unit 130 and the operation panel 132.
  • the main control unit 190 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar, or a window for creating an e-mail.
  • the scroll bar refers to a software key for accepting an instruction to move an image display portion of a large image that cannot fit in the display area of the display panel 111.
  • the main control unit 190 detects a user operation through the operation unit 130, or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 112. Or a display image scroll request through a scroll bar is accepted.
  • the main control unit 190 causes the operation position with respect to the operation panel 112 to overlap with the display panel 111 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 111.
  • a touch panel control function for controlling the sensitive area of the operation panel 112 and the display position of the software key.
  • the main control unit 190 can also detect a gesture operation on the operation panel 112 and execute a preset function in accordance with the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera unit 131 is a digital camera that performs electronic photography using an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device).
  • the camera unit 131 converts the image data obtained by imaging into compressed image data such as JPEG (Joint-Photographic-coding-Experts-Group) under the control of the main control unit 190, and records it in the storage unit 140, The data can be output through the output unit 150 or the wireless communication unit 100.
  • the camera unit 131 is mounted on the same surface as the display input unit 110.
  • the mounting position of the camera unit 131 is not limited to this, and the camera unit 131 may be mounted on the back surface of the display input unit 110. Alternatively, a plurality of camera units 131 may be mounted. When a plurality of camera units 131 are installed, the camera unit 131 used for shooting can be switched to perform shooting alone, or a plurality of camera units 131 can be used for shooting simultaneously.
  • the camera unit 131 can be used for various functions of the smartphone 91.
  • an image acquired by the camera unit 131 can be displayed on the display panel 111, and an image of the camera unit 131 can be used as one of operation inputs of the operation panel 112.
  • the GPS receiving unit 160 detects the position
  • the position can also be detected with reference to an image from the camera unit 131.
  • the optical axis direction of the camera unit 131 of the smartphone 91 can be determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 131 can also be used in the application software.
  • the barycentric positions of the mixed pixels in the pixel mixed block Br are the same.
  • Image sensor 21 pixel interpolator 22
  • Correlation information calculation circuit 23 RGB pixel interpolation circuit Br Pixel mixing block

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　偽色の発生を未然に防止する。赤色画素Ｒおよび青色画素Ｂについては，画素混合ブロックＢｒ内において，同色画素ごとに混合して赤色混合画素Ｒおよび青色混合画素Ｂが得られる。奇数行の緑色画素Ｇｒと偶数行のＧｂ画素とは，別々に混合され，緑色混合画素Ｇｒおよび緑色混合画素Ｇｂが得られる。これらの混合画素から，部分カラー画像１の相関方向が検出される。相関方向に応じて，偽色が発生しないように，混合画素から補間画素が生成される。

Description

画素補間装置およびその動作制御方法
　この発明は，画素補間装置ならびにその動作制御方法およびその動作制御プログラムに関する。
　縮小画像を生成するために，同色画素ごとに画素混合することがある。たとえば，ベイヤ配列の固体電子撮像素子を用いて得られたカラー画像データについて画素混合が行われる場合には，画素加算比率を調整して加算画素の重心を等間隔にするもの（特許文献１），画素加算前の増幅量を調整して加算画素の重心を等間隔とするもの（特許文献２）などがある。
特開2008-98971号公報 特開2006-261789号公報
　しかしながら，特許文献１，２のいずれにおいても，高周波数の縦縞または横縞の被写体を撮像した場合には，被写体が白黒であるにもかかわらず，偽色が発生することがある。
　この発明は，偽色の発生を未然に防止することを目的とする。
　この発明による画素補間装置は，第１の色の画素，第１の色の画素よりも輝度への寄与率がそれぞれ低い第２の色の画素および第３の色の画素を含む基本配列パターンが，行方向および列方向に繰り返されているカラー画像において，第１の色の画素については，少なくとも第２の色の画素または第３の色の画素と同一行に存在する第１種の第１の色の画素と，第２の色の画素または第３の色の画素と同一列に存在する上記第１種とは異なる第２種の第１の色の画素と，を分けて同色画素ごとに混合し，第２の色の画素および第３の色の画素については，同色画素ごとに混合する処理を，行方向および列方向に複数の画素から構成される画素混合パターンごとに行い，画素混合パターンごとに複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を得る同色画素混合手段，同色画素混合手段によって得られた複数種類の第１の色の混合画素にもとづいて，カラー画像に列方向または行方向のどちらに相関があるかを判別する相関判別手段，ならびに相関判別手段による判別結果にもとづいて，同色画素混合手段において得られた複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を用いて画素混合パターンごとに第１の色の補間画素，第２の色の補間画素および第３の色の補間画素を生成する補間手段を備えていることを特徴とする。
　この発明は，画素補間装置に適した動作制御方法も提供している。すなわち，この方法は，同色画素混合手段が，第１の色の画素，第１の色の画素よりも輝度への寄与率がそれぞれ低い第２の色の画素および第３の色の画素を含む基本配列パターンが，行方向および列方向に繰り返されているカラー画像において，第１の色の画素については，少なくとも第２の色の画素または第３の色の画素と同一行に存在する第１種の第１の色の画素と，第２の色の画素または第３の色の画素と同一列に存在する上記第１種とは異なる第２種の第１の色の画素と，を分けて同色画素ごとに混合し，第２の色の画素および第３の色の画素については，同色画素ごとに混合する処理を，行方向および列方向に複数の画素から構成される画素混合パターンごとに行い，画素混合パターンごとに複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を得，相関判別手段が，同色画素混合手段によって得られた複数種類の第１の色の混合画素にもとづいて，カラー画像に列方向または行方向のどちらに相関があるかを判別し，補間手段が，相関判別手段による判別結果にもとづいて，同色画素混合手段において得られた複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を用いて画素混合パターンごとに第１の色の補間画素，第２の色の補間画素および第３の色の補間画素を生成するものである。
　この発明は，画素補間装置の動作制御方法を実施するためのプログラムも提供している。そのようなプログラムを格納した記録媒体を提供するようにしてもよい。
　この発明によると，第１の色の画素については少なくとも第２の色の画素または第３の色の画素と同一行に存在する第１種の第１の色の画素と，第２の色の画素または第３の色の画素と同一列に存在する第２種（第１種とは異なる）第１の色の画素と，を分けて同色画素ごとに混合され，第２の色の画素および第３の色の画素については，同色画素ごとに混合処理が，画素混合パターンごとに行われる。画素混合において得られる複数種類の第１の色の混合画素ならびに第２の色の混合画素および第３の色の混合画素にもとづいて，カラー画像に列方向または行方向のどちらに相関があるかが判別される。判別結果にもとづいて，複数種類の第１の色の混合画素ならびに第２の色の混合画素および第３の色の混合画素を用いて画素混合パターンごとに第１の色の補間画素，第２の色の補間画素および第３の色の補間画素が生成される。複数種類の第１の混合画素にもとづいてカラー画像に列方向または行方向のどちらに相関があるかが判別され，その判別結果にもとづいて補間画素が生成されるので，画素混合が行われる場合において高周波の被写体により発生する偽色を未然に防止できる。
　補間手段は，相関判別手段により，カラー画像の列方向に相関があると判断された場合には，第２の色の画素については第２の色の画素と同一行の第１の色の画素の影響を小さくし，第３の色の画素については第３の色の画素と同一行の第１の色の画素の影響を小さくし，相関判別手段により，カラー画像の行方向に相関があると判断された場合には，第２の色の画素については第２の色の画素と同一列の第１の色の画素の影響を小さくし，第３の色の画素については第３の色の画素と同一列の第１の色の画素の影響を小さくして，同色画素混合手段において得られた複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を用いて画素混合パターンごとに第１の色の補間画素，第２の色の補間画素および第３の色の補間画素を生成するようにしてもよい。
　補間手段は，第２の色の混合画素と複数種類の第１の色の混合画素のうち相関判別手段により相関があると判定された方向に存在する第１の色の混合画素との第２の色についての差分データおよび第３の色の混合画素と複数種類の第１の色の混合画素のうち相関判別手段により相関があると判定された方向に存在する第１の色の混合画素との第３の色についての差分データを算出する差分データ算出手段を備えてもよい。この場合，複数種類の第１の色の混合画素の平均画素を第１の色の補間画素とし，第１の色の補間画素に上記差分データ算出手段によって算出された第２の色についての差分データが加算された画素を第２の色の補間画素とし，第１の色の補間画素に上記差分データ算出手段によって算出された第３の色についての差分データが加算された画素を第３の色の補間画素とするものとなろう。
　第２の色の混合画素と複数種類の第１の色の混合画素のうち第２の色と同一列上の第１の色の混合画素との差分の絶対値と，第３の色の混合画素と複数種類の第１の色の混合画素のうち第３の色と同一列上の第１の色の混合画素との差分の絶対値と，を加算して得られる第１の加算値と，第２の色の混合画素と複数種類の第１の色の混合画素のうち第２の色と同一行上の第１の色の混合画素との差分の絶対値と，第３の色の混合画素と複数種類の第１の色の混合画素のうち第３の色と同一行上の第１の色の混合画素との差分の絶対値と，を加算して得られる第２の加算値と，のどちらが大きいかを判別する加算値判別手段をさらに備えてもよい。この場合，相関判別手段は，たとえば，加算値判断手段により，第２の加算値よりも第１の加算値が小さいと判別されたことに応じて列方向に相関があると判別し，第２の加算値よりも第１の加算値が大きいと判別されたことに応じて行方向に相関があると判別するものとなろう。
　同色画素混合手段による第１の色の混合画素は，たとえば，２種類である。また，同色画素混合手段において得られる複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素の画素混合パターンにおける重心位置が同一であることが好ましい。
　基本配列パターンは，たとえば，ベイヤ配列にもとづくものである。また，行方向および列方向の６×６の画素において，行方向および列方向において緑色またはマゼンタの色成分を有する第１の色の画素，赤色またはシアンの色成分を有する第２の色の画素および青色またはイエローの色成分を有する第３の色の画素が含まれており，第１の色の画素は，列方向，行方向および斜め方向において少なくとも一つは含まれており，かつ列方向，行方向および斜め方向において２つ連続している部分が少なくとも一つは含まれているものでもよい。
　カラー画像は，たとえば，第２の色の画素と同一行および同一列に第１の色の画素が存在し，かつ第３の色の画素と同一列および同一行にも第１の色の画素が存在しているものである。
　画素補間装置を備えた撮像装置を提供するようにしてもよい。
部分カラー画像の一例である。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 横縞の部分カラー画像を示している。 縦縞の部分カラー画像を示している。 ディジタル・カメラの電気的構成を示している。 部分カラー画像の一例である。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 横縞の部分カラー画像を示している。 縦縞の部分カラー画像を示している。 部分カラー画像の一例である。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 画素混合の様子を示している。 横縞の部分カラー画像を示している。 縦縞の部分カラー画像を示している。 斜めの縞の部分カラー画像を示している。 部分カラー画像の一例である。 部分カラー画像の一例である。 Ｒ画素を示している。 Ｂ画素を示している。 Ｇ１画素を示している。 Ｇ２画素を示している。 パーソナル・コンピュータの電気的構成を示すブロック図である。 パーソナル・コンピュータの処理手順を示すフローチャートである。 スマートフォンの外観を示している。 スマートフォンの電気的構成を示すブロック図である。
　図１は，多数のフォトダイオードの受光面上にカラー・フィルタがベイヤ配列により形成されている撮像素子により得られたカラー画像の一部を示す部分カラー画像１である。
　図１の部分カラー画像１は，行方向（行数が増加する方向）および列方向（列数が増加する方向）にいずれも６つの画素10から構成されている。奇数列奇数行には，受光面上に，赤色の光成分を透過する特性を有する赤色フィルタが形成されているフォトダイオードに蓄積された信号電荷から得られた赤色画素（Ｒ画素，第２の色の画素）がある。偶数列偶数行には，受光面上に青色の光成分を透過する特性を有する青色フィルタが形成されているフォトダイオードに蓄積された信号電荷から得られた青色画素（Ｂ画素，第３の色の画素）がある。偶数列奇数行および奇数行偶数列には，受光面上に緑色の光成分を透過する特性を有する緑色フィルタが形成されているフォトダイオードに蓄積された信号電荷から得られた緑色画素（第１の色の画素）がある。この実施例では，奇数行においてＲ画素の間にある緑色画素をＧｒ画素（第１種の第１の色の画素）と呼び，偶数行においてＢ画素の間にある緑色画素をＧｂ画素（第２種の第１の色の画素）と呼ぶこととする。図１において，奇数行偶数列にＲ画素が配列され，偶数行奇数列にＢ画素が配列され，その他に緑色画素が配列されていてもよい。Ｂ画素と同一行にはＧｂ画素が存在し，同一列にはＧｒ画素が存在している。また，Ｒ画素と同一行にはＧｒ画素が存在し，同一列にはＧｂ画素が存在している。
　図１では，ベイヤ配列にしたがった部分カラー画像１が表されているから，列方向および行方向の２画素×２画素の基本配列パターンにしたがって，画素10が繰り返されている。
　また，この実施例では，列方向および行方向の３画素×３画素の画素混合ブロックＢｒ（画素混合パターン）が規定される。後述するように，この画素混合ブロックＢｒ内において，同色画素同士が混合させられてカラー画像が１／９に縮小させられる。但し，Ｇｒ画素とＧｂ画素とは同色画素であるが，画素混合においては区別され，Ｇｒ画素同士，Ｇｂ画素同士が画素混合させられる。また，画素混合ブロックＢｒは，３画素×３画素の大きさでなくともよいのはいうまでもない。
　部分カラー画像１を構成する３画素×３画素の４つの画素混合ブロックＢｒで規定される画像部分のうち，左上，右上，左下および右下のそれぞれの画像部分を画像部分11，12，13および14とする。
　図２から図５は，画像部分11の画素混合の様子を示している。
　図２は，画像部分11を構成するＲ画素の画素混合である。図２においては，分りやすくするために，Ｒ画素以外の画素が省略されている。
　画像部分11においては，四隅の画素10がＲ画素となっている。四隅の４つのＲ画素が混合させられ，かつ平均化された画素が画像部分11の縮小後のＲ混合画素（第２の色の混合画素）となる。
　図３は，画像部分11を構成するＧｒ画素の画素混合である。図３においては，分りやすくするために，Ｇｒ画素以外の画素の色を表わす符号が省略されている。
　画像部分11においては，中央の画素10の上下がＧｒ画素となっている。これらの二つのＧｒ画素が混合させられ，かつ平均化された画素が画像部分11の縮小後のＧｒ混合画素（第１の色の混合画素）となる。
　図４は，画像部分11を構成するＧｂ画素の画素混合である。図４においては，分りやすくするために，Ｇｂ画素以外の画素の色を表わす符号が省略されている。
　画像部分11においては，中央の画素の左右がＧｂ画素となっている。これらの二つのＧｂ画素が混合させられ，かつ平均化された画素が画像部分11の縮小後のＧｂ混合画素（第１の色の混合画素）となる。
　図５は，画像部分11を構成するＢ画素を示している。画像部分11には，中央の一つのＢ画素があるので，そのＢ画素そのものが縮小後のＢ混合画素（第３の色の混合画素）となる。このように，各色の画素である，緑色成分の画素，青色成分の画素および赤色成分の画素のそれぞれの画素混合後における各色の混合画素の重心位置が画素混合ブロックＢｒにおいて同一の画素位置上となるように画素混合されている。このような画素混合により，画像の縮小と画素補間とが同時に行われるため，一般的に別処理として行われる補間処理（デモザイク処理とも言われる）を省略することができ，処理回路を簡素化でき処理速度を速めることができる。
　図６から図９は，画像部分12の画素混合の様子を示している。これらにおいても図２から図５と同様に，画素混合される画素以外の画素は図示が省略されている。
　図６は，画像部分12のＲ画素の画素混合である。中央の画素10の上下にＲ画素があるから，それらの二つのＲ画素が混合させられてＲ混合画素が生成される。
　図７は，画像部分12のＧｒ画素の画素混合である。四隅にＧｒ画素があるから，それらの４つのＧｒ画素が混合させられてＧｒ混合画素が生成される。
　図８は，画像部分12のＧｂ画素である。中央にＧｂ画素があり，そのＧｂ画素がＧｂ混合画素とされる。
　図９は，画像部分12のＢ画素である。中央の画素10の左右にＢ画素があるから，それらの二つのＢ画素が混合させられてＢ混合画素が生成される。
　図10から図13は，画像部分13の画素混合の様子を示している。これらにおいても上述したのと同様に，画素混合される画素以外の画素は図示が省略されている。
　図10は，画像部分13のＲ画素の画素混合である。中央の画素10の左右にＲ画素があり，それらの二つのＲ画素が混合させられてＲ混合画素が生成される。
　図11は，画像部分13のＧｒ画素である。Ｇｒ画素は中央にあるので，そのＧｒ画素がＧｒ混合画素となる。
　図12は，画像部分13のＧｂ画素の画素混合である。画像部分13の四隅のＧｂ画素が画素混合させられてＧｂ混合画素が生成される。
　図13は，画像部分13のＢ画素の画素混合である。画像部分13の中央の画素の上下のＢ画素が画素混合させられてＢ混合画素が生成される。
　図14から図17は，画像部分14の画素混合の様子を示している。これらにおいても上述したのと同様に，画素混合される画素以外の画素は図示が省略されている。
　図14は，画像部分14のＲ画素である。Ｒ画素は中央にあるので，そのＲ画素がＲ混合画素となる。
　図15は，画像部分14のＧｒ画素である。Ｇｒ画素は，中央の画素10の左右にあるので，それらの二つのＧｒ画素が画素混合させられて，Ｇｒ混合画素となる。
　図16は，画像部分14のＢ画素である。Ｂ画素は四隅にあるので，それらの４つのＢ画素が混合させられて，Ｂ混合画素となる。
　図18は，横縞の部分カラー画像１を示している。
　空間周波数が高い被写体の例としてこの例では，被写体が白黒の横縞であり，かつその白と黒との周期が撮像素子のフォトダイオードが形成されている間隔に等しいものとする。すると，図18に示すように，奇数行（または偶数行）は白色の線となり，偶数行（または奇数行）は黒色の線となる。部分カラー画像１には，黒色の線であることが分るようにハッチングが付されている。ハッチングがされていない部分が白色の線を表わしている。
　図18に示すような白黒の横縞の部分カラー画像１において，上述のように画素混合が行われると，次に述べるように偽色が発生してしまうことがある。
　まず，白色のレベルを100，黒色のレベルを０とする。図２に示すように，画像部分11のＲ画素は白色を表わしているから，Ｒ混合画素のレベルは100となる。同様に，図３に示すように，Ｇｒ画素も白色を表わしているから，Ｇｒ混合画素のレベルも100となる。図４および図５に示すように，Ｇｂ画素およびＢ画素はそれぞれ黒色を示しているから，Ｇｂ混合画素およびＢ混合画素のレベルはいずれも０となる。ここで，Ｇｒ混合画素とＧｂ混合画素は同じカラー・フィルタの特性から得られたものであるから，混合すると，混合後のＧ画素のレベルは50となってしまい，画素混合後の縮小画像には偽色が発生してしまう。画像部分11以外の部分も同様である。
　図19は，縦縞の部分カラー画像１を示している。
　図18に示したものと同様に，被写体が白黒の縦縞であり，かつその白と黒との周期が撮像素子のフォトダイオードが形成されている間隔に等しいものとする。すると，図19に示すように，奇数列（または偶数列）は白色の線となり，偶数列（または奇数列）は黒色の線となる。図18においても黒色であることがわかるようにハッチングが付されている。ハッチングが付されていない部分は白色である。
　上述と同様に，白色のレベルを100，黒色のレベルを０とする。図２に示すように，画像部分11のＲ画素は白色を表わしているから，Ｒ混合画素のレベルは100となる。図３に示すように，Ｇｒ画素は黒色を表わしているから，Ｇｒ混合画素のレベルは０となる。図４に示すようにＧｂ画素は白色を表わしているから，Ｇｂ混合画素のレベルは100となる。図５に示すように，Ｂ画素は黒色を示しているから，Ｂ混合画素のレベルはいずれも０となる。Ｇｒ混合画素とＧｂ混合画素とが混合させられると，混合後のＧ画素のレベルは50となってしまい，画素混合後の縮小画像には偽色が発生してしまう。画像部分11以外の部分も同様である。
　この実施例では，式１に示すように，画素混合により得られたＲ混合画素，Ｇｒ混合画素，Ｇｂ混合画素およびＢ混合画素を用いて相関方向判別が行われる。
　（｜Ｒ混合画素－Ｇｒ混合画素｜＋｜Ｂ混合画素－Ｇｂ混合画素｜）＜（｜Ｒ混合画素－Ｇｂ混合画素｜＋｜Ｂ混合画素－Ｇｒ混合画素｜）・・・式１
　式１が成立すると，部分カラー画像１は，図18に示す横縞のように横方向（列方向）に相関があると判断される。式１が成立しなければ，部分カラー画像１は，図19に示す縦縞のように縦方向（行方向）に相関があると判断される。式１の不等号の左辺は，同一行の画素から生成される混合画素の差分値であり，式１の不等号の左辺は，同一列の画素から生成される混合画素の差分値であるため，式１が成立するということは，同一行の画素間のレベル差が少なく，横方向に相関があると考えられるからである。同様に，式１が成立しないということは，同一列の画素間のレベル差が少なく，縦方向に相関があると考えられるからである。
　この実施例では，相関方向に応じて，混合画素が補正される。この補正のために，Ｒ画素差分値RsubおよびＢ画素差分値Bsubがそれぞれ算出される。方向判別の結果，横方向（列方向）に相関があると判断されると，Ｒ画素差分値RsubおよびＢ画素差分値Bsubは，それぞれ式３および式４で表される。後述するように，横方向に相関がある場合には，Ｒ画素と同一行にあるＧｒ画素の影響およびＢ画素と同一行にあるＧｂ画素の影響がそれぞれ少なくなる。
　Ｒ画素差分値Rsub＝Ｒ混合画素－Ｇｒ混合画素・・・式３
　Ｂ画素差分値Bsub＝Ｂ混合画素－Ｇｂ混合画素・・・式４
　方向判別の結果，縦方向に相関があると判断されると，Ｒ画素差分値RsubおよびＢ画素差分値Bsubは，それぞれ式５および式６で表される。後述するように，縦方向（行方向）に相関がある場合には，Ｒ画素と同一列にあるＧｂ画素の影響およびＢ画素と同一列にあるＧｒ画素の影響がそれぞれ少なくなる。
　Ｒ画素差分値Rsub＝Ｒ混合画素－Ｇｂ混合画素・・・式５
　Ｂ画素差分値Bsub＝Ｂ混合画素－Ｇｒ混合画素・・・式６
　上述のようにして得られた混合画素等から次のように補間画素が生成される。
　Ｇ補間画素＝（Ｇｒ混合画素＋Ｇｂ混合画素）／２・・・式７
　Ｒ補間画素＝Ｇ補間画素＋Ｒ画素差分値Rsub・・・式８
　Ｂ補間画素＝Ｇ補間画素＋Ｂ画素差分値Bsub・・・式９
　式７から式９にもとづいて得られる補間画素を用いて縮小画像が生成されることにより，上述のように高い周波数の横縞または縦縞の白黒画像であっても，偽色を発生させることなく，縮小および補間処理が実現できる。
　たとえば，上述した図18に示すように，白黒の横縞の画像１について縮小および補間処理が行われると，画像部分11について，式１が成立するから，Ｒ画素差分値Rsubは式３からRsub＝100－100＝０，Ｂ画素差分値Bsubは式４からBsub＝０－０＝０となる。Ｇ補間画素は式７から，Ｇ補間画素＝（100＋０）／２＝50，Ｒ補間画素は式８から，Ｒ補間画素＝50＋０＝50，Ｂ補間画素は，式９から，Ｂ補間画素＝50＋０＝50となる。Ｇ補間画素＝Ｒ補間画素＝Ｂ補間画素＝50となり，偽色の発生が未然に防止される。他の画像部分12，13および14についても同様である。
　また，上述した図19に示すように，白黒の縦縞の画像１について縮小および補間処理が行われると，画像部分11について，式１が成立しないから，Ｒ画素差分値Rsubは式５から，Rsub＝100－100＝０，Ｂ画素差分値Bsubは式６から，Bsub＝０－０＝０となる。Ｇ補間画素＝Ｒ補間画素＝Ｂ補間画素＝50となり，偽色の発生が未然に防止される。他の画像部分12，13および14についても同様である。
　図20は，上述の縮小および補間処理を行うディジタル・カメラの電気的構成を示すブロック図である。
　撮像素子20は，上述のベイヤ配列をもつものであり，上述したように部分カラー画像１を含むカラー画像を表わすカラー画像データ（ＲＡＷデータ）を出力する。撮像素子20から出力されたカラー画像データは画素補間装置21を構成する相関情報算出回路22に与えられる。相関情報算出回路22において，上述のように，画素混合が行われ，Ｒ混合画素，Ｂ混合画素，Ｇｒ混合画素およびＧｂ混合画素が生成される。これらの混合画素を利用して式１からカラー画像の相関方向を示す相関情報が算出される。
　相関情報算出回路22からはＲ混合画素，Ｂ混合画素，Ｇｒ混合画素およびＧｂ混合画素をそれぞれ表わすデータならびに相関情報を表わすデータが出力され，ＲＧＢ画素補間回路23に与えられる。ＲＧＢ画素補間回路23において，相関方向に応じて，式３および式４または式５および式６で表される画素差分値が算出され，かつ式７から式９にもとづいて補間画素が生成される。生成された補間画素を表すデータは，メモリ24を介して表示処理装置25に与えられる。表示処理装置25によって表示装置26が制御されることにより，補間処理が行われた縮小画像が表示されるようになる。表示装置26に表示される画像には偽色の発生が防止されているのはいうまでもない。なお，上記実施例では相関情報算出回路22において画素混合を行い，Ｒ混合画素，Ｂ混合画素，Ｇｒ混合画素およびＧｂ混合画素を生成するようにしたが，これに限られず，撮像素子20からカラー画像データを読み出す段階，または出力する段階で画素混合を行うようにしてもよい。これにより処理速度を向上することができる。
　図21から図29は，他の実施例を示すものである。
　図21は，図１に対応するもので，多数のフォトダイオードの受光面上に所定の配列により形成されている撮像素子により得られたカラー画像の一部を示す部分カラー画像１Ａである。
　図21の部分カラー画像１Ａも行方向および列方向にいずれも６つの画素10Ａから構成されている。これらの画素10Ａについても上述したのと同様に，赤色画素，緑色画素および青色画素には，それぞれＲ，ＧまたはＢの符号が付されている。
　３画素×３画素の画素混合ブロックＢｒにおいては，中央および四隅にＧ画素がある。この実施例では，画素混合ブロックＢｒにおいて，中央のＧ画素Ｇと四隅のＧ画素Ｇが区別される。四隅のＧ画素がＧ１画素とされ，中央のＧ画素がＧ２画素とされる。画像部分１Ａの左上および右下の画素混合ブロックＢｒによって規定される画像部分31および34においては，中央のＧ２画素の上下にはＲ画素があり，中央のＧ２画素の左右にはＢ画素がある。これに対して，画像部分１Ａの右上および左下の画素混合ブロックＢｒによって規定される画像部分32および33においては，中央のＧ２画素の上下にはＢ画素があり，中央のＧ２画素の左右にはＲ画素がある。
　カラー画像は，図21に示す部分カラー画像１Ａを基本配列パターンとして繰り返されることとなる。
　また，部分カラー画像１Ａでは，水平方向（列方向）および垂直方向（行方向）においてＧ１画素またはＧ２画素，Ｒ画素およびＢ画素が少なくとも一つずつ存在し，部分カラー画像１Ａを繰り返し配列することでカラー画像のいずれの水平方向，垂直方向および斜め方向においてもＧ１画素またはＧ２画素が少なくとも一つは存在している。また，部分カラー画像１Ａにおいては，Ｇ１画素またはＧ２画素が水平方向，垂直方向および斜め方向において２つ連続している部分が少なくとも一つは含まれている。さらに，部分カラー画像１Ａにおいては，Ｇ１画素が水平方向および垂直方向において２つ連続している部分が少なくとも一つは含まれている。
　たとえば，部分カラー画像１Ａでは，Ｇ１画素は，第６ｎ（ｎは正の整数）＋１行，第６ｎ＋３行，第６ｎ＋４行および第６ｎ＋６行では，第６ｍ（ｍは正の整数）＋１列，第６ｍ＋３列，第６ｍ＋４列および第６ｍ＋６列に形成されている。Ｇ２画素は，第６ｎ＋２行および第６ｎ＋５行では，第６ｍ＋２列および第６ｍ＋５列に形成されている。同様に，Ｂ画素Ｂは，第６ｎ＋１行および第６ｎ＋３行では第６ｍ＋５列に，第６ｎ＋２行では第６ｍ＋１列および第６ｍ＋３列に，第６ｎ＋４行および第６ｎ＋６行では第６ｍ＋２列に，第６ｎ＋５行では第６ｍ＋４列および第６ｍ＋６列にそれぞれ存在している。Ｒ画素は，第６ｎ＋１行では第６ｍ＋２列に，第６ｎ＋２行では第６ｍ＋４列および第６ｍ＋６列に，第６ｎ＋４行および第６ｎ＋６行では第６ｍ＋５列に，第６ｎ＋５行では第６ｍ＋１列および第６ｍ＋３列にそれぞれ形成されている。
　上記の例では，光電変換素子のフォトダイオードの受光面上に赤色フィルタ，緑色フィルタまたは青色フィルタが形成されることによりカラー画像が得られるが，三原色の補色であるシアンＣの光成分を透過する特性を有するシアン・フィルタ，マゼンタＭの光成分を透過する特性を有するマゼンタ・フィルタまたはイエローＹの光成分を透過する特性を有するイエロー・フィルタが光電変換素子のフォトダイオードの受光面上に形成されることにより，上述のような画素配列をもつカラー画像が得られるようにしてもよい。
　図22から図25は，画像部分31の画素混合の様子を示している。画像部分34についても同様である。
　図22は，Ｒ画素の画素混合である。分りやすくするために，Ｒ画素以外の画素が省略されている。画像部分31においては，中央の画素10Ａの上下の画素がＲ画素となっている。これらの二つのＲ画素が混合させられ，かつ平均化された画素が画像部分31の縮小後のＲ混合画素となる。
　図23は，画像部分31を構成するＧ１画素の画素混合である。図23においても，Ｇ１画素以外の画素の色を表わす符号が省略されている。
　画像部分31においては，四隅がＧ１画素となっている。これらの四つのＧ１画素が混合させられ，かつ平均化された画素が画像部分31の縮小後のＧ１混合画素となる。
　図24は，画像部分31を構成するＧ２画素の画素混合である。図24においてもわかりやすくするためにＧ２画素以外の画素の色を表わす符号が省略されている。
　画像部分31においては，中央の画素がＧ２画素となっている。このＧ２画素が画像部分31の縮小後のＧ２混合画素とされる。
　図25は，画像部分31を構成するＢ画素を示している。Ｂ画素以外の画素の色の符号が省略されている。
　中央の画素10Ａの左右にＢ画素がある。これらの２つのＢ画素が画素混合させられ，かつ平均化されることにより，縮小後のＢ混合画素となる。
　図26および図27は，画像部分32の画素混合の様子を示している。画像部分33についても同様である。また，画像部分32および33におけるＧ１画素の配列およびＧ２画素の配列は画像部分31と同様であるので，Ｇ１画素の画素混合は，図23に示したものと同じとなり，Ｇ２画素の画素混合は図24に示したものと同じとなる。
　図26は，Ｒ画素の画素混合である。中央の画素10Ａの左右にＲ画素があるから，それらの二つのＲ画素が混合させられてＲ混合画素が生成させられる。平均化されるのはいうまでもない。
　図27は，Ｂ画素の画素混合である。中央の画素10Ａの上下にＢ画素があるから，それらの二つのＢ画素が混合させられてＢ混合画素が生成させられる。このように，各色の画素である，緑色成分の画素，青色成分の画素，赤色成分の画素のそれぞれの画素混合後における各色の混合画素の重心位置が，同一の画素位置となるように画素混合している。このような画素混合により，画像の縮小と画素補間とが同時に行われるため，一般的に別処理として行われる補間処理（デモザイク処理とも言われる）を省略することができ，処理回路を簡素化でき処理速度を速めることができる。
　図28は，図18に対応するもので，横縞の部分カラー画像１Ａを示している。
　図18に示すものと同様に，被写体が横縞であり，かつその白と黒との周期が撮像素子のフォトダイオードが形成されている間隔に等しいものとする。すると，図28に示すように，奇数行（または偶数行）は白色の線となり，偶数行（または奇数行）は黒色の線となる。部分カラー画像１Ａには，黒色の線であることが分るようにハッチングが付されている。ハッチングがされていない部分が白色の線を表わしている。
　図18を参照して説明したのと同様に，Ｇ１画素とＧ２画素とを区別しないで画素混合すると，偽色が発生してしまう。
　図29は，縦縞の部分カラー画像１Ａを示している。
　図28に示したものと同様に，被写体が白黒の縦縞であり，かつその白と黒との周期が撮像素子のフォトダイオードが形成されている間隔に等しいものとすると，図29に示すように，奇数列（または偶数列）は白色の線となり，偶数列（または奇数列）は黒色の線となる。図29においても黒色であることが分るようにハッチングが付されている。ハッチングが付されていない部分は白色である。
　この実施例においても，上述したのと同様に，画像部分31および34の画素配列パターンの場合には，式10に示すように，画素混合で得られたＲ混合画素，Ｇ１混合画素，Ｇ２混合画素およびＢ混合画素を用いて相関方向判別が行われる。
　（｜Ｒ混合画素－Ｇ１混合画素｜＋｜Ｂ混合画素－Ｇ２混合画素｜）＜（｜Ｒ混合画素－Ｇ２混合画素｜＋｜Ｂ混合画素－Ｇ１混合画素｜）・・・式10
　式10が成立すると，画像部分31および34は，図28に示す横縞のように横方向（列方向）に相関があると判断される。式10が成立しなければ，画像部分31および34は，図29に示す縦縞のように縦方向（行方向）に相関があると判断される。
　画像部分32および33の画素配列パターンの場合には，式10においてＲ混合画素とＢ混合画素とが逆となる式10Ａを用いて相関方向判別が行われる。
　（｜Ｂ混合画素－Ｇ１混合画素｜＋｜Ｒ混合画素－Ｇ２混合画素｜）＜（｜Ｂ混合画素－Ｇ２混合画素｜＋｜Ｒ混合画素－Ｇ１混合画素｜）・・・式10Ａ
　式10Ａが成立すると，画像部分32および33は図28に示す横縞のように横方向に相関があると判断され，式10Ａが成立しなければ，画像部分32および33は図29に示す縦縞のように縦方向に相関があると判断される。
　このように，同一列上で混合されたＲ混合画素とＧ混合画素との差分絶対値と同一列上で混合されたＢ混合画素とＧ混合画素との差分絶対値との和と，同一行で混合されたＲ混合画素とＧ混合画素との差分絶対値と同一行で混合されたＢ混合画素とＧ混合画素との差分絶対値との和と，の比較にもとづいて列方向に相関があるか，行方向に相関があるか判断される。
　上述したのと同様に，相関方向に応じて，混合画素が補正される。この補正のために，Ｒ画素差分値RsubおよびＢ画素差分値Bsubがそれぞれ算出される。方向判別の結果，横方向に相関があると判断されると，Ｒ画素差分値RsubおよびＢ画素差分値Bsubは，それぞれ式11および式12で表される。後述するように，横方向に相関がある場合には，Ｒ画素と同一行にあるＧ１画素の影響およびＢ画素と同一行にあるＧ２画素の影響がそれぞれ少なくなる。
　Ｒ画素差分値Rsub＝Ｒ混合画素－Ｇ１混合画素・・・式11
　Ｂ画素差分値Bsub＝Ｂ混合画素－Ｇ２混合画素・・・式12
　方向判別の結果，縦方向に相関があると判断されると，Ｒ画素差分値RsubおよびＢ画素差分値Bsubは，それぞれ式13および式14で表される。後述するように，縦方向に相関がある場合には，Ｒ画素と同一列にあるＧ２画素の影響およびＢ画素と同一列にあるＧ１画素の影響がそれぞれ少なくなる。
　Ｒ画素差分値Rsub＝Ｒ混合画素－Ｇ２混合画素・・・式13
　Ｂ画素差分値Bsub＝Ｂ混合画素－Ｇ１混合画素・・・式14
　上述のようにして得られた混合画素等から次のように補間画素が生成される。
　Ｇ補間画素＝（Ｇ１混合画素＋Ｇ２混合画素）／２・・・式15
　Ｒ補間画素＝Ｇ補間画素＋Ｒ画素差分値Rsub・・・式16
　Ｂ補間画素＝Ｇ補間画素＋Ｂ画素差分値Bsub・・・式17
　式15から式17にもとづいて得られる補間画素を用いて縮小画像が生成されることにより，上述のように高い周波数の横縞または縦縞の白黒画像であっても，偽色を発生させることなく，縮小および補間処理が実現できる。
　たとえば，上述した図28に示すように，白黒の横縞の画像１について縮小および補間処理が行われると，画像部分31について，式10が成立するから，Ｒ画素差分値Rsubは式11からRsub＝100－100＝０，Ｂ画素差分値Bsubは式12からBsub＝０－０＝０となる。Ｇ補間画素は式15から，Ｇ補間画素＝（100＋０）／２＝50，Ｒ補間画素は式16から，Ｒ補間画素＝50＋０＝50，Ｂ補間画素は，式17から，Ｂ補間画素＝50＋０＝50となる。Ｇ補間画素＝Ｒ補間画素＝Ｂ補間画素＝50となり，偽色の発生が未然に防止される。
　他の画像部分32および33についても式10Ａにもとづく方向判別，Ｒ画素差分値およびＢ画素差分値の算出，ならびにＧ補間画素，Ｒ補間画素およびＢ補間画素の算出が行われることにより偽色の発生が未然に防止される。
　また，上述した図29に示すように，白黒の縦縞の画像１Ａについて縮小および補間処理が行われると，画像部分31について，式10が成立しないから，Ｒ画素差分値Rsubは式13から，Rsub＝100－100＝０，Ｂ画素差分値Bsubは式14から，Bsub＝０－０＝０となる。Ｇ補間画素＝Ｒ補間画素＝Ｂ補間画素＝50となり，偽色の発生が未然に防止される。他の画像部分34についても同様である。
　図30から図38は，他の実施例を示すものである。
　図30は，図１，図21に対応するもので，多数のフォトダイオードの受光面上に所定の配列により形成されている撮像素子により得られたカラー画像の一部を示す部分カラー画像１Ａである。
　図30に示す部分カラー画像１Ｂも行方向および列方向のいずれも６つの画素10Ｂから構成されている。これらの画素10Ｂについても上述したのと同様に，赤色画素，緑色画素および青色画素には，それぞれＲ，ＧまたはＢの符号が付されている。
　３画素×３画素の画素混合ブロックＢｒのいずれの画像部分41から44においても，中央および中央の上下左右にＧ画素がある。中央の左上および右下には，Ｒ画素があり，中央の右上および左下には，Ｂ画素がある。この実施例では，中央のＧ画素，中央のＧ画素の上下のＧ画素および中央のＧ画素の左右のＧ画素が区別される。中央のＧ画素の上下のＧ画素がＧ１画素とされ，中央のＧ画素の左右のＧ画素がＧ２画素とされ，中央のＧ画素がＧ３画素とされる。
　カラー画像は，画像部分41を基本配列パターンとして繰り返されることとなる。
　上記の例では，光電変換素子のフォトダイオードの受光面上に赤色フィルタ，緑色フィルタまたは青色フィルタが形成されることによりカラー画像が得られるが，三原色の補色であるシアンＣの光成分を透過する特性を有するシアン・フィルタ，マゼンタＭの光成分を透過する特性を有するマゼンタ・フィルタまたはイエローＹの光成分を透過する特性を有するイエロー・フィルタが光電変換素子のフォトダイオードの受光面上に形成されることにより，上述のような画素配列をもつカラー画像が得られるようにしてもよい。
　図31から図35は，画像部分41の画素混合の様子を示している。他の画像部分42から44についても同様である。
　図31は，Ｒ画素の画素混合である。分りやすくするために，Ｒ画素以外の画素が省略されている。画像部分41においては，中央の画素10Ｂの左上および右下の画素がＲ画素となっている。これらの二つのＲ画素が混合させられ，かつ平均化された画素が画像部分41の縮小後のＲ混合画素となる。
　図32は，画像部分41を構成するＧ１画素の画素混合である。図32においても，Ｇ１画素以外の画素の色を表わす符号が省略されている。
　画像部分41においては，中央の画素10Ｂの上下がＧ１画素となっている。これらの２つのＧ１画素が混合させられ，かつ平均化された画素が画像部分41の縮小後のＧ１混合画素となる。
　図33は，画像部分41を構成するＧ２画素の画素混合である。図33においてもわかりやすくするためにＧ２画素以外の画素の色を表わす符号が省略されている。
　画像部分41においては，中央の画素10Ｂの左右がＧ２画素となっている。これらのＧ２画素が混合させられ，かつ平均化されることにより画像部分41の縮小後のＧ２混合画素とされる。
　図34は，画像部分41を構成するＢ画素を示している。Ｂ画素以外の画素の色の符号が省略されている。
　中央の画素10Ｂの右上および左下にＢ画素がある。これらの２つのＢ画素が画素混合させられ，かつ平均化されることにより，縮小後のＢ混合画素となる。
　図35は，画像部分41を構成するＧ３画素を示している。画像部分41の中央にあるＧ３画素がＧ３混合画素となる。このように，各色の画素である，緑色成分の画素，青色成分の画素，赤色成分の画素のそれぞれの画素混合後における各色の混合画素の重心位置が，同一の画素位置上となるように画素混合している。このような画素混合により，画像の縮小と画素補間とが同時に行われるため，一般的に別処理として行われる補間処理（デモザイク処理とも言われる）を省略することができ，処理回路を簡素化でき処理速度を速めることができる。
　図36は，図18，図28に対応するもので，横縞の部分カラー画像１Ｂを示している。
　図18等に示すものと同様に，被写体が横縞であり，かつその白と黒との周期が撮像素子のフォトダイオードが形成されている間隔に等しいものとする。すると，図36に示すように，奇数行（または偶数行）は白色の線となり，偶数行（または奇数行）は黒色の線となる。部分カラー画像１Ｂには，黒色の線であることが分るようにハッチングが付されている。ハッチングがされていない部分が白色の線を表わしている。
　図18等を参照して説明したのと同様に，Ｇ１画素，Ｇ２画素およびＧ３画素を区別しないで画素混合すると，偽色が発生してしまう。
　図37は，縦縞の部分カラー画像１Ｂを示している。
　図36に示したものと同様に，被写体が白黒の縦縞であり，かつその白と黒との周期が撮像素子のフォトダイオードが形成されている間隔に等しいものとすると，図37に示すように，奇数列（または偶数列）は白色の線となり，偶数列（または奇数列）は黒色の線となる。図37においても黒色であることが分るようにハッチングが付されている。ハッチングが付されていない部分は白色である。
　図38は，斜めの縞の部分カラー画像１Ｂを示している。
　図37，図38に示したものと同様に，被写体が白黒の斜めの縞であり，かつその白と黒との周期が撮像素子のフォトダイオードが形成されている間隔に等しいものとすると，図38に示すように，斜めの白色の線と黒色の線とが交互に現れる。図38においても，黒色であることが分るようにハッチングが付されている。ハッチングが付されていない部分は白色である。
　図36に示すように，横縞の場合には，Ｒ画素またはＢ画素とＧ１画素との間に相関がある。また，図37に示すように，縦縞の場合には，Ｒ画素またはＢ画素とＧ２画素との間に相関がある。さらに，図38に示すように，斜めの縞の場合には，Ｒ画素またはＢ画素とＧ３画素との間に相関がある。したがって，Ｒ画素またはＢ画素とＧ１画素との差分の絶対値を第１の絶対値，Ｒ画素またはＢ画素とＧ２画素の差分の絶対値を第２の絶対値，Ｒ画素またはＢ画素とＧ３画素との差分の絶対値を第３の絶対値とした場合，もっとも小さな絶対値を与えるものの方向に画像部分41の相関があると考えられる。第１の絶対値，第２の絶対値または第３の絶対値がもっとも小さかった場合には，横方向の相関，縦方向の相関または斜め方向の相関があると考えられる。
　相関方向が横方向の場合のＲ画素差分値RsubおよびＢ画素差分値Bsubは，式18および式19となる。
　Ｒ画素差分値Rsub＝Ｒ混合画素－Ｇ１混合画素・・・式18
　Ｂ画素差分値Bsub＝Ｂ混合画素－Ｇ１混合画素・・・式19
　相関方向が縦方向の場合のＲ画素差分値RsubおよびＢ画素差分値Bsubは，式20および式21となる。
　Ｒ画素差分値Rsub＝Ｒ混合画素－Ｇ２混合画素・・・式20
　Ｂ画素差分値Bsub＝Ｂ混合画素－Ｇ２混合画素・・・式21
　相関方向が斜め方向の場合のＲ画素差分値RsubおよびＢ画素差分値Bsubは，式22および式23となる。
　Ｒ画素差分値Rsub＝Ｒ混合画素－Ｇ３混合画素・・・式22
　Ｂ画素差分値Bsub＝Ｂ混合画素－Ｇ３混合画素・・・式23
　上述のようにして得られた混合画素等から，補間画素が生成される。Ｒ画素差分値RsubおよびＢ画素差分値Bsubは，相関方向に対応したものが利用されるのはいうまでもない。
　Ｇ補間画素＝（Ｇ１混合画素＋Ｇ２混合画素＋Ｇ３混合画素）／３・・・式24
　Ｒ補間画素＝Ｇ補間画素＋Ｒ画素差分値Rsub・・・式25
　Ｂ補間画素＝Ｇ補間画素＋Ｂ画素差分値Bsub・・・式26
　この実施例においても上述した実施例と同様に，式24から式26にもとづいて得られる補間画素を用いて縮小画像が生成されることにより，上述のように高い周波数の横縞，縦縞または斜めの縞の白黒画像であっても，偽色を発生させることなく，縮小および補間処理が実現できる。
　図39から図44は，さらに他の実施例を示すものである。
　図39は，図１，図21，図30に対応するもので，多数のフォトダイオードの受光面上に所定の配列により形成されている撮像素子により得られたカラー画像の一部を示す部分カラー画像１Ｃである。
　図39に示す部分カラー画像１Ｃは，行方向および列方向のいずれも３つの画素10Ｃから構成されている。これらの画素10Ｃについても上述したのと同様に，赤色画素，緑色画素および青色画素には，それぞれＲ，ＧおよびＢの符号が付されている。
　第３ｎ＋１行第３ｎ＋２列および第３ｎ＋２行第３ｎ＋３列にＲ画素が配置されている。第３ｎ＋２行第３ｎ＋１列および第３ｎ＋３行第３ｎ＋２列にＢ画素が配置されている。その他の箇所にＧ画素が配置されている。このような基本配列パターンが繰り返されることにより，カラー画像が構成される。
　上記の例では，光電変換素子のフォトダイオードの受光面上に赤色フィルタ，緑色フィルタまたは青色フィルタが形成されることによりカラー画像が得られるが，三原色の補色であるシアンＣの光成分を透過する特性を有するシアン・フィルタ，マゼンタＭの光成分を透過する特性を有するマゼンタ・フィルタまたはイエローＹの光成分を透過する特性を有するイエロー・フィルタが光電変換素子のフォトダイオードの受光面上に形成されることにより，上述のような画素配列をもつカラー画像が得られるようにしてもよい。
　図40は，図39に示す部分カラー画像１Ｃが行方向および列方向に繰り返されることにより構成されている部分カラー画像１Ｄの一例である。
　図40においては，第６ｎ＋３行第６ｎ＋３列にはＧ１画素（第１種の第１の色の画素）が配置され，第６ｎ＋４行第６ｎ＋４列にはＧ２画素（第２種の第１の色の画素）が配置されている。図40において空白の部分には，図39に示すように，Ｇ画素が配置されている。図40においては，図39に示すＧ画素のうち，所定のＧ画素についてＧ１画素およびＧ２画素と規定されていることとなる。Ｇ１画素の同一行にはＢ画素のみが存在しＲ画素は存在しない。Ｇ１画素の同一列にはＲ画素のみが存在しＢ画素は存在しない。Ｇ２画素の同一行にはＲ画素のみが存在しＢ画素は存在しない。Ｇ２画素の同一列にはＢ画素のみが存在しＲ画素は存在しない。
　さらに，画素混合ブロックＢｒは，第６ｎ＋２行から第６ｎ＋５行および第６ｎ＋２列から第６ｎ＋５列で規定される水平方向および垂直方向のいずれも４画素ずつの合計16画素から構成されている。
　図41から図44は，画素混合ブロックＢｒを構成するＲ画素，Ｂ画素，Ｇ１画素およびＧ２画素をそれぞれ別々に表わしている。
　図41は，画素混合ブロックＢｒの画像部分を構成するＲ画素を示している。図41においても，Ｒ画素以外の画素の色を表わす符号が省略されている。複数のＲ画素同士が混合させられ，かつ平均化された画素が画素混合ブロックＢｒの画像部分の縮小後のＲ混合画素となる。
　図42は，画素混合ブロックＢｒの画像部分を構成するＢ画素を示している。図42においてもわかりやすくするためにＢ画素以外の画素の色を表わす符号が省略されている。複数のＢ画素同士が混合させられ，かつ平均化された画素が画素混合ブロックＢｒの縮小後のＢ混合画素となる。
　図43は，画素混合ブロックＢｒの画像部分を構成するＧ１画素を示している。Ｇ１画素以外の画素の色の符号が省略されている。Ｇ１画素は，画素混合ブロックＢｒに一つなので，そのＧ１画素がＧ１混合画素となる。
　図44は，画素混合ブロックＢｒの画像部分を構成するＧ２画素を示している。Ｇ２画素以外の画素の色の符号が省略されている。Ｇ２画素も，画素混合ブロックＢｒに一つなので，そのＧ２画素がＧ２混合画素となる。
　この実施例においても，上述したように，画素混合ブロックＢｒごとの画素混合で得られるＲ混合画素，Ｂ混合画素，Ｇ１混合画素およびＧ２混合画素を用いて相関方向判別が行われる。この相関方向判別は，上述した式10Ａを利用することができる。
　式10Ａが成立すれば，画素混合ブロックＢｒの画像部分は横方向に相関があると判断される。式10Ａが成立しなければ，画素混合ブロックＢｒの画像部分は縦方向に相関があると判断される。
　横方向に相関があると判断されると，上述したＲ画素差分値Rsubは式13から算出され，Ｂ画素差分値Bsubは式14から算出される。縦方向に相関があると判断されると，Ｒ画素差分値Rsubは式11から算出され，Ｂ画素差分値Bsubは式12から算出される。
　Ｇ補間画素は，画素混合ブロックＢｒに含まれている８つのＧ画素（Ｇ１画素，Ｇ２画素を含み，上述のように図40等に示す画素混合ブロックＢｒの空白の部分で示されるＧ画素を含む）の平均値として式27から得られる。もっとも，式15からＧ補間画素を算出するようにしてもよい。
　Ｇ補間画素＝ΣＧ／８・・・式27
　Ｒ補間画素およびＢ補間画素は，それぞれ上述した式16および式17から得られる。
　この実施例においても上述したのと同様に，偽色を発生させることなく，縮小および補間処理が実現できることとなる。図40から明らかなように，画素混合ブロックＢｒ同士は接していず，隣接する画素混合ブロックＢｒ同士は２画素分離れている。上述のように縮小が行われる場合，画素混合ブロックＢｒの間にある画素は無視される。このために，上述の縮小により，列方向および行方向にそれぞれ１／６に縮小（面積比で１／36に縮小）されることとなる。
　このように，この発明の実施例では，基本配列パターンを水平及び垂直方向に繰り返すカラー画像において，少なくとも同一行にＲ画素（第２の色の画素）またはＢ画素（第３の色の画素）が存在するＧ１画素（第１種の第１の色の画素）と，同一列にＲ画素（第２の色の画素）またはＢ画素（第３の色の画素）が存在するＧ２画素であってＧ１画素とは異なるＧ２画素（第２種の第１の色の画素）とが存在するように画素混合ブロックＢｒ（画素混合パターン）が設定されている。このことは，基本配列パターンを水平および垂直方向に繰り返すカラー画像において，少なくともＲ画素（第２の色の画素）またはＢ画素（第３の色の画素）が同一行にのみ存在するＧ画素（第１種の第１の色の画素）と，Ｒ画素（第２の色の画素）またはＢ画素（第３の色の画素）が同一列にのみ存在するＧ２画素と，が存在するように画素混合ブロックＢｒ（画素混合パターン）が設定されているということもできる。
　この発明の実施例では，このように設定された画素混合ブロックＢｒ内で，少なくとも第１種の第１の色の画素（たとえば，Ｇ１画素），第２種の第１の色の画素（たとえば，Ｇ２画素），第２の色の画素（たとえば，Ｒ画素）および第３の色の画素（たとえば，Ｂ画素）同士で画素混合が行われる。
　さらに，画素混合によって得られた複数種類の第１の色の混合画素および第２の色の混合画素ならびに第３の色の混合画素を用いて，カラー画像に列方向または行方向のどちらに相関があるかが判別される。具体的には，第２の色の画素（Ｒ画素）と同一行に存在する第１の色の画素（Ｇ１画素またはＧ２画素）の混合画素と第２の色の混合画素および第３の色の混合画素との相関関係である第１の相関関係と，第２の色の画素（Ｒ画素）と同一列に存在する第１の色の画素（Ｇ２画素またはＧ１画素）の混合画素と第２の色の混合画素および第３の色の画素（Ｂ画素）と同一列に存在する第１の色の画素（Ｇ１画素またはＧ２画素）の混合画素との相関関係である第２の相関関係とが比較され，カラー画像に列方向または業方向のどちらに相関があるか判別が行われる。
　この発明の実施例では，上記判別の結果にもとづいて，複数種類の第１の色（Ｇ１，Ｇ２）の混合画素，第２の色（Ｒ）の混合画素および第３の色（Ｂ）の混合画素を用いて画素混合パターンごとに第１の色（Ｇ）の補間画素，第２の色（Ｒ）の補間画素および第３の色（Ｂ）の補間画素が生成される。これにより，空間周波数の高い被写体像が入力された場合においても画素混合によって縮小画像が得られた場合に偽色の発生が未然に抑えられる。
　また，上記実施例では，光電変換素子のフォトダイオードの受光面上に各色フィルタが形成されることでカラー画像が得られる説明したが，これに限られない。有機物質などを用いた光電変換素子を採用し，フォトダイオードにおいて入射光のうち特定の色成分について光電変換する撮像素子からカラー画像が得られるようにしてもよい。
　図45および図46は，他の実施例を示すものである。
　図45は，パーソナル・コンピュータの電気的構成を示すブロック図である。
　パーソナル・コンピュータの全体の動作は，ＣＰＵ70によって統括される。
　ＣＰＵ70には，通信装置71，メモリ72，キーボードなどの入力装置73および表示装置74が接続されている。また，パーソナル・コンピュータには，ハードディスク78およびハードディスク78にアクセスするハードディスク・ドライブ77ならびにCD-ROM（コンパクト・ディスク-リード・オンリ・メモリ）ドライブ75も含まれている。
　上述した処理を行うプログラムが格納されているCD-ROM76がCD-ROMドライブ75に装填され，CD-ROM76からプログラムが読み出される。読み出されたプログラムがパーソナル・コンピュータにインストールされることにより，上述した処理が実行される。プログラムは，CD-ROM76に格納されていなくともネットワークを介して送信されたプログラムを通信装置71において受信し，パーソナル・コンピュータにインストールされるようにしてもよい。
　図46は，図45に示すパーソナル・コンピュータの処理手順を示すフローチャートである。
　上述したように撮像素子によって撮像されたカラー画像データがハードディスク78に記録されており，そのハードディスク78からカラー画像データが読み取られる（ステップ81）。読み取られたカラー画像データについて，画素混合ブロックＢｒごとに次の処理が行われる。
　上述のように同色画素ごとに画素混合される（ステップ82）。もっとも，上述のように，Ｇｒ画素，Ｇｂ画素，Ｇ１画素，Ｇ２画素，Ｇ３画素については，それぞれの画素ごとに，混入しないように画素混合されるのはいうまでもない。
　つづいて，上述のように，相関方向を表わす相関情報が算出される（ステップ87）。上述のように，式１等にもとづいて，相関方向を表す相関情報が算出されることとなる。
　相関情報にもとづいて，どの方向に相関があるかが判断される（ステップ84）。列方向（横方向）に相関がある場合には，上述したように，横方向に対応したＲ画素差分値RsubおよびＢ画素差分値Bsubが算出される（ステップ85）。行方向（縦方向）に相関がある場合には，縦方向に対応したＲ画素差分値RsubおよびＢ画素差分値Bsubが算出される（ステップ86）。
　算出されたＲ画素差分値RsubおよびＢ画素差分値Bsubを利用して，上述のように，補間画素が生成される（ステップ87）。
　以上，この発明の実施例の撮影装置の実施形態として，ディジタル・カメラおよびパーソナル・コンピュータについて説明してきたが，撮影装置の構成はこれに限定されない。この発明の実施例によるその他の撮影装置としては，例えば，内蔵型又は外付け型のPC用カメラまたは，以下に説明するような，撮影機能を有する携帯端末装置とすることができる。
　この発明の実施例による撮影装置の一実施形態である携帯端末装置としては，例えば，携帯電話機やスマートフォン，PDA(Personal Digital Assistants)，携帯型ゲーム機が挙げられる。以下，スマートフォンを例に挙げ，図面を参照しつつ，詳細に説明する。
　図47は，本発明の撮影装置の一実施形態であるスマートフォン91の外観を示すものである。図47に示すスマートフォン91は，平板状の筐体92を有し，筐体92の一方の面に表示部としての表示パネル111と，入力部としての操作パネル112とが一体となった表示入力部110を備えている。また，係る筐体92は，マイクロフォン122と，スピーカ121，操作部130と，カメラ部131とを備えている。なお，筐体92の構成はこれに限定されず，例えば，表示部と入力部とが独立した構成を採用したり，折り畳み構造やスライド機構を有する構成を採用することもできる。
　図48は，図47に示すスマートフォン91の構成を示すブロック図である。図48に示すように，スマートフォンの主たる構成要素として，無線通信部100と，表示入力部110と，通話部120と，操作部130と，カメラ部131と，記憶部140と，外部入出力部150と，ＧＰＳ(Global Positioning System)受信部160と，モーションセンサ部170と，電源部180と，主制御部190とを備える。また，スマートフォン91の主たる機能として，基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
　無線通信部100は，主制御部190の指示にしたがって，移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して，音声データ，画像データ等の各種ファイルデータ，電子メールデータなどの送受信や，Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部110は，主制御部190の制御により，画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに，表示した情報に対するユーザ操作を検出する，いわゆるタッチパネルであって，表示パネル111と，操作パネル112とを備える。
　表示パネル111は，LCD(Liquid Crystal Display)，OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル112は，表示パネル111の表示面上に表示される画像を視認可能に載置され，ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると，操作に起因して発生する検出信号を主制御部190に出力する。次いで，主制御部190は，受信した検出信号に基づいて，表示パネル111上の操作位置（座標）を検出する。
　図47に示すように，この発明の撮影装置の一実施形態として例示しているスマートフォン131の表示パネル111と操作パネル112とは一体となって表示入力部110を構成しているが，操作パネル112が表示パネル111を完全に覆うような配置となっている。係る配置を採用した場合，操作パネル112は，表示パネル111外の領域についても，ユーザ操作を検出する機能を備えてもよい。換言すると，操作パネル112は，表示パネル111に重なる重畳部分についての検出領域（以下，表示領域と称する）と，それ以外の表示パネル111に重ならない外縁部分についての検出領域（以下，非表示領域と称する）とを備えていてもよい。
　なお，表示領域の大きさと表示パネル111の大きさとを完全に一致させても良いが，両者を必ずしも一致させる必要は無い。また，操作パネル112が，外縁部分と，それ以外の内側部分の２つの感応領域を備えていてもよい。更に，外縁部分の幅は，筐体92の大きさなどに応じて適宜設計されるものである。更にまた，操作パネル112で採用される位置検出方式としては，マトリクススイッチ方式，抵抗膜方式，表面弾性波方式，赤外線方式，電磁誘導方式，静電容量方式などが挙げられ，いずれの方式を採用することもできる。
　通話部120は，スピーカ121やマイクロフォン122を備え，マイクロフォン122を通じて入力されたユーザの音声を主制御部190にて処理可能な音声データに変換して主制御部190に出力したり，無線通信部100あるいは外部入出力部150により受信された音声データを復号してスピーカ121から出力するものである。また，図21に示すように，例えば，スピーカ121を表示入力部110が設けられた面と同じ面に搭載し，マイクロフォン122を筐体92の側面に搭載することができる。
　操作部130は，キースイッチなどを用いたハードウェアキーであって，ユーザからの指示を受け付けるものである。例えば，図21に示すように，操作部130は，スマートフォン91の筐体92の側面に搭載され，指などで押下されるとオンとなり，指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部140は，主制御部190の制御プログラムや制御データ，アプリケーションソフトウェア，通信相手の名称や電話番号などを対応づけたアドレスデータ，送受信した電子メールのデータ，ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや，ダウンロードしたコンテンツデータを記憶し，またストリーミングデータなどを一時的に記憶するものである。また，記憶部140は，スマートフォン内蔵の内部記憶部141と着脱自在な外部メモリスロットを有する外部記憶部142により構成される。なお，記憶部140を構成するそれぞれの内部記憶部141と外部記憶部142は，フラッシュメモリタイプ（flash memory type），ハードディスクタイプ（hard disk type），マルチメディアカードマイクロタイプ（multimedia card micro type），カードタイプのメモリ（例えば，ＭｉｃｒｏＳＤ（登録商標）メモリ等），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
　外部入出力部150は，スマートフォン91に連結される全ての外部機器とのインターフェースの役割を果たすものであり，他の外部機器に通信等（例えば，ユニバーサルシリアルバス（ＵＳＢ），IEEE１３９４など）又はネットワーク（例えば，インターネット，無線ＬＡＮ，ブルートゥース（Bluetooth）（登録商標），ＲＦＩＤ（Radio Frequency Identification），赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標），ＵＷＢ（Ultra Wideband）（登録商標），ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
スマートフォン91に連結される外部機器としては，例えば，有／無線ヘッドセット，有／無線外部充電器，有／無線データポート，カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード，オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器，無線接続される外部オーディオ・ビデオ機器，有／無線接続されるスマートフォン，有／無線接続されるパーソナルコンピュータ，有／無線接続されるPDA，有／無線接続されるパーソナルコンピュータ，イヤホンなどがある。外部入出力部は，このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや，スマートフォン１の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部160は，主制御部190の指示にしたがって，GPS衛星ＳＴ１～ＳＴｎから送信されるGPS信号を受信し，受信した複数のGPS信号に基づく測位演算処理を実行し，当該スマートフォン91の緯度，経度，高度からなる位置を検出する。ＧＰＳ受信部160は，無線通信部100や外部入出力部150（例えば，無線ＬＡＮ）から位置情報を取得できる時には，その位置情報を用いて位置を検出することもできる。
　モーションセンサ部170は，例えば，３軸の加速度センサなどを備え，主制御部190の指示にしたがって，スマートフォン91の物理的な動きを検出する。スマートフォン91の物理的な動きを検出することにより，スマートフォン91の動く方向や加速度が検出される。係る検出結果は，主制御部190に出力されるものである。
　電源部180は，主制御部190の指示にしたがって，スマートフォン91の各部に，バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部190は，マイクロプロセッサを備え，記憶部140が記憶する制御プログラムや制御データにしたがって動作し，スマートフォン91の各部を統括して制御するものである。また，主制御部190は，無線通信部100を通じて，音声通信やデータ通信を行うために，通信系の各部を制御する移動通信制御機能と，アプリケーション処理機能を備える。
　アプリケーション処理機能は，記憶部140が記憶するアプリケーションソフトウェアにしたがって主制御部190が動作することにより実現するものである。アプリケーション処理機能としては，例えば，外部入出力部150を制御して対向機器とデータ通信を行う赤外線通信機能や，電子メールの送受信を行う電子メール機能，Webページを閲覧するWebブラウジング機能などがある。
　また，主制御部170は，受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて，映像を表示入力部110に表示する等の画像処理機能を備える。画像処理機能とは，主制御部190が，上記画像データを復号し，係る復号結果に画像処理を施して，画像を表示入力部100に表示する機能のことをいう。
　更に，主制御部190は，表示パネル111に対する表示制御と，操作部130，操作パネル132を通じたユーザ操作を検出する操作検出制御を実行する。
　表示制御の実行により，主制御部190は，アプリケーションソフトウェアを起動するためのアイコンや，スクロールバーなどのソフトウェアキーを表示したり，あるいは電子メールを作成するためのウィンドウを表示する。なお，スクロールバーとは，表示パネル111の表示領域に収まりきれない大きな画像などについて，画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また，操作検出制御の実行により，主制御部190は，操作部130を通じたユーザ操作を検出したり，操作パネル112を通じて，上記アイコンに対する操作や，上記ウィンドウの入力欄に対する文字列の入力を受け付けたり，あるいは，スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に，操作検出制御の実行により主制御部190は，操作パネル112に対する操作位置が，表示パネル111に重なる重畳部分（表示領域）か，それ以外の表示パネル111に重ならない外縁部分（非表示領域）かを判定し，操作パネル112の感応領域や，ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また，主制御部190は，操作パネル112に対するジェスチャ操作を検出し，検出したジェスチャ操作に応じて，予め設定された機能を実行することもできる。ジェスチャ操作とは，従来の単純なタッチ操作ではなく，指などによって軌跡を描いたり，複数の位置を同時に指定したり，あるいはこれらを組み合わせて，複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部131は，CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するディジタル・カメラである。また，カメラ部131は，主制御部190の制御により，撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し，記憶部140に記録したり，入出力部150や無線通信部100を通じて出力することができる。図21に示すにスマートフォン91において，カメラ部131は表示入力部110と同じ面に搭載されているが，カメラ部131の搭載位置はこれに限らず，表示入力部110の背面に搭載されてもよいし，あるいは，複数のカメラ部131が搭載されてもよい。なお，複数のカメラ部131が搭載されている場合には，撮影に供するカメラ部131を切り替えて単独にて撮影したり，あるいは，複数のカメラ部131を同時に使用して撮影することもできる。
　また，カメラ部131はスマートフォン91の各種機能に利用することができる。例えば，表示パネル111にカメラ部131で取得した画像を表示することや，操作パネル112の操作入力のひとつとして，カメラ部131の画像を利用することができる。また，ＧＰＳ受信部160が位置を検出する際に，カメラ部131からの画像を参照して位置を検出することもできる。更には，カメラ部131からの画像を参照して，３軸の加速度センサを用いずに，或いは，３軸の加速度センサと併用して，スマートフォン91のカメラ部131の光軸方向を判断することや，現在の使用環境を判断することもできる。勿論，カメラ部131からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他，静止画又は動画の画像データにＧＰＳ受信部160により取得した位置情報，マイクロフォン122により取得した音声情報（主制御部等により，音声テキスト変換を行ってテキスト情報となっていてもよい），モーションセンサ部170により取得した姿勢情報等などを付加して記録部140に記録したり，入出力部150や無線通信部100を通じて出力することもできる。
　上述の実施例では，画素混合ブロックＢｒにおける混合画素の重心位置は同一となっている。
20　撮像素子
21　画素補間装置
22　相関情報算出回路
23　ＲＧＢ画素補間回路
Ｂｒ　画素混合ブロック

Claims (12)

  1. 　第１の色の画素，第１の色の画素よりも輝度への寄与率がそれぞれ低い第２の色の画素および第３の色の画素を含む基本配列パターンが，行方向および列方向に繰り返されているカラー画像において，第１の色の画素については，少なくとも第２の色の画素または第３の色の画素と同一行に存在する第１種の第１の色の画素と，第２の色の画素または第３の色の画素と同一列に存在する上記第１種とは異なる第２種の第１の色の画素と，を分けて同色画素ごとに混合し，第２の色の画素および第３の色の画素については，同色画素ごとに混合する処理を，行方向および列方向に複数の画素から構成される画素混合パターンごとに行い，画素混合パターンごとに複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を得る同色画素混合手段，
    　上記同色画素混合手段によって得られた複数種類の第１の色の混合画素にもとづいて，カラー画像に列方向または行方向のどちらに相関があるかを判別する相関判別手段，ならびに
    　上記相関判別手段による判別結果にもとづいて，上記同色画素混合手段において得られた複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を用いて画素混合パターンごとに第１の色の補間画素，第２の色の補間画素および第３の色の補間画素を生成する補間手段，
    　を備えた画素補間装置。
  2. 　上記補間手段は，
    　上記相関判別手段により，カラー画像の列方向に相関があると判断された場合には，第２の色の画素については第２の色の画素と同一行の第１の色の画素の影響を小さくし，第３の色の画素については第３の色の画素と同一行の第１の色の画素の影響を小さくし，
    　
    　上記相関判別手段により，カラー画像の行方向に相関がある場合には，第２の色の画素については第２の色の画素と同一列の第１の色の画素の影響を小さくし，第３の色の画素については第３の色の画素と同一列の第１の色の画素の影響を小さくして，上記同色画素混合手段において得られた複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を用いて画素混合パターンごとに第１の色の補間画素，第２の色の補間画素および第３の色の補間画素を生成するものである，
    　請求項１に記載の画素補間装置。
  3. 　上記補間手段は，
    　第２の色の混合画素と複数種類の第１の色の混合画素のうち上記相関判別手段により相関があると判定された方向に存在する第１の色の混合画素との第２の色についての差分データおよび第３の色の混合画素と複数種類の第１の色の混合画素のうち上記相関判別手段により相関があると判定された方向に存在する第１の色の混合画素との第３の色についての差分データを算出する差分データ算出手段を備え，
    　複数種類の第１の色の混合画素の平均画素を第１の色の補間画素とし，第１の色の補間画素に上記差分データ算出手段によって算出された第２の色についての差分データが加算された画素を第２の色の補間画素とし，第１の色の補間画素に上記差分データ算出手段によって算出された第３の色についての差分データが加算された画素を第３の色の補間画素とするものである，
    　請求項１または２に記載の画素補間装置。
  4. 　第２の色の混合画素と複数種類の第１の色の混合画素のうち第２の色と同一列上の第１の色の混合画素との差分の絶対値と，第３の色の混合画素と複数種類の第１の色の混合画素のうち第３の色と同一列上の第１の色の混合画素との差分の絶対値と，を加算して得られる第１の加算値と，第２の色の混合画素と複数種類の第１の色の混合画素のうち第２の色と同一行上の第１の色の混合画素との差分の絶対値と，第３の色の混合画素と複数種類の第１の色の混合画素のうち第３の色と同一行上の第１の色の混合画素との差分の絶対値と，を加算して得られる第２の加算値と，のどちらが大きいかを判別する加算値判別手段をさらに備え，
    　上記相関判別手段は，
    　上記加算値判断手段により，第２の加算値よりも第１の加算値が小さいと判別されたことに応じて列方向に相関があると判別し，第２の加算値よりも第１の加算値が大きいと判別されたことに応じて行方向に相関があると判別するものである，
    　請求項１から３のうち，いずれか一項に記載の画素補間装置。
  5. 　上記同色画素混合手段による第１の色の混合画素は２種類である，
    　請求項１から４のうち，いずれか一項に記載の画素補間装置。
  6. 　上記同色画素混合手段において得られる複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素の画素混合パターンにおける重心位置が同一である，
    　請求項１から５のうち，いずれか一項に記載の画素補間装置。
  7. 　基本配列パターンはベイヤ配列にもとづくものである，
    　請求項１から６のうち，いずれか一項に記載の画素補間装置。
  8. 　行方向および列方向の６×６の画素において，行方向および列方向において緑色またはマゼンタの色成分を有する第１の色の画素，赤色またはシアンの色成分を有する第２の色の画素および青色またはイエローの色成分を有する第３の色の画素が含まれており，第１の色の画素は，列方向，行方向および斜め方向において少なくとも一つは含まれており，かつ列方向，行方向および斜め方向において２つ連続している部分が少なくとも一つは含まれている，
    　請求項１から６のうち，いずれか一項に記載の画素補間装置。
  9. 　上記カラー画像は，
    　第２の色の画素と同一行および同一列に第１の色の画素が存在し，かつ第３の色の画素と同一列および同一行にも第１の色の画素が存在しているものである，
    　請求項１から８のうち，いずれか一項に記載の画素補間装置。
  10. 　請求項１から９のうち，いずれか一項に記載の画素補間装置を備えた撮像装置。
  11. 　同色画素混合手段が，第１の色の画素，第１の色の画素よりも輝度への寄与率がそれぞれ低い第２の色の画素および第３の色の画素を含む基本配列パターンが，行方向および列方向に繰り返されているカラー画像において，第１の色の画素については，少なくとも第２の色の画素または第３の色の画素と同一行に存在する第１種の第１の色の画素と，第２の色の画素または第３の色の画素と同一列に存在する上記第１種とは異なる第２種の第１の色の画素と，を分けて同色画素ごとに混合し，第２の色の画素および第３の色の画素については，同色画素ごとに混合する処理を，行方向および列方向に複数の画素から構成される画素混合パターンごとに行い，画素混合パターンごとに複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を得，
    　相関判別手段が，上記同色画素混合手段によって得られた複数種類の第１の色の混合画素にもとづいて，カラー画像に列方向または行方向のどちらに相関があるかを判別し，
    　補間手段が，上記相関判別手段による判別結果にもとづいて，上記同色画素混合手段において得られた複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を用いて画素混合パターンごとに第１の色の補間画素，第２の色の補間画素および第３の色の補間画素を生成する，
    　画素補間装置の動作制御方法。
  12. 　画素補間装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    　第１の色の画素，第１の色の画素よりも輝度への寄与率がそれぞれ低い第２の色の画素および第３の色の画素を含む基本配列パターンが，行方向および列方向に繰り返されているカラー画像において，第１の色の画素については，少なくとも第２の色の画素または第３の色の画素と同一行に存在する第１種の第１の色の画素と，第２の色の画素または第３の色の画素と同一列に存在する上記第１種とは異なる第２種の第１の色の画素と，を分けて同色画素ごとに混合し，第２の色の画素および第３の色の画素については，同色画素ごとに混合する処理を，行方向および列方向に複数の画素から構成される画素混合パターンごとに行わせ，画素混合パターンごとに複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を得，
    　得られた複数種類の第１の色の混合画素にもとづいて，カラー画像に列方向または行方向のどちらに相関があるかを判別させ，
    　相関の判別結果にもとづいて，得られた複数種類の第１の色の混合画素，第２の色の混合画素および第３の色の混合画素を用いて画素混合パターンごとに第１の色の補間画素，第２の色の補間画素および第３の色の補間画素を生成させるように画素補間装置のコンピュータを制御するプログラム。
PCT/JP2014/062943 2013-05-23 2014-05-15 画素補間装置およびその動作制御方法 Ceased WO2014188950A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015518212A JP5877931B2 (ja) 2013-05-23 2014-05-15 画素補間装置およびその動作制御方法
CN201480029601.3A CN105264886B (zh) 2013-05-23 2014-05-15 像素插值装置及其动作控制方法
US14/947,916 US9727948B2 (en) 2013-05-23 2015-11-20 Pixel interpolation device and operation control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013108577 2013-05-23
JP2013-108577 2013-05-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/947,916 Continuation US9727948B2 (en) 2013-05-23 2015-11-20 Pixel interpolation device and operation control method

Publications (1)

Publication Number Publication Date
WO2014188950A1 true WO2014188950A1 (ja) 2014-11-27

Family

ID=51933509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/062943 Ceased WO2014188950A1 (ja) 2013-05-23 2014-05-15 画素補間装置およびその動作制御方法

Country Status (4)

Country Link
US (1) US9727948B2 (ja)
JP (1) JP5877931B2 (ja)
CN (1) CN105264886B (ja)
WO (1) WO2014188950A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5865555B2 (ja) * 2013-05-13 2016-02-17 富士フイルム株式会社 混色率算出装置及び方法並びに撮像装置
JP6276580B2 (ja) * 2013-12-20 2018-02-07 株式会社メガチップス 画素補間処理装置、撮像装置、プログラムおよび集積回路
JP6598507B2 (ja) * 2015-05-11 2019-10-30 キヤノン株式会社 撮像装置、撮像システム、信号処理方法
US10366674B1 (en) 2016-12-27 2019-07-30 Facebook Technologies, Llc Display calibration in electronic displays

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010279A (ja) * 2000-06-21 2002-01-11 Nikon Corp 補間処理装置および補間処理プログラムを記録した記録媒体
JP2008098971A (ja) * 2006-10-12 2008-04-24 Matsushita Electric Ind Co Ltd 固体撮像装置
WO2012117584A1 (ja) * 2011-02-28 2012-09-07 富士フイルム株式会社 カラー撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3389819B2 (ja) * 1996-06-10 2003-03-24 株式会社村田製作所 誘電体導波管型共振器
US6836572B2 (en) 1998-06-01 2004-12-28 Nikon Corporation Interpolation processing apparatus and recording medium having interpolation processing program recorded therein
JP2003250091A (ja) * 2002-02-22 2003-09-05 Olympus Optical Co Ltd 固体撮像素子の欠陥画素検出装置及び電子カメラ
JP2004356681A (ja) * 2003-05-27 2004-12-16 Olympus Corp ホワイトバランス調整回路、その応用装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラム
JP4826071B2 (ja) * 2004-07-01 2011-11-30 ソニー株式会社 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置
JP4759293B2 (ja) 2005-03-15 2011-08-31 キヤノン株式会社 撮像素子
JP4752381B2 (ja) * 2005-08-02 2011-08-17 コニカミノルタオプト株式会社 撮像装置
JP5183880B2 (ja) * 2006-03-14 2013-04-17 ソニー株式会社 カラーフィルタおよび撮像素子
JP4497233B2 (ja) * 2007-07-30 2010-07-07 カシオ計算機株式会社 画素補間回路、およびプログラム
JP5672776B2 (ja) * 2010-06-02 2015-02-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN103270757B (zh) * 2011-03-11 2015-07-22 富士胶片株式会社 图像传感装置和控制其操作的方法
EP2645723B1 (en) * 2011-03-11 2015-06-17 FUJIFILM Corporation Imaging device, method for controlling operation thereof, and imaging system
US9007488B2 (en) * 2012-03-08 2015-04-14 Semiconductor Components Industries, Llc Systems and methods for generating interpolated high-dynamic-range images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010279A (ja) * 2000-06-21 2002-01-11 Nikon Corp 補間処理装置および補間処理プログラムを記録した記録媒体
JP2008098971A (ja) * 2006-10-12 2008-04-24 Matsushita Electric Ind Co Ltd 固体撮像装置
WO2012117584A1 (ja) * 2011-02-28 2012-09-07 富士フイルム株式会社 カラー撮像装置

Also Published As

Publication number Publication date
US9727948B2 (en) 2017-08-08
CN105264886B (zh) 2017-05-03
JPWO2014188950A1 (ja) 2017-02-23
CN105264886A (zh) 2016-01-20
JP5877931B2 (ja) 2016-03-08
US20160080715A1 (en) 2016-03-17

Similar Documents

Publication Publication Date Title
CN104584542B (zh) 图像处理装置、图像处理方法及摄像装置
CN104813648B (zh) 图像处理装置、摄像装置、及图像处理方法
JPWO2013164937A1 (ja) 撮像装置及び合焦制御方法
US20160227112A1 (en) Imaging device
JPWO2014136570A1 (ja) 撮像装置、画像処理装置、画像処理方法及びプログラム
US10306196B2 (en) Pixel mixing device and method for controlling operation of same
JP5749409B2 (ja) 撮像装置、画像処理方法及びプログラム
US10075686B2 (en) Color-image-data contamination correction device and imaging device, and method for controlling operation thereof
JP5877931B2 (ja) 画素補間装置およびその動作制御方法
US9344646B2 (en) Imaging device and imaging method
CN104380726B (zh) 图像处理装置及方法以及摄像装置
WO2014185239A1 (ja) 画像データのオプティカル・ブラック補正装置およびその動作制御方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480029601.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14800274

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2015518212

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14800274

Country of ref document: EP

Kind code of ref document: A1