WO2014185239A1 - 画像データのオプティカル・ブラック補正装置およびその動作制御方法 - Google Patents

画像データのオプティカル・ブラック補正装置およびその動作制御方法 Download PDF

Info

Publication number
WO2014185239A1
WO2014185239A1 PCT/JP2014/061455 JP2014061455W WO2014185239A1 WO 2014185239 A1 WO2014185239 A1 WO 2014185239A1 JP 2014061455 W JP2014061455 W JP 2014061455W WO 2014185239 A1 WO2014185239 A1 WO 2014185239A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
mixed
image
image data
Prior art date
Application number
PCT/JP2014/061455
Other languages
English (en)
French (fr)
Inventor
秀和 倉橋
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2015517014A priority Critical patent/JPWO2014185239A1/ja
Publication of WO2014185239A1 publication Critical patent/WO2014185239A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information

Definitions

  • the present invention relates to an optical black correction device for image data, an operation control method thereof, and an operation control program thereof.
  • pixel sharing is performed in which a plurality of photodiodes are shared by a single amplifier circuit in order to reduce the size of the image sensor (Patent Documents 1 and 2).
  • optical black correction is also performed in which noise in the optical black portion included in the image sensor is detected and the detected noise is removed from the image data obtained from the image sensor.
  • Patent Document 3 the number of sample and hold circuits is reduced.
  • Patent Document 4 When obtaining two pixels having different angles of view, a wide area is read out in order to match the brightness level. There are also thinning-out (Patent Document 4).
  • JP 2006-54276 A JP 2011-86888 JP 2005-348042 A Japanese Patent Laid-Open No. 10-285476
  • the correction amount is switched according to the position of the photodiode sharing the amplifier circuit for the image data obtained from the image sensor. ing.
  • the correction amount is not switched in accordance with the position of the photodiode sharing the amplifier circuit, so that accurate optical black correction cannot be performed. is there.
  • An object of the present invention is to perform relatively accurate optical black correction even when pixel mixing is performed in an image obtained from an image pickup device in which pixel sharing is performed.
  • An optical black correction apparatus for image data provides pixel data representing pixels constituting an image obtained from a solid-state electronic image pickup device in which pixel sharing is performed for each pixel block composed of a plurality of adjacent pixels.
  • Pixel mixing means for generating pixel mixed image data representing a pixel mixed image by mixing in the optical black correction according to a relative position in pixel sharing of pixels included in the pixel block before processing in the pixel mixing means Pixel amount generated in the pixel mixing unit using the offset amount determining unit for determining the offset amount, and the offset amount determined by the offset amount determining unit and the position information of the pixel to be mixed for each pixel block by the pixel mixing unit
  • the present invention also provides an operation control method suitable for an image data optical black correction device.
  • the pixel mixing means mixes pixel data representing pixels constituting an image obtained from a solid-state electronic image pickup device in which pixel sharing is performed for each pixel block including a plurality of adjacent pixels.
  • the pixel mixture image data representing the image is generated, and the offset amount determination means determines the offset amount in the optical black correction according to the relative position in the pixel sharing of the pixels included in the pixel block before the processing in the pixel mixture means.
  • the pixel mixture image generated by the pixel mixing unit using the offset amount determined by the offset amount determination unit and the positional information of the pixels to be mixed for each pixel block by the pixel mixing unit.
  • Optical black correction for mixed pixels that make up a pixel mixed image represented by data Is shall.
  • the present invention also provides a computer-readable program for executing the operation control method of the optical black correction device for image data.
  • a recording medium storing such a program may be provided.
  • pixel data representing pixels constituting an image obtained from a solid-state electronic image pickup device in which pixel sharing is performed is mixed for each pixel block to generate pixel mixed image data representing a pixel mixed image.
  • the offset amount in the optical black correction is determined according to the relative position in the pixel sharing of the pixels included in the pixel block before the pixel mixing process, and the determined offset amount and the position information of the pixel to be mixed are used.
  • the mixed pixels are optically black corrected. Since the offset amount in optical black correction is determined according to the position of the pixel included in the pixel block before pixel mixing processing, even if optical black correction is performed after pixel mixing, it can be corrected relatively accurately. It becomes like this. Even when pixels are mixed, optical black correction can be performed according to the pixel sharing position, so that image quality deterioration such as false signals can be prevented in advance.
  • the solid-state electronic image sensor for example, a large number of photoelectric conversion elements that store signal charges of different color components are arranged corresponding to the pixels to obtain a color image, and the pixel mixing means constitutes a color image. Color pixel data representing color pixels of the same color is mixed for each pixel block to generate color pixel mixed image data.
  • the pixel mixing unit generates, for example, pixel mixed image data representing a pixel mixed image by mixing each pixel block including pixels having different offset amounts determined according to the relative positions of pixels in pixel sharing.
  • the repetition period in which pixel sharing is repeatedly arranged in the solid-state electronic image sensor may be different from the period of the pixel block.
  • the repetition period in which pixel sharing is repeatedly arranged may be smaller than the period of the pixel block.
  • the repetition period of the color component of the photoelectric conversion element that accumulates signal charges of different color components in the solid-state image sensor and the period of the pixel block may be different.
  • a first photoelectric conversion element that accumulates signal charges representing green or magenta light components in the horizontal and vertical directions, a signal representing red or cyan light components
  • At least one second photoelectric conversion element for accumulating electric charges and three third photoelectric conversion elements for accumulating signal electric charges representing blue or yellow light components are disposed, and the first photoelectric conversion elements are arranged in the horizontal direction.
  • At least one is arranged in the vertical direction and the diagonal direction, and includes at least one continuous portion in the horizontal direction, the vertical direction and the diagonal direction.
  • the pixel may be composed of three pixels in the vertical direction.
  • the photoelectric conversion element is, for example, a Bayer array, and the pixel block is composed of pixels of 3 pixels in the horizontal direction and 3 pixels in the vertical direction.
  • the light-receiving surface of an image sensor is shown. A part of the light receiving surface of the image sensor is shown. The image part is shown. The state of pixel mixing is shown. A mixed pixel is shown. The state of pixel mixing is shown. A mixed pixel is shown. The state of pixel mixing is shown. A mixed pixel is shown. It is a block diagram which shows the electric constitution of a digital camera. A part of the light receiving surface of the image sensor is shown. The image part is shown. The state of pixel mixing is shown. A mixed pixel is shown. The state of pixel mixing is shown. A mixed pixel is shown. The state of pixel mixing is shown. A mixed pixel is shown. The state of pixel mixing is shown. A mixed pixel is shown. It is a block diagram which shows the electric constitution of a personal computer. It is a flowchart which shows the process sequence of a personal computer. Shows the appearance of a smartphone. It is a block diagram which shows the electric constitution of a smart phone.
  • FIG. 1 shows a light receiving surface of an image sensor (C-MOS sensor) 5.
  • a photosensitive area 6 and an optical black area 7 are formed on the light receiving surface of the image sensor 5.
  • a large number of photodiodes are arranged in each of the photosensitive region 6 and the optical black region 7.
  • the photosensitive region 6 occupies most of the light receiving surface of the image sensor 5 and is a region where light is incident on the photodiode and signal charges corresponding to the amount of light are accumulated in the photodiode.
  • a subject image is obtained based on image data (video signal) obtained based on the signal charges accumulated in the photodiodes arranged in the photosensitive region 6.
  • the optical black area 7 is formed around the photosensitive area 6 and is shielded from light (the shaded state is indicated by hatching).
  • FIG. 2 shows a part of the photosensitive region 6 of the image sensor 5.
  • photodiodes 11 are arranged in the horizontal and vertical directions.
  • a red filter that transmits a red light component, a green filter that transmits a green light component, or a blue filter that transmits a blue light component is formed on the light receiving surface of the photodiode 11.
  • Photodiode 11 in which a red filter is formed on the light receiving surface is given a symbol “R”
  • photodiode 11 in which a green filter is formed on the light receiving surface is given a symbol “G”.
  • the photodiode 11 on which the blue filter is formed is labeled “B”.
  • the 6 ⁇ 6 photodiode 11 in the color filter array shown in FIG. 2, in the 6 ⁇ 6 photodiode 11, at least one green filter G, red filter R, and blue filter B are formed in the horizontal and vertical directions.
  • at least one green filter G is formed also in the horizontal direction, the vertical direction, and the oblique direction.
  • the 6 ⁇ 6 photodiode 11 includes at least one portion where two green filters G are continuous in the horizontal direction, the vertical direction, and the oblique direction.
  • the 6 ⁇ 6 photodiode 11 includes at least one portion where two green filters G are continuous in the horizontal direction and the vertical direction.
  • the arrangement of the color filters formed on the 6 ⁇ 6 photodiodes 11 is repeated in the horizontal direction and the vertical direction to form the color filter arrangement of the image sensor 1.
  • the green filter G has the sixth m (m is a positive integer) in the sixth n (n is a positive integer) +1 row, the sixth n + 3 row, the sixth n + 4 row, and the sixth n + 6 row.
  • +1 column, 6m + 3 column, 6m + 4 column and 6m + 6 column are formed.
  • 6n + 2 row and 6n + 5 row, 6m + 2 column and 6m + 5 column are formed.
  • the blue filter B is in the sixth m + 5 column in the sixth n + 1 row and the sixth n + 3 row, in the sixth m + 1 column and the sixth m + 3 column in the sixth n + 2 row, in the sixth m + 2 column in the sixth n + 4 row and the sixth n + 6 row, in the sixth n + 5 row. Then, it is formed in the 6m + 4th row and the 6th + 6th row, respectively.
  • the red filter R is in the sixth m + 2 column in the sixth n + 1 row, in the sixth m + 4 column and the sixth m + 6 column in the sixth n + 2 row, in the sixth m + 5 column in the sixth n + 4 row and the sixth n + 6 row, and in the sixth m + 1 column and the sixth m + 3 in the sixth n + 5 row.
  • Each is formed in a row.
  • the 3 ⁇ 3 photodiode 11 includes all of the red filter R, the green filter G, and the blue filter B, and a color filter is formed so as to be symmetric with respect to the center photodiode 11.
  • the red filter R, the green filter G, or the blue filter B is formed on the light receiving surface of the photodiode 11.
  • the cyan filter has a characteristic of transmitting light components of cyan C that is a complementary color of the three primary colors.
  • a magenta filter having a characteristic of transmitting a light component of magenta M or a yellow filter having a characteristic of transmitting a light component of yellow Y may be formed.
  • one amplifier circuit (not shown) is connected to the four photodiodes 11 in the image sensor 5 (pixel sharing).
  • the signal charge accumulated in the photodiode 11 via the amplifier circuit is output from the image sensor 11 as a video signal.
  • Reference numerals 1 to 4 are assigned to the photodiodes 11 sharing the pixels.
  • the photodiodes 11 included in the upper left portion 12 of FIG. 2 are four photodiodes 11 sharing pixels.
  • the optical black correction amount may differ depending on the relative position of the photodiode 11. In this embodiment, optical black correction is performed in consideration of the position of the photodiode 11 sharing the pixel.
  • FIG. 3 is an example of the image portion 20 obtained from the 6 ⁇ 6 photodiode 11 shown in FIG.
  • the image portion 20 corresponds to the 6 ⁇ 6 photodiode 11 and is composed of 6 ⁇ 6 pixels 21.
  • the color filter R, G, or B described above and the numerals 1 to 4 are assigned to the pixels 21.
  • Symbols R, G, and B indicate color filters formed in the photodiode 11 described above, and numerals 1 to 4 indicate pixels that share pixels.
  • pixels to which R, G, or B are attached represent red pixels, green pixels, or blue pixels, respectively.
  • pixels denoted by R, G, or B are referred to as pixels R, G, or B as necessary.
  • the same color pixels are mixed for each pixel block Br composed of 3 ⁇ 3 pixels 21.
  • a reduced image (pixel mixed image) having a size of 1/9 is generated.
  • pixel mixing is performed for each pixel of the same color in each of the four image portions 31, 32, 33, and 34 corresponding to the pixel block Br.
  • FIG. 4 shows a state where green pixels G1 to G4 are mixed.
  • FIG. 5 shows a state where pixels are mixed.
  • the red pixels R1 to R4 and the blue pixels B1 to B4 are omitted, and only the green pixels G1 to G4 are illustrated.
  • pixel G4 is at the center of image portion 31, and pixel G ⁇ b> 1 is at the four corners of image portion 31.
  • These pixels G4 and four pixels G1 are mixed to generate a mixed pixel 41G for the image portion 31.
  • the mixed pixel 41G is a mixture of the pixel G4 and the four pixels G1.
  • the mixed pixel 41G is obtained by dividing the mixed pixel 41G by the total number of pixels 5 of these pixels G4 and four pixels G1.
  • FIG. 4 there is a pixel G3 at the center of the image portion 32 and pixels G2 at the four corners. These pixels G3 and G2 are mixed to obtain a mixed pixel 42G as shown in FIG. As shown in FIG. 4, there is a pixel G2 at the center of the image portion 33 and pixels G3 at the four corners. These pixels G2 and G3 are mixed to obtain a mixed pixel 43G as shown in FIG. As shown in FIG. 4, there is a pixel G1 at the center of the image portion 34 and pixels G4 at the four corners. These pixels G1 and G4 are mixed to obtain a mixed pixel 44G as shown in FIG.
  • the numbers “1” to “4” attached to the reference symbol “G” indicate pixel sharing positions, and the correction amount when optical black correction is performed according to the positions. Is different.
  • the correction amount of the optical black correction for the pixel (G1) at the position specified by the code “1” is OB1.
  • the optical black correction amounts corresponding to the pixels (G2, G3, and G4) at the positions specified by the symbols “2”, “3”, and “4” are OB2, OB3, and OB4. Therefore, the correction amount of the optical black correction for the mixed pixel 41G is [(OB1 ⁇ 4) + OB4] / 5.
  • optical black correction amounts for the mixed pixels 42G, 43G, and 44G are [(OB2 ⁇ 4) + OB3] / 5, [(OB3 ⁇ 4) + OB2] / 5 and [(OB4 ⁇ 4) + OB1 respectively. ] / 5.
  • Optical black correction amounts OB1, OB2, OB3, and OB4 corresponding to the pixel sharing position are photodiodes that share pixels in the optical black region 7 (the optical black region 7 is also the same as the photosensitive region 6). Needless to say, it is detected in advance according to the position of 11).
  • FIG. 6 shows how red pixels R1 to R4 are mixed.
  • FIG. 7 shows a state where pixels are mixed.
  • the green pixels G1 to G4 and the blue pixels B1 to B4 are omitted, and only the red pixels R1 to R4 are illustrated.
  • the pixel R2 is above and below the central pixel of the image portion 31. These pixels R2 are mixed to generate a mixed pixel 41R for the image portion 31. As shown in FIG. 7, the mixed pixel 41R is obtained by mixing two pixels R2. Actually, the average of the two pixels R2 is the mixed pixel 41R.
  • pixels R4 on the left and right of the center pixel of the image portion 32 there are pixels R4 on the left and right of the center pixel of the image portion 32, pixels R1 on the left and right of the center pixel of the image portion 33, and pixels above and below the center pixel of the image portion 34.
  • R3 For each image portion 32, 33 and 34, these pixels R4, R1 and R3 are mixed to obtain mixed pixels 42R (R4), 43R (R1) and 44R (R3) as shown in FIG.
  • the correction amounts of the optical black correction of the mixed pixels 41R, 42R, 43R and 44R are OB2, OB4, OB1 and OB3, respectively.
  • FIG. 8 shows how the blue pixels B1 to B4 are mixed.
  • FIG. 9 shows a state where pixels are mixed.
  • the green pixels G1 to G4 and the red pixels R1 to R4 are omitted, and only the blue pixels B1 to B4 are shown for easy understanding.
  • the mixed pixel 41B is obtained by mixing two pixels B3.
  • the average of the two pixels B3 is the mixed pixel 41B.
  • the pixel B1 is above and below the center pixel of the image portion 32
  • the pixel B4 is above and below the center pixel of the image portion 33
  • the pixels to the left and right of the center pixel of the image portion 34 are.
  • these pixels B1, B4 and B2 are mixed to obtain mixed pixels 42B (B1), 43B (B4) and 44B (B2) as shown in FIG.
  • the correction amounts of the optical black correction for the mixed pixels 41B, 42B, 43B and 44B are OB3, OB1, OB4 and OB2, respectively.
  • FIG. 10 is a block diagram showing the electrical configuration of the digital camera.
  • image data representing a subject image captured by the image sensor 5 is input to the pixel data mixing processing circuit 53.
  • the pixel data mixing processing circuit 53 as described with reference to FIGS. 4, 6 and 8, the same color pixels are mixed for each pixel block Br.
  • Pixel mixed image data representing the mixed pixels obtained in the pixel data mixing processing circuit 53 is input to the optical black correction circuit 54.
  • data representing the position of the pixel before being mixed in the pixel data mixing processing circuit 53 is input to the optical black correction offset amount determining circuit 55.
  • the offset amount (correction amount) corresponding to the mixed pixel is determined.
  • Data representing the determined offset amount is input from the offset amount determination circuit 55 to the optical black correction circuit 54, and optical black correction is performed by subtracting (adding) the offset amount to the mixed pixels.
  • the pixel mixed image data that has been subjected to the optical black correction is supplied to the display device 56, whereby a pixel mixed image is displayed. Further, in response to pressing of a shutter release button (not shown), the pixel mixed image data is recorded on a recording medium 57 such as a memory card. Needless to say, the image data before pixel mixture may be recorded on the recording medium 57 without being recorded on the recording medium 57.
  • FIG. 11 to FIG. 18 show another embodiment. Also in this embodiment, the filters that transmit red, green, or blue light components are denoted by “R”, “G”, or “B”, respectively, as in the above-described embodiments.
  • pixel sharing is also performed in the image sensor 5A in this embodiment, and numbers “1” to “4” are attached in the same manner as described above according to the position of pixel sharing.
  • FIG. 11 shows a part of the photosensitive region of the image sensor 5A.
  • the color filter formed on the light receiving surface of the photodiode 11 constituting the image pickup device 5A shown in FIG. 11 is called a Bayer array.
  • Red filters R and green filters G are alternately formed in odd rows, and green filters G and blue filters B are alternately formed in even rows.
  • a red filter R, a green filter G, or a blue filter B is formed on the light receiving surface of the photodiode 11, but a cyan filter having a characteristic of transmitting light components of cyan C, which is a complementary color of the three primary colors, light of magenta M
  • a magenta filter having a characteristic of transmitting a component or a yellow filter having a characteristic of transmitting a yellow Y light component may be formed according to a Bayer arrangement.
  • FIG. 12 corresponds to FIG. 3 and is an example of an image portion 20A obtained from the 6 ⁇ 6 photodiode 11 shown in FIG.
  • the image portion 20A corresponds to the 6 ⁇ 6 photodiode 11, and is composed of 6 ⁇ 6 pixels 21.
  • the color filter R, G, or B described above and the numbers 1 to 4 are attached to the pixels 21.
  • the same color pixels are mixed for each pixel block Br composed of 3 ⁇ 3 pixels 21.
  • a reduced image (pixel mixed image) having a size of 1/9 is generated. As described above, pixel mixing is performed for each pixel of the same color in each of the four image portions 61, 62, 63 and 64 corresponding to the pixel block Br.
  • FIG. 13 corresponds to FIG. 4 and shows how green pixels G1 to G4 are mixed.
  • FIG. 14 corresponds to FIG. 5 and shows a state where pixels are mixed.
  • the red pixel R1 and the blue pixel B4 are omitted, and only the green pixels G1 to G4 are shown.
  • pixel G2 is above and below the central pixel of image portion 61, and pixel G3 is on the left and right of the central pixel.
  • These pixels G2 and G3 are mixed to generate a mixed pixel 61G for the image portion 61.
  • the mixed pixel is a mixture of two pixels G2 and G3.
  • the mixed pixel 61G is obtained by dividing the mixed pixel 61G by four.
  • a mixed pixel 62G is obtained. Since there is a pixel G2 at the center of the image portion 63 and pixels G3 at the four corners, a mixed pixel 63G is obtained by mixing these pixels G2 and G3. Further, since the pixel G2 is on the left and right of the central pixel of the image portion 64, and the pixel G3 is on the top and bottom, the mixed pixel 64G is obtained by mixing these pixels G2 and G3.
  • the correction amount of the optical black correction for the mixed pixels 61G and 64G is both (OB2 ⁇ 2 + OB3 ⁇ 2) / 4, and the correction amount of the optical black correction for the mixed pixel 62G is (OB2 ⁇ 4 + OB3) / 4. Yes, it can be understood that the optical black correction amount of the mixed pixel 63G is (OB3 ⁇ 4 + OB2) / 4.
  • FIG. 15 corresponds to FIG. 6 and shows a state where the red pixel R1 is mixed.
  • FIG. 16 corresponds to FIG. 7 and shows a state where pixels are mixed.
  • the green pixels G1 to G4 and the blue pixel B4 are omitted, and only the red pixel R1 is illustrated.
  • pixels R1 at the four corners of the image portion 61 there are pixels R1 at the four corners of the image portion 61, pixels R1 above and below the center pixel of the image portion 62, and pixels R1 on the left and right of the center pixel of the image portion 63.
  • pixel R1 in the center of 64 Since the mixed pixels 61R, 62R, 63R and 64R shown in FIG. 16 are averaged, all become the pixel R1.
  • the correction amount of the optical black correction for the mixed pixels 61R to 64R is OB1.
  • FIG. 17 corresponds to FIG. 8 and shows a state where the blue pixel B4 is mixed.
  • FIG. 18 shows a state where pixels are mixed.
  • the image portion 61 has a pixel B4 at the center
  • the image portion 62 has pixels B4 on the left and right of the center pixel
  • the image portion 63 has pixels B4 above and below the center pixel.
  • the image portion 64 has pixels B4 at the four corners.
  • image reduction and pixel interpolation can be performed simultaneously by pixel mixture. This is the pixel mixing so that the center of gravity of the mixed pixel of each color after mixing the green component pixel, blue component pixel, and red component pixel, which are the original pixels of each color, is on the same pixel position. It is because it is doing. Since pixel reduction and pixel interpolation are performed simultaneously by such pixel mixing, interpolation processing (also referred to as demosaicing processing) generally performed as separate processing can be omitted, and the processing circuit can be simplified. The processing speed can be increased.
  • the size of the repetitive pattern of the color filter in the image sensor is not limited to 2 pixels ⁇ 2 pixels or 6 pixels ⁇ 6 pixels, and the image sensor is S pixels ⁇ T pixels (S and T are natural numbers of 2 to 10). Applicable to.
  • the size of the pixel block Br is not limited to 3 pixels ⁇ 3 pixels.
  • M pixels ⁇ N pixels (N and M are 3 or more, S and T, such as 4 pixels ⁇ 4 pixels, 5 pixels ⁇ 5 pixels, 6 pixels ⁇ 6 pixels) according to the resolution of the set reduced color image data Natural number of 3 times or less).
  • M pixels ⁇ M pixels M is an odd number not less than 3 and not more than 3 times S
  • the barycentric position of the mixed pixel of each color after the mixed pixel is set to the same pixel position.
  • the S pixel ⁇ T pixel which is the size of the repetitive pattern of the color filter
  • the M pixel ⁇ N pixel which is the size of the pixel block Br
  • the pixel block Br is an N pixel ⁇ M pixel (N, M is 3 or more, natural number less than 3 times S, T) pixel block composed of a plurality of adjacent original pixels.
  • N, M is 3 or more, natural number less than 3 times S, T) pixel block composed of a plurality of adjacent original pixels. The accuracy of the mixed pixel data can be improved.
  • FIG. 31 and FIG. 32 show another embodiment.
  • FIG. 31 is a block diagram showing the electrical configuration of the personal computer.
  • the overall operation of the personal computer is controlled by the CPU 70.
  • the CPU 70 is connected to a communication device 71, a memory 72, an input device 73 such as a keyboard, and a display device 74.
  • the personal computer also includes a hard disk 78, a hard disk drive 77 for accessing the hard disk 78, and a CD-ROM (compact disk-read only memory) drive 75.
  • the CD-ROM 76 storing the program for performing the above-described mixing correction is loaded into the CD-ROM drive 75, and the program is read from the CD-ROM 76.
  • the above-described processing is executed by installing the read program on the personal computer. Even if the program is not stored in the CD-ROM 76, the program transmitted via the network may be received by the communication device 71 and installed in the personal computer.
  • FIG. 32 is a flowchart showing the processing procedure of the personal computer shown in FIG.
  • the color image data captured by the image sensor is recorded on the hard disk 78, and the color image data is read from the hard disk 78 (step 81).
  • the read color image data is pixel-mixed with the same color pixel data as described above (step 82).
  • an offset amount (correction amount) for optical black correction is determined (step 83), and offset correction is performed (step 84).
  • a reduced color image with offset correction is obtained.
  • the obtained reduced color image is displayed on the display screen of the display device 74 (step 85).
  • Image data representing the reduced color image after the offset correction is recorded on the hard disk 78 (step 86).
  • the digital camera and the personal computer have been described as the embodiments of the photographing apparatus according to the embodiment of the present invention.
  • the configuration of the photographing apparatus is not limited to this.
  • a built-in type or an external type PC camera or a portable terminal device having a photographing function as described below can be used.
  • Examples of the portable terminal device that is an embodiment of the photographing device according to the embodiment of the present invention include a mobile phone, a smartphone, a PDA (Personal Digital Assistants), and a portable game machine.
  • a smartphone will be described as an example, and will be described in detail with reference to the drawings.
  • FIG. 21 shows an appearance of a smartphone 91 which is an embodiment of the photographing apparatus of the present invention.
  • a smartphone 91 shown in FIG. 21 has a flat housing 92.
  • a display panel 111 as a display unit and an operation panel 112 as an input unit are integrated on one surface of the housing 92.
  • the unit 110 is provided.
  • the casing 92 includes a microphone 122, a speaker 121, an operation unit 130, and a camera unit 131.
  • the configuration of the housing 92 is not limited to this, and for example, a configuration in which the display unit and the input unit are independent, or a configuration having a folding structure or a slide mechanism may be employed.
  • FIG. 22 is a block diagram showing the configuration of the smartphone 91 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 100, a display input unit 110, a call unit 120, an operation unit 130, a camera unit 131, a storage unit 140, and an external input / output unit. 150, a GPS (Global Positioning System) receiving unit 160, a motion sensor unit 170, a power supply unit 180, and a main control unit 190.
  • a wireless communication function for performing mobile wireless communication via the base station device BS and the mobile communication network NW is provided.
  • the radio communication unit 100 performs radio communication with the base station apparatus BS accommodated in the mobile communication network NW in accordance with an instruction from the main control unit 190. Using such wireless communication, transmission / reception of various file data such as audio data and image data, e-mail data, and reception of Web data, streaming data, and the like are performed.
  • the display input unit 110 displays images (still images and moving images), character information, etc., visually transmits information to the user, and detects user operations on the displayed information.
  • a so-called touch panel which includes a display panel 111 and an operation panel 112.
  • the display panel 111 uses an LCD (Liquid Crystal Display), OELD (Organic Electro-Luminescence Display) or the like as a display device.
  • the operation panel 112 is a device that is placed so that an image displayed on the display surface of the display panel 111 is visible and detects one or more coordinates operated by a user's finger or stylus.
  • a detection signal generated due to the operation is output to the main control unit 190.
  • the main control unit 190 detects an operation position (coordinates) on the display panel 111 based on the received detection signal.
  • the display panel 111 and the operation panel 112 of the smartphone 131 exemplified as an embodiment of the photographing apparatus of the present invention integrally constitute the display input unit 110.
  • 112 is arranged so as to completely cover display panel 111.
  • the operation panel 112 may have a function of detecting a user operation even in an area outside the display panel 111.
  • the operation panel 112 has a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 111 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 111. May be included).
  • the operation panel 112 may be provided with two sensitive regions of the outer edge portion and the other inner portion. Furthermore, the width of the outer edge portion is appropriately designed according to the size of the housing 92 and the like. Furthermore, examples of the position detection method employed in the operation panel 112 include a matrix switch method, a resistive film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method. You can also
  • the call unit 120 includes a speaker 121 and a microphone 122, converts user's voice input through the microphone 122 into voice data that can be processed by the main control unit 190, and outputs the voice data to the main control unit 190. 100 or the audio data received by the external input / output unit 150 is decoded and output from the speaker 121. Also, as shown in FIG. 21, for example, the speaker 121 can be mounted on the same surface as the surface on which the display input unit 110 is provided, and the microphone 122 can be mounted on the side surface of the housing 92.
  • the operation unit 130 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 130 is mounted on the side surface of the housing 92 of the smartphone 91 and is turned on when pressed with a finger or the like, and turned off when the finger is released with a restoring force such as a spring. It is a push button type switch.
  • the storage unit 140 includes control programs and control data of the main control unit 190, application software, address data that associates names and telephone numbers of communication partners, transmitted and received e-mail data, Web data downloaded by Web browsing, Stores downloaded content data and temporarily stores streaming data and the like.
  • the storage unit 140 includes an internal storage unit 141 built in the smartphone and an external storage unit 142 having a removable external memory slot.
  • Each of the internal storage unit 141 and the external storage unit 142 constituting the storage unit 140 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), It is realized using a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • flash memory type flash memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), or the like.
  • the external input / output unit 150 serves as an interface with all external devices connected to the smartphone 91, and communicates with other external devices (for example, universal serial bus (USB), IEEE 1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE 1394, etc.
  • a network for example, the Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication (IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark), ZigBee ( ZigBee) (registered trademark, etc.) for direct or indirect connection.
  • Examples of the external device connected to the smartphone 91 include a memory card connected via a wired / wireless headset, wired / wireless external charger, wired / wireless data port, card socket, and SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • external audio / video equipment connected via audio / video I / O (Input / Output) terminal
  • external audio video equipment connected wirelessly
  • smartphones wired / wireless personal computers, wired / wireless connected PDAs, wired / wireless personal computers, earphones, and the like.
  • the external input / output unit may transmit data received from such an external device to each internal component of the smartphone 1 or allow the internal data of the smartphone 1 to be transmitted to the external device. it can.
  • the GPS receiving unit 160 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 190, executes positioning calculation processing based on the received GPS signals, and calculates the latitude of the smartphone 91 Detects position consisting of, longitude and altitude.
  • the GPS receiving unit 160 can acquire position information from the wireless communication unit 100 or the external input / output unit 150 (for example, a wireless LAN), it can also detect the position using the position information.
  • the motion sensor unit 170 includes, for example, a three-axis acceleration sensor and detects the physical movement of the smartphone 91 in accordance with an instruction from the main control unit 190. By detecting the physical movement of the smartphone 91, the moving direction and acceleration of the smartphone 91 are detected. The detection result is output to the main control unit 190.
  • the power supply unit 180 supplies power stored in a battery (not shown) to each unit of the smartphone 91 in accordance with an instruction from the main control unit 190.
  • the main control unit 190 includes a microprocessor, operates according to a control program and control data stored in the storage unit 140, and controls each unit of the smartphone 91 in an integrated manner. Further, the main control unit 190 includes a mobile communication control function for controlling each part of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 100.
  • the application processing function is realized by the main control unit 190 operating according to the application software stored in the storage unit 140.
  • Application processing functions include, for example, an infrared communication function for controlling external input / output unit 150 to perform data communication with an opposite device, an e-mail function for sending and receiving e-mails, and a web browsing function for browsing web pages. .
  • the main control unit 170 also has an image processing function such as displaying video on the display input unit 110 based on image data (still image data or moving image data) such as received data or downloaded streaming data.
  • the image processing function refers to a function in which the main control unit 190 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 100.
  • the main control unit 190 executes display control for the display panel 111 and operation detection control for detecting a user operation through the operation unit 130 and the operation panel 132.
  • the main control unit 190 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar, or a window for creating an e-mail.
  • the scroll bar refers to a software key for accepting an instruction to move an image display portion of a large image that cannot fit in the display area of the display panel 111.
  • the main control unit 190 detects a user operation through the operation unit 130, or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 112. Or a display image scroll request through a scroll bar is accepted.
  • the main control unit 190 causes the operation position with respect to the operation panel 112 to overlap with the display panel 111 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 111.
  • a touch panel control function for controlling the sensitive area of the operation panel 112 and the display position of the software key.
  • the main control unit 190 can also detect a gesture operation on the operation panel 112 and execute a preset function in accordance with the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera unit 131 is a digital camera that performs electronic photography using an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device).
  • the camera unit 131 converts the image data obtained by imaging into compressed image data such as JPEG (Joint-Photographic-coding-Experts-Group) under the control of the main control unit 190, and records it in the storage unit 140, The data can be output through the output unit 150 or the wireless communication unit 100.
  • the camera unit 131 is mounted on the same surface as the display input unit 110, but the mounting position of the camera unit 131 is not limited to this and is mounted on the back surface of the display input unit 110.
  • a plurality of camera units 131 may be mounted. When a plurality of camera units 131 are installed, the camera unit 131 used for shooting can be switched to perform shooting alone, or a plurality of camera units 131 can be used for shooting simultaneously.
  • the camera unit 131 can be used for various functions of the smartphone 91.
  • an image acquired by the camera unit 131 can be displayed on the display panel 111, and an image of the camera unit 131 can be used as one of operation inputs of the operation panel 112.
  • the GPS receiving unit 160 detects the position
  • the position can also be detected with reference to an image from the camera unit 131.
  • the optical axis direction of the camera unit 131 of the smartphone 91 can be determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 131 can also be used in the application software.

Abstract

　画素共有の撮像素子から得られた画像データを画素混合した場合に，正確にオプティカル・ブラック補正を行う。　３×３画素ごとのブロックＢｒにおいて，同色画素（Ｇ１からＧ４など）ごとに画素混合が行われる。得られた混合画素について，画素混合前の画素共有の位置に応じたオプティカル・ブラック補正の補正量を考慮して，オプティカル・ブラック補正の補正量が決定される。決定された補正量を用いて混合画素にオプティカル・ブラック補正が行われる。

Description

画像データのオプティカル・ブラック補正装置およびその動作制御方法
　この発明は，画像データのオプティカル・ブラック補正装置ならびにその動作制御方法およびその動作制御プログラムに関する。
　C-MOS（Complementary Metal Oxide Semiconductor）撮像素子では，撮像素子の大きさを小さくするために複数のフォトダイオードを一つの増幅回路で共有する，いわゆる画素共有が行われている（特許文献１，２）。また，撮像素子に含まれるオプティカル・ブラックの部分のノイズを検出し，検出されたノイズを撮像素子から得られた画像データから取り除くオプティカル・ブラック補正も行われている。さらに，撮像素子において複数の画素を加算する場合にサンプルホールド回路の個数を減らすもの（特許文献３），画角の異なる２画素を得る際に，明るさレベルを合わせるため，広い領域の読出しは間引くもの（特許文献４）などもある。
特開2006-54276号公報 特開2011-86888号公報 特開2005-348042号公報 特開平10-285476号公報
　画素共有されている撮像素子においてオプティカル・ブラック補正が行われる場合には，撮像素子から得られた画像データに対して，増幅回路を共有しているフォトダイオードの位置に応じて補正量が切り替えられている。しかしながら，画素混合により縮小画像データが得られた場合には増幅回路を共有しているフォトダイオードの位置に応じて補正量を切り替えることは行われないので，正確なオプティカル・ブラック補正ができないことがある。
　この発明は，画素共有が行われている撮像素子から得られる画像において画素混合が行われる場合であっても，比較的正確なオプティカル・ブラック補正を行うことを目的とする。
　この発明による画像データのオプティカル・ブラック補正装置は，画素共有が行われている固体電子撮像素子から得られる画像を構成する画素を表す画素データを，隣接する複数の画素から構成される画素ブロックごとに混合して画素混合画像を表す画素混合画像データを生成する画素混合手段，画素混合手段における処理前に画素ブロックに含まれていた画素の画素共有における相対位置に応じて，オプティカル・ブラック補正におけるオフセット量を決定するオフセット量決定手段，およびオフセット量決定手段によって決定されたオフセット量と画素混合手段で画素ブロックごとに混合する画素の位置情報とを用いて，画素混合手段において生成された画素混合画像データによって表される画素混合画像を構成する混合画素をオプティカル・ブラック補正するオプティカル・ブラック補正手段を備えていることを特徴とする。
　この発明は，画像データのオプティカル・ブラック補正装置に適した動作制御方法も提供している。すなわち，画素混合手段が，画素共有が行われている固体電子撮像素子から得られる画像を構成する画素を表す画素データを，隣接する複数の画素から構成される画素ブロックごとに混合して画素混合画像を表す画素混合画像データを生成し，オフセット量決定手段が，画素混合手段における処理前に画素ブロックに含まれていた画素の画素共有における相対位置に応じて，オプティカル・ブラック補正におけるオフセット量を決定し，オプティカル・ブラック補正手段が，オフセット量決定手段によって決定されたオフセット量と画素混合手段で画素ブロックごとに混合する画素の位置情報とを用いて，画素混合手段において生成された画素混合画像データによって表される画素混合画像を構成する混合画素をオプティカル・ブラック補正するものである。
　この発明は，画像データのオプティカル・ブラック補正装置の動作制御方法を実施するためのコンピュータが読み取り可能なプログラムも提供している。そのようなプログラムを格納した記録媒体を提供するようにしてもよい。
　この発明によると，画素共有が行われる固体電子撮像素子から得られる画像を構成する画素を表す画素データが，画素ブロックごとに混合されて画素混合画像を表わす画素混合画像データが生成される。画素混合処理前に画素ブロックに含まれていた画素の画素共有における相対位置に応じて，オプティカル・ブラック補正におけるオフセット量が決定され，決定されたオフセット量と混合する画素の位置情報とを用いて，混合画素がオプティカル・ブラック補正される。画素混合処理前に画素ブロックに含まれていた画素の位置に応じて，オプティカル・ブラック補正におけるオフセット量が決定されているので，画素混合後にオプティカル・ブラック補正されても，比較的正確に補正できるようになる。画素混合する場合にも画素共有位置に応じてオプティカル・ブラック補正できるので，偽信号などの画質劣化を未然に防止できる。
　固体電子撮像素子は，たとえば，異なる色成分の信号電荷を蓄積する光電変換素子が，画素に対応して多数配列されており，カラー画像を得るものであり，画素混合手段は，カラー画像を構成する同色のカラー画素を表すカラー画素データを，画素ブロックごとに混合してカラー画素混合画像データを生成するものである。
　画素混合手段は，たとえば，画素の画素共有における相対位置に応じて決定されるオフセット量が異なる画素を含む画素ブロックごとに混合して画素混合画像を表す画素混合画像データを生成する。
　固体電子撮像素子において画素共有が繰り返し配置される繰り返し周期と，画素ブロックの周期と，が異なってもよい。
　画素共有が繰り返し配置される繰り返し周期が画素ブロックの周期より小さくてもよい。
　固体撮像素子において異なる色成分の信号電荷を蓄積する光電変換素子の色成分の繰り返し周期と，画素ブロックの周期と，が異なるものでもよい。
　水平方向および垂直方向の６×６の光電変換素子において，水平方向および垂直方向において緑色またはマゼンタの光成分を表わす信号電荷を蓄積する第１の光電変換素子，赤色またはシアンの光成分を表わす信号電荷を蓄積する第２の光電変換素子および青色またはイエローの光成分を表わす信号電荷を蓄積する第３の光電変換素子が少なくとも一つずつ配置されており，第１の光電変換素子は，水平方向，垂直方向および斜め方向において少なくとも一つは配置されており，かつ水平方向，垂直方向および斜め方向において２つ連続している部分が少なくとも一つ含まれており，画素ブロックは，水平方向に３画素，垂直方向に３画素の画素から構成されるものでもよい。
　光電変換素子は，たとえば，ベイヤ配列であり，画素ブロックは，水平方向３画素，垂直方向３画素の画素から構成されるものである。
　画像データのオプティカル・ブラック補正装置を備えた撮像装置を構成するようにしてもよい。
撮像素子の受光面を示している。 撮像素子の受光面の一部を示している。 画像部分を示している。 画素混合の様子を示している。 混合画素を示している。 画素混合の様子を示している。 混合画素を示している。 画素混合の様子を示している。 混合画素を示している。 ディジタル・カメラの電気的構成を示すブロック図である。 撮像素子の受光面の一部を示している。 画像部分を示している。 画素混合の様子を示している。 混合画素を示している。 画素混合の様子を示している。 混合画素を示している。 画素混合の様子を示している。 混合画素を示している。 パーソナル・コンピュータの電気的構成を示すブロック図である。 パーソナル・コンピュータの処理手順を示すフローチャートである。 スマートフォンの外観を示している。 スマートフォンの電気的構成を示すブロック図である。
　図１は，撮像素子（C-MOSセンサ）５の受光面を示している。
　撮像素子５の受光面には，感光領域６およびオプティカル・ブラック領域７が形成されている。これらの感光領域６およびオプティカル・ブラック領域７のいずれにも多数のフォトダイオードが配列されている。感光領域６は，撮像素子５の受光面のほとんどの面積を占めており，光がフォトダイオードに入射し，光量に応じた信号電荷がフォトダイオードに蓄積される領域である。感光領域６に配列されているフォトダイオードに蓄積された信号電荷にもとづいて得られる画像データ（映像信号）にもとづいて被写体像が得られる。オプティカル・ブラック領域７は感光領域６の周りに形成されており，遮光されている（遮光されている様子がハッチングで示されている）。
　図２は，撮像素子５の感光領域６の一部を示している。
　上述したように，水平方向および垂直方向に多数のフォトダイオード11が配列されている。フォトダイオード11の受光面上には，赤色の光成分を透過する赤色フィルタ，緑色の光成分を透過する緑色フィルタまたは青色の光成分を透過する青色フィルタが形成されている。受光面上に赤色フィルタが形成されているフォトダイオード11には符号「Ｒ」が付され，受光面上に緑色フィルタが形成されているフォトダイオード11には符号「Ｇ」が付され，受光面上に青色フィルタが形成されているフォトダイオード11には符号「Ｂ」が付されている。
　図２に示すカラー・フィルタ配列は，６×６のフォトダイオード11において，水平方向および垂直方向において緑色フィルタＧ，赤色フィルタＲおよび青色フィルタＢが少なくとも一つずつ形成されている。カラー・フィルタが形成されている６×６のフォトダイオード11において，水平方向，垂直方向および斜め方向においても緑色フィルタＧが少なくとも一つは形成されている。また，６×６のフォトダイオード11においては，緑色フィルタＧが水平方向，垂直方向および斜め方向において２つ連続している部分が少なくとも一つは含まれている。さらに，６×６のフォトダイオード11においては，緑色フィルタＧが水平方向および垂直方向において２つ連続している部分が少なくとも一つは含まれている。６×６のフォトダイオード11に形成されているカラー・フィルタの配列が水平方向および垂直方向において繰り返されて，撮像素子１のカラー・フィルタの配列となる。
　たとえば，６×６のフォトダイオード11では，緑色フィルタＧは，第６ｎ（ｎは正の整数）＋１行，第６ｎ＋３行，第６ｎ＋４行および第６ｎ＋６行では，第６ｍ（ｍは正の整数）＋１列，第６ｍ＋３列，第６ｍ＋４列および第６ｍ＋６列に形成されており，第６ｎ＋２行および第６ｎ＋５行では，第６ｍ＋２列，第６ｍ＋５列に形成されている。同様に，青色フィルタＢは，第６ｎ＋１行および第６ｎ＋３行では第６ｍ＋５列に，第６ｎ＋２行では第６ｍ＋１列および第６ｍ＋３列に，第６ｎ＋４行および第６ｎ＋６行では第６ｍ＋２列に，第６ｎ＋５行では第６ｍ＋４列および第６ｍ＋６列にそれぞれ形成されている。赤色フィルタＲは，第６ｎ＋１行では第６ｍ＋２列に，第６ｎ＋２行では第６ｍ＋４列および第６ｍ＋６列に，第６ｎ＋４行および第６ｎ＋６行では第６ｍ＋５列に，第６ｎ＋５行では第６ｍ＋１列および第６ｍ＋３列にそれぞれ形成されている。
　３×３のフォトダイオード11に赤色フィルタＲ，緑色フィルタＧおよび青色フィルタＢのすべてが含まれ，かつ中心のフォトダイオード11を中心に点対称となるようにカラー・フィルタが形成されている。
　上記の例では，フォトダイオード11の受光面上に赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢが形成されているが，三原色の補色であるシアンＣの光成分を透過する特性を有するシアン・フィルタ，マゼンタＭの光成分を透過する特性を有するマゼンタ・フィルタまたはイエローＹの光成分を透過する特性を有するイエロー・フィルタが形成されていてもよい。
　また，この実施例では，撮像素子５の大きさを小さくするために撮像素子５内において４つのフォトダイオード11に対して一つの増幅回路（図示略）が接続されており（画素共有），その増幅回路を介してフォトダイオード11に蓄積された信号電荷が映像信号として撮像素子11から出力される。画素共有が行われているフォトダイオード11について１から４の符号が付されている。たとえば，図２の左上の部分12に含まれるフォトダイオード11が画素共有されている４つのフォトダイオード11である。画素共有されているフォトダイオード11においては，そのフォトダイオード11の相対位置に応じてオプティカル・ブラック補正の補正量が異なる場合がある。この実施例では，画素共有されているフォトダイオード11の位置を考慮してオプティカル・ブラック補正が行われる。
　図３は，図２に示す６×６のフォトダイオード11から得られる画像部分20の一例である。
　画像部分20は，６×６のフォトダイオード11に対応するもので，６×６の画素21から構成されている。図３において，画素21に対応して，上述したカラー・フィルタＲ，ＧまたはＢおよび符号１から４の数字が付されている。Ｒ，ＧまたはＢの符号は，上述したフォトダイオード11に形成されているカラー・フィルタを示しており，１から４の数字は画素共有されている画素であることを示している。たとえば，Ｒ，ＧまたはＢの符号が付されている画素は，それぞれ赤色の画素，緑色の画素または青色の画素を表わしていることとなる。以下，分りやすくするために，必要に応じて，Ｒ，ＧまたはＢの符号が付されている画素を，画素Ｒ，画素Ｇまたは画素Ｂと呼ぶこととする。
　この実施例では，３×３の画素21から構成される画素ブロックＢｒごとに同色画素が混合させられる。これにより，１／９の大きさの縮小画像（画素混合画像）が生成される。たとえば，画素ブロックＢｒに対応して４つの画像部分31，32，33および34のそれぞれにおいて同色画素ごとに画素混合が行われる。
　図４は，緑色画素Ｇ１からＧ４が画素混合される様子を示している。図５は，画素混合された様子を示している。
　図４の画像部分31から34には，分りやすくするために，赤色画素Ｒ１からＲ４および青色画素Ｂ１からＢ４が省略され，緑色画素Ｇ１からＧ４のみが図示されている。
　図４を参照して，画像部分31の中央には画素Ｇ４があり，画像部分31の四隅には画素Ｇ１がある。これらの画素Ｇ４および４つの画素Ｇ１が混合させられて，画像部分31についての混合画素41Ｇが生成される。図５に示すように混合画素41Ｇは，画素Ｇ４および４つ
の画素Ｇ１が混合させられたものである。実際には，混合画素41Ｇが，これらの画素Ｇ４および４つの画素Ｇ１の合計の画素数５で除したものが混合画素41Ｇとなる。
　同様に，図４に示すように画像部分32の中央には画素Ｇ３があり，四隅に画素Ｇ２がある。これらの画素Ｇ３およびＧ２が混合させられて，図５に示すように混合画素42Ｇが得られる。図４に示すように画像部分33の中央には画素Ｇ２があり，四隅に画素Ｇ３がある。これらの画素Ｇ２およびＧ３が混合させられて，図５に示すように混合画素43Ｇが得られる。図４に示すように画像部分34の中央には画素Ｇ１があり，四隅に画素Ｇ４がある。これらの画素Ｇ１およびＧ４が混合させられて，図５に示すように混合画素44Ｇが得られる。
　上述したように，符号「Ｇ」に付されている「１」から「４」の数字は，画素共有の位置を示しており，その位置に応じてオプティカル・ブラック補正が行われる場合の補正量が異なる。たとえば，符号「１」で特定される位置の画素（Ｇ１）に対するオプティカル・ブラック補正の補正量はＯＢ１である。同様に，符号「２」，「３」および「４」で特定される位置の画素（Ｇ２，Ｇ３およびＧ４）に対応するオプティカル・ブラック補正の補正量はＯＢ２，ＯＢ３およびＯＢ４である。したがって，混合画素41Ｇに対するオプティカル・ブラック補正の補正量は［（ＯＢ１×４）＋ＯＢ４］／５となる。同様に，混合画素42Ｇ，43Ｇおよび44Ｇに対するオプティカル・ブラック補正の補正量は，それぞれ［（ＯＢ２×４）＋ＯＢ３］／５，［（ＯＢ３×４）＋ＯＢ２］／５および［（ＯＢ４×４）＋ＯＢ１］／５である。
　画素共有の位置に応じたオプティカル・ブラック補正の補正量ＯＢ１，ＯＢ２，ＯＢ３およびＯＢ４は，オプティカル・ブラック領域７において画素共有されているフォトダイオード（オプティカル・ブラック領域７においても，感光領域６と同様に画素共有が行われている）11の位置に応じて，あらかじめ検出されているのはいうまでもない。
　図６は，赤色画素Ｒ１からＲ４が画素混合される様子を示している。図７は，画素混合された様子を示している。
　図６の画像部分31から34には，分りやすくするために，緑色画素Ｇ１からＧ４および青色画素Ｂ１からＢ４が省略され，赤色画素Ｒ１からＲ４のみが図示されている。
　図６を参照して，画像部分31の中央の画素の上下に画素Ｒ２がある。これらの画素Ｒ２が混合させられて，画像部分31についての混合画素41Ｒが生成される。図７に示すように混合画素41Ｒは，二つの画素Ｒ２が混合させられたものである。実際には，二つの画素Ｒ２の平均が混合画素41Ｒとなる。
　同様に，図６に示すように画像部分32の中央の画素の左右に画素Ｒ４があり，画像部分33の中央の画素の左右に画素Ｒ１があり，画像部分34の中央の画素の上下に画素Ｒ３がある。画像部分32，33および34ごとに，これらの画素Ｒ４，Ｒ１およびＲ３が混合させられて，図７に示すように混合画素42Ｒ（Ｒ４），43Ｒ（Ｒ１）および44Ｒ（Ｒ３）が得られる。
　混合画素41Ｒ，42Ｒ，43Ｒおよび44Ｒのオプティカル・ブラック補正の補正量は，それぞれＯＢ２，ＯＢ４，ＯＢ１およびＯＢ３となる。
　図８は，青色画素Ｂ１からＢ４が画素混合される様子を示している。図９は，画素混合された様子を示している。
　図８の画像部分31から34には，分りやすくするために，緑色画素Ｇ１からＧ４および赤色画素Ｒ１からＲ４が省略され，青色画素Ｂ１からＢ４のみが図示されている。
　図８を参照して，画像部分31の中央の画素の左右に画素Ｂ３がある。これらの画素Ｂ３が混合させられて，画像部分31についての混合画素41Ｂが生成される。図９に示すように混合画素41Ｂは，二つの画素Ｂ３が混合させられたものとなる。実際には，二つの画素Ｂ３の平均が混合画素41Ｂとなる。
　同様に，図９に示すように画像部分32の中央の画素の上下に画素Ｂ１があり，画像部分33の中央の画素の上下に画素Ｂ４があり，画像部分34の中央の画素の左右に画素Ｂ２がある。画像部分32，33および34ごとに，これらの画素Ｂ１，Ｂ４およびＢ２が混合させられて，図９に示すように混合画素42Ｂ（Ｂ１），43Ｂ（Ｂ４）および44Ｂ（Ｂ２）が得られる。
　混合画素41Ｂ，42Ｂ，43Ｂおよび44Ｂのオプティカル・ブラック補正の補正量は，それぞれＯＢ３，ＯＢ１，ＯＢ４およびＯＢ２となる。
　図10は，ディジタル・カメラの電気的構成を示すブロック図である。
　上述のように，撮像素子５により撮像された被写体像を表わす画像データは画素データ混合処理回路53に入力する。画素データ混合処理回路53において，図４，図６および図８を参照して説明したように，画素ブロックＢｒごとに同色画素が混合させられる。画素データ混合処理回路53において得られた混合画素を表わす画素混合画像データは，オプティカル・ブラック補正回路54に入力する。
　また，画素データ混合処理回路53において混合される前の画素の位置を表わすデータがオプティカル・ブラック補正オフセット量決定回路55に入力する。このオフセット量決定回路55において，上述したように，混合画素に対応するオフセット量（補正量）が決定される。決定されたオフセット量を表わすデータが，オフセット量決定回路55からオプティカル・ブラック補正回路54に入力し，混合画素にオフセット量が減算（加算）されることによりオプティカル・ブラック補正が行われる。
　オプティカル・ブラック補正が行われた画素混合画像データは表示装置56に与えられることにより，画素混合画像が表示されることとなる。また，シャッタ・レリーズ・ボタン（図示略）が押されることに応じて，画素混合画像データがメモリ・カードなどの記録媒体57に記録される。もっとも，画素混合画像データが記録媒体57に記録されずに画素混合される前の画像データが記録媒体57に記録されるようにしてもよいのはいうまでもない。
　図11から図18は，他の実施例を示すものである。この実施例においても上述した実施例と同様に赤色，緑色または青色の光成分を透過するフィルタには，それぞれ符号「Ｒ」，「Ｇ」または「Ｂ」が付されている。また，この実施例における撮像素子５Ａにおいても画素共有が行われており，画素共有の位置に応じて，上述したのと同様に「１」から「４」の数字が付されている。
　図11は，撮像素子５Ａの感光領域の一部を示している。
　図11に示す撮像素子５Ａを構成するフォトダイオード11の受光面上に形成されているカラー・フィルタはベイヤ配列と呼ばれるものである。奇数行には赤色フィルタＲと緑色フィルタＧとが交互に形成されており，偶数行には緑色フィルタＧと青色フィルタＢとが交互に形成されている。フォトダイオード11の受光面上に赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢが形成されているが，三原色の補色であるシアンＣの光成分を透過する特性を有するシアン・フィルタ，マゼンタＭの光成分を透過する特性を有するマゼンタ・フィルタまたはイエローＹの光成分を透過する特性を有するイエロー・フィルタがベイヤ配列にしたがって形成されていてもよい。
　図12は，図３に対応するもので，図11に示す６×６のフォトダイオード11から得られる画像部分20Ａの一例である。
　画像部分20Ａは，６×６のフォトダイオード11に対応するもので，６×６の画素21から構成されている。図12において，画素21に対応して，上述したカラー・フィルタＲ，ＧまたはＢおよび符号１から４の数字が付されている。この実施例においても，３×３の画素21から構成される画素ブロックＢｒごとに同色画素が混合させられる。１／９の大きさの縮小画像（画素混合画像）が生成される。上述したのと同様に，画素ブロックＢｒに対応して４つの画像部分61，62，63および64のそれぞれにおいて同色画素ごとに画素混合が行われる。
　図13は，図４に対応するもので，緑色画素Ｇ１からＧ４が混合される様子を示している。図14は，図５に対応するもので，画素混合された様子を示している。
　図13の画像部分61から64においても分りやすくするために赤色画素Ｒ１および青色画素Ｂ４が省略され，緑色画素Ｇ１からＧ４のみが図示されている。
　図13を参照して，画像部分61の中央の画素の上下には画素Ｇ２があり，中央の画素の左右には画素Ｇ３がある。これらの画素Ｇ２およびＧ３が混合させられて，画像部分61についての混合画素61Ｇが生成される。図14に示すように混合画素は，２つずつの画素Ｇ２およびＧ３が混合させられたものである。実際には，混合画素61Ｇが４で除したものが混合画素61Ｇとなる。
　同様に，図13に示すように，画像部分62の中央には画素Ｇ３があり，四隅に画素Ｇ２がある。これらの画素Ｇ３およびＧ２が混合させられることにより混合画素62Ｇが得られる。画像部分63の中央には画素Ｇ２があり，四隅に画素Ｇ３があるので，これらの画素Ｇ２およびＧ３が混合させられることにより混合画素63Ｇが得られる。また，画像部分64の中央の画素の左右に画素Ｇ２があり，上下に画素Ｇ３があるので，これらの画素Ｇ２およびＧ３が混合させられることにより混合画素64Ｇが得られる。
　混合画素61Ｇおよび64Ｇのオプティカル・ブラック補正の補正量は，いずれも（ＯＢ２×２＋ＯＢ３×２）／４であり，混合画素62Ｇのオプティカル・ブラック補正の補正量は，（ＯＢ２×４＋ＯＢ３）／４であり，混合画素63Ｇのオプティカル・ブラック補正の補正量は，（ＯＢ３×４＋ＯＢ２）／４であることは理解できよう。
　図15は，図６に対応するもので，赤色画素Ｒ１が画素混合される様子を示している。図16は，図７に対応するもので，画素混合された様子を示している。
　図15の画像部分61から64においても，分りやすくするために，緑色画素Ｇ１からＧ４および青色画素Ｂ４が省略され，赤色画素Ｒ１のみが図示されている。
　図15を参照して，画像部分61の四隅に画素Ｒ１があり，画像部分62の中央の画素の上下に画素Ｒ１があり，画像部分63の中央の画素の左右に画素Ｒ１があり，画像部分64の中央に画素Ｒ１がある。図16に示す混合画素61Ｒ，62Ｒ，63Ｒおよび64Ｒは，それぞれ平均化されるから，すべて画素Ｒ１となる。混合画素61Ｒから64Ｒのオプティカル・ブラック補正の補正量は，いずれもＯＢ１となる。
　図17は，図８に対応するもので，青色画素Ｂ４が混合される様子を示している。図18は，画素混合された様子を示している。
　図17においても，画像部分61から64には，分りやすくするために，緑色画素Ｇ１からＧ４および赤色画素Ｒ１が省略され，青色画素Ｂ４のみが図示されている。
　図17を参照して，画像部分61には中央に画素Ｂ４があり，画像部分62には中央の画素
左右に画素Ｂ４があり，画像部分63には中央の画素の上下に画素Ｂ４があり，画像部分64には四隅に画素Ｂ４がある。これらの画像部分61から64において画素混合されることにより，図18に示す混合画素61Ｂ，62Ｂ，63Ｂおよび64Ｂが生成される。混合画素61Ｂから64Ｂも平均化されるから，混合画素61Ｂから64Ｂのオプティカル・ブラック補正の補正量は，いずれもＯＢ４となる。
　なお，上述した実施形態においては，画素混合により，画像の縮小と画素補間とを同時に行うことができる。これは，各色の原画素である，緑色成分の画素，青色成分の画素，赤色成分の画素のそれぞれの画素混合後における各色の混合画素の重心位置が同一の画素位置上となるように画素混合しているためである。このような画素混合により，画像の縮小と画素補間とが同時に行われるため，一般的に別処理として行われる補間処理（デモザイク処理とも言われる）を省略することができ，処理回路を簡素化でき処理速度を速めることができる。
　また，撮像素子におけるカラー・フィルタの繰り返しパターンのサイズは２画素×２画素や６画素×６画素に限られず，Ｓ画素×Ｔ画素（Ｓ，Ｔは２以上10以下の自然数）である撮像素子に適用できる。
　また，画素ブロックＢｒのサイズも３画素×３画素に限られない。設定される縮小カラー画像データの解像度に応じて，４画素×４画素，５画素×５画素，６画素×６画素のようにＭ画素×Ｎ画素（Ｎ，Ｍは３以上，Ｓ，Ｔの３倍以下の自然数）とすることができる。ここで，画素ブロックＢｒのサイズをＭ画素×Ｍ画素（Ｍは３以上，Ｓの３倍以下の奇数）とすることで，混合画素後の各色の混合画素の重心位置を同一の画素位置上とするように画素混合することが可能となる。この場合，カラー・フィルタの繰り返しパターンのサイズであるＳ画素×Ｔ画素と画素ブロックＢｒのサイズであるＭ画素×Ｎ画素とが一致せず，互いに異なるサイズであっても適用できる。
　また，画素ブロックＢｒとして，隣接する複数の原画素から構成されるＮ画素×Ｍ画素（Ｎ，Ｍは３以上，Ｓ，Ｔの３倍以下の自然数）画素ブロックとすることで，画素混合後の混合画素のデータの精度を向上することができる。
　図31および図32は，他の実施例を示すものである。
　図31は，パーソナル・コンピュータの電気的構成を示すブロック図である。
　パーソナル・コンピュータの全体の動作は，ＣＰＵ70によって統括される。
　ＣＰＵ70には，通信装置71，メモリ72，キーボードなどの入力装置73および表示装置74が接続されている。また，パーソナル・コンピュータには，ハードディスク78およびハードディスク78にアクセスするハードディスク・ドライブ77ならびにCD-ROM（コンパクト・ディスク-リード・オンリ・メモリ）ドライブ75も含まれている。
　上述した混入補正を行うプログラムが格納されているCD-ROM76がCD-ROMドライブ75に装填され，CD-ROM76からプログラムが読み出される。読み出されたプログラムがパーソナル・コンピュータにインストールされることにより，上述した処理が実行される。プログラムは，CD-ROM76に格納されていなくともネットワークを介して送信されたプログラムを通信装置71において受信し，パーソナル・コンピュータにインストールされるようにしてもよい。
　図32は，図31に示すパーソナル・コンピュータの処理手順を示すフローチャートである。
　上述したように撮像素子によって撮像されたカラー画像データがハードディスク78に記録されており，そのハードディスク78からカラー画像データが読み取られる（ステップ81）。読み取られたカラー画像データが，上述のように同色画素データが画素混合される（ステップ82）。つづいて，上述のように，オプティカル・ブラック補正のオフセット量（補正量）が決定され（ステップ83），オフセット補正が行われる（ステップ84）。このような処理がカラーの被写体像を表わすカラー画像データのすべてについて行われることにより，オフセット補正された縮小カラー画像が得られる。得られた縮小カラー画像が表示装置74の表示画面に表示される（ステップ85）。オフセット補正後の縮小カラー画像を表わす画像データがハードディスク78に記録されるようになる（ステップ86）。
　以上，この発明の実施例の撮影装置の実施形態として，ディジタル・カメラおよびパーソナル・コンピュータについて説明してきたが，撮影装置の構成はこれに限定されない。この発明の実施例によるその他の撮影装置としては，例えば，内蔵型又は外付け型のPC用カメラまたは，以下に説明するような，撮影機能を有する携帯端末装置とすることができる。
　この発明の実施例による撮影装置の一実施形態である携帯端末装置としては，例えば，携帯電話機やスマートフォン，PDA(Personal Digital Assistants)，携帯型ゲーム機が挙げられる。以下，スマートフォンを例に挙げ，図面を参照しつつ，詳細に説明する。
　図21は，本発明の撮影装置の一実施形態であるスマートフォン91の外観を示すものである。図21に示すスマートフォン91は，平板状の筐体92を有し，筐体92の一方の面に表示部としての表示パネル111と，入力部としての操作パネル112とが一体となった表示入力部110を備えている。また，係る筐体92は，マイクロフォン122と，スピーカ121，操作部130と，カメラ部131とを備えている。なお，筐体92の構成はこれに限定されず，例えば，表示部と入力部とが独立した構成を採用したり，折り畳み構造やスライド機構を有する構成を採用することもできる。
　図22は，図21に示すスマートフォン91の構成を示すブロック図である。図22に示すように，スマートフォンの主たる構成要素として，無線通信部100と，表示入力部110と，通話部120と，操作部130と，カメラ部131と，記憶部140と，外部入出力部150と，ＧＰＳ(Global Positioning System)受信部160と，モーションセンサ部170と，電源部180と，主制御部190とを備える。また，スマートフォン91の主たる機能として，基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
　無線通信部100は，主制御部190の指示にしたがって，移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して，音声データ，画像データ等の各種ファイルデータ，電子メールデータなどの送受信や，Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部110は，主制御部190の制御により，画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに，表示した情報に対するユーザ操作を検出する，いわゆるタッチパネルであって，表示パネル111と，操作パネル112とを備える。
　表示パネル111は，LCD(Liquid Crystal Display)，OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル112は，表示パネル111の表示面上に表示される画像を視認可能に載置され，ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると，操作に起因して発生する検出信号を主制御部190に出力する。次いで，主制御部190は，受信した検出信号に基づいて，表示パネル111上の操作位置（座標）を検出する。
　図21に示すように，この発明の撮影装置の一実施形態として例示しているスマートフォン131の表示パネル111と操作パネル112とは一体となって表示入力部110を構成しているが，操作パネル112が表示パネル111を完全に覆うような配置となっている。係る配置を採用した場合，操作パネル112は，表示パネル111外の領域についても，ユーザ操作を検出する機能を備えてもよい。換言すると，操作パネル112は，表示パネル111に重なる重畳部分についての検出領域（以下，表示領域と称する）と，それ以外の表示パネル111に重ならない外縁部分についての検出領域（以下，非表示領域と称する）とを備えていてもよい。
　なお，表示領域の大きさと表示パネル111の大きさとを完全に一致させても良いが，両者を必ずしも一致させる必要は無い。また，操作パネル112が，外縁部分と，それ以外の内側部分の２つの感応領域を備えていてもよい。更に，外縁部分の幅は，筐体92の大きさなどに応じて適宜設計されるものである。更にまた，操作パネル112で採用される位置検出方式としては，マトリクススイッチ方式，抵抗膜方式，表面弾性波方式，赤外線方式，電磁誘導方式，静電容量方式などが挙げられ，いずれの方式を採用することもできる。
　通話部120は，スピーカ121やマイクロフォン122を備え，マイクロフォン122を通じて入力されたユーザの音声を主制御部190にて処理可能な音声データに変換して主制御部190に出力したり，無線通信部100あるいは外部入出力部150により受信された音声データを復号してスピーカ121から出力するものである。また，図21に示すように，例えば，スピーカ121を表示入力部110が設けられた面と同じ面に搭載し，マイクロフォン122を筐体92の側面に搭載することができる。
　操作部130は，キースイッチなどを用いたハードウェアキーであって，ユーザからの指示を受け付けるものである。例えば，図21に示すように，操作部130は，スマートフォン91の筐体92の側面に搭載され，指などで押下されるとオンとなり，指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部140は，主制御部190の制御プログラムや制御データ，アプリケーションソフトウェア，通信相手の名称や電話番号などを対応づけたアドレスデータ，送受信した電子メールのデータ，ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや，ダウンロードしたコンテンツデータを記憶し，またストリーミングデータなどを一時的に記憶するものである。また，記憶部140は，スマートフォン内蔵の内部記憶部141と着脱自在な外部メモリスロットを有する外部記憶部142により構成される。なお，記憶部140を構成するそれぞれの内部記憶部141と外部記憶部142は，フラッシュメモリタイプ（flash memory type），ハードディスクタイプ（hard disk type），マルチメディアカードマイクロタイプ（multimedia card micro type），カードタイプのメモリ（例えば，ＭｉｃｒｏＳＤ（登録商標）メモリ等），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
　外部入出力部150は，スマートフォン91に連結される全ての外部機器とのインターフェースの役割を果たすものであり，他の外部機器に通信等（例えば，ユニバーサルシリアルバス（ＵＳＢ），IEEE１３９４など）又はネットワーク（例えば，インターネット，無線ＬＡＮ，ブルートゥース（Bluetooth）（登録商標），ＲＦＩＤ（Radio Frequency Identification），赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標），ＵＷＢ（Ultra Wideband）（登録商標），ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
　スマートフォン91に連結される外部機器としては，例えば，有／無線ヘッドセット，有／無線外部充電器，有／無線データポート，カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード，オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器，無線接続される外部オーディオ・ビデオ機器，有／無線接続されるスマートフォン，有／無線接続されるパーソナルコンピュータ，有／無線接続されるPDA，有／無線接続されるパーソナルコンピュータ，イヤホンなどがある。外部入出力部は，このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや，スマートフォン１の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部160は，主制御部190の指示にしたがって，GPS衛星ＳＴ１～ＳＴｎから送信されるGPS信号を受信し，受信した複数のGPS信号に基づく測位演算処理を実行し，当該スマートフォン91の緯度，経度，高度からなる位置を検出する。ＧＰＳ受信部160は，無線通信部100や外部入出力部150（例えば，無線ＬＡＮ）から位置情報を取得できる時には，その位置情報を用いて位置を検出することもできる。
　モーションセンサ部170は，例えば，３軸の加速度センサなどを備え，主制御部190の指示にしたがって，スマートフォン91の物理的な動きを検出する。スマートフォン91の物理的な動きを検出することにより，スマートフォン91の動く方向や加速度が検出される。係る検出結果は，主制御部190に出力されるものである。
　電源部180は，主制御部190の指示にしたがって，スマートフォン91の各部に，バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部190は，マイクロプロセッサを備え，記憶部140が記憶する制御プログラムや制御データにしたがって動作し，スマートフォン91の各部を統括して制御するものである。また，主制御部190は，無線通信部100を通じて，音声通信やデータ通信を行うために，通信系の各部を制御する移動通信制御機能と，アプリケーション処理機能を備える。
　アプリケーション処理機能は，記憶部140が記憶するアプリケーションソフトウェアにしたがって主制御部190が動作することにより実現するものである。アプリケーション処理機能としては，例えば，外部入出力部150を制御して対向機器とデータ通信を行う赤外線通信機能や，電子メールの送受信を行う電子メール機能，Webページを閲覧するWebブラウジング機能などがある。
　また，主制御部170は，受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて，映像を表示入力部110に表示する等の画像処理機能を備える。画像処理機能とは，主制御部190が，上記画像データを復号し，係る復号結果に画像処理を施して，画像を表示入力部100に表示する機能のことをいう。
　更に，主制御部190は，表示パネル111に対する表示制御と，操作部130，操作パネル132を通じたユーザ操作を検出する操作検出制御を実行する。
　表示制御の実行により，主制御部190は，アプリケーションソフトウェアを起動するためのアイコンや，スクロールバーなどのソフトウェアキーを表示したり，あるいは電子メールを作成するためのウィンドウを表示する。なお，スクロールバーとは，表示パネル111の表示領域に収まりきれない大きな画像などについて，画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また，操作検出制御の実行により，主制御部190は，操作部130を通じたユーザ操作を検出したり，操作パネル112を通じて，上記アイコンに対する操作や，上記ウィンドウの入力欄に対する文字列の入力を受け付けたり，あるいは，スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に，操作検出制御の実行により主制御部190は，操作パネル112に対する操作位置が，表示パネル111に重なる重畳部分（表示領域）か，それ以外の表示パネル111に重ならない外縁部分（非表示領域）かを判定し，操作パネル112の感応領域や，ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また，主制御部190は，操作パネル112に対するジェスチャ操作を検出し，検出したジェスチャ操作に応じて，予め設定された機能を実行することもできる。ジェスチャ操作とは，従来の単純なタッチ操作ではなく，指などによって軌跡を描いたり，複数の位置を同時に指定したり，あるいはこれらを組み合わせて，複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部131は，CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するディジタル・カメラである。また，カメラ部131は，主制御部190の制御により，撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し，記憶部140に記録したり，入出力部150や無線通信部100を通じて出力することができる。図21に示すようにスマートフォン91において，カメラ部131は表示入力部110と同じ面に搭載されているが，カメラ部131の搭載位置はこれに限らず，表示入力部110の背面に搭載されてもよいし，あるいは，複数のカメラ部131が搭載されてもよい。なお，複数のカメラ部131が搭載されている場合には，撮影に供するカメラ部131を切り替えて単独にて撮影したり，あるいは，複数のカメラ部131を同時に使用して撮影することもできる。
　また，カメラ部131はスマートフォン91の各種機能に利用することができる。例えば，表示パネル111にカメラ部131で取得した画像を表示することや，操作パネル112の操作入力のひとつとして，カメラ部131の画像を利用することができる。また，ＧＰＳ受信部160が位置を検出する際に，カメラ部131からの画像を参照して位置を検出することもできる。更には，カメラ部131からの画像を参照して，３軸の加速度センサを用いずに，或いは，３軸の加速度センサと併用して，スマートフォン91のカメラ部131の光軸方向を判断することや，現在の使用環境を判断することもできる。勿論，カメラ部131からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他，静止画又は動画の画像データにＧＰＳ受信部160により取得した位置情報，マイクロフォン122により取得した音声情報（主制御部等により，音声テキスト変換を行ってテキスト情報となっていてもよい），モーションセンサ部170により取得した姿勢情報等などを付加して記録部140に記録したり，入出力部150や無線通信部100を通じて出力することもできる。
５，５Ａ　撮像素子
11　フォトダイオード
53　画素データ混合処理回路
54　オプティカル・ブラック補正回路
55　オプティカル・ブラック補正オフセット量決定回路

Claims (11)

  1. 　画素共有が行われている固体電子撮像素子から得られる画像を構成する画素を表す画素データを，隣接する複数の画素から構成される画素ブロックごとに混合して画素混合画像を表す画素混合画像データを生成する画素混合手段，
    　上記画素混合手段における処理前に画素ブロックに含まれていた画素の画素共有における相対位置に応じて，オプティカル・ブラック補正におけるオフセット量を決定するオフセット量決定手段，および
    　上記オフセット量決定手段によって決定されたオフセット量と上記画素混合手段で画素ブロックごとに混合する画素の位置情報とを用いて，上記画素混合手段において生成された画素混合画像データによって表される画素混合画像を構成する混合画素をオプティカル・ブラック補正するオプティカル・ブラック補正手段，
    　を備えた画像データのオプティカル・ブラック補正装置。
  2. 　上記固体電子撮像素子は，
    　異なる色成分の信号電荷を蓄積する光電変換素子が，画素に対応して多数配列されており，カラー画像を得るものであり，
    上記画素混合手段は，
    　カラー画像を構成する同色のカラー画素を表すカラー画素データを，画素ブロックごとに混合してカラー画素混合画像データを生成するものである，
    　請求項１に記載の画像データのオプティカル・ブラック補正装置。
  3. 　上記画素混合手段は，上記画素の画素共有における相対位置に応じて決定されるオフセット量が異なる画素を含む上記画素ブロックごとに混合して画素混合画像を表す画素混合画像データを生成する，
    　請求項１または２に記載の画像データのオプティカル・ブラック補正装置。
  4. 　上記固体電子撮像素子において上記画素共有が繰り返し配置される繰り返し周期と，上記画素ブロックの周期と，が異なる，
    　請求項１から３のうち，いずれか一項に記載の画像データのオプティカル・ブラック補正装置。
  5. 　上記画素共有が繰り返し配置される繰り返し周期が上記画素ブロックの周期より小さい，
    　請求項４に記載の画像データのオプティカル・ブラック補正装置。
  6. 　上記固体撮像素子において上記異なる色成分の信号電荷を蓄積する光電変換素子の色成分の繰り返し周期と，上記画素ブロックの周期と，が異なる請求項２から５のうち，いずれか一項に記載の画像データのオプティカル・ブラック補正装置。
  7. 　水平方向および垂直方向の６×６の光電変換素子において，水平方向および垂直方向において緑色またはマゼンタの光成分を表わす信号電荷を蓄積する第１の光電変換素子，赤色またはシアンの光成分を表わす信号電荷を蓄積する第２の光電変換素子および青色またはイエローの光成分を表わす信号電荷を蓄積する第３の光電変換素子が少なくとも一つずつ配置されており，
    　第１の光電変換素子は，水平方向，垂直方向および斜め方向において少なくとも一つは配置されており，かつ水平方向，垂直方向および斜め方向において２つ連続している部分が少なくとも一つ含まれており，
    　画素ブロックは，水平方向に３画素，垂直方向に３画素の画素から構成されるものである，
    　請求項２から６のうち，いずれか一項に記載の画像データのオプティカル・ブラック補正装置。
  8. 　上記光電変換素子は，ベイヤ配列であり，
    　上記画素ブロックは，水平方向３画素，垂直方向３画素の画素から構成されるものである，
    　請求項２から６のうち，いずれか一項に記載の画像データのオプティカル・ブラック補正装置。
  9. 　請求項１から８のうち，いずれか一項に記載の画像データのオプティカル・ブラック補正装置を備えた撮像装置。
  10. 　画素混合手段が，画素共有が行われている固体電子撮像素子から得られる画像を構成する画素を表す画素データを，隣接する複数の画素から構成される画素ブロックごとに混合して画素混合画像を表す画素混合画像データを生成し，
    　オフセット量決定手段が，上記画素混合手段における処理前に画素ブロックに含まれていた画素の画素共有における相対位置に応じて，オプティカル・ブラック補正におけるオフセット量を決定し，
    　オプティカル・ブラック補正手段が，上記オフセット量決定手段によって決定されたオフセット量と上記画素混合手段で画素ブロックごとに混合する画素の位置情報とを用いて，上記画素混合手段において生成された画素混合画像データによって表される画素混合画像を構成する混合画素をオプティカル・ブラック補正する，
    　画像データのオプティカル・ブラック補正装置の動作制御方法。
  11. 　画像データのオプティカル・ブラック補正装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    　画素共有が行われている固体電子撮像素子から得られる画像を構成する画素を表す画素データを，隣接する複数の画素から構成される画素ブロックごとに混合して画素混合画像を表す画素混合画像データを生成させ，
    　画素混合画像データの生成前に画素ブロックに含まれていた画素の画素共有における相対位置に応じて，オプティカル・ブラック補正におけるオフセット量を決定させ，
    　決定されたオフセット量と画素ブロックごとに混合する画素の位置情報とを用いて，生成された画素混合画像データによって表される画素混合画像を構成する混合画素をオプティカル・ブラック補正するように画像データのオプティカル・ブラック補正装置のコンピュータを制御するプログラム。
PCT/JP2014/061455 2013-05-13 2014-04-23 画像データのオプティカル・ブラック補正装置およびその動作制御方法 WO2014185239A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015517014A JPWO2014185239A1 (ja) 2013-05-13 2014-04-23 画像データのオプティカル・ブラック補正装置およびその動作制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-100983 2013-05-13
JP2013100983 2013-05-13

Publications (1)

Publication Number Publication Date
WO2014185239A1 true WO2014185239A1 (ja) 2014-11-20

Family

ID=51898219

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/061455 WO2014185239A1 (ja) 2013-05-13 2014-04-23 画像データのオプティカル・ブラック補正装置およびその動作制御方法

Country Status (2)

Country Link
JP (1) JPWO2014185239A1 (ja)
WO (1) WO2014185239A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116550A (ja) * 1994-10-18 1996-05-07 Canon Inc 撮像装置
JP2003116143A (ja) * 2001-10-03 2003-04-18 Sony Corp 撮像装置および画質補正方法
WO2013065518A1 (ja) * 2011-10-31 2013-05-10 富士フイルム株式会社 撮像装置及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116550A (ja) * 1994-10-18 1996-05-07 Canon Inc 撮像装置
JP2003116143A (ja) * 2001-10-03 2003-04-18 Sony Corp 撮像装置および画質補正方法
WO2013065518A1 (ja) * 2011-10-31 2013-05-10 富士フイルム株式会社 撮像装置及び画像処理方法

Also Published As

Publication number Publication date
JPWO2014185239A1 (ja) 2017-02-23

Similar Documents

Publication Publication Date Title
US9380230B2 (en) Image capture device, anomalous oblique incident light detection method, and recording medium
JP5690974B2 (ja) 撮像装置及び合焦制御方法
JP5697801B2 (ja) 撮像装置及び自動焦点調節方法
WO2014034486A1 (ja) 画像処理装置、方法、プログラム及び記録媒体並びに撮像装置
WO2014091854A1 (ja) 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
US11184523B2 (en) Imaging apparatus with phase difference detecting element
US10075686B2 (en) Color-image-data contamination correction device and imaging device, and method for controlling operation thereof
JP5883992B2 (ja) 画素混合装置およびその動作制御方法
JP5982600B2 (ja) 撮像装置及び合焦制御方法
JP5749409B2 (ja) 撮像装置、画像処理方法及びプログラム
US9727948B2 (en) Pixel interpolation device and operation control method
US9344646B2 (en) Imaging device and imaging method
WO2014097792A1 (ja) 撮像装置、信号処理方法、信号処理プログラム
US9270955B2 (en) Imaging apparatus that generates three-layer color data on the basis of a first mosaic image
WO2014185239A1 (ja) 画像データのオプティカル・ブラック補正装置およびその動作制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14798027

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015517014

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14798027

Country of ref document: EP

Kind code of ref document: A1