WO2004068852A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2004068852A1
WO2004068852A1 PCT/JP2004/000575 JP2004000575W WO2004068852A1 WO 2004068852 A1 WO2004068852 A1 WO 2004068852A1 JP 2004000575 W JP2004000575 W JP 2004000575W WO 2004068852 A1 WO2004068852 A1 WO 2004068852A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
read
reading
readout
mode
Prior art date
Application number
PCT/JP2004/000575
Other languages
English (en)
French (fr)
Inventor
Nobuyuki Watanabe
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to EP04704738A priority Critical patent/EP1592236A1/en
Priority to JP2005504684A priority patent/JP4555775B2/ja
Publication of WO2004068852A1 publication Critical patent/WO2004068852A1/ja
Priority to US11/190,564 priority patent/US7561195B2/en
Priority to US12/486,397 priority patent/US7692701B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Definitions

  • the present invention relates to a digital imaging device, and more particularly, to a digital imaging device that generates an image having a smaller number of pixels than an imaging device mounted on the imaging device at high speed and with high image quality.
  • the transfer time from the image sensor to the image memory is a bottleneck, and few models with a large number of pixels can perform high-speed continuous shooting. Also, with digital cameras, there is a demand for video recording as an additional function, so transfer to memory must also be performed at high speed, and the amount of data handled in advance can be reduced. Good Good.
  • the image is captured by limiting the number of pixels used in advance or averaging multiple pixels and reading them out in one clock.
  • the amount of data transferred from the device to the memory can be reduced, and the speed of the memory transfer can be improved.
  • Japanese Patent Application Laid-Open No. 2000-241254 discloses a high-speed image reduction method using this method.
  • Japanese Patent Application Laid-Open Publication No. 2000-01-0 01644 discloses a device for thinning out data and correcting data distortion when the type of resolution is limited. I have.
  • This document discloses, in an embodiment, creation of data equivalent to 400 dp ⁇ by a device having a resolution of 600 dpi. If the data of 600 dpi is thinned out as it is, the data will be distorted. It is generated by linear interpolation from the evening.
  • interpolation is performed using all of the 600 dpi data obtained by scanning to create data equivalent to 400 dpi. I have.
  • the present invention is directed to an image pickup apparatus capable of forming a high-definition image with a small time required for reading image data from an image pickup device and having a small distortion with respect to a wide range of magnification.
  • An imaging apparatus includes an imaging device, the imaging device includes: a photoelectric conversion element configured to photoelectrically convert an optical image to obtain image data; and a reading rule supplied with the image data obtained by the photoelectric conversion element. And a read control unit that reads the data in accordance with the following.
  • the imaging device further includes an image magnification selection unit that selects the magnification of the image to be output, and reads image data that is read from the photoelectric conversion element according to the selected image magnification and read by the control unit. It has a reading method selection unit for selecting a method, and a reading rule supply unit for supplying a reading rule according to the reading method selected by the reading method selection unit to the reading control unit.
  • FIG. 1 shows a configuration of an imaging device according to the first embodiment of the present invention.
  • FIG. 2 shows an example in which a vertical conversion of 14/16 is performed on an image of the RGZGB Bayer array.
  • Fig. 3 shows that in the conversion shown in Fig. 2, the data of the 8th and 9th pixels from the top of 16 pixels before conversion are This shows a situation in which the player has dropped out.
  • Figure 4 shows an example in which two pixels out of 16 pixels are thinned out in both the horizontal and vertical directions.
  • FIG. 5 shows how distortion correction is performed on the vertical data in the first column on the left of the pixel data read out by thinning out according to the example of FIG.
  • Figure 6 shows an example in which two out of eight pixels are thinned out and read out in both the horizontal and vertical directions.
  • FIG. 7 shows a configuration of a filter processing unit for a photoelectric conversion element composed of a single-chip color imaging element.
  • FIG. 8 shows the configuration of a filter processing unit for a photoelectric conversion element composed of a single-color monochrome image sensor or a multi-plate color image sensor.
  • Fig. 9 shows the size change according to the thinning-out readout + distortion correction process.
  • Figure ⁇ 0 shows the size change according to the process of averaging readout + linear interpolation.
  • FIG. 11 shows the switching of the reading method and the size change according to the image magnification in the imaging apparatus of FIG.
  • FIG. 12 shows the configuration of an imaging device according to the second embodiment of the present invention.
  • FIG. 13 schematically shows pixel data of two time-series adjacent fields constituting one frame, which are read by the horizontal averaging vertical interlace reading.
  • Figure 14 shows the thinned-out reading and the reference position of the reading range. This diagram schematically shows pixel data in the same range of two frames that are adjacent in time series and that are read by the processing of a photo.
  • Fig. 15 shows the read range of frames where the read start position of the read range matches the upper left pixel of the pixel array of the photoelectric conversion element in the read by repeating the 6/8 thinning read. .
  • Fig. 16 shows the read range of frames where the read end position of the read range matches the lower right pixel of the pixel array of the photoelectric conversion element in the read by repeating the 6/8 thinning read. I have.
  • FIG. 17 shows a configuration of an imaging device according to the third embodiment of the present invention.
  • FIG. 1 shows the configuration of the imaging device according to the first embodiment of the present invention.
  • the imaging device 100 outputs an image forming optical system 110 for forming an optical image of a subject and an image signal of a predetermined area of the optical image formed by the image forming optical system 110.
  • an imaging device 120 is an area-shaped photoelectric conversion element (imaging element) that photoelectrically converts an optical image formed by the imaging optical system 110 to obtain image data (a collection of pixel data).
  • image data a collection of pixel data
  • a read control unit 1 2 4 for reading out the image data obtained by the photoelectric conversion element 1 22 in accordance with the supplied read-out rule.
  • the imaging device 100 further includes an image magnification selection unit 132 for selecting the magnification of the image to be output, and a read control unit 1 from the photoelectric conversion element 122 according to the selected image magnification.
  • a reading method selection unit 134 for selecting a reading method of the image data read by 24 and a reading method for supplying a reading rule according to the reading method selected by the reading method selection unit 13 4 to the imaging device 1 20.
  • a regulation rule supply unit 140 is also included in the imaging device 100.
  • the read-out method selection unit 134 selects one of the read-out methods of the thin-out readout mode, the averaging readout mode, and the all-pixel readout mode, according to the selected image magnification.
  • the read rule supply unit 140 includes a thinning read rule setting unit 142 that sets a read rule corresponding to the thinning read mode, and an averaging that sets a read rule corresponding to the averaged read mode. It includes a read rule setting section 144 and an all pixel read rule setting section 144 for setting a read rule corresponding to the all pixel read mode.
  • the read rule supply unit 140 includes a thinning read rule setting unit 144 corresponding to the read method selected by the read method selection unit 134, an averaging read rule setting unit 144, and an all pixel read rule setting. Selectively operate one of the parts 1 4 6. As a result, a read rule corresponding to the read method selected by the read method selection unit 134 is supplied to the read control unit 124, and the read control unit 124 is supplied to the read rule supply unit 140. From the photoelectric conversion element 122 according to the readout rules supplied from the Read data.
  • the readout mode selection unit 134 selects one of the thinning-out readout mode and the averaging readout mode for an image scaling ratio of less than 100%, that is, image reduction. For an image magnification ratio of 100% or more, that is, for image enlargement, the all-pixel reading mode is selected.
  • the image magnification is determined based on the output (for example, image display) of the two-dimensionally aligned pixel data area (the number of pixels in the horizontal and vertical ranges) obtained by the photoelectric conversion element 122. This is the ratio of the size (number of pixels in the horizontal and vertical ranges) of the two-dimensionally aligned pixel data of the image to be displayed.
  • the reading method selection unit 134 sets the image magnification and the factors of the image quality of the output image (contrast, resolution, distortion, and luminance mo- ment) at an image magnification of less than 100%. Select one of the thinning-out reading mode and the averaging reading mode based on the important factors. Stated another way, the readout method selection unit 1334 performs the thinning-out readout mode and the averaging readout based on the image magnification and the assumed subject at an image magnification of less than 100%. Select one of the modes.
  • the imaging device 100 further includes a distortion correction unit 150 that performs distortion correction on the image signal output from the imaging device 120 in the thinning-out reading mode, and an averaging reading mode.
  • a line that resizes the image signal output from the imaging device 120 in the all-pixel readout mode by linear interpolation The image signal output from the imaging device 120 according to the readout method selected by the shape interpolation size change unit 164 and the readout method selection unit 1334, and the linear interpolation size change by the distortion correction unit 150 And a switch 162 for selectively sending to any of the sections 16 4.
  • the switch 162 sends the image signal from the imaging device 120 to the distortion correction section 150 when the readout mode selection section 13 4 selects the thinning-out readout mode, and the readout mode selection section 13 4 When the averaging reading mode or the all-pixel reading mode is selected, the image signal from the imaging device 120 is sent to the linear interpolation size changing unit 164.
  • the distortion correction unit 150 includes a filter processing unit 152 that filters the image signal from the imaging device 120, and a readout rule set by the thinning-out readout rule setting unit 142. And a filter coefficient setting section 154 for setting a filter coefficient used for the filer processing of the filter processing section 152.
  • the filter coefficient setting unit 154 includes a LUT storage unit 156 that stores a look-up table (LUT) including a plurality of filter coefficients, and a lookup table stored in the LUT storage unit 156. And a filter coefficient selection unit 158 for selecting one filter coefficient.
  • LUT look-up table
  • the filter coefficient setting section 154 does not necessarily need to have the LUT storage section 156 and the filter-coefficient selection section 158, and the readout rule set by the thinning-out readout rule setting section 1442.
  • the filter coefficient may be calculated by an operation according to the rule.
  • the filter coefficient setting unit 154 using LUT requires a large amount of memory to store LUT, but requires less computational load.
  • the filter coefficient setting unit 154 that does not use LUT has a large computational burden, but does not require much memory.
  • the imaging device 100 further has a linear interpolation size changing unit in the image signal or averaging reading mode output from the distortion correcting unit 150 in the thinning-out reading mode and in the all-pixel reading mode.
  • an image recording unit 176 for recording an image in accordance with the image signal output from the image signal processing unit 172.
  • the imaging device 120 can perform the thinning-out reading operation. By the thinning-out reading operation, the imaging device 120 can read out a pixel in a specific area on the photoelectric conversion element 122 in a shorter time than reading all pixels.
  • the imaging device 120 can specify a read position using a shift register in both the horizontal and vertical directions. .
  • the i-th element of the j-th line is C (i, j), and the pixels in the horizontal direction are C (i + 1, j) and C (i, j), respectively. + 2, j), C (i + 3, j) C (i + 4, j, C (
  • the CCDs read out the charges while shifting the charges in the horizontal direction. Therefore, the imaging device ⁇ ⁇ ⁇ ⁇ 20 reads out all the pixels in the horizontal direction and thins out the pixels in the vertical direction. Can be read.
  • the distortion correction unit 150 interpolates missing information and performs filtering processing of magnification conversion on the digitized image data thus decimated. That is, in this specification, distortion correction means that "interpolation” and "magnification conversion” are performed simultaneously.
  • Figure 2 shows an example of performing a 14/16 reduction in the horizontal direction on an RGZGB Bayer image.
  • the upper part shows a one-dimensional data array of pixels before the reduction conversion
  • the lower part shows a one-dimensional data array of the pixels after the reduction conversion.
  • equation (1) is a matrix representation of this transformation.
  • Rip and Gi 2p + 1 (P is an integer of 0 or more and less than 7) represent pixel data of pixels that are continuously arranged in the horizontal direction in the photoelectric conversion element 122. It has continuous subscripts corresponding to the positions of pixels arranged in the horizontal direction.
  • R c 2q and G c +1 (q is an integer of 0 or more and less than 6) represent the pixel data after conversion, and have consecutive subscripts corresponding to the positions of the pixels arranged in the horizontal direction. are doing.
  • R C 2 after conversion is represented by the following equation (2) using R i 2 and R'4.
  • FIG. 3 shows a state in which the data of the eighth pixel and the data of the ninth pixel from the left out of the 16 pixels before the conversion are omitted in the conversion shown in FIG.
  • the missing pixel data the pixel data R i8 and G i 9
  • the pixel data adjacent to each other on the same channel R i 6 and R ⁇ ⁇ ⁇ ⁇ ⁇ for R ig and G for G ig Using i 7 and G in
  • linear interpolation should be performed according to the following equation (3).
  • Figure 4 shows an example in which two out of 16 pixels are thinned out in both the horizontal and vertical directions.
  • the eighth and ninth pixels are thinned out in both the horizontal and vertical directions.
  • FIG. 5 shows the state of the conversion of the first column on the left of the pixel data read out by thinning out according to the example of FIG.
  • the pixel data that is actually read out is vertically (Ri (), Gi), Ri2> Gi3, RiA.Gi5, Rig, G i 7, R ⁇ io, 1 four G i] R i 12, G ⁇ 13, R i 14, G i 15.
  • Equation (6) is obtained from the 14th pixel data obtained by thinning out the 8th (8th line) and 9th (9th line) pixel data and reading out the 14th pixel data after the 14/16 reduction conversion. This is equivalent to the conversion for obtaining pixel data.
  • the pixel de used to obtain the pixel data R c 8 - evening has the same as the pixel data used to obtain the pixel de Isseki R c 6. That is, the pixel data used to obtain the pixel data R c 8 is shifted it to the pixel data R c ⁇ - differs from the sequence of pixel data used to obtain the R c 6 (ie phase ing) . Even with the pixel data G c 7 and G c 9 it says the same thing.
  • the pixel data that is actually read out is Ri0, GiRi2, Gi3, Ri4, Gi5, Rig> Gi7, Ri10, G ⁇ 1 R ⁇ 12, G ⁇ 13, R i 14, and G i 15 are 14 pieces.
  • R i 2 p and G ⁇ 2 p + 1 represent pixel data of pixels arranged in the horizontal direction in the photoelectric conversion element 122 as described above. The part where the subscript is skipped indicates that it is thinned out at the time of reading.
  • R j 2 r and G j 2 r + 1 represent pixel data actually read out by pixel thinning-out reading, and correspond to the reading order. Have consecutive subscripts.
  • the above one-dimensional distortion correction is extended to a two-dimensional array as follows.
  • A is a transformation matrix that performs one-dimensional distortion compensation (that is, distortion compensation for 14 pixel data in which 2 pixels out of 16 pixels are thinned out in the above example), and B is distortion compensation.
  • An n- by-1 matrix representing the previous pixel data, and C is an n- by-1 matrix representing the pixel data after distortion compensation.
  • the read data in Fig. 4 is represented by the following matrix D j.
  • equation (11) a line is drawn at the skipped part. Assuming that an even array of 14 ⁇ 14 pixels is D o, the transformation for correcting distortion in the vertical direction after correcting distortion in the horizontal direction is expressed by using A in equation (10).
  • the one-dimensional distortion transformation, transformation from equation (4) to equation (6) can also be considered as follows.
  • phase problem can be avoided by storing the image signal of the photoelectric conversion readout unit in the memory as it is and calculating the address by specifying the address.
  • a faster pipeline process will be described here.
  • Figure 6 shows an example of thinning out 2 pixels out of 8 pixels in both the horizontal and vertical directions.
  • the read pixel positions are Ri (), Gi1RiiGi3, Ri4, Gi5, Ri6, and Gi7. Will be repeated. Distortion correction in this example
  • the pipeline processing is performed by the filter processing unit shown in FIG.
  • the shift register 362 shifts the held image data to the right in each single operation according to the clock.
  • the selector 364 selects one of the first and third of the five adjacent pixel data stored in the shift register 362 according to the state of s1.
  • the selector 366 determines one of the third and fifth pixel data of the five adjacent pixel data stored in the shift register 362 according to the state of s2. select.
  • the multiplier 37 4 multiplies the output d 1 of the selector 36 4 by a weighted addition coefficient k 1
  • the multiplier 3 76 6 multiplies the output d 2 of the selector 36 6 by the weight k addition coefficient k 1.
  • the multiplier 378 adds the output of the multiplier 394 to the output of the multiplier 396.
  • Table 1 shows the operation (state transition) of the pipeline processing of the filter processing unit shown in Fig. 7.
  • the state is shifted to the right for each single operation according to the clock.
  • the coefficient k 1 is supplied to the multiplier 374 and the coefficient k 2 is supplied to the multiplier 376 from the memory in the filter coefficient setting section 154.
  • color information on a single image sensor such as a monochrome or three-color image sensor, other than CFA (Color Filter Arrays), such as a Payer array or an array of complementary color filters, is used.
  • CFA Color Filter Arrays
  • PC2 aPi-i + (1-a) Pi2-(14) where Pc is the pixel data after conversion, and ⁇ ⁇ is the pixel data of the conversion source.
  • the pipeline processing is performed by the filter processing unit shown in FIG.
  • the shift register 382 shifts the held image data to the right in each operation according to the clock.
  • the selector 384 selects one of the first and second (C 1, C 2) of the three adjacent pixel data according to the state of s 1.
  • the selector 386 selects one of the second and third (C 2, C 3) of the three adjacent pixel data according to the state of s 2.
  • the multiplier 394 multiplies the output d 1 of the selector 384 by the weighting addition coefficient kl, and the multiplier 396 multiplies the output d 2 of the selector 386 by the weighting addition coefficient k Multiplier 2 is added, and adder 378 adds the output of multiplier 394 and the output of multiplier 396.
  • the imaging apparatus operates in the thinning-out reading mode. Read out the image data obtained by the photoelectric conversion element by hard thinning out the image data at least in the vertical direction, and preferably in both the vertical direction and the horizontal direction. Image data can be read out in a short time as compared with a normal imaging device that thins out softly later.
  • the following is a suitable range of size change by thinning readout + distortion correction processing, and readout methods (all pixel readout mode, averaging readout mode, and thinning readout mode) according to the image magnification.
  • readout methods all pixel readout mode, averaging readout mode, and thinning readout mode
  • Tables 2 to 4 show that for a typical subject, (1) an image obtained by thinning-out reading + distortion correction processing and (2) an image obtained by averaging reading + linear expansion processing at various reduction ratios. It shows a sensory evaluation of whether image quality is superior.
  • Table 2 shows the evaluation results for the objects of buildings and structures
  • Table 3 shows the evaluation results for the subjects of people and natural scenery
  • Table 4 shows the evaluation results for the objects of the resolution chart and line drawing. I have.
  • “1” indicates that thinning readout + distortion correction processing is superior
  • ⁇ 2 indicates that averaging readout + linear expansion processing is superior. are doing.
  • “ ⁇ ” indicates that both processes are equivalent. Subject: Buildings and structures
  • the image obtained by the thinning-out readout + distortion correction processing is, for example, a mode in which 14 pixels out of 16 pixels are read out (corresponding to the conversion represented by equation (6))
  • the image quality is comparable to that of an image obtained by resizing by linear interpolation after reading (corresponding to the conversion represented by equation (1)).
  • the reduction ratio is small, for example, in a mode in which four out of six pixels are read, the image quality deteriorates. This is because the ratio of pixels to be thinned out increases as the reduction ratio decreases, and the ratio of missing image information increases, making it difficult to restore by linear interpolation as shown in equation (6) and thereafter. It is thought that it is.
  • the image obtained by the averaging readout and linear enlargement processing has poor resolution and contrast, but the image with the smaller reduction ratio (eg, 60%) is enlarged. In this case, the original data is reduced by 50%, so the image is enlarged by 120% to obtain an image of 60%).
  • the image with the smaller reduction ratio eg, 60%
  • the type of the subject will be considered.
  • texture and resolution are important.
  • the processing of thinning-out reading + distortion correction is superior to the processing of averaging reading + linear expansion for natural image subjects. Therefore, for natural image subjects
  • the reduction ratio for switching between the thinning-out reading mode and the averaging reading mode may be set to a low value (for example, about 66%).
  • the processing of averaging readout + linear enlargement is superior to the processing of thinning out readout + distortion correction. Therefore, for subjects such as line drawings, the reduction ratio for switching between the thinning-out reading mode and the averaging reading mode may be set to a high value (for example, about 75%).
  • the advantage of switching between the readout method and the subsequent image signal processing according to the reduction magnification is that the number of magnification steps can be finely divided in a wide range of magnification.
  • the scaling factor X in the thinning-out reading is n-k
  • FIG. 10 shows a size change in accordance with the processing of averaging readout + linear interpolation. More specifically, FIG. 10 shows an example in which 112 ⁇ 800 pixels are changed to VGA size.
  • Horizontal two-pixel averaging read + vertical two-line skipping readout is performed by using the number of VGA clocks to read out a range of 1280 x 9600 pixels. Extract the part corresponding to the range of 120 ⁇ 840 pixels and change it to VGA size.
  • the range of memory corresponding to the range of 112 ⁇ 800 pixels on the photoelectric conversion element is 560 ⁇ 420, and this range is excluded.
  • FIG. 11 shows the switching of the readout method and the size change according to the magnification in the imaging apparatus of the present embodiment.
  • the size is changed by reading all pixels + enlargement processing by linear interpolation.
  • the size is changed by the thinning-out reading and distortion correction processing.
  • the size is changed by 2: 1 averaging readout + linear interpolation. Note that the readout range on the image sensor in 2: 1 averaged readout is twice the readout range on the imager in all pixel readout.
  • the imaging apparatus switches the readout method and the subsequent image signal processing in accordance with the image scaling factor, thereby covering a wide range of the scaling factor.
  • a high-definition image can be obtained, and at a magnification of less than 100%, the magnification can be specified at small intervals.
  • the present embodiment is directed to an imaging device particularly suitable for capturing a moving image.
  • FIG. 12 shows the configuration of the imaging device according to the second embodiment of the present invention.
  • elements indicated by the same reference numerals as the elements of the imaging device 100 of the first embodiment are equivalent elements, and detailed description thereof will be omitted in the following description to avoid duplication of the description. .
  • An imaging device 200 includes an imaging optical system 110 that forms an optical image of a subject, and a predetermined region of an optical image that is formed by the imaging optical system 110.
  • An imaging device 220 for continuously outputting image signals. That is, the image signal output from the imaging device 220 is a moving image signal, and is composed of image data of a plurality of frames that are continuous in time series.
  • the imaging device 222 includes an area-shaped photoelectric conversion element 222 that photoelectrically converts an optical image formed by the imaging optical system 110 to obtain image data (a set of pixel data).
  • a read control unit 224 for continuously reading out the image data obtained by the photoelectric conversion element 222 in accordance with a readout rule supplied thereto.
  • the imaging device 200 further includes an image magnification selection unit 132 for selecting the magnification of the image to be output, and a read control unit 2 from the photoelectric conversion element 222 according to the selected image magnification.
  • 2 4 reads A reading method selection unit 2 3 4 for selecting the image data reading method, and a reading rule supply to the imaging device 220 according to the reading method selected by the reading method selection unit 2 3 4 Section 240.
  • the read-out method selection section 234 selects one of the read-out methods of the thinning-out readout mode, the horizontal averaging vertical interlace readout mode, and the vertical interlaced readout mode according to the selected image magnification. select.
  • the read rule supply unit 240 sets the read rule corresponding to the thinning read mode.
  • the thinning read rule setting unit 240 sets the read rule corresponding to the horizontal averaging vertical interlace read mode.
  • a vertical interlace read rule setting unit 24 6 for setting a read rule corresponding to the vertical interlace read mode.
  • the reading method selection unit 234 sets the thinning-out reading mode and the horizontal averaging vertical interlace reading mode for an image scaling ratio of less than 100%, that is, image reduction. Select either one, and select the vertical interlace readout mode for image magnification of 100% or more, that is, image enlargement.
  • the reading method selection unit 234 sets the image magnification and the contrast, resolution, distortion, luminance moire, and color of the output image at an image magnification of less than 100%.
  • the thinning-out readout mode and the horizontal flattening mode are based on the image quality Select one of the equalized vertical interlace readout modes.
  • the imaging device 200 further includes a distortion correction unit 150 that performs distortion correction on an image signal output from the imaging device in the thinning-out reading mode, and in the thinning-out reading mode.
  • the readout phase control unit 252 that changes the reference position of the image data range (readout range) read out from the photoelectric conversion element 222 by the readout control unit 222 on a frame-by-frame basis, and the thinning readout mode In this case, the correction is applied to all the frames of the corrected image signal output from the distortion correction unit 150 in accordance with the reference position of the read range which is changed for each frame by the readout phase control unit 252.
  • an image range selection processing unit 254 for selecting a range of a common region. The details of the distortion correction unit 150 are as described in the first embodiment.
  • the readout phase control unit 252 changes the reference position of the readout range for each frame, and the image range selection processing unit 254 performs the thinning in response to the range selection of the area common to all the frames.
  • the reading rule setting section 224 sets the reading rule so that the reading control section 224 reads the image data over a wider range than the area of the image to be output.
  • the readout control unit 224 in the imaging device 222 includes a readout rule set by the thinning-out readout rule setting unit 242 and a readout range set by the readout phase control unit 252.
  • the image data (pixel data for one frame) in the corresponding range in the pixel array in the photoelectric conversion element 222 is continuously based on the reference position of Read out.
  • the imaging device 220 outputs a moving image signal composed of image data of a plurality of frames that are continuous in time series.
  • the imaging device 200 further reads the image signal or the horizontal averaged vertical interlace read mode and the vertical interlace read mode output from the image range selection processing section 254 in the thinning read mode.
  • a plurality of storage units for temporarily storing the image data of a plurality of frames of the image signal output from the imaging device 220 in the event of a load for example, two frame memories 27 2 and 27 4 are provided. Have.
  • the imaging device 200 further performs weighted averaging on the image data of a plurality of frames stored in the frame memories 27 2 and 27 4 in the thinning-out reading mode. And an inter-frame arithmetic processing unit 282 for generating new image data.
  • the image pickup device 200 further stores a plurality of frames stored in the frame memories 27 2 and 27 4 in the horizontal averaging vertical interlace readout mode and the vertical interlace readout mode.
  • Inter-frame interpolation processing unit that performs frame-to-frame interpolation on frame image data 2 8 4 (When interlaced reading is performed, the position and line data that are missing from each other for several consecutive frames The missing data (line data—evening) is supplemented by the data of the adjacent frame), horizontal averaging, vertical interlaced read mode, and vertical interlaced read mode.
  • a linear interpolation size change unit 286 that resizes the output image signal by linear interpolation according to the image scaling factor.
  • the imaging device 200 converts the image signal output from the imaging device 220 into a distortion correction unit ⁇ ⁇ 50 and a frame memory according to the reading method selected by the reading method selection unit 234.
  • the first switch 26 2 converts the image signal from the imaging device 220 into the distortion correction unit 1 50 and selects the image range.
  • the signal is sent to the frame memories 27 2 and 27 4 via the processing section 25 4, and the second switches 27 7 and 27 8 are transmitted from the frame memories 27 2 and 27 4 respectively.
  • the image signal processing section 172 via the inter-frame arithmetic processing section 282.
  • the first switch 2626 outputs the signal from the imaging device 220.
  • the image signal is sent directly to the frame memories 27 2 and 27 4, and the second switches 27 6 and 27 8 are sent from the frame memories 27 2 and 27 4 respectively.
  • the inter-frame interpolation calculation processing unit 28 4 and the linear interpolation size changing unit 28 6 to the image signal processing section 17 2.
  • the imaging device 200 of the present embodiment in the vertical interlaced reading mode, two time-series adjacent fields constituting one frame are formed in accordance with a generally well-known interlaced scanning method. Pixel data is read alternately every line in every field. As a result, an image with less flicker is obtained due to the effect of interpolation between line units.
  • the line unit refers to a basic unit of repetition along a line in a filter array.
  • a line unit consists of two actual pixel lines.
  • one line of pixel data is written for every two fields that are adjacent in time series and constitute one frame.
  • every two pixel units in each line are added and averaged and read out for every two pixel units in each line.
  • the pixel unit is defined in each line of the filter array. It refers to the basic unit of repetition along the line.
  • one pixel unit is composed of two pixels (for example, the pair of R and G on the first line in Fig. 13).
  • Fig. 13 schematically shows the pixel data of two time-series adjacent fields constituting one frame, which are read by the horizontal averaging vertical interlace reading.
  • the pixel data is read out every other line unit, that is, every two lines. Also, in each line, two pixel data corresponding to each of two pixel units, that is, two pixel data of the same type among them for every four pixels, is 12: 1/1 / Addition is performed with the weight of 2 and read. In other words, two pixel data corresponding to four pixels are read in one clock (CLK).
  • CLK clock
  • the image pickup apparatus 200 of the present embodiment in the thinning-out reading mode, two consecutive pixels are interpolated so as to interpolate the missing pixel data between the two fields. Interpolate each other's missing pixel data between frames.
  • the read-out phase control unit 25 2 changes the reference position of the pixel data range (read-out range) read out by the read-out control unit 224 by thinning out the pixels from the photoelectric conversion elements 222, for each frame. . More specifically, the readout phase control unit 25 2 The reference position of the read range is changed periodically for each frame according to a certain rule.
  • pixel data at a specific position in the photoelectric conversion element 222 that is missing due to thinning-out reading in image data of a specific frame comes to be included in image data of another frame. That is, pixel data at a specific position of the photoelectric conversion element 222 is always prevented from being lost from the image signal output from the imaging device 222.
  • Figure 14 shows two adjacent frames (A-frame and B-frame) that are read out by processing the thinned-out readout of 10/12 and the shift of the reference position of the readout range.
  • 1 schematically shows an example of pixel data in the same range in the same manner.
  • the B-frame image data (a set of pixel data) is the pixel data skipped when reading the A-frame image data, that is, the A-frame image data. Includes the missing pixel data.
  • the image data of the two frames are complementary to each other and include pixel data that is missing in the other party.
  • the inter-frame arithmetic processing unit 282 interpolates the missing pixel data with the image data of the continuous frames stored in the frame memories 272 and 274. Perform the following processing. For example, 1/2: 1: 1/2 is added to image data of two consecutive frames. As a result, it is possible to obtain the same effect as interpolation between fields by a well-known interlace scanning method, that is, the same effect as deinterlacing processing. Image is obtained.
  • FIGS. 15 and 16 schematically show a shift of the reference position of the read range in the read by repeating the thinning read of 6Z8.
  • [X, y] represents the pixel position in the pixel array of the photoelectric conversion element 122
  • (x, y) represents the pixel data array in the readout range.
  • the number of pixels of the photoelectric conversion element 122 is k pixels in the horizontal direction and I pixels in the vertical direction. Therefore, the position of the upper left pixel of the photoelectric conversion element 122 can be expressed as [0, 0], and the position of the lower right pixel can be expressed as [k, I].
  • the number of pixels in the readout range for one frame is m pixels in the horizontal direction and n pixels in the vertical direction. Therefore, the read start position at the upper left of the frame can be expressed as (0, 0) and the read end position at the lower right can be expressed as (m, n).
  • the read range of the frame in FIG. 16 is the read range of the frame in FIG. +2 pixels in the horizontal direction and +2 pixels in the vertical direction are shifted from the projection range.
  • the upper left read start position (0, 0) coincides with the upper left pixel position [0, 0] of the photoelectric conversion element 122.
  • the image range selection processing section 254 selects a range common to the frame in FIG. 15 and the frame in FIG. That is, the image range selection processing unit 254 selects a rectangular range having (2, 2) and (m, n) as diagonal vertices for the frame of FIG. For the frame shown in Fig. 16, select a rectangular range with diagonal vertices from (0, 0) to (m-2, n1-2).
  • the range selected by the image range selection processing section 254 always has (m ⁇ 2) X (n ⁇ 2) pixel data.
  • the image range selection processor 254 changes the range of the crop based on the information on the read start position.
  • Frame memory 2 7 2 and 2 7 4 are both FlFO (First In First Out) memory, and the inter-frame operation processing unit 282 generates an output image using the pixels at the same position in the frame memories 122 and 274.
  • i and j represent pixel positions
  • I (k, ⁇ , j) is the intensity of the image signal at pixel positions i and j of the k-th frame.
  • out (i, j) 0.25l (k, i, j) + 0.5l (k-1, i, i, j) + 0.25l (k-2, i, j) (21).
  • the imaging device 200 of the present embodiment has the same processing as the first embodiment. For this reason, for image magnifications of 100% or more, the size is changed by processing using vertical inter and one-race reading + linear interpolation, and a relatively large reduction ratio, for example, about 100% to 70% For scaling ratios of less than one, the size is changed by thinning-out reading mode + distortion correction processing, and for scaling ratios that are relatively small, for example, smaller than 70%, horizontal averaging and vertical interlaced reading + The size is changed by linear interpolation. Further, as in the first embodiment described above, the magnification at which the reading mode is switched may be adjusted depending on the subject.
  • the imaging apparatus can obtain a high-definition image over a wide range of the magnification by switching between the reading method and the subsequent image signal processing according to the image magnification.
  • the scaling ratio when the scaling ratio is less than 100%, the scaling ratio can be specified at a small interval.
  • the present embodiment is directed to an imaging apparatus suitable for capturing a moving image.
  • FIG. 17 shows the configuration of the imaging device according to the third embodiment of the present invention.
  • the elements indicated by the same reference numerals as those of the imaging device 100 of the first embodiment are equivalent elements, and detailed descriptions thereof are omitted in the following description to avoid duplication of the description. I do.
  • the imaging device 300 of the present embodiment is formed by an imaging optical system 110 that forms an optical image of a subject and an imaging optical system 110 that forms an image.
  • the imaging device 222 includes an area-shaped photoelectric conversion element 222 that photoelectrically converts an optical image formed by the imaging optical system 110 to obtain image data (a set of pixel data).
  • Photoelectric conversion element 2 photoelectrically converts an optical image formed by the imaging optical system 110 to obtain image data (a set of pixel data).
  • the imaging device 300 further includes an image magnification selection unit 132 for selecting the magnification of the image to be output, and a read control unit 2 from the photoelectric conversion element 22 2 according to the selected image magnification.
  • a read rule supply unit 240 that supplies a read rule according to the read method selected by the read method selection unit 234 to the imaging device 220.
  • the readout method selector 2 3 4 selects one of the readout modes of thinning-out readout mode, horizontal averaging vertical interlace readout mode, and vertical interlace readout mode according to the selected image magnification.
  • Select The reading rule supply unit 240 sets the reading rule corresponding to the thinning reading mode.
  • the reading rule setting unit 240 sets the reading rule corresponding to the horizontal averaging vertical inter-lace reading mode.
  • the horizontal averaging vertical interlace read rule setting section 244 that sets the rules, and the read corresponding to the vertical interlace read mode And a vertical interlace readout rule setting section 246 for setting the rule.
  • the reading method selection section 234 sets the thinning-out reading mode and the horizontal averaging vertical interlacing reading mode for an image scaling ratio of less than 100%, that is, image reduction. Select either one, and select the vertical interlace readout mode for image magnification of 100% or more, that is, image enlargement.
  • the reading method selection section 234 sets the image scaling ratio and the contrast of the output image at an image scaling ratio of less than 100%, such as resolution, distortion, luminance moire, and color. Select one of the thinning-out readout mode and the horizontal averaged vertical interlace readout mode based on the image quality factor that is emphasized among moire.
  • the imaging device 300 further includes a timing generator 370 for generating frame timing, and a frame in conjunction with the timing of the frame from the timing generator 370. And a read rule changing unit 372 for changing the read rule between them.
  • the reading rule changing unit 372 changes the thinning-out reading rule for each frame.
  • an instruction is generated to select a coefficient to be used for the distortion correction filter according to the readout rule.
  • the details of the distortion correction unit 150 are as described in the first embodiment.
  • the read rule changed for each frame changed by the read rule changing unit 3722 is based on the assumption that the selected magnification is constant. In this case, the number of pixels to be read is the same, and the reference position of the read range and the array pattern are different.
  • the readout control unit 24 in the imaging device 220 includes a readout rule set by the thinning-out readout rule setting unit 242 and a reference position of the readout range set by the readout rule change unit 372. Based on, the corresponding range of image data (pixel data for one frame) in the pixel array in the photoelectric conversion element 222 is continuously read. As a result, the imaging device 220 outputs a moving image signal composed of image data of a plurality of frames that are continuous in time series.
  • the imaging device 300 further includes an inter-frame arithmetic processing unit 380 that generates new image data using the image data of a plurality of frames.
  • the inter-frame arithmetic processing section 380 performs inter-frame interpolation arithmetic processing in the horizontal averaging vertical interlace read mode and vertical interlace read mode, and performs the thinning read mode. In such a case, a load addition operation between frames is performed as in the above-mentioned equation (20) or equation (21).
  • the imaging device 300 converts the image signal output from the imaging device 220 into an inter-frame operation with the distortion correction unit 150 in accordance with the readout method selected by the readout method selection unit 234. It has a switch 392 for selectively sending to any of the processing sections 380.
  • the switching unit 392 processes the image signal from the imaging device 220 via the distortion correction unit 1505, and performs the inter-frame arithmetic processing. Send to Part 380.
  • the switch 392 switches the imaging device 220 from the imaging device 220.
  • the image signal is sent to the inter-frame calculation processing section 380.
  • the inter-frame arithmetic processing section 380 is connected to a linear interpolation size changing section 3966 via a switch 3904.
  • the switch 2 9 4 transmits the output data of the inter-frame arithmetic processing section 380 to the linear interpolation size changing section 396, and obtains an image of a predetermined size by the linear interpolation processing in the frame.
  • the inter-frame calculation processing unit 3 When the thinning-out readout mode is selected by the readout method selection unit 2 34, and when the image size obtained by the distortion correction unit 150 is used as the final size, the inter-frame calculation processing unit 3 In order to use the output of 80 as it is, the switch 394 bypasses the linear interpolation size change section 396. Furthermore, if it is desired to obtain an image size different from the size change by thinning-out reading, the switch 394 transmits the output data of the inter-frame arithmetic processing unit 380 to the linear interpolation size change unit 396. Then, an image of a predetermined size is obtained by linear interpolation processing within the frame.
  • the imaging apparatus of the present embodiment By switching between the readout method and the subsequent image signal processing in accordance with the image magnification, it is possible to obtain high-definition images over a wide range of magnifications, and to achieve a resolution of less than 100%.
  • the scaling ratio can be specified at fine intervals. Further, in the thinning-out reading mode, there is an effect that image information in a wider area can be obtained within the same time as in all-point scanning.
  • an imaging apparatus capable of obtaining a high-definition image over a wide range of image magnification. Further, in this imaging apparatus, especially at a magnification ratio of less than 100%, the magnification ratio can be specified at small intervals.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

撮像装置は撮像デバイスを有し、撮像デバイスは、光学像を光電変換して画像データを取得する光電変換素子と、前記光電変換素子で取得された画像データを供給される読み出し規則に従って読み出す読み出し制御部とを含んでいる。撮像装置はさらに、出力する画像の変倍率を選択する画像変倍率選択部と、選択された画像変倍率に応じて光電変換素子から読み出し制御部が読み出す画像データの読み出し方式を選択する読み出し方式選択部と、読み出し方式選択部で選択された読み出し方式に応じた読み出し規則を前記読み出し制御部に供給する読み出し規則供給部とを有している。

Description

明 細 書
撮像装置
技術分野
本発明は、 デジタル撮像装置に関し、 特に、 撮像装置が実 装している撮像デバイスの画素数よ り も小さ い画素数の画像 を高速に高画質で生成するデジタル撮像装置に関する。
背景技術
近年、 パーソナルコ ンピュータ一の急速な普及によ り、 画 像入力機器と してのデジタルカメラの需要が拡大している。 また、 動画の記録機器と してデジタルビデオなどの高画質記 録装置が広く用いられている。
上記電子スチルカメラの画質を決定する要素は幾つかある が、 その中でも撮像素子の画素数は撮影像の解像度を決定す る大きな要素である。 そのため、 最近は 5 0 0 万画素以上の 多く の画素数を持った電子スチルカメラも幾つか商品化され ている。 しかしながら、 全ての用途において、 5 0 0万画素 のデータが必ずしも必要なわけではなく 、 逆にイ ンターネッ 卜の W e b上に表示する画像は、 むしろ画素サイズを小さ く した方を使用する場合が多い。
さ らに、 現状のデジタルカメラにおいては、 撮像素子から、 画像メモ リ ーへの転送の時間がネック になっており、 画素数 が大きい機種で、 高速な連写撮影が出来るものが少ない。 ま た、 デジタルカメラにおいても、 付加機能と して動画の撮影 の要求があるため、 やはり、 メモ リ ーへの転送は高速に行な わなければならず、 予め扱うデータ量を少なく することが好 ましい。
出力画像の画素数が、 撮像素子の画素数に比べて少ない場 合には、 予め、 使用する画素数を制限することや複数の画素 を平均化して 1 ク ロ ックで読み出すことによって、 撮像素子 からメモリ ーに転送されるデータ量を減ら し、 メモリ ー転送 の速度を向上できる。
一方、 線形補間によるサイズ縮小では、 全ての画素を使用 して、 大きいサイズの画像を作成し、 線形補間によって小さ いサイズの画像を作成する。
このような、 線形補間による リサイズは、 画質の面では良 好であるが、 全画素のデータを取り込んで線形補間を行なう ために演算量が多く 、 上述した連写機能や動画撮影には適し ていない。
メモリ 一読み出 しのデータ量を減らす手法と しては、 撮像 素子に積分機能を付けて、 平均化した少数のデータを読み出 し、 縮小画像を生成する方法がある。 特開 2 0 0 1 一 2 4 5 1 4 1 号公報は、 この方法を利用 した高速な画像の縮小方法 を開示している。
特開 2 0 0 1 — 0 1 6 4 4 Ί 号公報は、 解像度の種類が限 定されている場合に、 データの間引きを行ない、 さ らにデー 夕の歪みを補正する装置を開示している。 同文献は、 実施の 形態において、 6 0 0 d p i の解像度を持つ装置による 4 0 0 d p ί 相当のデータの作成を開示している。 6 0 0 d p i のデータをそのまま間引いたのではデータの歪みが生じるた め、 位置の歪みを補償する画素データを 6 0 0 d p i のデー 夕から線形補間によって生成している。 特開 2 0 0 1 一 0 1 6 4 4 〗 号公報の装置では、 走査して得た 6 0 0 d p i のデ 一夕の全てを用いて補間 し、 4 0 0 d p i 相当のデータを作 つている。
発明の開示
本発明は、 撮像素子からの画像データの読み出しに要する 時間が短く 、 広範囲の変倍率に対して歪みの少ない高精細な 画像を形成し得る撮像装置に向けられている。
本発明に従う撮像装置は撮像デバイスを有し、 撮像デバイ スは、 光学像を光電変換して画像データを取得する光電変換 素子と、 前記光電変換素子で取得された画像データを供給さ れる読み出し規則に従って読み出す読み出し制御部とを含ん でいる。 撮像装置はさ らに、 出力する画像の変倍率を選択す る画像変倍率選択部と、 選択された画像変倍率に応じて光電 変換素子から読み出 し制御部が読み出す画像データの読み出 し方式を選択する読み出し方式選択部と、 読み出し方式選択 部で選択された読み出し方式に応じた読み出し規則を前記読 み出し制御部に供給する読み出し規則供給部とを有している。 図面の簡単な説明
図 1 は、 本発明の第一実施形態による撮像装置の構成を示 している。
図 2 は、 R G Z G Bのべィヤー配列の画像に対して、 垂直 で 1 4 / 1 6 の縮小変換を行なう例を示している。
図 3 は、 図 2 に示した変換において、 変換前の 1 6 画素の う ち上から 8番目の画素のデータと 9番目の画素のデータが 抜け落ちた様子を示している。
図 4 は、 水平方向 ， 垂直方向共に 1 6 画素のうち 2画素を 間引き して読み出す例を示している。
図 5 は、 図 4 の例に従って間引き して読み出される画素デ 一夕のう ち左の 1 列目の垂直方向のデータに関して歪み補正 の変換の様子を示している。
図 6 は、 水平方向 ， 垂直方向共に 8画素のう ち 2画素を間 引き して読み出す例を示している。
図 7 は、 単板カラー撮像素子で構成される光電変換素子用 のフィルタ一処理部の構成を示している。
図 8 は、 単色モノ クロ撮像素子または多板カラ一撮像素子 で構成される光電変換素子用のフィルタ一処理部の構成を示 している。
図 9 は、 間引き読み出し +歪み補正の処理に従うサイズ変 更を表している。
図 〗 0 は、 平均化読み出し +線形補間の処理に従うサイズ 変更を表している。
図 1 1 は、 図 1 の撮像装置における画像変倍率に応じた読 み出し方式の切 り換えとサイズ変更を示している。
図 1 2 は、 本発明の第二実施形態による撮像装置の構成を 示している。
図 1 3 は、 水平平均化垂直イ ンターレース読み出しによつ て読み出される、 一つのフ レームを構成する時系列的に隣接 する二つのフィ ール ドの画素データを模式的に示している。
図 1 4 は、 間引き読み出しと読み出し範囲の基準位置のシ フ 卜の処理によって読み出される、 時系列的に隣接する二つ のフ レームの同一範囲の画素データを模式的に示している。
図 1 5 は、 6 / 8 の間引き読み出しの繰り返しによる読み 出しにおける、 読み出し範囲の読み出し開始位置が光電変換 素子の画素配列の左上の画素に合っているフ レームの読み出 し範囲を示している。
図 1 6 は、 6 / 8 の間引き読み出しの繰り返しによる読み 出しにおける、 読み出し範囲の読み出し終了位置が光電変換 素子の画素配列の右下の画素に合っているフ レームの読み出 し範囲を示している。
図 1 7 は、 本発明の第三実施形態による撮像装置の構成を 示している。
発明を実施するための最良の形態
以下、 図面を参照しながら本発明の実施の形態について説 明する。
第一実施形態
図 1 は本発明の第一実施形態の撮像装置の構成を示してい る。 撮像装置 1 0 0 は、 被写体の光学像を結像する結像光学 系 1 1 0 と、 結像光学系 1 1 0 によ り結像された光学像の所 定の領域の画像信号を出力する撮像デバイス 1 2 0 とを有し ている。 撮像デバイス 1 2 0 は、 結像光学系 1 1 0 によ り結 像された光学像を光電変換して画像データ （画素データの集 合） を取得するエリ ア状の光電変換素子 （撮像素子） 1 2 2 と、 光電変換素子 1 2 2で取得された画像データを供給され る読み出し規則に従って読み出す読み出し制御部 1 2 4 とを 有している。
撮像装置 1 0 0 はさ らに、 出力する画像の変倍率を選択す る画像変倍率選択部 1 3 2 と、 選択された画像変倍率に応じ て光電変換素子 1 2 2 から読み出し制御部 1 2 4が読み出す 画像データの読み出し方式を選択する読み出し方式選択部 1 3 4 と、 読み出し方式選択部 1 3 4 で選択された読み出し方 式に応じた読み出し規則を撮像デバイス 1 2 0 に供給する読 み出し規則供給部 1 4 0 とを有している。
読み出し方式選択部 1 3 4 は、 選択された画像変倍率に応 じて、 間引き読み出しモー ド · 平均化読み出しモー ド · 全画 素読み出しモー ドのいずれかの読み出し方式を選択する。 読 み出し規則供給部 1 4 0 は、 間引き読み出しモー ドに対応す る読み出し規則を設定する間引き読み出し規則設定部 1 4 2 と、 平均化読み出しモー ドに対応する読み出し規則を設定す る平均化読み出し規則設定部 1 4 4 と、 全画素読み出しモー ドに対応する読み出し規則を設定する全画素読み出し規則設 定部 1 4 6 とを含んでいる。
読み出し規則供給部 1 4 0 は、 読み出し方式選択部 1 3 4 が選択した読み出し方式に対応する間引き読み出し規則設定 部 1 4 2 と平均化読み出し規則設定部 1 4 4 と全画素読み出 し規則設定部 1 4 6 のいずれかを選択的に動作させる。 これ によ り 、 読み出 し方式選択部 1 3 4が選択した読み出し方式 に対応する読み出し規則が読み出し制御部 1 2 4 に供給され， 読み出し制御部 1 2 4 は、 読み出し規則供給部 1 4 0 から供 給される読み出 し規則に従って光電変換素子 1 2 2 から画素 データを読み出す。
読み出し方式選択部 1 3 4 は、 よ り詳しく は、 1 0 0 %未 満の画像変倍率すなわち画像の縮小に対しては、 間引き読み 出しモー ドと平均化読み出しモー ドのいずれかを選択し、 1 0 0 %以上の画像変倍率すなわち画像の拡大に対しては、 全 画素読み出しモー ドを選択する。 ここで、 画像変倍率は、 光 電変換素子 1 2 2で取得される二次元的に整列 した画素デ一 夕の領域 （水平 · 垂直範囲の画素数） に対して、 出力 （例え ば画像表示部 1 7 4 に表示） する画像の二次元的に整列した 画素データのサイズ （水平 · 垂直範囲の画素数） 比率のこと である。
さ らに、 読み出し方式選択部 1 3 4 は、 1 0 0 %未満の画 像変倍率においては、 画像変倍率と、 出力する画像の画質の 要因 （コ ン トラス 卜 · 解像度 · 歪み · 輝度モア レ · 色モア レ） のうち重視する要因とに基づいて、 間引き読み出しモー ドと平均化読み出しモー ドのいずれかを選択する。 別の言い 方をすれば、 読み出し方式選択部 1 3 4 は、 1 0 0 %未満の 画像変倍率においては、 画像変倍率と想定する被写体とに基 づいて、 間引き読み出しモー ドと平均化読み出しモー ドのい ずれかを選択する。
撮像装置 1 0 0 はさ らに、 間引き読み出しモー ドのときに 撮像デバイス 1 2 0 から出力される画像信号に対して歪み補 正を行なう歪み補正部 1 5 0 と、 平均化読み出しモー ドと全 画素読み出しモー ドのときに撮像デバイス 1 2 0から出力さ れる画像信号に対して線形補間によ リサイズ変更を行なう線 形補間サイズ変更部 1 6 4 と、 読み出し方式選択部 1 3 4で 選択された読み出し方式に応じて撮像デバイス 1 2 0から出 力される画像信号を歪み補正部 1 5 0 と線形補間サイズ変更 部 1 6 4のいずれかに選択的に送る切 り換え器 1 6 2 とを有 している。
切り換え器 1 6 2 は、 読み出し方式選択部 1 3 4 が間引き 読み出しモー ドを選択したときには撮像デバイス 1 2 0から の画像信号を歪み補正部 1 5 0 に送り 、 読み出し方式選択部 1 3 4が平均化読み出しモー ドまたは全画素読み出しモー ド を選択したときには撮像デバイス 1 2 0 からの画像信号を線 形補間サイズ変更部 1 6 4 に送る。
歪み補正部 1 5 0 は、 撮像デバイス 1 2 0 からの画像信号 をフィルター処理するフィルター処理部 1 5 2 と、 間引き読 み出し規則設定部 1 4 2 で設定された読み出 し規則に応じて フィルター処理部 1 5 2 のフイリレター処理に使用するフィル ター係数を設定するフィルター係数設定部 1 5 4 とを含んで いる。
フィルター係数設定部 1 5 4 は、 複数のフィ ルタ一係数を 含むルックアップテーブル （ L U T ) を記憶する L U T記憶 部 1 5 6 と、 L U T記憶部 1 5 6 に記憶されているルックァ ップテ一プルからフィルタ一係数を選択するフィルター係数 選択部 1 5 8 とを有している。
フィルター係数設定部 1 5 4 は、 必ずしも L U T記憶部 1 5 6 とフィルタ一係数選択部 1 5 8 とを有している必要はな く 、 間引き読み出し規則設定部 1 4 2 が設定した読み出し規 則に応じた演算によ り フィルター係数を算出してもよい。
L U Tを使用するフィルター係数設定部 1 5 4 は、 L U T を記憶しておく ために多く のメモ リ ーを必要とするが、 演算 に掛かる負担が少なく て済む。 一方、 L U Tを使用 しないフ ィルター係数設定部 1 5 4 は、 演算に掛かる負担は大きいが、 多く のメモリ 一を必要と しないで済む。
撮像装置 1 0 0 はさ らに、 間引き読み出しモー ドのときに 歪み補正部 1 5 0 から出力される画像信号または平均化読み 出しモー ドと全画素読み出しモー ドのときに線形補間サイズ 変更部 1 6 4から出力される画像信号に対して （ホワイ 卜バ ランスや階調変換やエッ ジ強調の） 所定の処理を行なう画像 信号処理部 1 7 2 と、 画像信号処理部 1 7 2 から出力される 画像信号に従って画像を表示する画像表示部 1 7 4 と、 画像 信号処理部 1 7 2 から出力される画像信号に従って画像を記 録する画像記録部 1 7 6 とを有している。
撮像デバイス 1 2 0 は、 間引き読み出し動作が可能である。 間引き読み出し動作によ り、 撮像デバイス 1 2 0 は、 光電変 換素子 1 2 2上の特定の領域の画素を、 全画素を読み出す場 合よ り も短い時間内で読み出すことが出来る。
例えば、 光電変換素子 1 2 2 が C M 0 S を用いた撮像素子 である場合、 撮像デバイス 1 2 0 は、 水平方向 · 垂直方向共 にシフ 卜 レジスタを用いて読み出し位置を指定することが出 来る。
すなわち、 j ライン i 番目の素子を C ( i ， j ) と し、 そ こから水平方向の画素をそれぞれ C ( i + 1 , j ) 、 C ( i + 2 , j ) 、 C ( i + 3 ， j ) C ( i + 4 , j 、 C (
+ 5 , j ) 、 C ( i + 6 ， j ) C ( i + 7 ， j 、 C (
+ 8 , j ) …とすると、 例えば C ( i + 1 ， j 、 C (
+ 2 ， j ) 、 C ( ί + 3 , j ) C ( i + 4 , j 、 C ( + 7 ， j ) 、 C ( i + 8 ， j ) というよう に、 ί壬意の水平 方向の位置を間引いて読み出すことが出来る。
垂直方向についても同様で、 j ライ ン、 j + 1 ライン、 j
+ 2 ライン…とライ ン方向に並んでいる画素に対して、 任意 のライ ンを間引いて読み出すことが出来る。
また、 光電変換素子 1 2 2 が C C Dである場合、 C C Dは 水平方向に電荷をシフ 卜 しながら読み出すため、 撮像デバイ ス 〗 2 0 は、 水平方向には全画素を読み出し、 垂直方向では 間引いて読み出すことが出来る。
歪み補正部 1 5 0 は、 このよう に間引き読み出しされたデ ジ夕ル画像データに対して、 欠落している情報を補間すると ともに倍率変換のフィルター処理を行なう。 つま り、 本明細 書において、 歪み補正とは、 「補間」 と 「倍率変換」 を同時 に行なう ことを意味している。
双一次補間に関して、 倍率変換を有理数 （整数比） に制限 し、 一次補間を二回繰り返す様にすると、 アルゴリズムは単 純化される。 図 2 は、 R G Z G Bのべィヤー配列の画像に対 して、 水平方向で 1 4 / 1 6 の縮小変換を行なう例を示して いる。 図 2 において、 上段は縮小変換前の画素の一次元デー 夕配列を示し、 下段は縮小変換後の画素の一次元データ配列 を示している。 次の式 （ 1 ) はこの変換の行列表現である。
0 0 0 0 0 0 0 0 0 0 0 0 0 0
£ 1
0 0 0 0 0 0 0 0 0 0 0 0 0 0
！リ zv z
v
!y 0 0 0 0 0 0 0 0 0 0 0 0 0 0
ε
I
0 0 0 0 0 0 0 0 0 0 0 0 0 0
S ky 01- は o〇 i I
0 0 0 0 0 0 0 0 0 0 0 0 0 0 (Hoy
6 9
oka セ 6oo
0 0 0 0 0 0 0 0 0 0 0 0 0 0
6!。 8 9 8oy
1·
8|y 0 0 0 0 0 0 0 0 0 0 0 0 0 0
(い' L L
9oy
0 0 0 0 0 0 0 0 0
9!y 0 0 0 0 0
9 8
I
！ 0 0 0 0 0 0 0 0 0 0 0 0 0 0
9
!y 6
ε!Θ 0 0 0 0 Ό Ό u u Ό u u u u u
01
S!y 1-00
0 0 0 0 0 0 0 0 0 0 0 0 0 0
£ Ooy I
o!y 0 0 0 0 0 0 0 0 0 0 0 z 0 zv 0 0
I i
0 0 0 0 0 0 0 0 0 0 0 0 0 0
Q
0 0 0 0 0 0 0 0 0 0 0 0 0 0
式 （ 1 ) において、 R i p と G i 2p + 1 ( P は 0 以上 7 未 満の整数） は、 光電変換素子 1 2 2 内における水平方向に連 続して並んでいる画素の画素データを表しており、 水平方向 に並ぶ画素の位置に対応して連続する添字を有している。 ま た、 R c 2q と G c +1 ( q は 0 以上 6 未満の整数） は、 変 換後の画素データを表しており 、 水平方向に並ぶ画素の位置 に対応して連続する添字を有している。
例えば変換後の R C 2 は R i 2 と R ' 4 を使っ て次の式 ( 2 ) で表される。
Rc (2)
Figure imgf000015_0001
前述の式 （ 1 ) は、 各画素がこのよう に変換される 1 6 画 素から 1 4画素への変換をまとめて表現している。
図 3 は、 図 2 に示した変換において、 変換前の 1 6画素の うち左から 8番目の画素のデータと 9番目の画素のデータが 抜け落ちた様子を示している。 この場合、 抜け落ちた画素デ —夕 R i 8 と G i 9 〖ま、 それぞれ同じチャ ンネルで近接して いる画素データ （ R i g に対して R i 6 と R ί ιο、 G i g に 対して G i 7 と G i n) を用いて、 次の式 （ 3 ) に従って線 形補間されるとよい。
. Ri8 =¾÷^0( Gi9 =¾÷Qhl ...(3) 式 （ 1 ) 中の R i 8 と G i g を式 （ 3 ) に従って置き換え ると式 （ 4 ) の様になる。
ノ
Figure imgf000017_0001
x $1 S L ！ o 、 ! y 、… 、 i ! D 、o ! M ^ - ^ o 9 ί co ^co ( P ) ^
9 L
S.S000/l700Zdf/X3d 請 OAV 卜
90
Figure imgf000019_0001
と表現できる。 これを式 （ 4 ) に代入して行列の積を計算す ると、 次の式 （ 6 ) が得られる。
Figure imgf000021_0001
o o o o o o o o o o o o
o o o o o o o o o o o ^ I o o o o o o o o o o o o | o -»-o o o o o o o o o o I o リ O ro o o o o o o o o o o ^ IO O I CO o o o o o o o o ^ I C o ^ I i O ^ I ^ o o o o o o o o ¾ [ n o ¾ I o ^ I cn o o o o o o o o ^ I o o CO o o o o o o o o ^ I CO O ¾| ¾ O ¾| O O O O O O O o ^ I ro o ^ I Q o o o o o o o o o o ^ I -»■ o | o o o o o o o o o o o o ro o o o o o o o o o o o o ω o o o o o o o o o o o o o
Figure imgf000021_0002
6 L
SLSooo/ oozdr/Ud ZS8890/1-00Z OAV これは、 1 4個の画素データの入力に対して 1 4個の画素 データの出力を持つ、 式 （ 4 ) と等価な変換である。 言い換 えれば、 画素データ R i g と G i g を除く 1 4個の画素デ一 夕から、 1 4 1 6 の縮小変換後の 1 4個の画素データを求 める変換である。
図 4 は水平方向 · 垂直方向共に 1 6 画素のう ち 2画素を間 引き して読み出す例を示している。 この例では水平方向 ， 垂 直方向共に 8番目の画素と 9 番目の画素が間引きされている。
図 5 は、 図 4の例に従って間引き して読み出される画素デ 一夕のう ち左の 1 列目の変換の様子を示している。 図 5 に示 されるよう に、 実際に読み出される画素データは、 垂直方向 に、 R i ()、 G i 】、 R i 2> G i 3, R i A. G i 5, R i g、 G i 7、 R ί io、 G ί 】 R i 12、 G ί 13, R i 14、 G i 15 の 1 4個である。
式 （ 6 ) は、 8番目 （ 8行目） と 9 番目 （ 9 行目） の画素 データを間引き して読み出した 1 4個の画素データから、 1 4 / 1 6 の縮小変換後の 1 4個の画素データを求める変換と 等価である。
式 （ 6 ) の行列表現による線形演算の式を見て分かるよう に、 画素間引きを行なっているため、 歪み補正後の異なる位 置の画素データ R C 6 と R c 8 は、 元の画素データ R i 6 と R i 10の重み付き線形和 •
Figure imgf000023_0001
となっており 、 画素データ R c 8 を求める際に用いる画素デ —夕が、 画素デ一夕 R c 6 を求める際に用いる画素データと 同じになっている。 すなわち、 画素データ R c 8 を求める際 に用いる画素データは、 それまでの画素データ R c 〗〜 R c 6 を求める際に用いる画素データの順序と相違している （すな わち位相がずれている） 。 画素データ G c 7 と G c 9 につい ても同様のことが言える。
図 5 に示されるよう に、 実際に読み出される画素データは、 R i 0、 G i R i 2、 G i 3、 R i 4、 G i 5、 R i g> G i 7、 R i 10、 G ί 1 R ί 12、 G ί 13、 R i 14、 G i 15 の 1 4 個である。 これらを、 それぞれ、 R j {)、 G j 〗、 R j 2、 G j 3、 R j 4、 G 」· 5、 R j 6、 G j 7、 R j 8、 G j 9、 R j 10、 G j ! ! , R j 12、 G j 】 3 とおく 。 すなわち、
Figure imgf000024_0001
とおく。
R i 2 p と G ί 2 p + 1 ( P は 0 以上 7 未満の整数） は、 前述 したよう に、 光電変換素子 1 2 2 内の水平方向に並んでいる 画素の画素データを表しており 、 添字が飛んでいる部分は、 読み出しの際に間引きされていることを示している。 一方、 R j 2 r と G j 2 r + 1 ( r は 0 以上 6 未満の整数） は、 画素間 引き読み出しによって、 実際に読み出される画素データを表 しておリ、 読み出される順番に対応して連続する添字を有し ている。
式 （ 8 ) を式 （ 6 ) に代入すると、 次の式 （ 9 ) が得られ る。
Figure imgf000025_0001
o o o o o o o o o o o o o o o o o o o o o o o o o ^ CO o o o o o o o o o o o o I I\D o o o o o o o o o o o o l -»-o o o o o o o o o o ^ I Q O ^ j ΓΟ o o o o o o o o o o ^ I CD o ^ I CO o o o
O O O O O | C O I二 0 | 4^ 0 o o o
o
Figure imgf000025_0002
o o o o o o o o o o ^|c O oo[ Γ3 O-i oo|^i o o o o o o o o I ro o o o o o o o o o o o o o o o o o o o o o o o o o ^ ro o o o o o o o o o o o o
CO o o o o o o o o o o o o o
Figure imgf000025_0003
CD
ε z
SLS000/ 00∑df/I3d 8890請 OAV これは、 画素間引き読み出しによ り実際に順番に読み出さ れる 1 4個の画素データから 1 4 Z 1 6 縮小変換後の 1 4個 の画素データを求める歪み補正変換である。
以上の一次元歪み補正を二次元の配列に拡張すると以下の よう になる。
式 （ 9 ) を
C = A B …（ ） と表す。 こ こで、 Aは一次元の歪み補償を行なう変換行列 (すなわち上述の例では 1 6画素中 2画素の間引きを行なつ ている 1 4個の画素データに対する歪み補償） 、 B は歪み補 償前の画素データを表す n行 1 列の行列、 Cは歪み補償後の 画素デ一夕を表す n 行 1 列の行列である。 こ こで、 図 4 の読 み出しデータを以下のような行列 D j で表す。
R'o'o G'0,1 Ri 2 G'0,3 R'0,4 Gi '5 R'0,6 G'0,7 R'0,10 G'0,11 R'0,12 G'0,13 R>0,14 G'0,15
Gi n
Dl1,1 1,2 Dl1,3 '1,4 Dl1,5 l1,6 Dl17 '1,10 Dl1,1 1 '1,12 Dl1,13 ^-"1,14 Diln1, i15 c
R'2,0 Gi2,1 R'2,2 Gi 3 Ri2,4 G'2,5 R'2,6 Gi2,7 R'2,10 G'2,11 R"2,12 Gi2,13 Ri2,14 G'2,15
G'3,0 Bi3,1 G'3,2 B'3,3 G'3,4 Bi3,5 G'3,6 B'3,7 Gi3'10 B'3,11 Gi3,12 B'3,13 G'3,14 B'3,15
R'4,0 Gi41 R'4,2 G'4,3 R'4,4 Gi4,5 R'4,6 Gi4,7 R'4,10 G'4,11 R'4,12 G'4,13 R'4,14 Gi4,15
G'5,0 Bi5,1 G'5,2 ΒΪ5.3 G'5,4 Bi5,5 G'5,6 Β"5,7 G'5,10 Bi5,11 G'5,12 Bi5,13 G'5,14 B'5,15
Ri60 G'6,1 R'6,2 Gi6,3 R'6,4 G'6,5 R'6,6 Gi67 R'6,10 Gi6,11 R'6,12 Gi613 R'6,14 Gi615 t
D; (11 )
G'7,0 Bi7,1 Gi72 Bi7,3 G'7,4 Bi7,5 G'7,6 Bi7,7 G'7,10 Bi7,11 G'7,12 B'7,13 Gi7,14 Bi7,15
RilO'O G'10,1 R'10,2 G'10,3 R'10,4 Gi105 R'10,6 G'10,7 Ri10,10 G'10,11 R>10,12 G'10,13 Ri10,14 G'10,15
G'11,0 Bin,1 Gi",2 B'11,3 G'11,4 Bh l,5 G'11,6 Bh l,7 Gi11,10 B'11,11 G'11,12 B'11,13 G'11,14 B'11,15
Ril 2,0 G'12,1 R'12,2 G'12,3 Ri12,4 GH 2,5 R'12,6 G'12,7 Ri12,10 G'12,11 R'12,12 Gil213 R'12,14 Gil2,15
G'13,0 B'13,1 G>13,2 Bil3,3 Gil3,4 B'13,5 G'13,6 B'13,7 G'13,10 B'13,11 Gi'1312 B'13,13 G'13,14 ΒΪ13.15
R'14,0 G'14,1 R'14,2 G'14,3 R'14,4 G'14,5 R'14,6 Gil4,7 R'14,10 Gil4,11 R'14,12 G'14,13 Ri14,14 Gi"l415
Gi15,0 B'15,1 G'15,2 Bil5'3 Gil5,4 B'15,5 G'15,6 Bil5,7 Gi15,10 Bil5,11 G'15,12 B'15,13 G'15,14 Bil 5,15
式 （ 1 1 ) では読み飛ばしている部分に線を引いている。 均等な 1 4 X 1 4画素の配列を D o とすると、 水平方向の歪 み補正後に垂直方向の歪み補正を行なう変換は、 式 （ 1 0 ) の Aを用いて、
Dc = A A Γ D (12) と表せられる。 ここで、 A Tは Αの転置行列を表している。
一次元の歪み変換、 式 （ 4 ) から式 （ 6 ) への変形は以下 の様に考えることもできる。
( 1 ) 位置 Xの画素データが読み出され、 位置 X + 2 の画 素データも読み出される場合は、 画素データの重み係数には 式 （ 4 ) の係数をそのまま用いる。
( 2 ) 位置 Xの画素データが読み出され、 位置 X + 2 の画 素データが読み出されない場合は、 代わり に位置 X + 4 の画 素データを読み出す。 位置 Xの画素データの重み係数 X を x ， = 0 . 5 ( X + 1 ) に変更し、 位置 X + 4 の画素データ の重み係数は、 変更した係数 x ' の 1 に対する残差すなわち 1 - X ' とする。
( 3 ) 位置 Xの画素データが読み出されず、 位置 X + 2 の 画素データが読み出される場合は、 位置 Xの読み出しの位置 を 2 つ前にずら し X _ 2 とする。 また、 位置 X — 2 の画素デ 一夕の重み係数 X を x ， = 0 . 5 X に変更し、 位置 X + 2 の 画素データの重み係数は、 変更した係数の 1 に対する残差す なわち 1 — x ' とする。 従って、 ルックアップテーブル （ L U T ) を使い、 画素の 読み出し位置と補正係数を対応づけて歪み補正を行なう代わ り に、 C P U等の演算処理機能を使用 して読み出し規則から 歪み補正の係数を直接算出することも出来る。
これまで、 原色べィヤー配列のカラー撮像素子における間 引き読み出し後の歪み補正ついて説明 したが、 モノクロ撮像 素子や他のカラ一フィルタ配列に対しても同様に間引き読み 出し後の歪み補正を行なえる。
光電変換読み出し部の画像信号をそのままメモ リ ーに保存 し、 ア ド レス指定で演算すれば上述した位相の問題は回避で きるが、 ここではよ り高速なパイプライ ン処理について述べ る。
図 6 は水平方向 · 垂直方向共に 8画素のうち 2 画素を間引 き して読み出す例を示している。 ここでは、 一例と して、 水 平方向の間引きを伴う一行目の読み出しについて考える。 図 6 の左上を基準とすると読み出 した画素位置は、 R i ()、 G i 1 R i i G i 3 , R i 4 , G i 5 , R i 6、 G i 7 となり 、 以下同 じ規則の繰り 返しになる。 この例における歪み補正
(変換） の行列表現は 、
Figure imgf000030_0001
となる。
そのパイプライ ン処理は、 図 7 に示したフィルター処理部 によって行なわれる。 シフ 卜 レジス夕 3 6 2 は、 クロ ック に 従う一回の動作毎に、 保持している画像データを右方向にひ とつシフ 卜する。 セ レクタ一 3 6 4 は、 s 1 の状態に従って シフ 卜 レジスタ 3 6 2 に保持されている隣接している五つの 画素データのう ちの一番目 と三番目のいずれかを選択する。 また、 セ レクタ一 3 6 6 は、 s 2 の状態に従って、 シフ ト レ ジス夕 3 6 2 に保持されている隣接している五つの画素デー 夕のうちの三番目 と五番目のいずれかを選択する。
乗算器 3 7 4 は、 セレクタ一 3 6 4 の出力 d 1 に重み付け 加算の係数 k 1 を乗算し、 乗算器 3 7 6 は、 セ レクタ一 3 6 6 の出力 d 2 に重み付け加算の係数 k 2 を乗算し、 加算器 3 7 8 は、 乗算器 3 9 4の出力と乗算器 3 9 6 の出力とを加算 する。
表 1 は図 7 に示したフィルター処理部のパイプライン処理 の動作 （状態遷移） を表している。
Figure imgf000031_0001
シフ ト レジス夕 3 6 2 に供給される画素データ列 （ ί 0 、 i 1 、 ί 2 、 ···） は、 c l = i 0 、 c 2 = i 1 、 c 3 = i 2 、 …を初期状態と して、 ク ロ ック に従う一回の動作毎に右方向 にシフ ト していく。 これに伴い、 セ レクタ一 3 6 4 は、 s i が 0 のときは c 3 を選択し （従って d 1 = c 3 となり） 、 s 1 が 1 のときは c 1 を選択する （従って d 1 = c 1 となる） 。 一方、 セ レクタ一 3 6 6 は、 s 2が 0 のときは c 5 を選択し (従って d 2 = c 5 となり） 、 s 2が 1 のときは c 3 を選択 する （従って d 2 = c 3 となる） 。 また、 ク ロ ックに同期し てフィルター係数設定部 1 5 4 内のメモリ 一から係数 k 1 が 乗算器 3 7 4 に、 係数 k 2 が乗算器 3 7 6 に供給される。 加 算器 3 7 8 からは o u t = k 1 X d 1 + k 2 X d 2が出力さ れる。
表 1 から分かるよう に、 逐次データのシフ 卜、 s 1 と s 2 の状態に従ったセ レクタ一の切 り換え、 式 （ 6 ) に示した間 引き規則に応じた重み付け係数 k 〗 と 2 の出力、 重み付け 加算演算を同期 して行なう こ と によって、 画素の位相操作 (セ レクタ一切 り換え） を含めたパイプライ ン処理が行なわ れる。
また、 撮像素子がペイヤー配列や補色フィルターの配列の よ うな C F A (Color Fi l ter Arrays) 以外の、 モノ ク ロや 三板カラーの撮像素子の様に、 単一の撮像素子上の色情報が 一種類である場合には、 ベィャ一配列の C F Aのよう に歪み 補正をする際に同一色の画素を扱うために一画素の間隔を空 ける必要はなく 、 また、 間引きの方法も上述の様に同一色の 信号の位相を合わせるために （ R、 G、 R、 G、 …というよ う に読み出しの順序を一定にするために） 二画素連続で空け る必要はない。
単色の撮像素子では、 隣接した画素の重み付け加算をデー 夕を選択しながら行なうので、 歪み補正 （変換） は、 次の式 ( 1 4 ) で表される。
PC2 = aPi-i + (1 - a)Pi2 ー（1 4 ) ここで、 P c は変換後の画素デ 夕、 Ρ ί は変換元の画素 一夕である。
そのパイプライ ン処理は、 図 8 に示したフィルター処理部 によって行なわれる。 シフ 卜 レジス夕 3 8 2 は、 ク ロ ック に 従う一回の動作毎に、 保持している画像デ一夕を右方向にひ とつシフ 卜する。 セレクタ一 3 8 4 は、 s 1 の状態に従って 隣接する三つの画素データのう ちの一番目 と二番目 （ C 1 ， C 2 ) の一方を選択する。 また、 セ レクタ一 3 8 6 は、 s 2 の状態に従って、 隣接する三つの画素デー夕のう ちの二番目 と三番目 （ C 2 ， C 3 ) の一方を選択する
乗算器 3 9 4 は、 セ レクタ一 3 8 4 の出力 d 1 に重み付け 加算の係数 k l を乗算し、 乗算器 3 9 6 は、 セ レクタ一 3 8 6 の出力 d 2 に重み付け加算の係数 k 2 を乗算し、 加算器 3 7 8 は、 乗算器 3 9 4 の出力と乗算器 3 9 6 の出力とを加算 する。
本実施形態の撮像装置は、 間引き読み出しモー ドにおいて は、 光電変換素子で取得された画像データを少なく とも垂直 方向について、 好ましく は垂直方向と水平方向の両方につい てハー ド的に間引き して読み出すため、 光電変換素子の全て の画像データを読み出した後にソフ 卜的に間引 く通常の撮像 装置と比較して短時間のう ちに画像データを読み出し得る。
以下、 間引き読み出し +歪み補正の処理によるサイズ変更 の好適な適応範囲と、 画像変倍率に応じて読み出 し方式 （全 画素読み出しモー ド · 平均化読み出しモー ド · 間引き読み出 しモー ド） とその後の画像信号処理とを切り換える利点につ いて述べる。
表 2 〜表 4 は、 代表的な被写体に対して、 様々な縮小倍率 において （ 1 ) 間引き読み出し +歪み補正の処理よる画像と ( 2 ) 平均化読み出し +線形拡大の処理による画像のどち ら の画質が優位であるかの官能評価を示したものである。 具体 的には、 表 2 は建築物 · 構造物の被写体に対する評価結果、 表 3 は人物 ， 自然風景の被写体に対する評価結果、 表 4 は解 像チヤ一 卜 · 線画の被写体に対する評価結果を示している。 これらの表において、 「 1 」 は間引き読み出し +歪み補正の 処理の方が優位であることを表し、 Γ 2 」 は平均化読み出 し +線形拡大の処理の方が優位である こ と を表 している。 「△」 はどち らの処理も同等であることを表している。 被写体:建築物 ·構造物
Figure imgf000035_0001
(表 2 ) 写体:人物■自然風景
Figure imgf000035_0002
(表 3 ) 被写体:解像チャート'線画
Figure imgf000035_0003
(表 4 )
で、 官能評価の結果についての若干の理由付けを述べ る。
間引き読み出し +歪み補正の処理による画像は、 縮小倍率 が大きい場合には、 例えば 1 6 画素中 1 4 画素を読み出すモ ー ド （式 （ 6 ) で表される変換に相当する） では、 全画素読 み出 し後に線形補間によってサイズ変更を行なう処理 （式 ( 1 ) で表される変換に相当する） による画像と比較しても 画質に遜色がない。 これに対して、 縮小倍率が小さい場合に は、 例えば 6 画素中 4画素を読み出すモー ドでは、 画質が劣 化する。 これは、 縮小倍率の低下に伴って間引 く 画素の割合 が大きくなるため、 欠落する画像情報の割合が大きくなリ、 式 （ 6 ) 以降で示した様な線形補間による復元が困難になる ためと考えられる。
一方、 平均化読み出し +線形拡大の処理による画像は、 解 像感とコ ン トラス 卜は劣るものの、 縮小倍率が小さい方 （例 6 0 % ) が拡大による （ 1 / 2 のサンプリ ングを行なった場 合、 元データが 5 0 %の縮小になっているので 6 0 %の画像 を得るためには 1 2 0 %の拡大になる） 帯域の劣化が少ない。
これらを考慮すると、 縮小倍率が大きい場合には間引き読 み出しモー ドを選択し、 縮小倍率が小さい場合には平均化読 み出しモー ド +線形補間による拡大を選択するとよい。
次に被写体の種類について考察する。 自然画像の被写体で は質感と解像感が重視される。 このため、 帯域の劣化とモア レ低減の観点から、 自然画像の被写体に対しては、 間引き読 み出し +歪み補正の処理の方が平均化読み出し +線形拡大の 処理よ り も優位である。 従って、 自然画像の被写体に対して は、 間引き読み出しモー ドと平均化読み出 しモー ドとを切 り 換える縮小倍率は低め （例えば 6 6 %程度） に設定されると よい。
—方、 線画等の被写体では、 コ ン トラス トと解像度は他の 画像処理 （フィルタ一を用いた帯域強調） によってある程度 回復するので、 歪みが少ないことが重視される。 このため、 線画等の被写体に対しては、 平均化読み出し +線形拡大の処 理の方が間引き読み出し +歪み補正の処理よ り も優位である。 従って、 線画等の被写体に対しては、 間引き読み出しモー ド と平均化読み出しモー ドとを切り換える縮小倍率は高め （例 えば 7 5 %程度） に設定されるとよい。
従って、 縮小倍率に応じて間引き読み出しモー ドと平均化 読み出しモー ド （およびその後の画像信号処理） とを切リ換 えることによ り 、 広範囲な縮小倍率にわたって高精細な画像 を得ることが可能となる。
さ らに、 縮小倍率に応じて読み出し方式とその後の画像信 号処理とを切り換えることが優位な理由は、 広い倍率の範囲 で倍率の段数を細かく 区切ることが出来る点である。
間引き読み出しにおける変倍率 Xは、 n -k
X = ( 1 5 )
( n ： 間引きのブロ ック単位、 k ： 間引きを行う画素数） で 表されるよう に、 整数の比率で与えられる。
比較的大きな縮小倍率においては、 例えば、 2 0 2 2 = 9 1 % ( 2 2画素中 2 0画素を読み出すモー ド） から、 1 8 / 2 0 = 9 0 % 1 6 / 1 8 = 8 9 %、 1 4 / 1 6 = 8 7 . 5 %、 1 2 / 1 4 = 8 5 . 7 %、 1 0 / 1 2 = 8 3 . 3 %と いうよう に、 比較的細かい間隔でサイズ変更を行なう ことが できる。
しかしながら、 比較的小さい縮小倍率においては、 例えば、 6 / 8 = 7 5 % , 1 0 / 1 4 = 7 1 % , 4 / 6 = 6 6 %、 6 / 1 0 = 6 0 %というよう に、 変倍率の間隔が大きくなつて しまう。 また、 8 / 1 4 = 5 7 %の様な縮小倍率も可能では あるが、 ブロ ック内で間引 く 画素の割合が大き く なるため、 線形補間による歪み補正での復元が困難になる。
従って、 縮小倍率に応じて間引き読み出しモー ドと平均化 読み出しモー ド （およびその後の画像信号処理） とを切 リ換 えることによ り 、 縮小倍率を細かい間隔で指定することが可 能となる。
図 9 は、 間引き読み出し +歪み補正の処理に従うサイズ変 更を表しており 、 よ り詳しく は、 光電変換素子上で 7 2 0 X 5 4 0画素の範囲を V G A ( 6 4 0 X 4 8 0 ) に変更する例 を示している。 この例では、 1 8画素中 2 画素を間引いて 1 6 画素を読み出す規則を繰り返し、 画像のサイズは、 1 6 Z Ί 8 = 8 / 9 、 すなわち、 7 2 0 → 6 4 0 、 5 4 0 — 4 8 0 の約 8 9 %に縮小される。
図 1 0 は、 平均化読み出し +線形補間の処理に従うサイズ 変更を表してお り 、 よ り詳しく は、 1 1 2 0 X 8 4 0画素を V G Aサイズに変更する例を示している。 この例では、 予め 水平 2 画素加算平均読み出し +垂直 2 ライン飛ばしの読み出 し方を V G Aのク ロ ック数で読み出しを行なう ことによ り 1 2 8 0 X 9 6 0 画素の範囲を読み出しておき、 そのうち 1 1 2 0 X 8 4 0 画素の範囲に相当する部分を抜き出して V G A のサイズに変更する。 このとき、 2 画素平均を行なっている ので、 光電変換素子上で 1 1 2 0 X 8 4 0画素の範囲に相当 するメモ リ ーの範囲は 5 6 0 X 4 2 0 となり 、 この範囲を抜 き出 して線形補間によって拡大してサイズ変更を行なう （ 6 4 0 Z 5 6 0 -約 1 . 1 4倍） 。 このとき、 画像のサイズは、 光電変換素子上の画像サイズを基準に考えると、 6 4 0 Z 1 1 2 0 = 5 7 %に縮小される。
図 1 1 は、 本実施形態の撮像装置における変倍率に応じた 読み出 し方式の切 り 換えとサイズ変更を示 している。 1 0 0 %以上の変倍率に対しては、 全画素読み出 し +線形補間に よる拡大処理によってサイズ変更を行なう。
また、 1 0 0 %ないし 7 0 %程度の変倍率あるいは縮小率 に対しては、 間引き読み出し +歪み補正の処理によってサイ ズ変更を行なう。 さ らに、 7 0 %を下回る変倍率あるいは縮 小率に対しては、 2 ： 1 の平均化読み出 し +線形補間による 処理によってサイズ変更を行なう。 なお、 2 ： 1 平均化読み 出しでの撮像素子上での読み出し範囲は全画素読み出しでの 撮像素子上での読み出し範囲の 2 倍になる。
これまでの説明から分かるよう に、 本実施形態の撮像装置 は、 画像変倍率に応じて読み出し方式とその後の画像信号処 理とを切 り換えることによ り、 変倍率の広い範囲にわたって 高精細な画像を得ることができるとともに、 1 0 0 %未満の 変倍率においては変倍率を細かい間隔で指定することができ る。
第二実施形態
本実施形態は、 特に動画の撮影に好適な撮像装置に向けら れている。
図 1 2 は本発明の第二実施形態の撮像装置の構成を示して いる。 図 1 2 において、 第一実施形態の撮像装置 1 0 0の要 素と同一の参照符号で指摘される要素は同等の要素であり、 その詳しい説明は記載の重複を避けて続く 記述において省略 する。
本実施形態の撮像装置 2 0 0 は、 被写体の光学像を結像す る結像光学系 1 1 0 と、 結像光学系 1 1 0 によ り結像された 光学像の所定の領域の画像信号を連続的に出力する撮像デバ イス 2 2 0 とを有している。 つま り、 撮像デバイス 2 2 0 か ら出力される画像信号は動画信号であ り、 これは時系列的に 連続する複数のフ レームの画像データで構成されている。
撮像デバイス 2 2 0 は、 結像光学系 1 1 0 によ り結像され た光学像を光電変換して画像データ （画素データの集合） を 取得するエリ ア状の光電変換素子 2 2 2 と、 光電変換素子 2 2 2で取得された画像データを供給される読み出し規則に従 つて連続的に読み出す読み出し制御部 2 2 4 とを有している。
撮像装置 2 0 0 はさ らに、 出力する画像の変倍率を選択す る画像変倍率選択部 1 3 2 と、 選択された画像変倍率に応じ て光電変換素子 2 2 2 から読み出し制御部 2 2 4が読み出す 画像データの読み出し方式を選択する読み出し方式選択部 2 3 4 と、 読み出し方式選択部 2 3 4で選択された読み出し方 式に応じた読み出し規則を撮像デバイス 2 2 0 に供給する読 み出し規則供給部 2 4 0 とを有している。
読み出し方式選択部 2 3 4 は、 選択された画像変倍率に応 じて、 間引き読み出しモー ド · 水平平均化垂直イ ンターレ一 ス読み出しモー ド ' 垂直インターレース読み出しモー ドのい ずれかの読み出し方式を選択する。 読み出し規則供給部 2 4 0 は、 間引き読み出しモー ドに対応する読み出し規則を設定 する間引き読み出し規則設定部 2 4 2 と、 水平平均化垂直ィ ンターレース読み出しモー ドに対応する読み出し規則を設定 する水平平均化垂直インター レース読み出し規則設定部 2 4
4 と、 垂直イ ンター レース読み出しモ一 ドに対応する読み出 し規則を設定する垂直イ ンターレース読み出 し規則設定部 2 4 6 とを含んでいる。
読み出し方式選択部 2 3 4 は、 よ り詳しく は、 1 0 0 %未 満の画像変倍率すなわち画像の縮小に対しては、 間引き読み 出しモー ドと水平平均化垂直イ ンターレース読み出しモー ド のいずれかを選択し、 1 0 0 %以上の画像変倍率すなわち画 像の拡大に対しては、 垂直イ ンターレース読み出しモー ドを 選択する。
さ らに、 読み出し方式選択部 2 3 4 は、 1 0 0 %未満の画 像変倍率においては、 画像変倍率と、 出力する画像のコ ン 卜 ラス 卜 · 解像度 · 歪み · 輝度モア レ · 色モア レのうち重視す る画質の要因とに基づいて、 間引き読み出しモー ドと水平平 均化垂直イ ンターレース読み出しモー ドのいずれかを選択す る。
撮像装置 2 0 0 はさ らに、 間引き読み出 しモー ドのときに 撮像デバイスから出力される画像信号に対して歪み補正を行 なう歪み補正部 1 5 0 と、 間引き読み出しモー ドのときに読 み出し制御部 2 2 4が光電変換素子 2 2 2 から読み出す画像 データの範囲 （読み出し範囲） の基準位置をフ レーム毎に変 更する読み出し位相制御部 2 5 2 と、 間引き読み出しモー ド のときに読み出し位相制御部 2 5 2 によ り フ レーム毎に変更 される読み出し範囲の基準位置に応じて歪み補正部 1 5 0 か ら出力される補正された画像信号のすべてのフ レームに共通 する領域を範囲選択する画像範囲選択処理部 2 5 4 とを有し ている。 歪み補正部 1 5 0の詳細は第一実施形態で説明した 通りである。
読み出し位相制御部 2 5 2 が読み出し範囲の基準位置をフ レーム毎に変更するとともに、 画像範囲選択処理部 2 5 4が 全てのフ レームに共通する領域を範囲選択することに対応し て、 間引き読み出し規則設定部 2 4 2 は、 出力する画像の領 域よ り も広い範囲に渡って読み出し制御部 2 2 4が画像デー 夕を読み出すよう に、 読み出し規則を設定する。
撮像デバイス 2 2 0 内の読み出し制御部 2 2 4 は、 間引き 読み出し規則設定部 2 4 2で設定される読み出 し規則と、 読 み出し位相制御部 2 5 2 で設定される読み出 し範囲の基準位 置とに基づいて、 光電変換素子 2 2 2 内の画素配列中の対応 する範囲の画像データ （ 1 フ レーム分の画素データ） を連続 的に読み出す。 その結果と して、 撮像デバイス 2 2 0 は、 時 系列的に連続する複数のフ レームの画像データで構成される 動画信号を出力する。
撮像装置 2 0 0 はさ らに、 間引き読み出しモー ドのときに 画像範囲選択処理部 2 5 4 から出力される画像信号または水 平平均化垂直イ ンターレース読み出しモー ドと垂直イ ンター レース読み出しモー ドのときに撮像デバイス 2 2 0 から出力 される画像信号の複数のフ レームの画像データを一時的に記 憶する複数の記憶部、 例えば二つのフ レームメモ リ ー 2 7 2 と 2 7 4 を有している。
撮像装置 2 0 0 はさ らに、 間引き読み出しモー ドのときに、 フ レームメモ リ ー 2 7 2 と 2 7 4 に記憶された複数のフ レー 厶の画像データに対して加重加算平均化を行なって新たな画 像データを生成するフ レーム間演算処理部 2 8 2 を有してい る。
撮像装置 2 0 0 はさ らに、 水平平均化垂直イ ンター レース 読み出しモー ドと垂直イ ンターレース読み出しモー ドのとき にフ レームメモ リ ー 2 7 2 と 2 7 4 に記憶された複数のフ レ ー厶の画像データに対してフ レーム間補間を行なう フ レーム 間補間演算処理部 2 8 4 (イ ンターレース読み出しを行なう と連続数フレーム間で、 お互いに欠落している位置 · ライ ン のデータがあるので、 欠落している部分のデータ （ラインデ —夕） を隣接するフ レームのデータで補う） と、 水平平均化 垂直インター レース読み出 しモー ドと垂直イ ンタ一レース読 み出しモー ドのときにフ レーム間補間演算処理部 2 8 4 から 出力される画像信号に対して画像変倍率に応じて線形補間に よ リサイズ変更を行なう線形補間サイズ変更部 2 8 6 とを有 している。
加えて、 撮像装置 2 0 0 は、 読み出し方式選択部 2 3 4で 選択された読み出し方式に応じて撮像デバイス 2 2 0から出 力される画像信号を歪み補正部 〗 5 0 とフ レームメモ リ ー 2 7 2 と 2 7 4 のいずれかに選択的に送る第一の切り換え器 2 6 2 と、 フ レームメモ リ ー 2 7 2 と 2 7 4 からのそれぞれの 画像信号をフ レーム間演算処理部 2 8 2 とフ レーム間補間演 算処理部 2 8 4のいずれかに選択的に送る第二の切り換え器 2 7 6 と 2 7 8 とを有している。
読み出し方式選択部 2 3 4 が間引き読み出 しモー ドを選択 したときには、 第一の切 り換え器 2 6 2 は撮像デバイス 2 2 0からの画像信号を歪み補正部 1 5 0 と画像範囲選択処理部 2 5 4 とを介してフ レームメモ リ 一 2 7 2 と 2 7 4 に送り、 第二の切 り換え器 2 7 7 と 2 7 8 はフ レームメモリ ー 2 7 2 と 2 7 4 からのそれぞれの画像信号をフ レーム間演算処理部 2 8 2 を介して画像信号処理部 1 7 2 に送る。
一方、 読み出し方式選択部 2 3 4が水平平均化垂直イ ンタ 一レース読み出しモー ドまたは垂直イ ンター レース読み出し モー ドを選択したときには、 第一の切り換え器 2 6 2 は撮像 デバイス 2 2 0からの画像信号をフ レームメモ リ ー 2 7 2 と 2 7 4 に直接送り、 第二の切 り換え器 2 7 6 と 2 7 8 はフ レ ー厶メモ リ ー 2 7 2 と 2 7 4 からのそれぞれの画像信号をフ レーム間補間演算処理部 2 8 4 と線形補間サイズ変更部 2 8 6 とを介して画像信号処理部 1 7 2 に送る。
従来のビデオシステムの動画の撮影においては 2 フィ ール ド = 1 フ レームになるようなイ ンター レース走査方式が良く 用いられている。 これは、 一般の 1 / 3 0 のフ レームレー 卜 においてはイ ンタ一レース走査による画像のち らつきは目立 たないとされ、 むしろイ ンター レース走査によって、 全点走 査と同一の時間内でより広い領域の画像情報を得、 フィ ール ド間で補間 して高速に高精細な画像を得る効果がある。
本実施形態の撮像装置 2 0 0 では、 垂直インターレース読 み出しモー ドにおいては、 一般によく 知られているインタ一 レース走査方式に従って、 一つのフ レームを構成する時系列 的に隣接する二つのフィ ール ド毎に画素データをライ ン単位 おきに交互に読み出す。 その結果、 ライ ン単位間の補間の効 果によって、 ち らつきの少ない画像が得られる。
ここで、 ライ ン単位とは、 フィルター配列において、 ライ ンの並びに沿った繰り返しの基本単位を指している。 例えば、 ペイヤー配列においては、 ライ ン単位は二本の実際の画素ラ イ ンで構成される。
本実施形態の撮像装置 2 0 0 では、 水平平均化垂直インタ —レース読み出しモー ドにおいては、 一つのフ レームを構成 する時系列的に隣接する二つのフィ ール ド毎に画素データを 1 ライ ン単位置きに、 しかも各ライ ンにおいて二つの画素単 位毎にそれらの中の対応する二つの画素データを加算平均し て読み出す。
ここで、 画素単位とは、 フィルター配列の各ライン内にお いて、 ライ ンに沿った繰り返しの基本単位を指している。 例 えば、 ペイヤー配列においては、 一つの画素単位は二つの画 素 （例えば図 1 3 においては 1 ライン目の R と Gの組） で構 成される。
図 1 3 は水平平均化垂直イ ンターレース読み出 しによって 読み出される、 一つのフ レームを構成する時系列的に隣接す る二つのフィ 一ル ドの画素データを模式的に示している。
図 1 3 に示されるよう に、 それぞれのフィ ール ドにおいて、 一本のライ ン単位置きに、 すなわち二本のライ ン置きに、 画 素データが読み出される。 また、 各ライ ンにおいて、 二つの 画素単位毎にそれらの中の対応する二つの画素データ、 すな わち四つの画素毎にそれらの中の同種類の二つの画素データ を 1 2 ： 1 / 2 の重みで加算して読み出す。 つま り、 1 ク ロ ック （ C L K ) で四つの画素に対応した二つの画素データ が読み出される。
このような読み出しの結果、 画素単位間とライ ン単位間の 補間の効果によって、 ち らつきの少ない画像が得られる。
本実施形態の撮像装置 2 0 0では、 間引き読み出しモー ド においては、 イ ンターレース走査が二つのフィ一ル ド間で互 いの欠落している画素データを補間するよう に、 連続する二 つのフ レーム間で互いの欠落している画素データを補間する。
このため、 読み出し位相制御部 2 5 2 は、 読み出し制御部 2 2 4が光電変換素子 2 2 2 から画素間引き して読み出す画 素データの範囲 （読み出し範囲） の基準位置をフ レーム毎に 変更させる。 よ り詳しく は、 読み出し位相制御部 2 5 2 は、 読み出し範囲の基準位置を、 一定の規則に従って周期的に、 フ レーム毎に変更させる。
その結果、 特定のフ レームの画像データにおいて間引き読 み出しのために欠落した光電変換素子 2 2 2 内の特定の位置 の画素データは、 他のフ レームの画像データ に含まれるよう になる。 つま り 、 撮像デバイス 2 2 0 から出力される画像信 号から、 光電変換素子 2 2 2 の特定の位置の画素データが常 に欠落することが避けられる。
図 1 4 は、 1 0 / 1 2 の間引き読み出しと読み出し範囲の 基準位置のシフ トとの処理によって読み出される、 時系列的 に隣接する二つのフ レーム （ Aフ レームと B フ レーム） にお ける同一範囲の画素データの一例を模式的に示している。
図 1 4から分かるよう に、 例えば、 B フ レームの画像デー 夕 （画素データの集合） は、 Aフ レームの画像データの読み 出し時に飛ばされた画素データ、 つま り 、 Aフ レームの画像 データに欠落している画素データを含んでいる。 このよう に、 二つのフ レームの画像データは、 互いに相補的で、 相手に欠 落している画素データを互いに含んでいる。
さ らに、 フ レーム間演算処理部 2 8 2 は、 フ レームメモ リ 一 2 7 2 と 2 7 4 に記憶された連続するフ レームの画像デー 夕 に対して、 欠落している画素データを補間する処理を行な う。 例えば、 連続する二つのフ レームの画像データに対して 1 / 2 ： 1 / 2 の加算を行なう。 その結果、 よく 知られてい るインターレース走査方式によるフィ ール ド間の補間すなわ ちインタ一レース解除処理と同様な効果が得られ、 ち らつき の少ない画像が得られる。
図 1 5 と図 1 6 は、 6 Z 8 の間引き読み出しの繰り返しに よる読み出しにおける読み出し範囲の基準位置のシフ 卜の様 子を模式的に示している。 これらの図において、 [ X , y ] は光電変換素子 1 2 2 の画素配列の画素位置、 （ x， y ) は 読み出し範囲の画素データ配列を表している。
図 1 5 と図 1 6 に示されるよう に、 光電変換素子 1 2 2 の 画素数は水平方向に k画素、 垂直方向に I 画素である。 従つ て、 光電変換素子 1 2 2 の左上の画素の位置は [ 0 , 0 ] 、 右下の画素の位置は [ k， I ] と表せる。 また、 1 フ レーム の読み出し範囲の画素数は水平方向に m画素、 垂直方向に n 画素である。 従って、 フ レームの左上の読み出し開始位置は ( 0， 0 ) 、 右下の読み出し終了位置は （ m， n ) と表せる 図 1 6 のフ レームの読み出し範囲は、 図 1 5 のフ レームの読 み出し範囲に対して、 水平方向に + 2 画素、 垂直方向に + 2 画素シフ 卜 している。
図 1 5 のフ レームでは、 左上の読み出 し開始位置 （ 0 ， 0 ) は、 光電変換素子 1 2 2 の左上の画素位置 [ 0， 0 ] に 一致している。 つま り、
(0,0) =[0,0] ■'■(16) である。 また、 読み出し終了位置 （ m , n ) は
(m， n) = [k-2,l-2] (17) 4
である。 一方、 図 1 6 のフ レームでは、 左上の読み出し開始 位置は、
(0，0)=[2,2] (18) である。 また、 読み出しの終了位置は
(m，n)=[k，l] (19) である。
画像範囲選択処理部 2 5 4 は、 図 1 5 のフ レームと図 1 6 のフ レームに共通する範囲を選択する。 つま り 、 画像範囲選 択処理部 2 5 4 は、 図 1 5 のフ レームに対 しては、 ( 2 ， 2 ) と （ m， n ) を対角の頂点とする矩形の範囲を選択し、 図 1 6 のフ レームに対しては、 （ 0 ， 0 ) から （ m— 2 ， n 一 2 ) を対角の頂点とする矩形の範囲を選択する。 画像範囲 選択処理部 2 5 4 で選択された範囲は、 常に （ m — 2 ) X ( n - 2 ) 個の画素データを有している。
また、 予めク ロ ップする領域を考慮すると、 光電変換素子 2 2 2 から読み出す画像の総数は出力の画像サイズと位相シ フ 卜分を考慮する必要がある。 画像範囲選択処理部 2 5 4 は 読み出し開始位置の情報に基づいて、 クロ ップの範囲を変更 する。
フ レー ム メ モ リ ー 2 7 2 と 2 7 4 はいずれ も F l F O (Fi rst In Fi rst Out) のメモリ ーとなっており 、 レーム 間演算処理部 2 8 2 はそれらのフ レームメモ リ 一 2 2 と 2 7 4 の同一位置の画素を用いて出力画像を生成する
例えば、 2 フ レームの場合、 合成画像 0 u t ( i j ) は out(i, j) = 0.5l(k， i, j) + 0.5l(k一 1， i, j) (20) である。 こ こで、 i ， j は画素位置を表 し、 I ( k , ί ， j ) は k番目のフ レームの画素位置 i ， j の画像信号の強度 である。
また、 3 フ レームの場合、 合成画像 o u t ( ί ， j ) は、 加重配分を用いて、 out(i， j) = 0.25l(k, i， j) + 0.5l(k一 1, i, j) + 0.25l(k - 2, i， j) (21) である。 フ レーム間補間を行なう ことによって、 歪み補正の 効果に加えて、 ローパスによる高画質ィ匕の効果が得られる。
また、 本実施形態では、 水平方向 · 垂直方向ともに間引き 読み出しを行ない、 一次元の歪み補正を水平 · 垂直ともにパ ィプライ ン処理で行なう例を示している。 C C Dの場合は、 垂直転； →水平転送の動作を行なう撮像素子では、 原理上水 平方向に間引いて読み出す事が出来ないので、 水平方向につ いては式 （ 1 ) と同様に全画素を読み出し、 一次補間による サイズ変更を行なう必要がある。
本実施形態の撮像装置 2 0 0 は、 第一実施形態と同様の理 由から、 1 0 0 %以上の画像変倍率に対しては、 垂直イ ンタ 一レース読み出し +線形補間による処理によってサイズ変更 を行ない、 比較的大きな縮小倍率、 例えば 1 0 0 %ないし 7 0 %程度の変倍率に対しては、 間引き読み出しモー ド +歪み 補正の処理によってサイズ変更を行ない、 比較的小さな縮小 倍率、 例えば 7 0 %を下回る変倍率に対しては、 水平平均化 垂直インター レース読み出し +線形補間による処理によって サイズ変更を行なう。 さ らに、 前述の第一実施形態のよう に、 被写体によって、 読み出しモー ドを切 り換える変倍率を調整 するよう にしてもよい。
その結果、 本実施形態の撮像装置は、 画像変倍率に応じて 読み出し方式とその後の画像信号処理とを切 り換えることに よ り、 変倍率の広い範囲にわたって高精細な画像を得ること ができるとと もに、 1 0 0 %未満の変倍率においては変倍率 を細かい間隔で指定することができる。
第三実施形態
本実施形態は、 に動画の撮影に好適な撮像装置に向けら れている。
図 1 7 は本発明の第三実施形態の撮像装置の構成を示して いる。 図 1 7 において、 第一実施形態の撮像装置 1 0 0 の要 素と同一の参照符号で指摘される要素は同等の要素であ り、 その詳しい説明は記載の重複を避けて続く記述において省略 する。
本実施形態の撮像装置 3 0 0 は、 被写体の光学像を結像す る結像光学系 1 1 0 と、 結像光学系 1 1 0 によ り結像された 光学像の所定の領域の画像信号を連続的に出力する撮像デバ イス 2 2 0 とを有している。 つま り、 撮像デバイス 2 2 0 か ら出力される画像信号は動画信号であ り、 これは時系列的に 連続する複数のフ レームの画像データで構成されている。
撮像デバイス 2 2 0 は、 結像光学系 〗 1 0 によ り結像され た光学像を光電変換して画像データ （画素データの集合） を 取得するエリ ア状の光電変換素子 2 2 2 と、 光電変換素子 2
2 2で取得された画像データを供給される読み出し規則に従 つて連続的に読み出す読み出し制御部 2 2 4 とを有している。 撮像装置 3 0 0 はさ らに、 出力する画像の変倍率を選択す る画像変倍率選択部 1 3 2 と、 選択された画像変倍率に応じ て光電変換素子 2 2 2 から読み出し制御部 2 2 4が読み出す 画像データの読み出 し方式を選択する読み出 し方式選択部 2
3 4 と、 読み出し方式選択部 2 3 4で選択された読み出し方 式に応じた読み出し規則を撮像デバイス 2 2 0 に供給する読 み出し規則供給部 2 4 0 とを有している。
読み出し方式選択部 2 3 4 は、 選択された画像変倍率に応 じて、 間引き読み出しモー ド · 水平平均化垂直イ ンターレー ス読み出しモー ド · 垂直インターレース読み出しモー ドのい ずれかの読み出 し方式を選択する。 読み出し規則供給部 2 4 0 は、 間引き読み出しモー ドに対応する読み出し規則を設定 する間引き読み出し規則設定部 2 4 2 と、 水平平均化垂直ィ ンタ一レース読み出 しモー ドに対応する読み出 し規則を設定 する水平平均化垂直インターレース読み出し規則設定部 2 4 4 と、 垂直イ ンタ一レース読み出しモー ドに対応する読み出 し規則を設定する垂直イ ンターレース読み出 し規則設定部 2 4 6 とを含んでいる。
読み出し方式選択部 2 3 4 は、 よ り詳しく は、 1 0 0 %未 満の画像変倍率すなわち画像の縮小に対しては、 間引き読み 出しモー ドと水平平均化垂直イ ンター レース読み出しモー ド のいずれかを選択し、 1 0 0 %以上の画像変倍率すなわち画 像の拡大に対しては、 垂直イ ンターレース読み出しモー ドを 選択する。
さ らに、 読み出し方式選択部 2 3 4 は、 1 0 0 %未満の画 像変倍率においては、 画像変倍率と、 出力する画像のコ ン ト ラス 卜 ' 解像度 · 歪み · 輝度モア レ · 色モア レのうち重視す る画質の要因とに基づいて、 間引き読み出しモー ドと水平平 均化垂直イ ンターレース読み出しモー ドのいずれかを選択す る。
撮像装置 3 0 0 はさ らに、 フ レームのタイ ミ ングを発生す るタイ ミ ング発生器 3 7 0 と、 タイミ ング発生器 3 7 0 から のフ レームのタイミ ングと連動してフ レーム間で読み出し規 則を変更する読み出し規則変更部 3 7 2 とを有している。 こ こで、 間引き読み出しモー ドが選択されていた場合、 読み出 し規則変更部 3 7 2 は間引き読み出しの規則をフ レーム毎に 異ならせる。 同時に、 読み出し規則に従って歪み補正のフィ ルターに用いる係数を選択する指示を発生する。 歪み補正部 1 5 0 の詳細は第一実施形態で説明した通りである。
なお、 読み出し規則変更部 3 7 2で変更されたフ レーム毎 に異なる読み出し規則は、 選択された変倍率が一定であると きは読み出す画素の画素数は同じで、 読み出し範囲の基準位 置と配列パ夕ニンが異なる。
撮像デバイス 2 2 0 内の読み出し制御部 2 4 は、 間引き 読み出し規則設定部 2 4 2 で設定される読み出し規則と、 読 み出し規則変更部 3 7 2 で設定される読み出し範囲の基準位 置とに基づいて、 光電変換素子 2 2 2 内の画素配列中の対応 する範囲の画像データ （ 1 フ レーム分の画素データ） を連続 的に読み出す。 その結果と して、 撮像デバイス 2 2 0 は、 時 系列的に連続する複数のフ レームの画像データで構成される 動画信号を出力する。
撮像装置 3 0 0 はさ らに、 複数のフ レームの画像デ一夕を 用い新たな画像データを生成するフ レーム間演算処理部 3 8 0 を有している。 フ レーム間演算処理部 3 8 0 は、 水平平均 化垂直イ ンター レース読み出しモー ドと垂直イ ンターレース 読み出しモー ドのときにフ レーム間補間演算処理を行ない、 間引 き読み出 しモー ドの場合、 前述の式 （ 2 0 ) や式 （ 2 1 ) のようなフ レーム間の荷重加算演算を行なう。
加えて、 撮像装置 3 0 0 は、 読み出し方式選択部 2 3 4 で 選択された読み出し方式に応じて撮像デバイス 2 2 0 から出 力される画像信号を歪み補正部 1 5 0 とフ レーム間演算処理 部 3 8 0 のいずれかに選択的に送る切 り換え器 3 9 2 を有し ている。
読み出し方式選択部 2 3 4が間引き読み出しモー ドを選択 したときには、 切 り換え器 3 9 2 は撮像デバイス 2 2 0から の画像信号を歪み補正部 1 5 0 を介してフ レーム間演算処理 部 3 8 0 に送る。
一方、 読み出し方式選択部 2 3 4 が水平平均化垂直イ ンタ 一レース読み出しモー ドまたは垂直イ ンター レース読み出し モー ドを選択したときには、 切 り換え器 3 9 2 は撮像デバイ ス 2 2 0 からの画像信号をフ レーム間演算処理部 3 8 0 に送 る。
さ らに、 フ レーム間演算処理部 3 8 0 は、 切り換え器 3 9 4 を介して、 線形補間サイズ変更部 3 9 6 に接続されている。 読み出し方式選択部 2 3 4で水平平均化垂直イ ンタ一レース 読み出しモー ドまたは垂直イ ンターレース読み出しモー ドが 選択された場合に、 サイズの変更を必要とする場合は、 切 り 換え器 2 9 4 はフ レーム間演算処理部 3 8 0 の出力データを 線形補間サイズ変更部 3 9 6 に伝送し、 フ レーム内の線形補 間処理によって所定のサイズの画像を得る。
また、 読み出し方式選択部 2 3 4で間引き読み出しモー ド が選択された場合、 歪み補正部 1 5 0で得られた画像サイズ を最終的なサイズとする場合には、 フ レーム間演算処理部 3 8 0 の出力をそのまま利用するため、 切り換え器 3 9 4 は線 形補間サイズ変更部 3 9 6 をバイパスするよう にする。 さ ら に、 間引き読み出しによるサイズ変更とは別の画像サイズを 得たい場合は、 切り換え器 3 9 4 はフ レーム間演算処理部 3 8 0 の出力データを線形補間サイズ変更部 3 9 6 に伝送し、 フ レーム内の線形補間処理によって所定のサイズの画像を得 る。
これまでの説明から分かるよう に、 本実施形態の撮像装置 は、 画像変倍率に応じて読み出し方式とその後の画像信号処 理とを切 り換えることによ り 、 変倍率の広い範囲にわたって 高精細が画像を得ることができるとともに、 1 0 0 %未満の 変倍率においては変倍率を細かい間隔で指定することができ る。 さ らに間引き読み出しモー ドのときに、 全点走査と同一 の時間内でよ り広い領域の画像情報が得られる効果がある。
これまで、 図面を参照しながら本発明の実施の形態を述べ たが、 本発明は、 これらの実施の形態に限定されるものでは なく、 その要旨を逸脱しない範囲において様々な変形や変更 が施されてもよい。
産業上の利用可能性
本発明によれば、 画像変倍率の広い範囲にわたって高精細 な画像を得る ことができる撮像装置が提供される。 また、 こ の撮像装置では、 特に 1 0 0 %未満の変倍率においては変倍 率を細かい間隔で指定することができる。

Claims

請 求 の 範 囲
1 . 被写体の画像を出力する撮像装置であ り 、
光学像を光電変換して画像データを取得する光電変換素子 と、 前記光電変換素子で取得された画像データを供給される 読み出し規則に従って読み出す読み出し制御部とを有してい る撮像デバイスと、
出力する画像の変倍率を選択する画像変倍率選択部と、 選択された画像変倍率に応じて光電変換素子から読み出し 制御部が読み出す画像データの読み出し方式を選択する読み 出し方式選択部と、
読み出し方式選択部で選択された読み出し方式に応じた読 み出し規則を前記読み出し制御部に供給する読み出し規則供 給部とを有している、 撮像装置。
2 . 請求項 1 において、 前記読み出し方式は、 間引き読 み出しモー ド ' 平均化読み出しモー ド · 全画素読み出しモー ドを含み、 前記読み出し方式選択部は、 前記選択された画像 変倍率に応じて、 前記間引き読み出しモー ド · 前記平均化読 み出しモー ド ■ 前記全画素読み出しモー ドのいずれかの読み 出し方式を選択し、 前記読み出し規則供給部は、 前記間引き 読み出しモー ドに対応する読み出し規則を設定する間引き読 み出し規則設定部と、 前記平均化読み出しモー ドに対応する 読み出し規則を設定する平均化読み出 し規則設定部と、 前記 全画素読み出 しモー ドに対応する読み出し規則を設定する全 画素読み出し規則設定部とを含んでいる、 撮像装置。
3 . 請求項 2 において、 間引き読み出しモー ドのときに 撮像デバイスから出力される画像信号に対して歪み補正を行 なう歪み補正部と、 前記平均化読み出しモー ドと前記全画素 読み出しモー ドのときに前記撮像デバイスから出力される画 像信号に対して線形補間によ り サイズ変更を行なう線形補間 サイズ変更部と、 前記読み出し方式選択部で選択された読み 出 し方式に応じて前記撮像デバイスから出力される画像信号 を前記歪み補正部と前記線形補間サイズ変更部のいずれかに 選択的に送る切 り換え器とを有している、 撮像装置。
4 . 請求項 1 において、 前記撮像デバイスから出力され る画像信号は、 時系列的に連続する複数のフ レームの画像デ 一夕で構成される動画信号であ り、 前記読み出し方式選択部 は、 前記選択された画像変倍率に応じて、 前記間引き読み出 しモー ド · 水平平均化垂直インターレース読み出しモー ド · 水平全画素垂直イ ンター レース読み出しモー ドのいずれかの 読み出し方式を選択し、 読み出し規則供給部は、 前記間引き 読み出しモー ドに対応する読み出し規則を設定する間引き読 み出し規則設定部と、 前記水平平均化垂直イ ンタ一レース読 み出しモー ドに対応する読み出し規則を設定する水平平均化 垂直イ ンターレース読み出し規則設定部と、 前記垂直イ ンタ 一レース読み出しモー ドに対応する読み出し規則を設定する 垂直イ ンター レース読み出し規則設定部とを含んでいる、 撮 像装置。
5 . 請求項 〗 において、 前記読み出し方式は間引き読み 出しモー ドを含み、 前記撮像デバイスから出力される画像信 号は複数のフ レームから構成され、 前記間引き読み出しモー ドのときに、 前記撮像デバイスから出力される画像信号に対 して歪み補正を行なう歪み補正部と、 前記読み出し制御部が 前記光電変換素子から読み出す画像データの範囲 （読み出し 範囲） の基準位置をフ レーム毎に変更する読み出し位相制御 部と、 前記読み出し位相制御部によ り フ レーム毎に変更され る読み出し範囲の基準位置に応じて前記歪み補正部から出力 される補正された画像信号のすべてのフ レームに共通する領 域を範囲選択する画像範囲選択処理部とをさ らに有している、 撮像装置。
6 . 請求項 5 において、 前記間引き読み出しモー ドのと きに、 前記函像範囲選択処理部から出力される画像信号の複 数のフ レームの画像データを一時的に記憶する複数の記憶部 と、 前記記憶部に記憶された前記複数のフ レームの画像デー 夕 に対して加重加算平均化を行なって新たな画像データを生 成するフ レーム間演算処理部とをさ らに有している、 撮像装 置。
7 . 請求項 4 において、 前記水平平均化垂直イ ンター レ ース読み出しモー ドと前記水平全画素垂直イ ンターレース読 み出しモー ドのときに、 前記撮像デバイスから出力される画 像信号の複数のフ レームの画像データを一時的に記憶する複 数の記憶部と、 前記記憶部に記憶された複数のフ レームの画 像データに対してフ レーム間補間を行なう フ レーム間補間演 算処理部と、 前記フ レーム間補間演算処理部から出力される 画像信号に対して前記画像変倍率に応じて線形補間によ りサ ィズ変更を行なう線形補間サイズ変更部とをさ らに有してい る、 撮像装置。
8 . 請求項 4 において、 前記間引き読み出 しモー ドのと きに前記撮像デバイスから出力される画像信号に対して歪み 補正を行なう歪み補正部と、 前記間引き読み出しモー ドのと きに前記読み出し制御部が前記光電変換素子から読み出す画 像データの範囲 （読み出 し範囲） の基準位置をフ レーム毎に 変更する読み出し位相制御部と、 前記間引き読み出しモー ド のときに前記読み出し位相制御部によ り フ レーム毎に変更さ れる読み出し範囲の基準位置に応じて前記歪み補正部から出 力され補正された画像信号の複数のフ レームに共通する領域 の範囲を選択する画像範囲選択処理部と、 前記画像範囲選択 処理部から出力される画像データまたは前記水平平均化垂直 イ ンター レース読み出しモー ドまたは前記垂直イ ンターレー ス読み出 しモー ドのときに前記撮像デバイスから出力される 画像信号の複数のフ レームの画像データを一時的に記憶する 複数の記憶部と、 前記間引き読み出しモー ドのときに記憶部 に記憶された複数のフ レームの画像データ に対して加重加算 平均化を行なって新たな画像データを生成するフ レー厶間演 算処理部と、 前記水平平均化垂直インター レース読み出しモ - ドまたは前記水平全画素垂直イ ンターレース読み出しモー ドのときに （前記） 記憶部に記憶された複数のフ レームの画 像データ に対してイ ンタ一レース読み出しによ り各々のフ レ —厶で欠落している画素情報を互いに補間するフ レーム間補 間を行なう フ レーム間補間演算処理部と、 前記水平平均化垂 直イ ンターレース読み出しモー ドまたは前記水平全画素垂直 イ ンターレース読み出しモー ドのときに前記フ レーム間補間 演算処理部から出力される画像信号に対して前記画像変倍率 に応じて線形補間によリサイズ変更を行なう線形補間サイズ 変更部と、 前記読み出し方式選択部で選択された読み出し方 式に応じて前記撮像デバイスから出力される画像信号を前記 歪み補正部と前記記憶部のいずれかに選択的に送る第一の切 リ換え器と、 前記記憶部からの画像信号を前記フ レー厶間演 算処理部と前記フ レーム間補間演算処理部のいずれかに選択 的に送る第二の切り換え器とをさ らに有している、 撮像装置。
9 . 請求項 1 において、 前記読み出し方式は間引き読み 出しモー ドを含み、 前記間引き読み出しモー ドのときに前記 撮像デバイスから出力される画像データに対して歪み補正を 行なう歪み補正部を有している、 撮像装置。
1 0 . 請求項 9 において、 前記撮像デバイスから出力さ れる画像データは複数のフ レームから構成され、 前記間引き 読み出しモー ドのときに、 前記複数のフ レーム毎に間引き読 み出しの規則を異ならせる、 撮像装置。
Ί 1 . 請求項 1 において、 前記読み出し方式は間引き読 み出しモー ドを含み、 前記撮像デバイスから出力される画像 データは複数のフ レームから構成され、 前記間引き読み出し モー ドのときに、 前記複数のフ レーム毎に間引き読み出しの 規則を異ならせる、 撮像装置。
1 2 . 請求項 1 1 において、 前記フ レーム毎に異なる読 み出し規則は、 前記変倍率が一定であるときには、 画素数が 同一である、 撮像装置。
1 3 . 請求項 Ί 〜請求項 1 2 のいずれかひとつにおいて、 前記読み出し方式選択部は、 出力する画像のコ ン トラス 卜 - 解像度 ■ 歪み · 輝度モアレ · 色モア レのうち重視する画質の 要因と画像変倍率とに基づいて前記読み出し方式を選択する、 撮像装置。
Ί 4 . 被写体の画像を出力する撮像装置の画像データの 読み出し制御方法であ り、
出力する画像の変倍率を選択し、
前記選択された画像変倍率に応じて光電変換素子から読み 出す画像データの読み出し方式を選択し、
前記選択された読み出し方式に応じた読み出 し規則に従つ て前記光電変換素子から画像データを読み出す、 画像データ の読み出し制御方法。
1 5 . 請求項 1 4 において、 前記読み出し方式は間引き 読み出しモー ドを含み、 前記間引き読み出しモー ドのときに 前記読み出された画像データ に対して歪み補正を行なう、 画 像データの読み出し制御方法。
1 6 . 請求項 1 5 において、 前記光電変換素子から読み 出す画像データは複数のフ レームから構成され、 前記間引き 読み出しモー ドのときに、 前記複数のフ レーム毎に間引き読 み出しの規則を異ならせる、 画像データの読み出し制御方法 £
1 7 . 請求項 1 4 において、 前記読み出し方式は間引き 読み出しモー ドを含み、 前記光電変換素子から読み出す画像 データは複数のフ レームから構成され、 前記間引き読み出し モー ドのときに、 前記複数のフ レーム毎に間引き読み出 しの 規則を異ならせる、 画像データの読み出し制御方法。
PCT/JP2004/000575 2003-01-29 2004-01-23 撮像装置 WO2004068852A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP04704738A EP1592236A1 (en) 2003-01-29 2004-01-23 Image sensing apparatus
JP2005504684A JP4555775B2 (ja) 2003-01-29 2004-01-23 撮像装置
US11/190,564 US7561195B2 (en) 2003-01-29 2005-07-27 Image sensing apparatus
US12/486,397 US7692701B2 (en) 2003-01-29 2009-06-17 Image sensing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003020717 2003-01-29
JP2003-020717 2003-01-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/190,564 Continuation US7561195B2 (en) 2003-01-29 2005-07-27 Image sensing apparatus

Publications (1)

Publication Number Publication Date
WO2004068852A1 true WO2004068852A1 (ja) 2004-08-12

Family

ID=32820634

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/000575 WO2004068852A1 (ja) 2003-01-29 2004-01-23 撮像装置

Country Status (5)

Country Link
US (2) US7561195B2 (ja)
EP (1) EP1592236A1 (ja)
JP (1) JP4555775B2 (ja)
CN (1) CN100431341C (ja)
WO (1) WO2004068852A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007124295A (ja) * 2005-10-28 2007-05-17 Pentax Corp 撮像手段駆動装置、撮像手段駆動方法、および信号処理装置
EP1897363A2 (en) * 2005-06-27 2008-03-12 Nokia Corporation Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products
JP2008147904A (ja) * 2006-12-08 2008-06-26 Matsushita Electric Ind Co Ltd 信号処理方法および信号処理装置
WO2010150433A1 (ja) * 2009-06-23 2010-12-29 パナソニック株式会社 固体撮像装置、撮像モジュール、及び撮像システム
CN102905057A (zh) * 2011-07-29 2013-01-30 索尼公司 图像处理设备、图像处理方法和程序
JP2014086845A (ja) * 2012-10-23 2014-05-12 Fujitsu Semiconductor Ltd 画像処理装置、撮像装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8040385B2 (en) * 2002-12-02 2011-10-18 Olympus Corporation Image pickup apparatus
WO2005064925A1 (ja) * 2003-12-26 2005-07-14 Olympus Corporation 撮像装置
JP4345757B2 (ja) * 2006-02-22 2009-10-14 セイコーエプソン株式会社 画像データの色の補正
EP2002663A2 (en) * 2006-03-27 2008-12-17 Nxp B.V. Method and arrangement for generating a color video signal
US7944482B2 (en) * 2006-07-28 2011-05-17 Sanyo Electric Co., Ltd. Pixel information readout method and image pickup apparatus
JP5023805B2 (ja) * 2007-05-16 2012-09-12 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5000395B2 (ja) * 2007-06-26 2012-08-15 オリンパス株式会社 撮像表示方法および撮像表示装置
JP5157015B2 (ja) * 2008-02-04 2013-03-06 富士フイルム株式会社 画像処理装置、画像処理方法、撮像装置、撮像方法、およびプログラム
TWI458346B (zh) * 2008-06-10 2014-10-21 Univ Tohoku Solid - state photographic element and its driving method
US8463035B2 (en) * 2009-05-28 2013-06-11 Gentex Corporation Digital image processing for calculating a missing color value
JP5544996B2 (ja) * 2010-04-09 2014-07-09 ソニー株式会社 画像処理装置および方法
CN102263880B (zh) * 2010-05-25 2015-02-11 安凯(广州)微电子技术有限公司 一种图像缩放的方法和装置
US9769430B1 (en) 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
JP5983616B2 (ja) 2011-09-13 2016-09-06 日本電気株式会社 撮像装置、撮像方法及びプログラム
WO2013123133A1 (en) 2012-02-14 2013-08-22 Gentex Corporation High dynamic range imager system
KR20150088139A (ko) * 2014-01-23 2015-07-31 삼성전자주식회사 이미지 센서 및 이를 포함하는 이미지 처리 시스템
US9979905B2 (en) * 2015-11-17 2018-05-22 Microsoft Technology Licensing, Llc. Multimode photosensor
KR102305633B1 (ko) * 2017-03-17 2021-09-28 엘지전자 주식회사 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치
JP2020065193A (ja) * 2018-10-18 2020-04-23 シャープ株式会社 画像形成装置、画像処理方法及び画像処理プログラム
CN112449080B (zh) * 2020-11-06 2022-06-28 广东欧谱曼迪科技有限公司 动态插值的fpga工程方法、装置、存储介质和终端
US11863884B2 (en) * 2021-09-16 2024-01-02 Qualcomm Incorporated Systems and methods for controlling an image sensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308076A (ja) * 1999-04-26 2000-11-02 Hitachi Ltd 撮像装置
JP2002354344A (ja) * 2001-05-23 2002-12-06 Ricoh Co Ltd 撮像装置
JP2002354292A (ja) * 2001-05-30 2002-12-06 Fuji Photo Film Co Ltd 画像処理装置およびその画像処理方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3771954B2 (ja) * 1995-08-04 2006-05-10 ソニー株式会社 画像表示制御装置および方法
JP4229481B2 (ja) * 1996-07-31 2009-02-25 オリンパス株式会社 撮像表示システム
JP4161384B2 (ja) * 1997-04-30 2008-10-08 ソニー株式会社 固体撮像装置、これを用いたカメラおよび固体撮像装置の駆動方法
JP3398081B2 (ja) * 1999-03-01 2003-04-21 三洋電機株式会社 ディジタルカメラ
JP3901878B2 (ja) 1999-07-02 2007-04-04 株式会社リコー 画像処理装置
US20020135683A1 (en) * 1999-12-20 2002-09-26 Hideo Tamama Digital still camera system and method
JP4136255B2 (ja) 2000-02-29 2008-08-20 キヤノン株式会社 画像処理装置及びその方法
JP4518616B2 (ja) * 2000-04-13 2010-08-04 ソニー株式会社 固体撮像装置およびその駆動方法並びにカメラシステム
JP3905308B2 (ja) * 2000-12-25 2007-04-18 富士フイルム株式会社 ディジタル・カメラおよびその動作制御方法
JP4192428B2 (ja) * 2001-01-09 2008-12-10 ソニー株式会社 固体撮像装置及び画像入力装置
JP2002320235A (ja) * 2001-04-19 2002-10-31 Fujitsu Ltd 空間解像度の低下を抑えて縮小画像信号を生成するｃｍｏｓイメージセンサ
JP2003018446A (ja) * 2001-06-29 2003-01-17 Konica Corp 撮像素子及び撮像素子を用いたデジタルスチルカメラ
JP4717294B2 (ja) * 2001-09-20 2011-07-06 キヤノン株式会社 画像処理方法、撮像装置およびプログラム
JP3968122B2 (ja) * 2001-12-13 2007-08-29 イーストマン コダック カンパニー 撮像装置
JP4142340B2 (ja) * 2002-05-22 2008-09-03 オリンパス株式会社 撮像装置
JP4285948B2 (ja) * 2002-06-18 2009-06-24 オリンパス株式会社 撮像装置
JP2004187145A (ja) * 2002-12-05 2004-07-02 Minolta Co Ltd デジタルカメラ
JP2004194248A (ja) * 2002-12-13 2004-07-08 Chinon Ind Inc 撮像素子及び撮像装置
US7170529B2 (en) * 2003-10-24 2007-01-30 Sigmatel, Inc. Image processing
JP3868446B2 (ja) * 2004-10-29 2007-01-17 オリンパス株式会社 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308076A (ja) * 1999-04-26 2000-11-02 Hitachi Ltd 撮像装置
JP2002354344A (ja) * 2001-05-23 2002-12-06 Ricoh Co Ltd 撮像装置
JP2002354292A (ja) * 2001-05-30 2002-12-06 Fuji Photo Film Co Ltd 画像処理装置およびその画像処理方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1897363A2 (en) * 2005-06-27 2008-03-12 Nokia Corporation Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products
EP1897363A4 (en) * 2005-06-27 2011-03-09 Nokia Corp DIGITAL CAMERAS AND METHODS FOR IMPLEMENTING DIGITAL ZOOMS IN DIGITAL CAMERAS, AND CORRESPONDING PROGRAMS
US8106956B2 (en) 2005-06-27 2012-01-31 Nokia Corporation Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products
US8605172B2 (en) 2005-06-27 2013-12-10 Nokia Corporation Digital camera device and method for implementing a digital zoom having a quality factor as an input for a JPEG encoder in digital camera devices
JP2007124295A (ja) * 2005-10-28 2007-05-17 Pentax Corp 撮像手段駆動装置、撮像手段駆動方法、および信号処理装置
JP2008147904A (ja) * 2006-12-08 2008-06-26 Matsushita Electric Ind Co Ltd 信号処理方法および信号処理装置
WO2010150433A1 (ja) * 2009-06-23 2010-12-29 パナソニック株式会社 固体撮像装置、撮像モジュール、及び撮像システム
CN102905057A (zh) * 2011-07-29 2013-01-30 索尼公司 图像处理设备、图像处理方法和程序
JP2014086845A (ja) * 2012-10-23 2014-05-12 Fujitsu Semiconductor Ltd 画像処理装置、撮像装置

Also Published As

Publication number Publication date
US20090251577A1 (en) 2009-10-08
CN1745575A (zh) 2006-03-08
JP4555775B2 (ja) 2010-10-06
EP1592236A1 (en) 2005-11-02
CN100431341C (zh) 2008-11-05
US7692701B2 (en) 2010-04-06
US7561195B2 (en) 2009-07-14
JPWO2004068852A1 (ja) 2006-05-25
US20050270391A1 (en) 2005-12-08

Similar Documents

Publication Publication Date Title
WO2004068852A1 (ja) 撮像装置
US7800681B2 (en) Image pickup device capturing a plurality of images that have different viewing angles
JP3429061B2 (ja) 電子スチルカメラ
JP4596986B2 (ja) 画像撮像装置
US8040385B2 (en) Image pickup apparatus
JP5108802B2 (ja) 撮像装置及びそのスルー画像表示方法
US20070206207A1 (en) Imaging apparatus
JP4596988B2 (ja) 画像撮像装置
JP2003338988A (ja) 撮像装置
JP4445870B2 (ja) 撮像装置
JP4593820B2 (ja) 撮像装置、画像処理装置及び画像処理方法
JP4596987B2 (ja) 画像撮像装置
JP4285948B2 (ja) 撮像装置
JP2011223146A (ja) 電子カメラ
JP2004260265A (ja) 画素の折り返し機能を有する画素抽出回路、および撮像装置
JP5202225B2 (ja) 撮像装置およびその制御方法
JP2002359856A (ja) データ変換回路およびデジタル・カメラ
JP3651477B2 (ja) 画像信号処理装置
JP2006303693A (ja) 縮小画像の生成機能を備える電子カメラ
JP3529590B2 (ja) 撮像システム
JP4402657B2 (ja) 撮像装置
JP2006054583A (ja) 撮像装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005504684

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11190564

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 20048031555

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2004704738

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2004704738

Country of ref document: EP