WO2003098941A1 - Systeme de traitement d'image, procede de traitement d'image, support d'enregistrement, et programme associe - Google Patents

Systeme de traitement d'image, procede de traitement d'image, support d'enregistrement, et programme associe Download PDF

Info

Publication number
WO2003098941A1
WO2003098941A1 PCT/JP2003/004810 JP0304810W WO03098941A1 WO 2003098941 A1 WO2003098941 A1 WO 2003098941A1 JP 0304810 W JP0304810 W JP 0304810W WO 03098941 A1 WO03098941 A1 WO 03098941A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image
pixels
thinning
unit
Prior art date
Application number
PCT/JP2003/004810
Other languages
English (en)
French (fr)
Inventor
Nobuyuki Sato
Ken Nakajima
Katsuaki Hirota
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP03725588A priority Critical patent/EP1505839B1/en
Priority to KR1020047017843A priority patent/KR100970030B1/ko
Priority to US10/514,366 priority patent/US7826658B2/en
Publication of WO2003098941A1 publication Critical patent/WO2003098941A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Definitions

  • Image processing apparatus image processing method, recording medium, and program
  • the present invention relates to an image processing apparatus, an image processing method, a recording medium, and a program, and particularly to an image processing apparatus, an image processing method, a recording medium, and a program suitable for use in performing a thinning process.
  • the image sensor which is a device that converts light into electrical signals, is used in digital cameras (digital still cameras, digital video cameras, and digital cameras capable of capturing still images and moving images). It has a structure in which fine photodiodes are arranged on the surface. Photodiodes are semiconductors that generate electric charge according to the intensity of the irradiated light.Since they do not have the ability to capture color, it is necessary to capture incident light for each color element in order to capture a color image .
  • a single-chip color image sensor used in a general digital camera or video camera consists of a mosaic of three- or four-color filters placed on top of a photodiode. The code is designed to respond to individual color components.
  • RGB red, green, blue, ie, the three primary colors of light
  • RGB red, green, blue, ie, the three primary colors of light
  • the RBG color filters become mosaic.
  • a camera that is arranged, that is, a camera that captures images using a single-chip color imaging element that uses one imaging element is referred to as a single-chip camera.
  • CCD Charge Coupled Device
  • CMOS Complementary Metal-Oxide Semiconductor
  • a CCD image sensor consists of a photodiode and a circuit that sequentially extracts and transfers the charges generated by the photodiode.
  • the specific structure of a CCD image sensor is to arrange photodiodes and electrodes on a silicon substrate like a grid (this number is the number of pixels of the CCD).
  • the individual photodiodes When an optical image is formed through a lens, the individual photodiodes generate charges according to the intensity of the received light. The accumulated charge moves to the next electrode just like being pushed out by applying a voltage to the electrodes alternately, and is finally output one by one.
  • By amplifying this and converting it to digital values two-dimensional image data is generated. In the case of a moving image, this process is repeated endlessly to generate a moving image as a continuous still image.
  • a CMOS sensor is an image sensor that uses a CMOS switch to read out charges instead of a CCD.
  • Each pixel is composed of a single photodiode and a switch that uses a CMOS transistor.
  • a switch is attached to each of the photodiodes arranged in a lattice, and the switches are switched one after another to read out the charges one pixel at a time. From such a mechanism, for example, smear peculiar to CCD does not occur in principle, low power consumption (about 1/10 of CCD), can be driven by a single low voltage, and Since the same production line can be used and it can be configured on a single chip together with peripheral functions, various advantages such as miniaturization and low price can be expected.
  • it is necessary to take measures against noise caused by switching noise.
  • the number of sensors of a solid-state image sensor was almost 1,000,000 pixels or less in a digital video camera in most cases.
  • thinning method shown in Fig. 1 or Fig. 2 cannot not only perform thinning out at equal intervals, but also does not use all the pixels, so it is folded back to the displayed or recorded moving image. Problems occur.
  • the present invention has been made in view of such a situation, and it is an object of the present invention to realize a thinning process capable of obtaining a good thinned image without aliasing.
  • An image processing apparatus includes: an acquisition unit configured to acquire an image signal including a plurality of color components and having 2 ⁇ 2 color coding; and, of the image signals acquired by the acquisition unit, a target pixel and a vicinity of the target pixel. (2 n _ l) pixels with pixels of the same color component.
  • the filter means that calculates the average value of the values and sets the pixel value of the pixel of interest to the pixel value, and the pixel that sets the pixel value to the average value calculated by the filter means, the thinning rate of 1Z (2 n-l) And a thinning means for thinning out the image.
  • the filter means can calculate the average value using the pixel values of all the pixels of the image signal of one frame.
  • the filter means selects pixels of the same color component that are arranged in the horizontal direction with respect to the pixel of interest, calculates the average value of the pixel values of (2n ⁇ l) pixels, It is possible to make the pixel value of the elementary value.
  • the filter means selects pixels of the same color component arranged in the vertical direction with respect to the target pixel, calculates the average of the pixel values of (2 n ⁇ 1) pixels, and calculates the target image. It is possible to make the pixel value of the elementary value.
  • the filter means selects pixels of the same color component within a predetermined range in the horizontal direction and the vertical direction with respect to the pixel of interest, and calculates the (2 n — l) pixels ⁇ the direct addition average value Can be calculated to be the pixel value of the pixel of interest.
  • the filter means selects pixels of the same color component in order from a pixel located at a position close to the pixel of interest with respect to the pixel of interest of at least one of the plurality of color components.
  • An average value of the pixel values of 2 n ⁇ l) pixels can be calculated and used as the pixel value of the pixel of interest.
  • the filter means selects pixels of the same color component in order from the pixel located at a position close to the pixel of interest with respect to the pixels of interest of all the color components of the plurality of color components. -1)
  • the average value of the pixel values of the pixels can be calculated and used as the pixel value of the target pixel.
  • the acquisition means may further include an imaging means for imaging the image signal.
  • the imaging means can be constituted by CMOS IC.
  • the imaging means, the filter means, and the thinning means can be constituted by the same CMOS IC. Stripped 10
  • the display device may further include a display unit that displays an image corresponding to the image signal obtained by the obtaining unit, and when the image displayed by the display unit is a moving image, the display unit obtains the moving image.
  • the image signal is processed by the filter means and the thinning means, and can be displayed by the display means. If the image displayed by the display means is a still image, the image signal is acquired by the acquisition means. The image signal can be displayed by the display means without being processed by the filter means and the thinning means.
  • the image processing apparatus may further include a recording unit that records the image signal acquired by the acquisition unit, and when the image signal recorded by the recording unit is a signal corresponding to a moving image, the image acquired by the acquisition unit.
  • the signal can be processed by the filter means and the thinning-out means and recorded by the recording means. If the image signal recorded by the recording means is a signal corresponding to a still image, the acquisition means The image signal obtained by the step can be recorded by the recording means without being processed by the filter means and the thinning means.
  • An output unit for outputting the image signal obtained by the obtaining unit may be further provided.
  • the image signal output by the output unit is a signal corresponding to a moving image
  • the image obtained by the obtaining unit is output.
  • the signal can be processed by the filter means and the thinning means and output by the output means. If the image signal output by the output means is a signal corresponding to a still image, the acquisition means
  • the acquired image signal can be output by the output unit without being processed by the filter unit and the thinning unit.
  • An image processing method includes: an acquisition control step for controlling the acquisition of an image signal including a plurality of color components and having 2 ⁇ 2 color coding; and an image signal whose acquisition is controlled by the processing of the acquisition control step.
  • a filter operation step of calculating an averaging value of (2 n ⁇ l) pixel values of the pixel of interest and pixels of the same color component in the vicinity of the pixel of interest and setting the pixel value of the pixel of interest; Calculated by step processing
  • the program recorded on the recording medium of the present invention includes an acquisition control step of controlling acquisition of an image signal having a plurality of color components and having 2 ⁇ 2 color coding, and the acquisition is controlled by the processing of the acquisition control step.
  • the acquisition control step Of the target pixel and the pixel of the same color component in the vicinity of the target pixel, calculate the average value of (2n ⁇ l) pixel values, and calculate the pixel value of the target pixel.
  • the program according to the present invention includes: an acquisition control step for controlling acquisition of an image signal having a plurality of color components and having 2 ⁇ 2 color coding; and an image signal of which acquisition is controlled by the processing of the acquisition control step. Calculating a sum of (2n ⁇ l) pixel values of the pixel of interest and a pixel of the same color component in the vicinity of the pixel of interest, and calculating the pixel value of the pixel of interest; And a thinning step of thinning pixels having a pixel value with the average value calculated by the processing of (1) at a thinning rate of 1Z (2 n -1).
  • an image signal including a plurality of color components and having 2 ⁇ 2 color coding is acquired, and among the acquired image signals, a pixel of interest and The average value of the (2 n-1) pixel values of the pixels of the same color component near the pixel of interest is calculated, the pixel value of the pixel of interest is calculated, and the calculated average pixel value is set as the pixel value. Is decimated at a decimation rate of 1 / (2 n-1).
  • FIG. 1 is a diagram illustrating the conventional vertical 1Z8 thinning.
  • FIG. 2 is a diagram for explaining conventional vertical 2/12 thinning.
  • FIG. 3 is a block diagram showing a configuration of a video camera to which the present invention is applied.
  • FIG. 4 is a block diagram showing a more detailed configuration of the thinning-out processing unit in FIG.
  • FIG. 5 is a diagram illustrating a Bayer arrangement.
  • FIG. 6 is a diagram illustrating a process executed by the thinning-out processing unit in FIG.
  • FIG. 7 is a diagram illustrating a band of an image input to the decimation processing unit in FIG. 4.
  • FIG. 8 is a diagram illustrating a band of an image filtered by the decimation processing unit in FIG.
  • FIG. 9 is a diagram illustrating a band of an image output from the thinning-out processing unit in FIG.
  • FIG. 10 is a block diagram showing a different configuration of the thinning processing unit.
  • FIG. 11 is a diagram illustrating a process executed by the thinning-out processing unit in FIG. 10.
  • FIG. 12 is a diagram illustrating a band of an image filtered by the thinning-out processing unit in FIG. 10.
  • FIG. 13 is a diagram illustrating a band of an image output from the thinning-out processing unit in FIG. 10.
  • FIG. 14 is a block diagram showing a different configuration of the thinning processing unit.
  • FIG. 15 is a diagram illustrating the processing executed by the thinning-out processing unit in FIG.
  • FIG. 16 is a block diagram showing a different configuration of the thinning processing unit.
  • FIG. 17 is a diagram for explaining an image signal input to the thinning-out processing unit in FIG.
  • FIG. 18 is a diagram for describing processing executed by the thinning-out processing unit in FIG.
  • FIG. 19 is a diagram for explaining an image signal output from the thinning-out processing unit in FIG.
  • FIG. 20 is a diagram for explaining a different example of the processing executed by the thinning-out processing unit in FIG. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 20 is a diagram for explaining a different example of the processing executed by the thinning-out processing unit in FIG. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 3 is a block diagram showing a configuration of a digital camera to which the present invention is applied.
  • the operation input unit 11 includes, for example, a button, a key, a jog dial, and the like, and is used by the user to input a still image, to start and stop recording a moving image, or to perform an operation input for image adjustment such as exposure and focus adjustment. Receive.
  • the control unit 12 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory), and controls the operation of the digital still camera 1. Generates control signals to control the imaging unit 13, thinning processing unit 14, camera signal processing unit 15, and drive 18 based on the user operation input from 1 and outputs them to each unit I do.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the imaging unit 13 includes, for example, an optical lens, a driving unit that drives the optical lens, an imaging device such as a CCD sensor or a CMOS sensor, and an analog electric signal acquired by the imaging device as a digital signal. It is composed of an A / D converter and the like, and captures a still image or a moving image under the control of the controller 12.
  • the decimation processing unit 14 performs decimation processing on the image signal input from the imaging unit 13 as necessary under the control of the control unit 12.
  • the imaging unit 13 and the decimation processing unit 14 may be configured as different processing blocks, or may be configured as the same chip (for example, the imaging unit 13 and the decimation processing unit 14). May be configured with a single CMOS IC).
  • the camera signal processing section 15 performs, for example, y processing, white balance, demosaicing, and the like on the input image data under the control of the control section 12.
  • the display unit 16 is composed of, for example, a liquid crystal panel, and displays input image data.
  • the display unit 16 functions as a finder for confirming an image to be captured or displays a captured still image or a recorded moving image according to a user operation input from the operation input unit 11. Things.
  • Output section 17 is wired, Or wirelessly connected to another device or network, and outputs captured still images or recorded moving images.
  • a magnetic disk 21, an optical disk 22, a magneto-optical disk 23, a semiconductor memory 24, or the like is appropriately mounted on the drive 18, and the image signal supplied from the camera signal processing unit 15 is transferred to the magnetic disk 21.
  • the optical disk 22, the magneto-optical disk 23, or the semiconductor memory 24, etc. is output and recorded, or the magnetic disk 21, the optical disk 22, the magneto-optical disk 23, or the semiconductor memory 24, is recorded.
  • the displayed still image data or moving image data is output to the display unit 16 for display or output from the output unit 17 to another device.
  • the drive 18 may be configured to be able to mount a magnetic tape. Further, by providing a recording medium such as a semiconductor memory or a hard disk in addition to the drive 18 inside the digital camera 1, the captured image data can be stored inside the digital camera 1. You may be able to do it.
  • the program read from the recording medium such as the magnetic disk 21, the optical disk 22, the magneto-optical disk 23, or the semiconductor memory 24 mounted on the drive 18 is controlled by the control unit 1 as necessary. Supplied to 2 and installed.
  • the control unit 12 controls the imaging unit 13 to continuously acquire image data and output it to the thinning processing unit 14.
  • the thinning-out processing section 14 executes the thinning-out processing under the control of the control section 12 and outputs the thinned-out image data to the camera signal processing section 15. Details of the thinning process will be described later.
  • the camera signal processing unit 15 performs predetermined processing on the thinned image data supplied from the thinning processing unit 14 and outputs the processed data to the display unit 16 for display. By performing the thinning-out, the time required for reading the image can be reduced, so that a moving image that moves smoothly can be displayed on the display unit 16.
  • the control unit 12 controls the imaging unit 13 to Then, the image data for one frame is acquired and output to the thinning processing unit 14.
  • the thinning processing unit 14 outputs image data composed of all unthinned pixels to the camera signal processing unit 15 without executing the thinning processing.
  • the camera signal processing unit 15 performs a predetermined process on the image data for one frame that has been supplied from the decimation processing unit 14 and that has not been decimated, and outputs the same to the display unit 16 for display. Output and record on the specified recording medium mounted on drive 18.
  • the control unit 12 controls the imaging unit 13 to Then, the image data is continuously obtained and output to the thinning processing unit 14.
  • the thinning processing unit 14 performs the thinning process according to the control of the control unit 12 and outputs the thinned image data to the camera signal processing unit 15.
  • the camera signal processing unit 15 performs predetermined processing on the thinned image data supplied from the thinning processing unit 14 and outputs the processed data to the display unit 16 for display. Output to a specified recording medium for recording.
  • the time required for reading the image can be shortened, so that the moving image can be recorded on a predetermined recording medium mounted on the drive 18.
  • the user operates the operation input unit 11 so that the still image data or the moving image data recorded on a predetermined recording medium mounted on the drive 18 is operated.
  • the data can be output to the display unit 16 for display, or output from the output unit 17 to another device.
  • the digital camera 1 may further include a microphone for acquiring audio data, an audio data processing unit for processing the acquired audio data, a speed for outputting the audio data, and the like.
  • FIG. 4 is a block diagram showing a more detailed configuration of the thinning processing unit 14.
  • the horizontal component low-pass filter 31 applies a filter of (1, 0, 1, 0, 1) / 3 in the horizontal direction to the input image signal.
  • the horizontal 1 Z 3 thinning processing unit 32 performs resampling (thinning) every three pixels in the horizontal direction.
  • the first line has green and red color filters
  • the second line has blue and green color filters.
  • Fig. 6 explains filtering and resampling when coding is performed in the G-array (G (green) checkerboard array).
  • a pixel corresponding to the position of the green color filter (hereinafter referred to as a green pixel) and a pixel corresponding to the position of the red color filter
  • red pixels are alternately arranged one pixel at a time.
  • the horizontal component low-pass filter 31 uses one green pixel as the target pixel and applies a filter of (1, 0, 1, 0, 1) / 3, it corresponds to three green pixels including the target pixel
  • the part corresponding to the red pixel is multiplied by 1
  • the part corresponding to the red pixel is multiplied by 0, and the sum of those pixel values is divided by 3, so that the green pixel that is the target pixel and the pixel adjacent to that pixel
  • a simple average with the green pixel to be calculated is calculated.
  • the horizontal component low-pass filter 3 1 force If one red pixel is taken as the pixel of interest and a filter of (1, 0, 1, 0, 1) / 3 is applied, three red pixels including the pixel of interest Is multiplied by 1, the portion corresponding to the green pixel is multiplied by 0, and the sum of those pixel values is divided by 3, so that the red pixel that is the pixel of interest and A simple average of the red pixel adjacent to the pixel is calculated. Similarly, the green pixels and the pixels corresponding to the positions of the blue color filters (hereinafter, referred to as blue pixels) on the second line are also filtered by the horizontal component low-pass filter 31. You.
  • each pixel is thinned out for every three pixels of the horizontal component, so that finally every three pixels indicated by the arrow in FIG.
  • a pixel as a target pixel a thinned pixel group composed of pixels obtained by calculating a simple average value of pixels of the same color adjacent to the pixel is generated.
  • filtering is performed when the green pixel is the target pixel, when the red pixel is the target pixel, and when the blue pixel is the target pixel and when the green pixel is the target pixel.
  • the illustrated pixels are shown separately in the upper stage and the lower stage, respectively, but the horizontal component low-pass filter 31 can simultaneously execute the processing of the same line.
  • FIG. 7 is a diagram illustrating a band of an image before being input to the thinning processing unit 14.
  • the Nyquist limit frequency f n in the pre-decimated image is / of the sampling frequency f s of the pre-decimated image.
  • FIG. 8 is a diagram showing a band after a filter (1, 0, 1, 0, 1) Z 3 has been applied to the image before thinning in the horizontal component low-pass filter 31.
  • FIG. 9 is a diagram showing bands after the horizontal 1/3 thinning-out processing section 32 has been thinned out.
  • the Nyquist limit frequency fn and the sampling frequency fs ′ are both appropriately restricted compared to the image before being input to the decimation processing unit 14 described with reference to FIG. Furthermore, these sampling points are equally spaced.
  • a thinned image is generated by using only some pixels without using most of the pixels. Filter processing is performed using all pixels, Since the thinning image is generated by performing the thinning process, it is possible to obtain a thinned image with no image phase shift and with less aliasing.
  • the horizontal component low-pass filter 31 applies a filter (1, 0, 1, 0, 1) Z3 to the image before thinning, and performs horizontal 13 thinning processing.
  • Part 3 2 it was explained that it was decimated to 1 Z 3, but a trap point is inserted at the sampling frequency fs ′ after decimation, and the filter is appropriately band-limited at the Nyquist limit frequency fn ′.
  • any filter may be used as long as there is no image phase shift after thinning.
  • a thinning processing unit 41 shown in FIG. 10 may be provided instead of the thinning processing unit 14.
  • the horizontal component low-pass filter 51 applies a filter (1, 0, 1, 0, 1, 0, 1, 0, 1) Z5 in the horizontal direction to the input image signal.
  • the horizontal 1/5 thinning-out processing unit 52 performs resampling (thinning) every 5 pixels in the horizontal direction.
  • the horizontal component low-pass filter 51 sets one green pixel as a target pixel and applies a finolator (1, 0, 1, 0, 1, 0, 1, 0, 1) Z5.
  • a finolator (1, 0, 1, 0, 1, 0, 1, 0, 1) Z5.
  • the part corresponding to the five green pixels including the pixel of interest is multiplied by 1
  • the part corresponding to the red pixel is multiplied by 0, and the sum of those pixel values is divided by 5.
  • the simple average of the green pixel serving as the target pixel and the green pixel adjacent to the pixel is calculated.
  • the horizontal component low-pass filter 51 applies a filter of (1, 0, 1, 0, 1, 0, 1, 0, 1) Z5 with one red pixel as a pixel of interest
  • the part corresponding to the five red pixels including the pixel is multiplied by 1 and the part corresponding to the green pixel is multiplied by 0, and the sum of those pixel values is divided by 5, so that the target pixel and A simple average of the red pixel and its neighboring red pixel is calculated.
  • the green pixel and the blue pixel in the second line are also filtered by the horizontal component low-pass filter 51.
  • each pixel is thinned out every 5 pixels of the horizontal component, so that finally every 5 pixels indicated by the arrow in the figure of FIG.
  • a thinned-out pixel group composed of pixels obtained by calculating a simple average value of pixels of the same color adjacent to the pixel is generated.
  • Fig. 11 filtering is performed when the green pixel is the target pixel, when the red pixel is the target pixel, and when the blue pixel is the target pixel and when the green pixel is the target pixel.
  • the extracted pixels are shown separately in the upper stage and the lower stage, respectively. However, the thinning-out processing section 41 can simultaneously execute the processing of the same line.
  • FIG. 12 shows the horizontal component low-pass filter 51, after filtering the image before decimation (1, 0, 1, 0, 1, 0, 1, 0, 1) / 5.
  • FIG. 13 is a diagram illustrating bands
  • FIG. 13 is a diagram illustrating bands after the horizontal 1/5 thinning-out processing section 52 has performed thinning processing.
  • the processing of the thinning-out processing section 41 performs the filtering processing using all the pixels, and performs the thinning-out processing at equal intervals. It is possible to obtain a thinned image with few aliasing.
  • thinning is performed by averaging the pixels of the same color (2 n-l) around the pixel of interest.
  • a trap point can be inserted at the sampling frequency fs 'after the thinning, and the thinning process can be performed at the Nyquist limit frequency fn' with appropriate band limitation and without any image phase shift after the thinning.
  • a thinned image is generated using all the pixels, so that a thinned image with few aliasing can be obtained.
  • Such a thinning process is performed, for example, by providing the thinning processing unit 61 shown in FIG. 14 in place of the thinning processing unit 14 in the digital camera 1 of FIG. It is possible to execute.
  • the delay line 71 is a four-line delay line, and synchronizes five lines of image signals in the vertical direction.
  • the vertical component low-pass filter 72 applies a filter of (1, 0, 1, 0, 1) Z3 in the vertical direction to the input image signal.
  • the vertical 1/3 thinning processing unit 73 performs resampling (thinning) every three pixels in the vertical direction.
  • Component low-pass filter 7 2 Force 1 green pixel on first vertical line
  • the filter of (1, 0, 1, 0, 1) / 3 is applied to the pixel of interest
  • the portion corresponding to the green pixel is multiplied by 1
  • the portion corresponding to the red pixel is multiplied by 0.
  • the simple average of the green pixel serving as the target pixel and the green pixel adjacent to the pixel is calculated.
  • the vertical component low-pass filter 72 applies a filter of (1, 0, 1, 0, 1) Z3 with one red pixel as a target pixel, 1 is added to the portion corresponding to the red pixel.
  • the part corresponding to the green pixel is multiplied by 0, and the sum of the three pixel values including the target pixel is divided by 3, so the red pixel that is the target pixel and the pixel adjacent to that pixel A simple average with the red pixel is calculated.
  • green and blue pixels on the second vertical line are also filtered by the vertical component low-pass filter 72.
  • each pixel is thinned out for every three pixels of the vertical component, so that finally every three pixels indicated by the arrow in the figure of FIG.
  • a thinned pixel group composed of pixels obtained by calculating a simple average value of a pixel as a target pixel and pixels of the same color adjacent to the pixel is generated.
  • filtering is performed when the green pixel is the target pixel, when the red pixel is the target pixel, and when the blue pixel is the target pixel and when the green pixel is the target pixel.
  • the right and left lines are illustrated for each of the extracted pixels, the thinning-out processing unit 61 can simultaneously execute the processing of the same vertical line.
  • a trap point can be inserted at the sampling frequency fs, after thinning, and the band is appropriately limited at the Nyquist limit frequency fn '.
  • a thinned image is generated using all the pixels, so that a thinned image with few aliasing can be obtained.
  • a thinning processing unit 81 shown in FIG. 16 should be provided instead of the thinning processing unit 14.
  • the thinning process can be performed simultaneously in the horizontal and vertical directions.
  • the horizontal / vertical component low-pass filter 91 applies (1, 0, 1, 0, 1) No. 3 in the horizontal direction and (1, 0, 1, 0, 1) Z3 in the vertical direction to the input image signal.
  • this filter has a filter coefficient of (3, 0, 3, 0, 3) Z 9 in the horizontal and vertical directions, and performs the process of averaging nine adjacent pixels of the same color in the horizontal and vertical directions.
  • the horizontal / vertical 1Z3 thinning-out processing unit 92 resamples (thinns out) nine pixels to one pixel every three pixels in the horizontal direction and the vertical direction.
  • the horizontal and vertical component low-pass filter 91 outputs the blue component, as shown in FIG.
  • the pixels of the green and red components are subjected to (3, 0, 3, 0, 3) Z9 filtering in the horizontal and vertical directions, so that each pixel of interest is a pixel other than the corresponding color component Is multiplied by 0, the pixel of the corresponding color component is multiplied by 1, and the sum of the nine pixel values including the pixel of interest is divided by 9.
  • Nine pixels are averaged.
  • n, m a square pixel group (n, m) where the pixel of interest is the center pixel of 5 ⁇ 5 pixels in the horizontal and vertical directions (where n is 1 to 5 and m is 1 (5 to 5)), (1, 1) (1, 3) (1, 5) (3, 1) (3, 3) (that is, the target pixel) (3, 5) (5, 1) ( (5, 3)
  • the nine pixels (5, 5) are added and averaged.However, if the phase position of the pixels after thinning does not change, the shape of the addition process should be changed in any shape. I don't mind 04810
  • the horizontal and vertical component low-pass filter 91 applies pixels of blue component and red component in the horizontal and vertical directions (3, 0, 3, 0, 3) Z9. Filter processing is performed on the green component pixels with a filter coefficient of (1, 2, 3, 2, 1) / 9 in the horizontal and vertical directions. The averaging of pixels may be performed.
  • the green pixel can be calculated as the average of the nine pixels that are closest to.
  • the imaging unit 13 of the digital camera 1 in FIG. Although it is feasible even if the image sensor included in the device is a CCD, the image sensor is more preferably a CMOS than a CCD.
  • the same effect can be obtained even when the thinning processing is performed simultaneously in the horizontal and vertical directions. Even if the thinning rate is other than 1/3, the thinning rate is 1 / (211-1) (however, , N is a positive integer).
  • a trap point can be added to the sampling frequency fs ′ after the thinning, and the Nyquist limit frequency With fn ', it is possible to perform the thinning process in which the band is appropriately limited and the image phase does not shift after the thinning. Also, in the thinning process of the horizontal and vertical components, a thinned image is generated using all the pixels, so that a thinned image with few aliasing can be obtained.
  • the present invention is also applicable to the case where color coding using complementary colors is used.
  • color coding using complementary colors For example, in many complementary color filters, a 2X2 pattern is created using rCMYGj that adds G (green) in addition to CMY (cyan, magenta, and yellow), which are the three primary colors of color. It is needless to say that the present invention is applicable even when a complementary color filter is used.
  • the above-described series of processing can be executed by software.
  • the software is capable of executing various functions by installing the programs that make up the software into a special-purpose hardware computer or various programs. Installed from a recording medium to a personal computer.
  • this recording medium is a magnetic disk 21 (including a flexible disk) and an optical disk 2 on which the program is recorded, which is distributed separately from the computer to provide the user with the program.
  • 2 including CD-ROM (Compact Disk-Read Only Memory), DVD (Digital Versatile Disk)), magneto-optical disk 23 (including MD (Mini-Disk) (trademark)), or semiconductor memory 2 It consists of package media consisting of 4 etc.
  • steps for describing a program to be recorded on a recording medium are not limited to processing performed in chronological order in the order described, but are not necessarily performed in chronological order. Alternatively, it also includes processes that are individually executed.

Description

^ 明細書
画像処理装置、 および画像処理方法、 記録媒体、 並びにプログラム 技術分野
本発明は、 画像処理装置、 および画像処理方法、 記録媒体、 並びにプログラム に関し、 特に、 間引き処理を行う場合に用いて好適な画像処理装置、 および画像 処理方法、 記録媒体、 並びにプログラムに関する。 背景技術
例えば、 デジタルカメラ (デジタルスチルカメラ、 デジタルビデオカメラ、 並 びに、 静止画および動画を撮像可能なデジタルカメラ） に使われている、 光を電 気信号に変換するデバイスである撮像素子は、 チップの表面に、 微細なフォトダ ィオードを並べた構造になっている。 フォトダイオードは、 照射された光の強弱 に応じて電荷を発生する半導体で、 それ自身には色をとらえる能力がないため、 カラー画像を取り込むためには、 入射光を色要素別に取り込む必要がある。 . 一般的なデジタルカメラ、 もしくは、 ビデオカメラに使われている単板式の力 ラー撮像素子は、 フォトダイオードの上に、 3色あるいは 4色のカラーフィルタ をモザイク状に配置し、 個々のフォトダイォードが個別の色要素に反応する仕組 みになっている。 例えば、 R G B (赤、 緑、 青、 すなわち光の 3原色） それぞれ に個別に撮像素子を有する、 すなわち、 三枚の撮像素子を使う 3板式カメラに対 して、 R B Gのカラーフィルタがモザイク状に配置されている、 すなわち、 1枚 の撮像素子を使う単板式のカラー撮像素子を用いて撮像するカメラのことを、 単 板式カメラと称する。
撮像素子には、 例えば、 C C D (Charge Coupled Device) や、 C M O S (Complementary Metal-Oxide Semiconductor：相補型金属酸化膜半導体） セ ンサなどが用いられることが多い。 本来、 C CDとは、 電荷をバケツリレー式に転送する機能を持つ素子全般を指 すが、 現在では、 CCDとは、 一般に、 電荷の読み出しにこの CCDを用いた C CD撮像素子のことをさす場合が多い。 CCDは、 デジタルカメラ、 イメージス キヤナ等の画像入力を行うイメージデバイス全般で使われている。
CCD撮像素子は、 フォトダイオードと、 フォトダイオードが発生した電荷を 次々に取り出して転送する回路から成る。 CCD撮像素子の具体的な構造は、 シ リコン基板上にフォトダイォードと電極を碁盤目のように （この数が CCDの画 素数になる） 配置するものであり、 この碁盤目部分に、 フィルムと同じようにレ ンズを通した光学像が結ばれると 個々のフォトダイオードは、 受光した光の強 弱に応じた電荷を発生する。 蓄積された電荷は、 電極に交互に電圧をかけていく ことによって、 ちょうどポンプで押し出されるように隣の電極に移動し、 最終的 にひとつずつ出力される。 これを増幅したり、 デジタル値に変換することによつ て、 2次元の画像データが生成される。 また、 動画像の場合には、 このプロセス を延々と操り返して、 連続した静止画としての動画像が生成される。
CMO Sセンサとは、 CCDの代わりに、 電荷の読み出しに CMO Sスィッチ を使った撮像素子であり、 各画素が 1つのフォトダイォードと CMO S トランジ スタを使ったスィッチで構成される。 すなわち、 格子状に並んだフォトダイォー ドそれぞれに、 スィッチを取り付けた構造になっており、 このスィッチを次々に 切り替えて、 1画素ずつ電荷を読み出していく。 このような仕組みから、 例えば、 CCD特有のスミアが原理的に発生しないこと、 消費電力が少ない （CCDの 1 /1 0程度） こと、 単一の低電圧で駆動できること、 および、 一般のチップと同 じ製造ラインが使え、 周辺機能とあわせてワンチップで構成することができるの で、 小型低価格化が可能であることなどといった様々なメリットを望むことがで きる。 しかしながら、 CMO Sセンサを撮像素子として実用化するにあたっては、 スィツチングノイズなどに起因する雑音対策が必要である。
固体撮像素子のセンサの数、 すなわち、 撮像される画像の画素数は、 デジタル ビデオカメラでは、 殆どの場合 1 00万画素以下であった。 —方、 デジタルスチ ルカメラにおいては、 近年の半導体技術の向上、 および、 高解像度化のため、 画 素数は、 1 0 0万画素、 2 0 0万画素、 3 0 0万画素と増加する傾向にある。
更に、 近年では、 静止画および動画を撮像可能なデジタルカメラが開発され、 広く普及するようになった。
しかしながら、 撮像される画像の画素数が増加するに従って、 全ての画素を読 み出すためにかかる時間が長くなつてしまう。 静止画と異なり、 動画においては、 画像を読み出す時間が長くなってしまっては、 滑らかな動画像を得ることができ なくなってしまう。
これを解決するため、 解像度を必要としない場合、 画素の一部を間引いて読み 出す方法がある。
従来、 特に撮像素子として C C Dが用いられている場合、 動画像の表示などに おいて、 例えば、 2 X 2で構成された画素 （ここでは、 G r、 r、 B、 G bの 4 画素） において、 図 1に示されるように、 8画素のうち、 2画素のみを間引いて- 他の画素を利用しない方法や、 図 2に示されるように、 1 2画素のうちの 2画素 のみを間引いて、 他の画素を利用しない方法などが利用されていた。
しかしながら、 図 1、 もしくは図 2に示される間引き方法では、 等間隔に間引 きを行うことができないのみならず、 全ての画素を利用していないため、 表示、 もしくは記録される動画像に折り返しが生じてしまうという問題が発生してしま
5。 発明の開示
本発明はこのような状況に鑑みてなされたものであり、 折り返しのない良好な 間引き画像を得ることができる間引き処理を実現することができるようにするも のである。
本発明の画像処理装置は、 複数の色成分からなり、 2 X 2の色コーディングを 有する画像信号を取得する取得手段と、 取得手段により取得された画像信号のう ち、 注目画素と注目画素近傍の同一の色成分の画素との （2 n _ l ) 個分の画素 値の加算平均値を算出し、 注目画素の画素値とするフィルタ手段と、 フィルタ手 段により算出された加算平均値を画素値とする画素を、 1Z (2 n- l) の間引 き率で間引きする間引き手段とを備えることを特徴とする。
フィルタ手段には、 1フレームの画像信号の、 全ての画素の画素値を用いて、 加算平均値を算出させるようにすることができる。
フィルタ手段には、 注目画素に対して、 水平方向に並んでいる同一の色成分の 画素を選択して、 （2 n— l) 個の画素の画素値の加算平均値を算出し、 注目画 素の画素値とさせるようにすることができる。
フィルタ手段には、 注目画素に対して、 垂直方向に並んでいる同一の色成分の 画素を選択して、 （2 n— 1) 個の画素の画素値の加算平均値を算出し、 注目画 素の画素値とさせるようにすることができる。
フィルタ手段には、 注目画素に対して、 水平方向および垂直方向に所定の範囲 内の同一の色成分の画素を選択させて、 （2 n_ l) 個の画素の画素 ί直の加算平 均値を算出し、 注目画素の画素値とさせるようにすることができる。
フィルタ手段には、 複数の色成分のうち、 少なくとも 1つの色成分の注目画素 に対して、 注目画素に近い位置に配置されているものから順番に同一の色成分の 画素を選択させて、 （2 n— l) 個の画素の画素値の加算平均値を算出し、 注目 画素の画素値とさせるようにすることができる。
フィルタ手段には、 複数の色成分の全ての色成分の注目画素に対して、 注目画 素に近い位置に配置されているものから順番に同一の色成分の画素を選択させて、 (2 n- 1) 個の画素の画素値の加算平均値を算出し、 注目画素の画素値とさせ るようにすることができる。
取得手段には、 画像信号を撮像する撮像手段を更に備えさせるようにすること ができる。
撮像手段は、 CMOS I Cで構成させるようにすることができる。
撮像手段、 フィルタ手段、 および間引き手段は、 同一の CMOS I Cで構成 させるようにすることができる。 剥 10
5 取得手段により取得された画像信号に対応する画像を表示する表示手段を更に 備えさせるようにすることができ、 表示手段により表示される画像が動画像であ る場合、 取得手段により取得された画像信号を、 フィルタ手段、 および間引き手 段により処理されて、 表示手段により表示されるようにすることができ、 表示手 段により表示される画像が静止画像である場合、 取得手段により取得された画像 信号を、 フィルタ手段、 および間引き手段により処理されずに、 表示手段により 表示されるようにすることができる。
取得手段により取得された画像信号を記録する記録手段を更に備えさせるよう にすることができ、 記録手段により記録される画像信号が動画像に対応する信号 である場合、 取得手段により取得された画像信号を、 フィルタ手段、 および間引 き手段により処理されて、 記録手段により記録させるようにすることができ、 記 録手段により記録される画像信号が静止画像に対応する信号である場合、 取得手 段により取得された画像信号を、 フィルタ手段、 および間引き手段により処理さ れずに、 記録手段により記録させるようにすることができる。
取得手段により取得された画像信号を出力する出力手段を更に備えさせるよう にすることができ、 出力手段により出力される画像信号が動画像に対応する信号 である場合、 取得手段により取得された画像信号を、 フィルタ手段、 および間引 き手段により処理されて、 出力手段により出力させるようにすることができ、 出力手段により出力される画像信号が静止画像に対応する信号である場合、 取得 手段により取得された画像信号を、 フィルタ手段、 および間引き手段により処理 されずに、 出力手段により出力させるようにすることができる。
本発明の画像処理方法は、 複数の色成分からなり、 2 X 2の色コーディングを 有する画像信号の取得を制御する取得制御ステツプと、 取得制御ステップの処理 により取得が制御された画像信号のうち、 注目画素と注目画素近傍の同一の色成 分の画素との （2 n— l ) 個分の画素値の加算平均値を算出し、 注目画素の画素 値とするフィルタ演算ステップと、 フィルタ演算ステップの処理により算出され た加算平均値を画素値とする画素を、 1/ (2 n- 1) の間引き率で間引きする 間引きステップとを含むことを特徴とする。
本発明の記録媒体に記録されているプログラムは、 複数の色成分からなり、 2 X 2の色コーディングを有する画像信号の取得を制御する取得制御ステップと、 取得制御ステップの処理により取得が制御された画像信号のうち、 注目画素と注 目画素近傍の同一の色成分の画素との （2 n— l) 個分の画素値の加算平均値を 算出し、 注目画素の画素値とするフィルタ演算ステップと、 フィルタ演算ステツ プの処理により算出された加算平均値を画素値とする画素を、 1ノ (2 n- 1) の間引き率で間引きする間引きステップとを含むことを特徴とする。
本発明のプログラムは、 複数の色成分からなり、 2 X 2の色コーディングを有 する画像信号の取得を制御する取得制御ステップと、 取得制御ステップの処理に より取得が制御された画像信号のうち、 注目画素と注目画素近傍の同一の色成分 の画素との （2 n— l) 個分の画素値の加算平均値を算出し、 注目画素の画素値 とするフィルタ演算ステップと、 フィルタ演算ステップの処理により算出された 加算平均値を画素値とする画素を、 1Z ( 2 n - 1 ) の間引き率で間引きする間 引きステップとを含むことを特徴とする。
本発明の画像処理装置および画像処理方法、 並びにプログラムにおいては、 複 数の色成分からなり、 2 X 2の色コーディングを有する画像信号が取得され、 取 得された画像信号のうち、 注目画素と注目画素近傍の同一の色成分の画素との ( 2 n - 1 ) 個分の画素値の加算平均値が算出され、 注目画素の画素値とされ、 算出された加算平均値 画素値とする画素が、 1/ (2 n- 1) の間引き率で間 引きされる。 . 図面の簡単な説明
図 1は、 従来の垂直 1Z8間引きについて説明する図である。
図 2は、 従来の垂直 2/1 2間引きについて説明する図である。
図 3は、 本発明を適応したビデオカメラの構成を示すプロック図である。 JP03/04810
7 図 4は、 図 3の間引き処理部の更に詳細な構成を示すプロック図である。
図 5は、 べィヤー配列を説明する図である。
図 6は、 図 4の間引き処理部が実行する処理について説明する図である。
図 7は、 図 4の間引き処理部に入力する画像の帯域について説明する図である, 図 8は、 図 4の間引き処理部でフィルタリングされた画像の帯域について説明 する図である。
図 9は、 図 4の間引き処理部から出力される画像の帯域について説明する図で ある。
図 1 0は、 間引き処理部の異なる構成を示すブロック図である。
図 1 1は、 図 1 0の間引き処理部が実行する処理について説明する図である。 図 1 2は、 図 1 0の間引き処理部でフィルタリングされた画像の帯域について 説明する図である。
図 1 3は、 図 1 0の間引き処理部から出力される画像の帯域について説明する 図である。
図 1 4は、 間引き処理部の異なる構成を示すプロック図である。
図 1 5は、 図 1 4の間引き処理部が実行する処理について説明する図である。 図 1 6は、 間引き処理部の異なる構成を示すブロック図である。
図 1 7は、 図 1 6の間引き処理部に入力される画像信号を説明するための図で ある。
図 1 8は、 図 1 6の間引き処理部が実行する処理について説明するための図で ある。
図 1 9は、 図 1 6の間引き処理部から出力される画像信号を説明するための図 である。
図 2 0は、 図 1 6の間引き処理部が実行する処理の異なる例について説明する ための図である。 発明を実施するための最良の形態 以下、 図を参照して、 本発明の実施の形態について説明する。
図 3は、 本発明を適用した、 デジタルカメラの構成を示すブロック図である。 操作入力部 1 1は、 例えば、 ポタン、 キー、 ジョグダイヤルなどで構成され、 ユーザにより、 静止画の撮像、 動画の録画開始おょぴ終了、 あるいは、 露光ゃピ ント調節などの画像調整の操作入力を受ける。
制御部 1 2は、 C P U (Central Processing Unit) 、 R O M (Read Only Memory) 、 およぴ R AM (Random Access Memory) で構成され、 デジタノレカメ ラ 1の動作を制御するものであり、 操作入力部 1 1から入力されたユーザの操作 を基に、 撮像部 1 3、 間引き処理部 1 4、 カメラ信号処理部 1 5、 およびドライ プ 1 8を制御するための制御信号を生成して、 各部に出力する。
撮像部 1 3は、 例えば、 光学レンズ、 光学レンズを駆動する駆動部、 C C Dセ ンサゃ C MO Sセンサなどの撮像素子、 および、 これらの撮像素子により取得さ れたアナログの電気信号をデジタル信号に変換する A/D変換部などで構成され、 制御部 1 2の制御に従って、 静止画、 あるいは動画を撮像する。
間引き処理部 1 4は、 制御部 1 2の制御に従って、 撮像部 1 3から入力された 画像信号に対して、 必要に応じて、 間引き処理を行う。
ここで、 撮像部 1 3と間引き処理部 1 4は、 それぞれ異なる処理ブロックとし て構成されるようにしても良いし、 同一のチップとして構成 （例えば、 撮像部 1 3と間引き処理部 1 4とが 1つの C M O S I Cで構成） されるようにしても良 い。
カメラ信号処理部 1 5は、 制御部 1 2の制御に従って、 入力された画像データ に対して、 例えば、 y処理、 ホワイ トバランス、 デモザイクなどの処理を行う。 表示部 1 6は、 例えば、 液晶パネルなどで構成され、 入力された画像データを 表示する。 表示部 1 6は、 操作入力部 1 1から入力されるユーザの操作に従って、 撮像する画像を確認するためのファインダとして機能したり、 撮像された静止画 像、 あるいは録画された動画像を表示するものである。 出力部 1 7は、 有線、 も しくは無線で、 他の装置もしくはネットワークと接続され、 撮像された静止画像、 あるいは録画された動画像を出力する。
ドライブ 1 8には、 磁気ディスク 2 1、 光ディスク 2 2、 光磁気ディスク 2 3、 あるいは半導体メモリ 2 4などが適宜装着され、 カメラ信号処理部 1 5から供給 された画像信号を、 磁気ディスク 2 1、 光ディスク 2 2、 光磁気ディスク 2 3、 あるいは半導体メモリ 2 4などに出力して記録させたり、 磁気ディスク 2 1、 光 ディスク 2 2、 光磁気ディスク 2 3、 あるいは半導体メモリ 2 4などに記録され ている静止画像データ、 もしくは動画像データを、 表示部 1 6に出力させて表示 させたり、 出力部 1 7から他の装置に出力させる。
また、 ドライブ 1 8には、 磁気テープを装着することができるようにしても良 い。 更に、 ドライブ 1 8以外に、 例えば、 半導体メモリやハードディスクなどの 記録媒体を、 デジタルカメラ 1の内部に設けるようにすることにより、 撮像され た画像データを、 デジタルカメラ 1の内部に記憶することができるようにしても 良い。
また、 ドライブ 1 8に装着されている、 磁気ディスク 2 1、 光ディスク 2 2、 光磁気ディスク 2 3、 あるいは半導体メモリ 2 4などの記録媒体から読み出され たプログラムは、 必要に応じて制御部 1 2に供給されて、 インス トールされる。 ユーザが、 操作入力部 1 1を用いて、 撮像部 1 3により撮像可能な画像を表示 部 1 6に表示させるように操作している場合 （すなわち、 表示部 1 6をファイン ダとして利用している場合） 、 制御部 1 2は、 撮像部 1 3を制御して、 連続して 画像データを取得して、 間引き処理部 1 4に出力させる。 間引き処理部 1 4は、 制御部 1 2の制御に従って、 間引き処理を実行し、 間引かれた画像データをカメ ラ信号処理部 1 5に出力する。 間引き処理の詳細については後述する。 カメラ信 号処理部 1 5は、 間引き処理部 1 4から供給された、 間引かれた画像データに所 定の処理を施して、 表示部 1 6に出力して表示させる。 間引きが行われることにより、 画像を読み出すためにかかる時間を短縮するこ とができるため、 表示部 1 6に滑らかに動く動画像を表示させるようにすること ができる。
ユーザが、 表示部 1 6に表示されている画像を参照して、 操作入力部 1 1を用 いて、 静止画像の撮像を指令した場合、 制御部 1 2は、 撮像部 1 3を制御して、 1フレーム分の画像データを取得して、 間引き処理部 1 4に出力させる。 間引き 処理部 1 4は、 制御部 1 2の制御に従って、 間引き処理を実行せずに、 間引かれ ていない全ての画素から構成される画像データをカメラ信号処理部 1 5に出力す る。 カメラ信号処理部 1 5は、 間引き処理部 1 4から供給された、 間引かれてい ない、 1フレーム分の画像データに所定の処理を施して、 表示部 1 6に出力して 表示させるとともに、 ドライブ 1 8に装着されている所定の記録媒体に出力して 記録させる。
間引きが行われないことにより、 高解像度の画像がドライブ 1 8に装着されて いる所定の記録媒体に記録される。
ユーザが、 表示部 1 6に表示されている画像を参照して、 操作入力部 1 1を用 いて、 動画像の撮像を指令した場合、 制御部 1 2は、 撮像部 1 3を制御して、 連 続して画像データを取得して、 間引き処理部 1 4に出力させる。 間引き処理部 1 4は、 制御部 1 2の制御に従って、 間引き処理を実行し、 間引かれた画像データ をカメラ信号処理部 1 5に出力する。 カメラ信号処理部 1 5は、 間引き処理部 1 4から供給された、 間引かれた画像データに所定の処理を施して、 表示部 1 6に 出力して表示させるとともに、 ドライブ 1 8に装着されている所定の記録媒体に 出力して記録させる。
間引きが行われることにより、 画像を読み出すためにかかる時間を短縮するこ とができるため、 動画像をドライブ 1 8に装着されている所定の記録媒体に記録 することができる。
また、 ユーザは、 操作入力部 1 1を操作することにより、 ドライブ 1 8に装着 されている所定の記録媒体に記録されている静止画像データ、 もしくは動画像デ ータを、 表示部 1 6に出力して表示させたり、 出力部 1 7から他の装置などに出 力させることができる。
デジタルカメラ 1には、 更に、 音声データを取得するためのマイク、 取得され た音声データを処理する音声データ処理部、 および、 音声データを出力するスピ 一力などを備えるようにしても良い。
図 4は、 間引き処理部 1 4の更に詳細な構成を示すプロック図である。
水平成分ローパスフィルタ 3 1は、 入力された画像信号に対して、 水平方向に ( 1、 0、 1、 0、 1 ) / 3というフィルタをかける。 水平 1 Z 3間引き処理部 3 2は、 水平方向に 3画素おきにリサンプリング （間引き） を行う。
例えば、 図 5に示されるように、 第 1のラインに緑と赤のそれぞれのカラーフ ィルタ、 第 2のラインに青と緑のそれぞれのカラーフィルタが配置されている、 いわゆる、 2 X 2のべィヤー配列 ( G (グリーン) 市松配列) でコーディングが 行われる場合のフィルタリングおよびリサンプリングについて、 図 6を用いて説 明する。
第 1のラインでは、 緑のカラーフィルタの配置位置に対応する画素 （以下、 緑 の画素と称するものとする） と、 赤のカラーフィルタの配置位置に対応する画素
(以下、 赤の画素と称するものとする） が 1画素ずつ交互に配置されている。 水 平成分ローパスフィルタ 3 1が、 1つの緑の画素を注目画素として、 （1、 0、 1、 0、 1 ) / 3というフィルタをかけた場合、 注目画素を含む 3つの緑の画素 に対応する部分には 1が乗算され、 赤の画素に対応する部分は 0が乗算されて、 それらの画素値の合計が 3で除算されるので、 注目画素となる緑の画素と、 その 画素に隣接する緑の画素との単純平均が算出される。
—方、 水平成分ローパスフィルタ 3 1力 1つの赤の画素を注目画素として、 ( 1、 0、 1、 0、 1 ) / 3というフィルタをかけた場合、 注目画素を含む 3つ の赤の画素に対応する部分には 1が乗算され、 緑の画素に対応する部分は 0が乗 算されて、 それらの画素値の合計が 3で除算されるので、 注目画素となる赤の画 素と、 その画素に隣接する赤の画素との単純平均が算出される。 同様にして、 第 2のラインにおける緑の画素と、 青のカラーフィルタの配置位 置に対応する画素 （以下、 青の画素と称するものとする） も水平成分ローパスフ ィルタ 3 1によりフィルタ Vングされる。
そして、 水平 1 / 3間引き処理部 3 2において、 それぞれの画素が水平成分の 3画素毎に間引きされるので、 最終的には、 図 6の図中矢印で示されている 3画 素おきの画素を注目画素として、 その画素に隣接する同色の画素との単純平均値 を算出することにより得られる画素で構成される間引き画素群が生成される。 図 6においては、 緑の画素を注目画素とした場合と、 赤の画素を注目画素とし た場合、 および、 青の画素を注目画素とした場合と緑の画素を注目画素とした場 合にフィルタリングされた画素について、 それぞれ、 上段と下段とに分けて図示 しているが、 水平成分ローパスフィルタ 3 1は、 同一のラインの処理を同時に実 行することが可能である。
図 7は、 間引き処理部 1 4に入力される前の画像の帯域を示す図である。 間引 き前の画像におけるナイキストの限界周波数 f nは、 間引き前画像のサンプリン グ周波数 f sの 1 / 2である。
図 8は、 水平成分ローパスフィルタ 3 1において、 間引き前の画像に対して、 ( 1、 0、 1、 0、 1 ) Z 3というフィルタがかけられた後の帯域を示す図であ り、 図 9は、 水平 1 / 3間引き処理部 3 2において、 間引き処理された後の帯域 を示す図である。
図 8および図 9において、 ナイキストの限界周波数 f n， およびサンプリング 周波数 f s ' は、 いずれも図 7を用いて説明した間引き処理部 1 4に入力される 前の画像と比較して、 適切に制限された値となり、 更に、 これらのサンプリング 点は等間隔である。 ' すなわち、 従来の間引き画像の生成方法では、 殆どの画素が用いられることな く、 一部の画素のみを利用して、 間引き画像が生成されていたが、 間引き処理部 1 4の処理によって、 全ての画素を用いてフィルタ処理が実行され、 等間隔に間 引き処理が行われて、 間引き画像が生成されるので、 画像位相のずれがない、 折 り返しの少ない間引き画像を得ることができる。
間引き処理部 1 4においては、 水平成分ローパスフィルタ 3 1において、 間引 き前の画像に対して、 （1、 0、 1、 0、 1 ) Z 3というフィルタがかけられ、 水平 1 3間引き処理部 3 2において、 1 Z 3に間引きされるものとして説明し たが、 間引き後のサンプリング周波数 f s ' にトラップポイントが入り、 ナイキ ストの限界周波数 f n ' で、 適切に帯域制限されるフィルタで、 かつ、 間引き後 に画像位相のずれがないものであれば、 どのようなフィルタが用いられてもかま わない。
例えば、 このような間引き方法は、 間引き率 1 Z 3以外であっても、 間引き率 1 / ( 2 n - 1 ) (ただし、 nは正の整数） である場合において成立する。 例え ば、 図 3のデジタルカメラ 1において、 間引き処理部 1 4に代わって、 図 1 0に 示す間引き処理部 4 1を設けるようにしても良い。
水平成分ローパスフィルタ 5 1は、 入力された画像信号に対して、 水平方向に ( 1、 0、 1 、 0、 1、 0、 1 、 0、 1 ) Z 5というフィルタを力、ける。 水平 1 / 5間引き処理部 5 2は、 水平方向に 5画素おきにリサンプリング （間引き） を 行う。
例えば、 図 5を用いて説明した、 2 X 2のべィヤー配列でコーディングが行わ れる場合のフィルタリングおよびリサンプリングについて、 図 1 1を用いて説明 する。
水平成分ローパスフィルタ 5 1が、 第 1のラインにおいて、 1つの緑の画素を 注目画素として、 （1、 0、 1、 0、 1、 0、 1、 0、 1 ) Z 5というフイノレタ をかけた場合、 注目画素を含む 5つの緑の画素に対応する部分には 1が乗算され、 赤の画素に対応する部分は 0が乗算されて、 それらの画素値の合計が 5で除算さ れるので、 注目画素となる緑の画素と、 その画素に隣接する緑の画素との単純平 均が算出される。 一方、 水平成分ローパスフィルタ 5 1が、 1つの赤の画素を注目画素として、 ( 1、 0、 1、 0、 1、 0、 1、 0、 1 ) Z 5というフィルタをかけた場合、 注 目画素を含む 5つの赤の画素に対応する部分には 1が乗算され、 緑の画素に対応 する部分は 0が乗算されて、 それらの画素値の合計が 5で除算されるので、 注目 画素となる赤の画素と、 その画素に隣接する赤の画素との単純平均が算出される。 同様にして、 第 2のラインにおける緑の画素と、 青の画素も水平成分ローパス フィルタ 5 1によりフィルタリングされる。 そして、 水平 1 Z 5間引き処理部 5 2において、 それぞれの画素が水平成分の 5画素毎に間引きされるので、 最終的 には、 図 1 1の図中矢印で示されている 5画素おきの画素を注目画素として、 そ の画素に隣接する同色の画素との単純平均値を算出することにより得られる画素 で構成される間引き画素群が生成される。
図 1 1においては、 緑の画素を注目画素とした場合と、 赤の画素を注目画素と した場合、 および、 青の画素を注目画素とした場合と緑の画素を注目画素とした 場合にフィルタリングされた画素について、 それぞれ、 上段と下段とに分けて図 示しているが、 間引き処理部 4 1は、 同一のラインの処理を同時に実行すること が可能である。
例えば、 図 7を用いて説明したように、 間引き前の画像におけるナイキス トの 限界周波数 f nが、 間引き前画像のサンプリング周波数 f sの 1 / 2である画像 力 間引き処理部 4 1に入力された場合について、 図 1 2および図 1 3を用いて 説明する。
図 1 2は、 水平成分ローパスフィルタ 5 1において、 間引き前の画像に対して、 ( 1、 0、 1、 0、 1、 0、 1、 0、 1 ) / 5というフィルタがかけられた後の 帯域を示す図であり、 図 1 3は、 水平 1 / 5間引き処理部 5 2において、 間引き 処理された後の帯域を示す図である。
図 1 2および図 1 3に示される、 フィルタがかけられた後の帯域、 および、 間 引き処理された後の帯域においては、 ナイキストの限界周波数 f n， およびサン プリング周波数 f s ' は、 いずれも図 7を用いて説明した間引き処理前の画像と 比較して、 適切に制限された値となり、 更に、 これらのサンプリング点は等間隔 である。
すなわち、 上述した間引き処理部 1 4における場合と同様にして、 間引き処理 部 4 1の処理により、 全ての画素を用いてフィルタ処理が行われて、 等間隔で間 引き処理が行われることにより、 折り返しの少ない間引き画像を得ることができ る。
このようにして、 間引き率 1 Z ( 2 n - 1 ) (ただし、 nは正の整数） におい て、 注目画素の周辺の同色の画素 （2 n— l ) を加算平均して間引きを行うこと により、 間引き後のサンプリング周波数 f s ' にトラップポイントを入れること ができ、 ナイキストの限界周波数 f n ' で、 適切に帯域制限され、 かつ、 間引き 後に画像位相のずれがない間引き処理を行うことができる。 また、 この間引き処 理では、 全ての画素を用いて間引き画像が生成されるので、 折り返しの少ない間 引き画像を得ることができる。
このような間引き処理は、 例えば、 図 3のデジタルカメラ 1において、 間引き 処理部 1 4に代わって、 図 1 4に示す間引き処理部 6 1を設けることにより、 水 平方向のみならず、 垂直方向に実行することが可能である。
ディレイライン 7 1は、 4ライン分のディレイラインであり、 5ラインの画像 信号を、 垂直方向に同時化するものである。 垂直成分ローパスフィルタ 7 2は、 入力された画像信号に対して、 垂直方向に （1、 0、 1、 0、 1 ) Z 3というフ ィルタをかける。 垂直 1 / 3間引き処理部 7 3は、 垂直方向に 3画素おきにリサ ンプリング （間引き） を行う。
例えば、 図 5を用いて説明した、 2 .X 2のべィヤー配列でコーディングが行わ れる場合のフィルタリングおよぴリサンプリングについて、 図 1 5を用いて説明 する。
第 1の垂直ラインでは、 緑の画素と青の画素が 1画素ずつ交互に配置され、 第 2の垂直ラインでは、 赤の画素と緑の画素が、 1画素ずつ交互に配置されている, 垂直成分ローパスフィルタ 7 2力 第 1の垂直ラインにおいて、 1つの緑の画素 を注目画素として、 （1、 0、 1、 0、 1 ) / 3というフィルタをかけた場合、 緑の画素に対応する部分には 1が乗算され、 赤の画素に対応する部分は 0が乗算 されて、 注目画素を含む 3つの画素の画素値の合計が 3で除算されるので、 注目 画素となる緑の画素と、 その画素に隣接する緑の画素との単純平均が算出される, 一方、 垂直成分ローパスフィルタ 7 2が、 1つの赤の画素を注目画素として、 ( 1、 0、 1、 0、 1 ) Z 3というフィルタをかけた場合、 赤の画素に対応する 部分には 1が乗算され、 緑の画素に対応する部分は 0が乗算されて、 注目画素を 含む 3つの画素値の合計が 3で除算されるので、 注目画素となる赤の画素と、 そ の画素に隣接する赤の画素との単純平均が算出される。
同様にして、 第 2の垂直ラインにおける緑の画素と青の画素も、 垂直成分ロー パスフィルタ 7 2によりフィルタリングされる。
そして、 垂直 1ノ3間引き処理部 7 3において、 それぞれの画素が垂直成分の 3画素毎に間引きされるので、 最終的には、 図 1 5の図中矢印で示されている 3 画素おきの画素を注目画素として、 その画素に隣接する同色の画素との単純平均 値を算出することにより得られる画素で構成される間引き画素群が生成される。 図 1 5においては、 緑の画素を注目画素とした場合と赤の画素を注目画素とし た場合、 および、 青の画素を注目画素とした場合と緑の画素を注目画素とした場 合にフィルタリングされた画素について、 それぞれ、 右ラインと左ラインとに分 けて図示しているが、 間引き処理部 6 1は、 同一の垂直ラインの処理を同時に実 行することが可能である。
図 1 4および図 1 5を用いて説明した、 垂直成分の間引き処理においても、 間 引き後のサンプリング周波数 f s， にトラップポイントを入れることができ、 ナ ィキストの限界周波数 f n ' で適切に帯域制限され、 かつ、 間引き後に画像位相 のずれがない間引き処理を行うことができる。 また、 この間引き処理でも、 全て の画素を用いて間引き画像が生成されるので、 折り返しの少ない間引き画像を得 ることができる。 また、 図 3のデジタルカメラ 1において、 撮像部 1 3が、 ブロック単位で画像 の読み出しが可能である場合、 間引き処理部 14に代わって、 図 16に示す間引 き処理部 8 1を設けることにより、 水平垂直同時に間引き処理を行うことができ る。
水平垂直成分ローパスフィルタ 91は、 入力された画像信号に対して、 水平方 向に （1、 0、 1、 0、 1) ノ3、 垂直方向に （1、 0、 1、 0、 1) Z3、 す なわち、 水平垂直方向に （3、 0、 3、 0、 3) Z 9のフィルタ係数を有し、 水 平垂直方向の隣接する同色の 9画素を加算平均する処理を行うフィルタである。 水平垂直 1Z3間引き処理部 92は、 水平方向および垂直方向にそれぞれ 3画素 おき、 すなわち、 9画素を 1画素にリサンプリング （間引き） する。
例えば、 2 X 2のべィヤー配列でコーディングが行われる場合、 図 1 7に示さ れるような入力画素に対して、 水平垂直成分ローパスフィルタ 91は、 図 1 8に 示されるように、 青成分、 緑成分、 赤成分の画素のそれぞれに、 水平垂直方向に (3、 0、 3、 0、 3) Z 9のフィルタ処理を行うので、 それぞれ、 注目画素に 対して、 対応する色成分以外の画素には 0が乗算され、 対応する色成分の画素に は 1が乗算されて、 注目画素を含む 9つの画素値の合計が 9で除算されるので、 注目画素に水平垂直方向に隣接する同色の 9画素が加算平均される。
そして、 水平垂直 1Z3間引き処理部 9 2において、 水平垂直方向の隣接する 9画素が 1画素に間引きされるので、 図 1 9に示されるような間引き画像を得る ことができる。
ここでは、 水平垂直の同色の 3画素において、 注目画素を水平垂直方向の 5 X 5画素の中央の画素とした正方形の画素群 （n， m) (ただし、 nは 1乃至 5、 mは 1乃至 5の値をとる） において、 （1, 1) (1, 3) (1, 5) (3, 1) (3， 3) (すなわち注目画素） （3， 5) (5， 1) (5, 3) (5, 5) の 9つの画素を、 加算平均するようにしているが、 間引き後の画素の位相位 置が変化しなければ、 どのような形状で加算処理を行うようにしてもかまわない 04810
18 例えば、 水平垂直成分ローパスフィルタ 9 1は、 図 2 0に示されるように、 青 成分、 および赤成分の画素には、 水平垂直方向に （3、 0、 3、 0、 3 ) Z 9の フィルタ処理を行い、 緑成分の画素には、 水平垂直方向に （1、 2、 3、 2、 1 ) / 9のフィルタ係数でフィルタ処理を行い、 注目画素に対して、 菱形形状に 隣接する 9画素の加算平均を行うようにしても良い。
このように、 巿松状に配置されている緑成分の画素に対して、 水平垂直方向に ( 1、 2、 3、 2、 1 ) / 9のフィルタを用いて、 菱形形状に隣接する 9画素の 加算平均を行うようにすることにより、 図 1 8を用いて説明した （3、 0、 3、 0、 3 ) Z 9のフィルタ処理を用いる場合と比較して、 緑の画素において、 注目 画素に対して最も隣接する 9画素の加算平均を算出することができる。
このように、 水平垂直方向に同時に間引き処理を行う場合、 特に、 図 2 0を用 いて説明したように、 フィルタ係数が画素によって異なるような場合、 図 3のデ ジタルカメラ 1の撮像部 1 3が有する撮像素子が C C Dであっても実現可能では あるが、 撮像素子は、 C C Dよりも C MO Sのほうが好適である。
なお、 水平垂直方向に同時に間引き処理を行う場合においても、 同様の効果を 奏することができる間引き処理は、 間引き率 1 / 3以外であっても、 間引き率 1 / ( 2 11— 1 ) (ただし、 nは正の整数） において成立する。
図 1 6乃至図 2 0を用いて説明したように、 本発明を適用した水平垂直成分の 間引き処理においても、 間引き後のサンプリング周波数 f s ' にトラップポイン トを入れることができ、 ナイキストの限界周波数 f n ' で、 適切に帯域制限され、 かつ、 間引き後に画像位相のずれがない間引き処理を行うことができる。 また、 この水平垂直成分の間引き処理でも、 全ての画素を用いて間引き画像が生成され るので、 折り返しの少ない間引き画像を得ることができる。
以上説明した処理においては、 加算処理する各色成分の画素範囲が空間的に重 複しているため、 間引き前と間引き後との画像の色コーディングが同一である。 従って、 本発明は、 2 X 2の色コーディングであれば、 どのような色コーディン グを用いた処理にも適用可能である。 PC蕭賺 4810
19 ここでは、 光の 3原色を用いたべィヤー配列が用いられている場合について説 明したが、 例えば、 補色を用いた色コーディングが用いられている場合にも、 本 発明は適用可能である。 例えば、 補色フィルタでは、 色の三原色である CMY (シ アン、 マゼンダ、 イェロー） に加えて G (緑) を加えた rCMYGj で、 2 X 2の パターンを作っているものが多いが、 このような補色フィルタが用いられている 場合にも、 本発明が適用可能であることは言うまでもない。
上述した一連の処理は、 ソフトウェアにより実行することもできる。 そのソフ トウエアは、 そのソフトウェアを構成するプログラムが、 専用のハードウェアに 組み込まれているコンピュータ、 または、 各種のプログラムをインス トールする ことで、 各種の機能を実行することが可能な、 例えば汎用のパーソナルコンビュ ータなどに、 記録媒体からインス トールされる。
この記録媒体は、 図 3に示すように、 コンピュータとは別に、 ユーザにプログ ラムを提供するために配布される、 プログラムが記録されている磁気ディスク 2 1 (フレキシブノレディスクを含む） 、 光ディスク 2 2 (CD-ROM (Compact Di sk - Read Only Memory) , DVD (Digital Versati le Disk) を含む） 、 光磁気ディ スク 2 3 (MD (Mini-Disk) (商標） を含む） 、 もしくは半導体メモリ 2 4な どよりなるパッケージメディアなどにより構成される。
また、 本明細書において、 記録媒体に記録されるプログラムを記述するステツ プは、 記載された順序に沿って時系列的に行われる処理はもちろん、 必ずしも時 系列的に処理されなくとも、 並列的あるいは個別に実行される処理をも含むもの である。 産業上の利用可能性
本発明によれば、 撮像した画像を間引きして表示したり、 記録したり、 出力す ることができる。
また、 本発明によれば、 必要に応じて、 撮像した画像において、 全ての画素を 用いて同色の （2 n— l ) ( nは正の整数） 個の画素を単純平均した後に、 1 / ( 2 n - 1 ) に間引きすることにより、 間引き後に画像位相のずれがなく、 折り 返しの少ない間引き画像を得ることができる。

Claims

請求の範囲
1. 画像を処理する画像処理装置において、
複数の色成分からなり、 2 X 2の色コーディングを有する画像信号を取得する 取得手段と、
前記取得手段により取得された前記画像信号のうち、 注目画素と前記注目画素 近傍の同一の色成分の画素との （2 n— l ) 個分の画素値の加算平均値を算出し、 前記注目画素の画素値とするフィルタ手段と、
前記フィルタ手段により算出された前記加算平均値を画素値とする前記画素を- 1/ (2 n- l ) の間引き率で間引きする間引き手段と
を備えることを特徴とする画像処理装置。
2. 前記フィルタ手段は、 1フレームの前記画像信号の、 全ての前記画素の画 素値を用いて、 前記加算平均値を算出する
ことを特徴とする請求の範囲第 1項に記載の画像処理装置。
3. 前記フィルタ手段は、 前記注目画素に対して、 水平方向に並んでいる同一 の色成分の画素を選択して、 （2 n— 1) 個の画素の画素値の加算平均値を算出 し、 前記注目画素の画素値とする
ことを特徴とする請求の範囲第 1項に記載の画像処理装置。
4. 前記フィルタ手段は、 前記注目画素に対して、 垂直方向に並んでいる同一 の色成分の画素を選択して、 （211— 1) 個の画素の画素値の加算平均値を算出 し、 前記注目画素の画素値とする
ことを特徴とする請求の範囲第 1項に記載の画像処理装置。
5. 前記フィルタ手段は、 前記注目画素に対して、 水平方向および垂直方向に 所定の範囲内の同一の色成分の画素を選択して、 （2 ii— l ) 個の画素の画素値 の加算平均値を算出し、 前記注目画素の画素値とする
ことを特徴とする請求の範囲第 1項に記載の画像処理装置。
6. 前記フィルタ手段は、 複数の前記色成分のうち、 少なくとも 1つの色成分 の前記注目画素に対して、 前記注目画素に近い位置に配置されているものから順 番に同一の色成分の画素を選択して、 （2 n— l ) 個の画素の画素値の加算平均 値を算出し、 前記注目画素の画素値とする
ことを特徴とする請求の範囲第 1項に記載の画像処理装置。
7 . 前記フィルタ手段は、 複数の前記色成分の全ての色成分の前記注目画素に 対して、 前記注目画素に近い位置に配置されているものから順番に同一の色成分 の画素を選択して、 （2 n— l ) 個の画素の画素値の加算平均値を算出し、 前記 注目画素の画素値とする
ことを特徴とする請求の範囲第 1項に記載の画像処理装置。
8 . 前記取得手段は、 前記画像信号を撮像する撮像手段を更に備える
ことを特徴とする請求の範囲第 1項に記載の画像処理装置。
9 . 前記撮像手段は、 C MO S I Cで構成されている
ことを特徴とする請求の範囲第 8項に記載の画像処理装置。
1 0 . 前記撮像手段、 前記フィルタ手段、 および前記間引き手段は、 同一の C MO S I Cで構成されている
ことを特徴とする請求の範囲第 8項に記載の画像処理装置。
1 1 . 前記取得手段により取得された前記画像信号に対応する画像を表示する 表示手段を更に備え、
前記表示手段により表示される前記画像が動画像である場合、 前記取得手段に より取得された前記画像信号は、 前記フィルタ手段、 および前記間引き手段によ り処理されて、 前記表示手段により表示され、
前記表示手段により表示される前記画像が静止画像である場合、 前記取得手段 により取得された前記画像信号は、 前記フィルタ手段、 および前記間引き手段に より処理されずに、 前記表示手段により表示される
ことを特徴とする請求の範囲第 1項に記載の画像処理装置。
1 2 . 前記取得手段により取得された前記画像信号を記録する記録手段を更に 備え、 前記記録手段により記録される前記画像信号が動画像に対応する信号である場 合、 前記取得手段により取得された前記画像信号は、 前記フィルタ手段、 および 前記間引き手段により処理されて、 前記記録手段により記録され、
前記記録手段により記録される前記画像信号が静止画像に対応する信号である 場合、 前記取得手段により取得された前記画像信号は、 前記フィルタ手段、 およ び前記間引き手段により処理されずに、 前記記録手段により記録される
ことを特徴とする請求の範囲第 1項に記載の画像処理装置。
1 3 . 前記取得手段により取得された前記画像信号を出力する出力手段を更に 備え、
前記出力手段により出力される前記画像信号が動画像に対応する信号である場 合、 前記取得手段により取得された前記画像信号は、 前記フィルタ手段、 および 前記間引き手段により処理されて、 前記出力手段により出力され、
前記出力手段により出力される前記画像信号が静止画像に対応する信号である 場合、 前記取得手段により取得された前記画像信号は、 前記フィルタ手段、 およ ぴ前記間引き手段により処理されずに、 前記出力手段により出力される
ことを特徴とする請求の範囲第 1項に記載の画像処理装置。
1 4 . 画像を処理する画像処理装置の画像処理方法において、
複数の色成分からなり、 2 X 2の色コーディングを有する画像信号の取得を制 御する取得制御ステップと、
前記取得制御ステップの処理により取得が制御された前記画像信号のうち、 注 目画素と前記注目画素近傍の同一の色成分の画素との （2 n— l ) 個分の画素値 の加算平均値を算出し、 前記注目画素の画素値とするフィルタ演算ステップと、 前記フィルタ演算ステップの処理により算出された前記加算平均値を画素値と する前記画素を、 1 Z ( 2 n - 1 ) の間引き率で間引きする間引きステップと を含むことを特徴とする画像処理方法。
1 5 . 画像を処理する画像処理装置用のプログラムであって、 複数の色成分からなり、 2 X 2の色コーディングを有する画像信号の取得を制 御する取得制御ステップと、
前記取得制御ステップの処理により取得が制御された前記画像信号のうち、 注 目画素と前記注目画素近傍の同一の色成分の画素との （2 n— l ) 個分の画素値 の加算平均値を算出し、 前記注目画素の画素値とするフィルタ演算ステップと、 前記フィルタ演算ステップの処理により算出された前記加算平均値を画素値と する前記画素を、 1 Z ( 2 n - 1 ) の間引き率で間引きする間引きステップと を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録され ている記録媒体。
1 6. 画像を処理する画像処理装置を制御するコンピュータが実行可能なプロ グラムであって、
複数の色成分からなり、 2 X 2の色コーディングを有する画像信号の取得を制 御する取得制御ステップと、
前記取得制御ステップの処理により取得が制御された前記画像信号のうち、 注 目画素と前記注目画素近傍の同一の色成分の画素との （2 n— l ) 個分の画素値 の加算平均値を算出し、 前記注目画素の画素値とするフィルタ演算ステップと、 前記フィルタ演算ステップの処理により算出された前記加算平均値を画素値と する前記画素を、 l Z ( 2 n - 1 ) の間引き率で間引きする間引きステップと を含むことを特徴とするプログラム。
PCT/JP2003/004810 2002-05-15 2003-04-16 Systeme de traitement d'image, procede de traitement d'image, support d'enregistrement, et programme associe WO2003098941A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP03725588A EP1505839B1 (en) 2002-05-15 2003-04-16 Image processing system, and image processing method, recording medium, and program
KR1020047017843A KR100970030B1 (ko) 2002-05-15 2003-04-16 화상 처리 장치, 및 화상 처리 방법, 기록 매체
US10/514,366 US7826658B2 (en) 2002-05-15 2003-04-16 Image processing system, image processing method, image processing recording medium, and program suitable for extraction processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002139574A JP3947969B2 (ja) 2002-05-15 2002-05-15 画像処理装置、および画像処理方法、記録媒体、並びにプログラム
JP2002-139574 2002-05-15

Publications (1)

Publication Number Publication Date
WO2003098941A1 true WO2003098941A1 (fr) 2003-11-27

Family

ID=29544894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/004810 WO2003098941A1 (fr) 2002-05-15 2003-04-16 Systeme de traitement d'image, procede de traitement d'image, support d'enregistrement, et programme associe

Country Status (7)

Country Link
US (1) US7826658B2 (ja)
EP (1) EP1505839B1 (ja)
JP (1) JP3947969B2 (ja)
KR (1) KR100970030B1 (ja)
CN (1) CN1653823A (ja)
TW (1) TWI236839B (ja)
WO (1) WO2003098941A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7956871B2 (en) * 2005-04-28 2011-06-07 Samsung Electronics Co., Ltd. Color disparity correction in image sensors methods and circuits

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4691930B2 (ja) * 2004-09-10 2011-06-01 ソニー株式会社 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール
JP4759293B2 (ja) * 2005-03-15 2011-08-31 キヤノン株式会社 撮像素子
JP5084430B2 (ja) 2006-11-02 2012-11-28 ペンタックスリコーイメージング株式会社 撮像ユニット
JP4983423B2 (ja) * 2007-06-15 2012-07-25 ソニー株式会社 画像信号処理装置および画像信号処理方法
JP5109551B2 (ja) 2007-09-21 2012-12-26 コニカミノルタアドバンストレイヤー株式会社 画像処理装置、画像処理方法、及び撮像装置
JP5572940B2 (ja) * 2008-10-30 2014-08-20 株式会社ニコン 撮像装置
JP5446291B2 (ja) * 2009-02-02 2014-03-19 株式会社ニコン 撮像装置
US8587705B2 (en) * 2010-06-28 2013-11-19 Intel Corporation Hardware and software partitioned image processing pipeline
JP5868076B2 (ja) 2011-08-31 2016-02-24 キヤノン株式会社 画像処理装置及び画像処理方法
CN103177699B (zh) * 2011-12-20 2015-12-09 上海天马微电子有限公司 场序列液晶显示装置中的数据处理方法
JP2013251680A (ja) * 2012-05-31 2013-12-12 Jvc Kenwood Corp 画像処理装置及び画像処理方法
US9824651B2 (en) 2012-11-22 2017-11-21 Sharp Kabushiki Kaisha Display device and electronic device
JP6673333B2 (ja) * 2015-03-18 2020-03-25 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
US20190257987A1 (en) * 2016-06-07 2019-08-22 Airy3D Inc. Light Field Imaging Device and Method for Depth Acquisition and Three-Dimensional Imaging
KR20210147694A (ko) 2020-05-29 2021-12-07 삼성전자주식회사 이미지 신호 프로세서, 이미지 프로세싱 방법 및 그 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0295093A (ja) * 1988-09-30 1990-04-05 Victor Co Of Japan Ltd 点順次カラー多重信号の同時化回路
US5828406A (en) 1994-12-30 1998-10-27 Eastman Kodak Company Electronic camera having a processor for mapping image pixel signals into color display pixels
JP2000253415A (ja) * 1998-12-28 2000-09-14 Sanyo Electric Co Ltd ディジタルカメラおよび撮像装置
JP2001245141A (ja) * 2000-02-29 2001-09-07 Canon Inc 画像処理装置及びその方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4602289A (en) * 1982-05-31 1986-07-22 Tokyo Shibaura Denki Kabushiki Kaisha Solid state image pick-up device
EP0336430B1 (en) * 1988-04-08 1994-10-19 Dainippon Screen Mfg. Co., Ltd. Method of extracting contour of subject image from original
US5493335A (en) * 1993-06-30 1996-02-20 Eastman Kodak Company Single sensor color camera with user selectable image record size
JP2931520B2 (ja) * 1993-08-31 1999-08-09 三洋電機株式会社 単板式カラービデオカメラの色分離回路
US5418565A (en) 1994-02-15 1995-05-23 Eastman Kodak Company CFA compatible resolution reduction in a single sensor electronic camera
US5452338A (en) * 1994-07-07 1995-09-19 General Electric Company Method and system for real time offset correction in a large area solid state x-ray detector
WO1996007275A1 (fr) * 1994-08-31 1996-03-07 Sony Corporation Dispositif analyseur d'images
KR100209409B1 (ko) * 1995-03-20 1999-07-15 전주범 물체 왜곡을 이용한 물체 기반 부호화 방법 및 장치
US5852470A (en) * 1995-05-31 1998-12-22 Sony Corporation Signal converting apparatus and signal converting method
US5956468A (en) * 1996-07-12 1999-09-21 Seiko Epson Corporation Document segmentation system
JP4229481B2 (ja) * 1996-07-31 2009-02-25 オリンパス株式会社 撮像表示システム
JP4161384B2 (ja) * 1997-04-30 2008-10-08 ソニー株式会社 固体撮像装置、これを用いたカメラおよび固体撮像装置の駆動方法
JPH11103407A (ja) * 1997-09-29 1999-04-13 Nec Corp Ｃｃｄデータ画素補間回路およびこのｃｃｄデータ画素 補間回路を備えたデジタルスチルカメラ
JP4140077B2 (ja) * 1998-02-18 2008-08-27 ソニー株式会社 固体撮像素子の駆動方法及び固体撮像素子、並びにカメラ
US6069973A (en) * 1998-06-30 2000-05-30 Xerox Corporation Method and apparatus for color correction in a multi-chip imaging array
JP3893424B2 (ja) * 1998-11-06 2007-03-14 富士フイルム株式会社 固体撮像装置および信号読出し方法
US6625325B2 (en) * 1998-12-16 2003-09-23 Eastman Kodak Company Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel
US6539125B1 (en) * 1998-12-21 2003-03-25 Xerox Corporation Modified median filter that better preserves textures
DE69942005D1 (de) 1998-12-28 2010-03-25 Sanyo Electric Co Bildaufnahmegerät und digitale Kamera
US6970268B1 (en) * 1999-02-05 2005-11-29 Samsung Electronics Co., Ltd. Color image processing method and apparatus thereof
WO2000049812A1 (en) * 1999-02-19 2000-08-24 Sony Corporation Image signal processor, image signal processing method, learning device, learning method, and recorded medium
US7123299B1 (en) * 1999-04-15 2006-10-17 Olympus Optical Co., Ltd. Color image pickup device and color image pickup apparatus including a randomized color coding array
JP3621288B2 (ja) * 1999-04-16 2005-02-16 シャープ株式会社 画像処理装置
JP3663973B2 (ja) * 1999-05-06 2005-06-22 日本電気株式会社 画像信号処理装置および画像信号処理方法
US6992714B1 (en) * 1999-05-31 2006-01-31 Canon Kabushiki Kaisha Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement
US6744929B1 (en) * 1999-11-18 2004-06-01 Nikon Corporation Image data compression method image data compression apparatus and recording medium and data signal for providing image data compression program
JP4599672B2 (ja) * 1999-12-21 2010-12-15 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
JP2001298659A (ja) * 2000-02-08 2001-10-26 Canon Inc 撮像装置、画像処理システム、撮像方法、及び記憶媒体
JP3654420B2 (ja) * 2000-02-25 2005-06-02 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像変換方法、画像処理装置、および画像表示装置
JP3631655B2 (ja) * 2000-03-22 2005-03-23 シャープ株式会社 固体撮像装置
JP4518616B2 (ja) * 2000-04-13 2010-08-04 ソニー株式会社 固体撮像装置およびその駆動方法並びにカメラシステム
GB2390423B (en) * 2000-10-23 2004-12-29 Halliburton Energy Serv Inc Fluid property sensors and associated methods of calibrating sensors in a subterranean well
US6833845B2 (en) * 2000-10-27 2004-12-21 Matsushita Electric Industrial Co., Ltd. Image object content generation device and padding device
US6816197B2 (en) * 2001-03-21 2004-11-09 Hewlett-Packard Development Company, L.P. Bilateral filtering in a demosaicing process
US20020184276A1 (en) * 2001-03-30 2002-12-05 Tinku Acharya Two-dimensional pyramid filter architecture
JP4145586B2 (ja) * 2001-07-24 2008-09-03 セイコーエプソン株式会社 画像処理装置及び画像処理プログラム、並びに画像処理方法
AU2002307889A1 (en) * 2002-04-22 2003-11-03 Nokia Corporation Generating lsf vectors
JP4142340B2 (ja) * 2002-05-22 2008-09-03 オリンパス株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0295093A (ja) * 1988-09-30 1990-04-05 Victor Co Of Japan Ltd 点順次カラー多重信号の同時化回路
US5828406A (en) 1994-12-30 1998-10-27 Eastman Kodak Company Electronic camera having a processor for mapping image pixel signals into color display pixels
JP2000253415A (ja) * 1998-12-28 2000-09-14 Sanyo Electric Co Ltd ディジタルカメラおよび撮像装置
JP2001245141A (ja) * 2000-02-29 2001-09-07 Canon Inc 画像処理装置及びその方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1505839A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7956871B2 (en) * 2005-04-28 2011-06-07 Samsung Electronics Co., Ltd. Color disparity correction in image sensors methods and circuits

Also Published As

Publication number Publication date
US7826658B2 (en) 2010-11-02
US20060055794A1 (en) 2006-03-16
KR100970030B1 (ko) 2010-07-16
EP1505839B1 (en) 2012-05-09
TWI236839B (en) 2005-07-21
JP2003333610A (ja) 2003-11-21
CN1653823A (zh) 2005-08-10
KR20050004836A (ko) 2005-01-12
JP3947969B2 (ja) 2007-07-25
EP1505839A1 (en) 2005-02-09
TW200404452A (en) 2004-03-16
EP1505839A4 (en) 2006-05-03

Similar Documents

Publication Publication Date Title
WO2003098941A1 (fr) Systeme de traitement d'image, procede de traitement d'image, support d'enregistrement, et programme associe
JP3704238B2 (ja) 撮像装置
JP2936760B2 (ja) カラーテレビジョンカメラ装置
JP5109551B2 (ja) 画像処理装置、画像処理方法、及び撮像装置
JP3970185B2 (ja) 固体撮像素子及びデジタルカメラ
EP2685725B1 (en) Imaging device and imaging program
US8111298B2 (en) Imaging circuit and image pickup device
US7259788B1 (en) Image sensor and method for implementing optical summing using selectively transmissive filters
JP2009246465A (ja) 撮像装置、撮像モジュール、及び撮像システム
US7655892B2 (en) Solid-state imaging device, and method of driving solid-state imaging device
JP3727012B2 (ja) カラー固体撮像装置
US7457486B2 (en) Imaging device
JP4294810B2 (ja) 固体撮像装置および信号読出し方法
JPH09331538A (ja) 撮像装置
JP3902525B2 (ja) 画像信号処理装置
JP2009021985A (ja) 撮像装置及び撮像装置の駆動方法
JP2004112738A (ja) 単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路
JP4700338B2 (ja) ダイナミックレンジを向上させたサブサンプリングモードを提供する固体撮像素子及びその駆動方法。
JP2003101815A (ja) 信号処理装置及び信号処理方法
JP2008016862A (ja) 固体撮像素子
JP4935290B2 (ja) 固体撮像装置、固体撮像装置の駆動方法及び撮像装置
JP5624228B2 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP5124549B2 (ja) 固体撮像素子の動画像信号読出方法及び撮像装置
JP2004172858A (ja) 撮像装置および撮像方法
JP2000261817A (ja) 撮像装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2003725588

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020047017843

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2003810993X

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020047017843

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003725588

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006055794

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10514366

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10514366

Country of ref document: US