WO2012169140A1 - 画像処理装置及び画像処理方法並びにデジタルカメラ - Google Patents

画像処理装置及び画像処理方法並びにデジタルカメラ Download PDF

Info

Publication number
WO2012169140A1
WO2012169140A1 PCT/JP2012/003473 JP2012003473W WO2012169140A1 WO 2012169140 A1 WO2012169140 A1 WO 2012169140A1 JP 2012003473 W JP2012003473 W JP 2012003473W WO 2012169140 A1 WO2012169140 A1 WO 2012169140A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
data
processing
image
reduced
Prior art date
Application number
PCT/JP2012/003473
Other languages
English (en)
French (fr)
Inventor
敏信 秦野
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201280026584.9A priority Critical patent/CN103563359B/zh
Priority to JP2013519370A priority patent/JP5853166B2/ja
Publication of WO2012169140A1 publication Critical patent/WO2012169140A1/ja
Priority to US14/089,736 priority patent/US9386287B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0242—Compensation of deficiencies in the appearance of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428—Gradation resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a digital camera that are suitable for realizing a high-speed and power-saving operation when displaying an image obtained by reducing an original image obtained from a single-panel color imaging device.
  • a mirrorless single-lens digital camera not equipped with an optical viewfinder and a movable mirror has attracted attention in a single-lens digital camera equipped with a large-format image sensor.
  • a feature of the mirrorless single-lens digital camera is that it can perform composition determination while confirming the subject to be photographed on a liquid crystal monitor, and can perform still image shooting and moving image shooting, and is also standard for popular digital cameras and portable cameras. It is a shooting method.
  • a general digital camera is equipped with a dedicated liquid crystal monitor, performs composition determination while confirming the subject to be photographed on the liquid crystal monitor, and simultaneously performs face recognition, motion recognition, etc. Automatically adjust exposure and focus to shoot still images and movies.
  • a color separation filter is provided on an imaging element in order to capture a color image.
  • the Bayer type color separation filter primary color filters of R (red), G (green), and B (blue) are arranged in a checkered pattern corresponding to the pixels of the imaging device. That is, in the Bayer arrangement, filters of the same color component are arranged every other pixel in both the sensor readout direction and the vertical direction in the pixel array.
  • R / G / B for each pixel is performed while performing dynamic range adjustment and white balance based on the original image.
  • color image processing to convert to the data type of Y / Cr / Cb generally handled is performed, and reduction resizing processing is performed to fit the display size of the liquid crystal monitor. Perform display processing that matches the monitor characteristics and display it on a dedicated monitor.
  • FIG. 10 is a conceptual view of an internal signal processing block of a general digital camera.
  • an optical image of a subject that has passed through the optical lens 11 forms an image on the imaging element surface and is output from the imaging element.
  • the RAW image data 101 of Bayer array which is an original image (one side) of a single-plate type imaging device, is subjected to DC level adjustment, gain adjustment, and the like in the preprocessing unit 105, and temporarily stored in the memory unit 108 via the memory control unit 107. After being written, they are read from the memory unit 108 through the memory control unit 107 in the next process, and are input to the image signal processing unit 109.
  • the image signal processing unit 109 performs image signal processing to convert a Bayer array RAW image into a Y / Cr / Cb data type.
  • the image signal processing unit 109 converts the image into a data type image of Y / Cr / Cb, and performs reduction resizing processing to reduce the size to a display image size, thereby generating a desired display size image.
  • the generated Y / Cr / Cb data type image of display size is again written to the memory unit 108 via the memory control unit 107.
  • the image signal processing unit 109 converts the image into a Y / Cr / Cb data type image, and then performs reduction resizing processing on the luminance signal Y in order to reduce the size to the face detection image size. Desired luminance image data for face detection is generated.
  • the data type image of the luminance signal Y of the size for face detection written in the memory unit 108 via the memory control unit 107 is read out from the memory unit 108 again from the face detection processing unit 106 via the memory control unit 107.
  • the face information such as the position and size of the face in the image is extracted, and the extraction result information is written to the memory unit 108 via the memory control unit 107.
  • the CPU 114 reads the face detection information written in the memory unit 108 via the memory control unit 107, converts the face detection information into display information indicating the face position, generates display data, and writes the display data in the memory unit 108. At the same time, the CPU 114 automatically adjusts the exposure and focus of the specific area based on the face recognition information.
  • the Y / Cr / Cb data type image of the display size written in the memory unit 108 is read again from the memory unit 108 via the memory control unit 107 and input to the display processing unit 117.
  • display information indicating the face position is also read from the memory unit 108 and input to the display processing unit 117 at the same time.
  • the data type image of Y / Cr / Cb input to the display processing unit 117 and the display information indicating the face position are converted by the display processing unit 117 into data specifications conforming to the characteristics of the monitor of the monitor 118, and the monitor 118 Output and displayed.
  • the original image 101 is converted to a Y / Cr / Cb data type image by the image signal processing unit 109 in the same manner as described above, and then the image signal processing & is performed.
  • the reduction and resizing unit 109 performs reduction and resizing processing to generate a desired moving image recording size image.
  • the Y / Cr / Cb data type image of the generated moving image recording size is again written to the memory unit 108 via the memory control unit 107.
  • the Y / Cr / Cb data type image of the moving image recording size written in the memory unit 108 is read again from the memory unit 108 via the memory control unit 107 and input to the compression / decompression unit 110.
  • the Y / Cr / Cb data type image input to the compression / decompression unit 110 is data-compressed using a moving image codec method such as MJPEG, MPEG, H264, etc., and is written again to the memory unit 108 via the memory control unit 107.
  • Be The compressed moving image data is read again from the memory unit 108 through the memory control unit 107, and is written to the recording medium 112 through the recording medium interface 111.
  • FIG. 11 shows a detailed view showing the flow of internal signal processing of the general digital camera described.
  • a period during which RAW image data 101 of Bayer array of any two-dimensional size is input is taken as a first frame period, and the input RAW image data 101 is processed by the preprocessing unit 105 during this first frame period. Will be implemented.
  • the processing of the image signal processing unit 109 is performed, and in the third frame period, the processing of the display processing unit 117 is performed and displayed on the monitor 118.
  • detection processing by the face detection unit 106 is performed, and processing by the compression / decompression unit 110 is performed, and compressed data is stored in the recording medium 112 via the recording medium interface 111. It is recorded.
  • the input RAW image 101 is displayed on the monitor 118 with a relative delay of at least two frame periods relatively.
  • Patent Documents 1 to 3 as a technique for reducing and resizing a RAW image consisting of RGB data by preprocessing, when resizing RGB RAW data as an original image, R, which is independent in the first processing, is used.
  • a method of color separation into G and B data or thinning out by mixing same color pixels is disclosed.
  • the conventional signal processing shown in FIGS. 9 and 10 has a problem. That is, after performing signal processing to convert an arbitrary one type of RAW image into a Y / Cr / Cb data type, the following two problems are caused due to the fact that reduced image processing of a plurality of sizes is performed. is there.
  • the reduction and resizing process is a process for reducing the number of recorded images, and if implemented at the front stage of image processing as much as possible, it is possible to reduce the amount of memory access in the second stage processing.
  • reduction resizing is performed after conversion to the data type of Cb
  • conversion processing to the data type of Y / Cr / Cb becomes redundant processing for data to be thinned out and discarded at this time.
  • the power consumption of the I / O buffer is also proportional to the processing amount for the image size But the efficiency is bad.
  • the RAW image is reduced at a stage prior to the processing while the high-speed readout processing technology corresponding to the increase in the number of pixels of the imaging device and the moving image recording progresses.
  • a monitor that performs real-time auto focus (AF) or auto exposure (AE)
  • AF real-time auto focus
  • AE auto exposure
  • the present invention has been made in view of such circumstances, and an object thereof is to display in an image processing apparatus from a large-size RAW original image output from an imaging device within a frame time in which the original image is input. It is possible to generate and process a small size RAW image for display on a monitor.
  • the present invention does not carry out color developed image processing for converting an original image into a Y / Cr / Cb data type, but generates a small size RAW image for monitor display image from a RAW original image.
  • the present invention provides an image processing apparatus and an image processing method that realize a display operation with no frame delay on a display monitor at high speed.
  • the image processing apparatus of the invention is an image processing apparatus capable of generating and displaying a reduced image from a digital image signal of an original image consisting of pixels of plural colors having periodicity of color arrangement.
  • a reduction resizing unit for reducing an original image obtained from the single-chip color imaging device into an image corresponding to the display size of the display monitor; and the original image based on the reduced image reduced by the reduction resizing unit.
  • a color rearrangement data generation processing unit that generates one or more types of display reduced images configured by the color information of
  • An image processing apparatus is an image processing apparatus capable of generating and displaying a reduced image from a digital image signal of an original image consisting of pixels of a plurality of colors having periodicity of a color arrangement.
  • the reduced resizing processing unit for reducing the original image obtained from the color imaging device to an image corresponding to the display size of the display monitor, and the reduced image reduced by the reduced resizing processing unit, color information of the original image A color pixel array of the display monitor based on the color rearrangement data generation processing unit configured to generate one or more types of display reduced images, and the display reduction image generated by the color rearrangement data generation processing unit;
  • a color rearrangement display data generation processing unit that generates one or more types of color arrangement display data that can cope with the above.
  • the invention according to claim 3 is the image processing apparatus according to claim 1 or 2, wherein the color re-arrangement display data generation processing unit performs display processing according to display characteristics of the display monitor for the display reduced image.
  • the image processing apparatus further includes a data path directly input to the display processing unit to be performed, and a data path input the reduced image for display from the color rearrangement display data generation processing unit to the display processing unit via the memory unit, Depending on the operation mode at the time, the memory control unit for controlling the memory unit directly inputs the reduced image for display from the color rearrangement data generation processing unit to the display processing unit or via the memory unit. It is characterized in that image input data path control as to whether to input to the display processing unit is selectively performed.
  • the invention according to a fourth aspect is the image processing apparatus according to any one of the first to third aspects, wherein reduction resizing processing of the reduction resizing unit and color reordering of the color reorder data generation processing unit are performed.
  • Data generation processing is characterized in that it can be carried out in horizontal direction processing and vertical direction processing on an original image.
  • the invention according to claim 5 is the image processing apparatus according to any one of claims 1 to 4, wherein the reduced resize processing unit and the color rearrangement data generation processing unit are sensors for the original image.
  • the first reduction resizing processing is performed in only one direction by the first reduction resizing processing in units of lines in the reading direction, and the first reduction resizing processing is performed based on one multiple-color array data subjected to the reduction resizing processing only in this one direction.
  • the second reduction resizing process and the color reordering data generation process in the vertical direction orthogonal to each other are performed to generate two types of multiple color array data which are two-dimensionally reduced and resized, and the two types of multiple color arrays
  • the data is characterized in that color re-arrangement data generation processing, which is line unit processing again, is performed on the data to generate plural types of plural-color array data.
  • the reduced resize processing unit and the color reordering data generation processing unit execute the first reduced resize processing on the original image in the horizontal direction.
  • the reduced resize processing unit and the color reordering data generation processing unit execute the first reduced resize processing on the original image in the horizontal direction.
  • the invention according to claim 7 is the image processing apparatus according to claim 6, wherein the reduced resize processing unit and the color re-arrangement data generation processing unit are pieces of the original image by the first reduced resize processing. While writing one type of multiple color array data that has been resized and resized only in one direction to the line memory consisting of multiple lines while reading multiple lines of data simultaneously, the sensor readout direction of the multiple lines read out is the same position The luminance data and the color carrier data are extracted from the plurality of data of interest in the vertical direction, and the reduction resizing process and the color reordering data generation process are performed again.
  • the two kinds of each performing color rearrangement data generating process to be line unit processing again with respect to a plurality of colors arranged data, and generating a plurality of types of color sequence data.
  • the invention according to claim 8 is the image processing apparatus according to any one of claims 1 to 4, wherein the reduced resize processing unit and the color rearrangement data generation processing unit are sensors for the original image.
  • the line unit processing in the readout direction performs reduction resizing processing in only one direction and performs color rearrangement data generation processing, and is orthogonal to the processing direction based on the two types of color array data subjected to reduction resizing processing in only one direction. It is characterized in that the reduction resizing process and the color reordering data generation process are performed again in the direction to generate a plurality of kinds of color sequence data which are two-dimensionally reduced and resized.
  • the invention according to claim 9 is the image processing apparatus according to claim 8, wherein the reduced resize processing unit and the color re-arrangement data generation processing unit are horizontal by line processing in the sensor readout direction with respect to the original image.
  • the reduced resize processing unit and the color re-arrangement data generation processing unit are horizontal by line processing in the sensor readout direction with respect to the original image.
  • the image processing apparatus according to claim 10, wherein in the image processing apparatus according to claim 9, the reduced resize processing unit and the color rearrangement data generation processing unit execute horizontal processing of the original image by line unit processing in a sensor readout direction. Two lines of data are read out simultaneously while writing the two kinds of color array data, in which only direction reduction and resizing processing and color reordering data generation processing have been performed, in the line memory consisting of multiple lines for each line.
  • the reduction resizing process and the color re-arrangement data generation process are performed again on the target plural data in the vertical direction where the sensor readout direction of the plural line data is the same position, and the reduction resizing process in the vertical direction Two-dimensionally reduced and resized multiple color arrays by performing processing to reduce output lines And generating an over data.
  • the invention according to claim 11 is the image processing apparatus according to any one of claims 5 to 10, wherein the reduced resize processing unit and the color re-arrangement data generation processing unit are configured to reduce horizontally resized processing and color.
  • a filter processing unit that extracts luminance data and color carrier data by line unit processing in the sensor readout direction with respect to the original image, and converts the color carrier data into color difference data
  • a color carrier inversion demodulation processing unit a reduction resizing processing unit for performing reduction resizing independently on the luminance data and the color difference data, and color difference data after reduction resizing by the reduction resizing processing unit per pixel , First color carrier data having a different code, and second color carrier data having a different code than the first color carrier data;
  • the color carrier modulation processing unit to generate, the luminance data after the reduction and resizing, and the first color carrier data are recombined to generate an image having the color arrangement data of the original image, and the reduction and resizing after
  • the invention according to claim 12 is the image processing apparatus according to any one of claims 5 to 10, wherein the reduced resize processing unit and the color reordering data generation processing unit are configured to reduce the size in the vertical direction and perform resizing.
  • line memory consisting of a plurality of lines of color arrangement data in which reduction resizing processing and color rearrangement data generation processing have been performed only in the horizontal direction by line unit processing in the sensor readout direction on the original image
  • the data of multiple lines are read out simultaneously while writing to each line, and the luminance data and the color carrier data are made vertically to the plurality of data of interest in the vertical direction where the sensor readout direction of the readout multiple line data becomes the same position.
  • a filter processing unit for extracting in line units, and the extracted vertical color carrier data in the vertical direction
  • Vertical color carrier inversion / demodulation processing unit for converting into the color difference data of the above, and processing for reducing the output lines with respect to the number of input lines independently for the luminance data and the color difference data in the vertical direction, And a first color carrier data having a different sign for each line from the vertically successive color difference data after the reduction and resizing in the vertical direction, and the first color carrier data, and Is a vertical direction color difference data inversion modulation processing unit that generates second color carrier data having a different code, recombine the luminance data after the reduction and resizing, and the first color carrier data, and An image having color arrangement data is generated, and the reduced resized luminance data and the second color carrier data are recombined to generate a color arrangement different from the original image.
  • the invention according to a thirteenth aspect is the image processing apparatus according to any one of the first to twelfth aspects, wherein the original image is a single plate having pixels of a plurality of colors periodically arranged by a primary color filter. It is characterized in that it is an image acquired using a color imaging device.
  • the original image is converted to the Y / Cr / Cb data type.
  • a reduced-size image for display is reduced and resized, and a reduced-size image for display composed of color information of the original image is generated based on the resized image without performing color development image processing for conversion. . Therefore, the amount of post-stage processing involving memory access is reduced, and the frame delay to the display monitor can be made the minimum frame delay, and it is possible to realize the monitor mode operation for high-speed object recognition.
  • a small-size image for display is directly generated from a large-size original image output from an imaging device in a monitor mode in which composition determination is performed while confirming a photographed subject.
  • it does not carry out color development image processing to convert the original image to the Y / Cr / Cb data type, but reduces it to a small RAW image for display and displays it on the monitor Therefore, it is possible to realize the monitor mode operation for high-speed object recognition by reducing the amount of post-stage processing involving memory access and making the frame delay to the display monitor the minimum frame delay.
  • FIG. 1 is an overall configuration diagram of an imaging apparatus equipped with an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a view showing a schematic configuration of the image processing apparatus according to the embodiment.
  • FIG. 3 is a diagram showing a configuration for direct data transmission from the pre-processing unit to the display processing unit without frame delay in the image processing apparatus.
  • FIG. 4 is a diagram showing a configuration for transmitting data from the preprocessing unit to the display processing unit to the display processing unit with a delay of one frame via the memory unit in the image processing apparatus.
  • FIG. 5 is a view showing an internal configuration of a pre-processing unit of the image processing apparatus.
  • FIG. 6 is a view showing another internal configuration of the pre-processing unit of the image processing apparatus.
  • FIG. 7 is a diagram showing an internal configuration of the horizontal-direction reduced resize processing unit and color rearrangement data generation processing unit included in the same preprocessing unit.
  • FIG. 8 (a) shows the write and read operations of the line memory
  • FIG. 8 (b) shows the write and read operations of the same line memory at the next line cycle timing of FIG. 8 (a).
  • FIG. 9 is a view showing an internal configuration of a downsized resize processing unit in the vertical direction and a color rearrangement data generation processing unit provided in the same preprocessing unit.
  • FIG. 10 is a block diagram showing the internal signal processing apparatus of a conventional general digital camera.
  • FIG. 11 is a diagram showing the flow of internal signal processing of the conventional digital camera.
  • FIG. 1 is a block diagram of an imaging apparatus equipped with an image processing apparatus according to an embodiment of the present invention.
  • the imaging device 10 converts an optical image of a subject taken through the imaging unit 12 into digital image data and records it on the recording medium 112 as in the configuration of FIG. 10 described in the background art. It is a single-panel digital camera.
  • FIG. 1 The operation of the basic configuration unit in FIG. 1 is the same as the content described in FIG. There are two major differences between the configurations of FIGS. 10 and 1 according to the present invention. That is, (1) An image processing function implemented inside the preprocessing unit 105, (2) A function of directly transmitting data from the preprocessing unit 105 to the display processing unit 117.
  • the imaging unit 12 has an imaging element (not shown) represented by a CCD type or a CMOS type, and a large number of photodiodes (photosensitive pixels) are two-dimensionally arrayed on the light receiving surface of the imaging element. It photoelectrically converts subject information that has passed through an optical lens (not shown).
  • the image pickup device has a color filter of a predetermined color arrangement in which any one of red (R), green (G) and blue (B) exists at a position corresponding to each pixel, and the light receiving element is a photo Performs color selection of light incident on the diode. In the present embodiment, the Bayer arrangement will be described.
  • the image data output from the imaging unit 12 is called a RAW image, and is converted into a digital signal by A / D conversion processing.
  • the Bayer array RAW image data 101 light receiving elements are arranged in a square matrix at a constant pitch in the row direction and the column direction.
  • the structure of the pixel array shown in the Bayer image of the RAW image data 101 is periodically repeated in the sensor readout direction and the vertical direction.
  • the color filter array structure is not limited to the Bayer array, but various array structures such as G stripes are possible.
  • a primary color filter is used.
  • the present invention is not limited to the primary color filter in the practice of the present invention, and complementary colors including yellow (Y), magenta (M), cyan (C) and green (G) It is also possible to use a filter, an arbitrary combination of primary and complementary colors, and white (W).
  • the A / D-converted RAW image data 101 is recorded on the recording medium 112 through necessary signal processing according to the operation mode of the imaging apparatus 10 or omitting the signal processing.
  • the imaging device 10 can record still images in JPEG format as a shooting mode, and can also compress and record moving images in MPEG format and the like. Also, RAW image data 101 immediately after A / D conversion can be recorded as it is.
  • the A / D converted Bayer array RAW image data 101 is reduced and resized to the monitor size by the pre-processing unit 105, and is converted to the color pixel array of the monitor 118, and the display processing is directly performed from the data path DPth (1). It is output to the part 117 as display data RGB (2) in real time.
  • the image quality adjustment in accordance with the monitor characteristics is performed by the pre-processing unit 105 or the display processing unit 117. In the monitor mode without frame delay, various recognition operations are simultaneously performed.
  • the pre-processing unit 105 When reducing and resizing the Bayer array RAW image data 101 to the display size, the pre-processing unit 105 simultaneously generates data Y of only the luminance component for face detection and writes the data Y to the memory unit 108 via the memory control unit 107.
  • the face detection processing unit 106 appropriately reads out Y data of the detection size from the memory unit 108 via the memory control unit 107.
  • face detection processing is performed on Y data of a size smaller than the display size, reduced resizing processing is performed using the image signal processing unit 109, and after the detection size Y data is written to the memory unit 108 again , The Y data is read appropriately.
  • the face detection processing unit 106 detects face information such as the position and size of the face in the image from the read Y data, and writes the detection result information in the memory unit 108 via the memory control unit 107.
  • the display data indicating the face position information is read from the memory unit 108 via the memory control unit 107 and input to the display processing unit 117.
  • the display data indicating the face position information input to the display processing unit 117 is converted into input data specifications according to the characteristics of the monitor of the monitor 118 by the display processing unit 117, and is superimposed on the display data RGB (2) to be displayed on the monitor 118. Is displayed on.
  • the imaging unit 12 When transitioning to the still image recording mode, the imaging unit 12 outputs the RAW original image 101 which is the total number of pixels of the imaging device.
  • the RAW original image 101 is subjected to preprocessing by the preprocessing unit 105 and is written to the memory unit 108 via the memory control unit 107. Thereafter, the RAW original image 101 is sent to the image signal processing unit 109 via the memory control unit 107.
  • the image signal processing unit 109 performs synchronization processing (processing to interpolate the spatial deviation of color signals accompanying the color filter array and calculate the color of each point), white balance (WB) adjustment, gamma correction, luminance and color difference Various processing such as signal generation, contour emphasis, scaling (magnification / reduction) processing by the electronic zoom function, conversion (resize) processing of the number of pixels, and the like are performed, and an image signal is processed in accordance with a command from the CPU 114.
  • the pre-processing unit 105 may perform white balance (WB) adjustment, gamma correction, and the like that are part of the various types of processing.
  • the preprocessing unit 105 and the image signal processing unit 109 process the image signal while using the memory unit 108 capable of temporarily storing the image in process of processing via the memory control unit 107.
  • the image data that has undergone predetermined signal processing in the pre-processing unit 105 and the image signal processing unit 109 is sent to the compression / decompression unit 110 and compressed according to the JPEG format compression format.
  • the compressed image data is recorded on the recording medium 112 via the recording medium I / F (interface) unit 111.
  • the recording medium 112 is not limited to a semiconductor memory represented by a memory card, and various media such as a magnetic disk, an optical disk, and a magneto-optical disk can be used.
  • the recording medium (internal memory) incorporated in the imaging device 10 may be used as well as the removable medium.
  • the CPU 114 is a control unit that generally controls the imaging device 10 according to a predetermined program, and controls the operation of each circuit in the imaging device 10 based on an instruction signal from the operation panel 113.
  • the ROM 115 stores programs executed by the CPU 114 and various data necessary for control, and the RAM 116 is used as a work area of the CPU 114.
  • the operation panel 113 is means for the user to input various instructions to the imaging device 10.
  • a mode selection switch for selecting an operation mode of the imaging device 10
  • selection operation of a menu item cursor movement Cross keys for entering instructions such as frame advance / frame return of playback images or playback images, execution keys for confirming (registering) selection items or executing operations, deletion of desired targets such as selection items or cancellation of instructions
  • various operation means such as a power switch, a zoom switch, and a release switch.
  • the various switches are also realized by area switches on the touch panel.
  • the CPU 114 controls the imaging unit 12 in accordance with various photographing conditions (exposure condition, presence / absence of flash light emission, photographing mode, etc.) according to an instruction signal input from the operation panel 113, and also performs automatic exposure (AE) control and automatic control. Focus adjustment (AF) control, auto white balance (AWB) control, lens drive control, image processing control, read / write control of the recording medium 112, and the like are performed.
  • photographing conditions Exposure condition, presence / absence of flash light emission, photographing mode, etc.
  • AE automatic exposure
  • AF focus adjustment
  • AVB auto white balance
  • image processing control read / write control of the recording medium 112, and the like are performed.
  • the CPU 114 when transitioning from monitor mode without frame delay to still image capture, the CPU 114 performs automatic focus adjustment (AF) control when it detects a half press of the release switch, and detects a full press of the release switch. Start exposure and readout control to capture the In addition, the CPU 114 sends a command to a flash control circuit (not shown) as necessary to control the light emission of a flash light emitting tube (light emitting unit) such as a xenon tube.
  • AF automatic focus adjustment
  • the preprocessing unit 105 has an image processing function as a feature of the present invention, which will be described in detail later, and includes an auto operation unit (not shown) that performs calculations necessary for AE control and AF control.
  • an auto operation unit (not shown) that performs calculations necessary for AE control and AF control.
  • focus evaluation value calculation, AE calculation, and the like are performed based on the image signal captured, and the calculation result is transmitted to the CPU 114.
  • the CPU 114 controls a lens drive motor (not shown) based on the result of focus evaluation value calculation to move the optical lens 11 to the in-focus position, as well as the aperture and electronic shutter. Control to perform exposure control.
  • the RAW image data 101 thus taken in is subjected to predetermined image processing according to the recording mode and recorded in the recording medium 112.
  • the compression format may be MPEG using JPEG, or any other format, and a compression process that operates continuously for frames corresponding to the compression format used is used.
  • FIG. 2 is a diagram showing an outline of the image processing of the present invention for generating one or more types of display reduced images composed of color information of RAW image data to be an original image and generating color re-array RAW data.
  • RAW image data 101 obtained from a single-chip color imaging device is reduced and resized to RAW image data of a monitor display size by a RAW data reduction resizing unit 102 serving as an internal processing function of the preprocessing unit 105.
  • the color rearrangement data generation processing unit 103 generates and outputs four types of Bayer array data 104a, 104b, 104c, and 104d which are different in color array information in a 2 pixel ⁇ 2 pixel range including the reference pixel position.
  • the color rearrangement display data of, for example, the following (1) to (3) are generated by selecting the R, G, and B colors of the original image, for example, to display the color arrangement according to the input specification of the monitor 118 Data can be generated.
  • Color rearrangement display data 202 consisting of three planes of independent R plane data, G plane data, and B plane data
  • Color rearrangement display data 204 composed of two planes of G plane data and B and R checker layout data
  • Color rearrangement display data 206 composed of two planes of G plane data and B and R vertical stripe arrangement data If the color rearrangement display data generation processing units 201, 203, and 205 are used, display data of an arbitrary color arrangement configuration can be generated in addition to the color arrangement display data shown in the above (1) to (3). .
  • the color rearrangement data generation processing unit 103 generates four types of color rearrangement data 104a to 104d, but one of the color rearrangement data (for example, 104a) among them is a color arrangement that matches the input specification of the monitor 118 as it is. In the case of display data, only one type of color rearrangement display data may be generated and directly output to the monitor 118.
  • the generated color rearrangement display data is directly displayed through the data path DPth (1) shown in FIG. While being input to the processing unit 117, it is temporarily stored in the memory unit 108 via the data path DPth (2) and can be read out again and input to the display processing unit 117.
  • FIG. 3 shows a configuration for directly transmitting data from the preprocessing unit 105 to the display processing unit 117 without frame delay.
  • the G-plane is processed by pipeline processing in the same first frame period, where the period during which the RAW original image 101 output from the imaging device is input to the preprocessing unit 105 is the first frame period.
  • Display data 206 composed of two surfaces of data and vertical stripe arrangement data of blue (B) and red (R) is directly sent to the display processing unit 117 via the data path DPth (1) shown in FIG. Input and display on the monitor 118. In this case, the subject original image can be displayed on the monitor without generating frame delay.
  • FIG. 4 shows a configuration for transmitting data from the pre-processing unit 105 to the display processing unit 117 via the memory unit 118 to the display processing unit 117 with a delay of one frame.
  • green (generated by pipeline processing within the same first frame period as a first frame period is a period during which the RAW original image 101 output from the imaging device is input to the preprocessing unit 105)
  • Display data 206 consisting of plane data and vertical stripe arrangement data of blue (B) and red (R) via a memory control unit 107 via data path DPth (2) Write to the part 108.
  • the display data 206 is input to the display processing unit 117 and displayed on the monitor 118 in the next second frame period.
  • the frame delay in this case can display the subject original image on the monitor 118 as one frame period.
  • the display data has been described as the display data 206 composed of two planes of G plane data and vertical stripe arrangement data of blue (B) and red (R), but as described in FIG. Also, display data having an arbitrary color arrangement configuration and multi-sided configuration can be displayed on the monitor 118 with a similar frame delay.
  • FIG. 5 is a diagram showing a specific configuration of the RAW data reduction and resizing unit 102 and the color rearrangement data generation processing unit 103, which are internal signal processing of the preprocessing unit 105.
  • the image processing of this embodiment is performed when generating four types of Bayer array data 104a to 104d different in color array information in a 2 pixel ⁇ 2 pixel range including the reference pixel position reduced to the display size.
  • the first horizontal reduction and resizing processing unit 501 that reduces RAW image data 101 obtained from a single-chip color imaging device into an image of an arbitrary size in the input line direction, and image data resized in the horizontal direction.
  • a memory unit (storage device) 503 for temporarily storing the data, and a plurality of reduced line data read from the memory unit 503 are resized in the vertical direction orthogonal to the input line direction to perform two types of Bayer array data 505.
  • the first horizontal reduction resizing processing unit 501 When performing reduction resizing to the display size in the first horizontal reduction resizing processing unit 501 for reducing an image of an arbitrary size in the input line direction, only in the horizontal direction with the reduction ratio K1 that is the horizontal size of the display size in the horizontal direction.
  • the reduced image data 502 is generated.
  • the horizontally reduced resized image data 502 is temporarily written to the memory unit 503 in units of line data. At the same time, data for a plurality of lines are read out from the memory unit 503, and reduction and resizing processing in the vertical direction, which is the next process, is performed.
  • two types of display size Bayer array data 505, 506 having different color arrays are obtained.
  • color rearrangement data generation processing units 507 and 508 which respectively generate two types of Bayer arrangement data again in the input line direction with respect to each of the two types of Bayer arrangement data 505 and 508 respectively have even pixels in the horizontal direction. And two odd Bayer array data are generated by replacing the color of the pixel with the odd pixel. As a result, four types of Bayer array data 104 different in color array information in the 2 pixel ⁇ 2 pixel range reduced to the display size can be generated.
  • FIG. 6 shows a second specific example of the configuration of the RAW data reduction and resizing unit 102 and the color rearrangement data generation processing unit 103 which are internal signal processing of the preprocessing unit 105.
  • the image processing of the present embodiment is the same as the image processing of the present embodiment when generating four types of Bayer array data 104 with different color array information in the 2 pixel ⁇ 2 pixel range including the reference pixel position reduced to the display size.
  • Horizontal reduced resize & color re-arrange data generation that reduces RAW image data 101 obtained from a single plate color imaging device into an image of an arbitrary size in the input line direction and generates two types of Bayer array data 602 and 603
  • a processing unit 601, memories 604 and 605 for temporarily storing the horizontally resized two types of Bayer array data respectively, and input from a plurality of reduced line data read from the respective memories 604 and 605 Perform reduction resizing in the vertical direction orthogonal to the line direction and generate two types of Bayer array data for each Has a total of 4 kinds of the Bayer array data 104a, 104b, 104c, and a vertical reduction resizing & color rearrangement data generation processing unit 606, 607 for generating 104d.
  • the horizontally reduced and resized two types of Bayer array data 602 and 603 are temporarily written independently to the memory units 604 and 605 in units of line data.
  • data for a plurality of lines are read out from the memory units 604 and 605, respectively, and reduction and resizing processing in the vertical direction, which is the next process, is performed.
  • reduction is performed at the same ratio K1 as the horizontal size which is the vertical size of the display size in the vertical direction.
  • FIG. 8 shows a method of writing line data in a plurality of line memories using memory units 503, 604, 607 which temporarily hold horizontally resized image data in line data units, and a plurality of line memories 801 simultaneously. It is a figure which shows an example which reads several horizontal direction line data.
  • FIG. 9 two types of processing are performed by performing resizing in the vertical direction orthogonal to the input line direction using a plurality of horizontal direction reduced line data, and replacing colors of even lines and odd lines in the vertical direction.
  • This is an example of the internal processing configuration for generating Bayer array data 923 and 925.
  • the RAW data vertical reduction and resize data generation processing units 504, 606 and 607 shown in FIG. 5 and FIG. 6 are realized.
  • the arrangement processing is selectively performed, and the output thereof is written to the line memory shown in FIG. 8, and at the same time, data corresponding to a plurality of lines collected in the horizontally reduced resized image in the sensor readout direction are read out from the line memory.
  • a plurality of vertical reduction resizing and color re-arrangement processes are performed on the data at the same position in the sensor readout direction on a plurality of lines by simultaneous processing in the vertical direction.
  • the vertical reduction resizing processing is processing different from the horizontal resizing processing in the sensor readout direction, and based on the processing of determining whether to use the operation output of a plurality of line units in a line unit, As a line intermittent output, a reduced resized image with different proportions in the vertical direction is obtained.
  • the main focus of the image processing function of the present embodiment is the combination of the flow of image processing and the processing procedure, and in the first specific example shown in FIG. 5, the process of FIG. 7 ⁇ the process of FIG. 8 ⁇ FIG.
  • FIG. 5 By combining in the order of processing ⁇ processing of FIG. 7, four types of Bayer array data 104 having different color array information in the 2 pixel ⁇ 2 pixel range reduced to the display size are generated.
  • FIG. 6 the color arrangement information of the 2 pixels ⁇ 2 pixels range reduced to the display size by combining the processing of FIG. 7 ⁇ the processing of FIG. 8 ⁇ parallel processing of FIG. Generates four types of Bayer array data 104 different from each other.
  • reduced RAW data is subjected to reduction and resizing processing and color rearrangement is performed, and reduced RAW data with high image quality and high resolution that does not generate aliasing noise is generated.
  • This is a method of generating, and the present invention does not uniquely define the internal algorithm that is the basis of high-quality reduction processing in this one method.
  • the present internal processing algorithm is a method capable of realizing the reduction processing with a small number of processing procedures and high image quality, and for realizing the image processing of the present invention. It becomes a suitable reduction processing and color reordering processing algorithm.
  • the horizontal reduction resize processing unit 501 in the sensor readout direction is a one-dimensional pipeline process, and as shown in FIG. 7, a color that extracts luminance data from the RAW image 101 by filtering the RAW line image 701 in line units.
  • Color carrier inversion demodulation processing unit 705 outputting difference data
  • luminance signal sensor readout direction reduction resizing processing unit 706 performing reduction resizing independently on the obtained luminance data and color difference data
  • the reproduction processing unit (color rearrangement data generation processing unit) 712 is configured.
  • the processing relating to color rearrangement includes color difference data inversion modulation processing unit 708 for performing gain level adjustment by reconverting the resized color difference data into color carrier data, and first color arrangement reproduction processing unit 709,
  • the sign inversion processing unit 711 and the second color arrangement reproduction processing unit 712 are included in the color rearrangement data generation processing unit 20 surrounded by a broken line in FIG. 7.
  • the RAW image 101 which is an original image, is a mosaic image reflecting the pixel arrangement of the Bayer array, and is usually read from the imaging unit 12 line by line.
  • Raw line image data 701 of this original image in line units includes RG lines in which red (R) and green (G) information are repeated for each pixel, and blue (B) and green (G) information for each pixel. And BG lines repeated. In FIG. 7, only signal information related to the BG line is shown.
  • line data pass through a color carrier removal filter processing unit 702 that removes color carriers near the Nyquist frequency that changes in two pixel cycles, and for the RG line, the average value of red (R) and green (G) Line brightness data ⁇ (R + G) ⁇ is output, and line brightness data ⁇ (B + G) ⁇ which is an average value of blue (B) and green (G) is output for the BG line.
  • the two types of line data pass through the color carrier extraction filter processing unit 704 that extracts color carriers near the Nyquist frequency that changes in two pixel cycles, and RG line color carrier data modulated at the Nyquist frequency for the RG line. Is output, and BG line color carrier data modulated at the Nyquist frequency is output for the BG line.
  • the RG line color carrier data and the BG line color carrier data modulated at the Nyquist frequency are subjected to a color carrier inversion / demodulation processing unit 705 in which the sign is inverted for each pixel, the continuous RG line color difference data, and the BG line color difference data Is output as
  • the luminance not shown in FIG. Performs luminance band limiting filter processing with different characteristics and chrominance band limiting filter processing for data and chrominance data, but as efficient processing, color carrier removal filter processing unit 702 and color carrier extraction filter processing
  • the method of simultaneously applying and processing the limitation of the frequency characteristic by the part 704 is good, and this method G is an efficient implementation method.
  • the color difference band limitation is set to half or less of the luminance band limitation.
  • the linear interpolation thinning processing is performed according to the reduction ratio by the luminance signal sensor readout direction resizing unit 706.
  • the color difference data whose band is limited is subjected to linear interpolation thinning processing in accordance with the reduction ratio by the horizontal reduction resizing processing unit 507 in the color difference signal sensor readout direction.
  • the sign inversion processing unit 711 that inverts the sign of the color carrier data, second ⁇ - ⁇ (R ⁇ G), ⁇ (R ⁇ G) ⁇ , which has a different sign for each pixel on each line data. It becomes two types of reduced RG line color carrier data and reduced BG line color carrier data such as ⁇ (B ⁇ G), ⁇ (B ⁇ G) ⁇ .
  • the resized reduced line luminance data is added to the resized color carrier data and the first and second reduced RG line color carrier data for each line in the color array reproduction processing unit 709.
  • the 1st and 2nd reduced BG line color carrier data are recombined, and the reduced and resized RG line and GR line repeating red (R) and green (G) information for each pixel, and blue (B) and green
  • the information of (G) is output as a reduced and resized BG line 710 ⁇ GB line 713 repeating for each pixel.
  • RG line data is reproduced as R, G, R, G.
  • GR line data is reproduced as G, R, G, R.
  • luminance data ⁇ 0.5 (B + G) ⁇ and color carrier data ⁇ 0.5 (BG), ⁇ 0.5 (BG) ⁇ are obtained.
  • 0.5 ⁇ (B + G) + (BG) ⁇ 0.5 ⁇ (B + G)-(BG) ⁇ ... is repeated . That is, BG line data is reproduced as B, G, B, G.
  • GB line data is reproduced as G, B, G, B.
  • the horizontal reduction resize processing function in the sensor readout direction shown in FIG. 7 can be used when the processing units 501, 507, and 508 shown in FIG. 5 and the processing unit 601 shown in FIG. 6 are implemented.
  • the horizontal direction reduced resize processing unit 501 in FIG. 5 outputs one of two types of reduced line data having different color arrangements to the next process. Further, the color rearrangement data generation processing units 507 and 508 do not execute the reduction processing in the horizontal direction, and output two kinds of reduced line data having different color arrangements. Further, the horizontal reduced size resize and color rearrangement data generation processing unit 601 in FIG. 6 outputs two types of reduced line data that have been subjected to horizontal size reduction processing and that have different color arrangements.
  • the reduced RAW image data processed by the horizontal reduction and resize processing unit 501 and the horizontal reduction and resize processing & color rearrangement data generation processing unit 601 is temporarily stored in the memory units 503, 604, and 605.
  • the detail in the case of reading a plurality of horizontal reduced line RAW data from a plurality of line memories at the same time as writing to a plurality of line memories as an example will be described.
  • FIG. 8A shows write and read operations of a plurality of line memories.
  • FIG. 7B shows the write and read operations of the same line memory at the next line cycle timing of FIG.
  • reference numeral 801 denotes a line memory consisting of eight lines.
  • Reference numeral 802 denotes a data write cycle to the line memory 801, and writing is performed while cyclically rotating in a ring shape line by line as write control for eight lines.
  • Reference numeral 803 denotes a data read cycle to the line memory 801. While selecting memory data for seven lines out of eight lines at a time, read is performed while cyclically rotating in a ring as in the write control.
  • the position of the top line of the 7-line simultaneous cyclic reading with respect to the ring-like cyclic writing is the writing line The position is delayed by one line.
  • writing and reading can be operated asynchronously by dividing the writing line and the reading line.
  • the RAW resized data for a plurality of lines grouped among the RAW reduced resized images 502, 602 and 603 in the horizontal direction are collectively read out from the line memory 801 shown in FIGS. 8A and 8B.
  • processing is performed in the vertical direction on the same position data 804 in the sensor readout direction of FIG. obtain.
  • processing is performed in the vertical direction by the vertical direction reduction resize & color rearrangement data processing units 606 and 607 to obtain four types of RAW resized images 104 having different color arrangements.
  • the processing in the vertical reduction resize & color rearrangement data processing units 504, 606, and 608 is different from the horizontal reduction resize processing unit 501 in the sensor readout direction, and an arbitrary image having a plurality of lines as an input
  • the reduction resizing process in the vertical direction is performed by reducing the number of output lines depending on whether or not the process output data is output based on the process of determining whether to use as valid data in line units.
  • FIG. 9 shows that when the two types of Bayer array data different in color array information are generated by the above-mentioned vertical reduction resizing & color rearrangement data processing 504, 606, 608, an arbitrary size is vertically made in the direction of the input line.
  • An example of an internal processing configuration for generating two types of Bayer array data 710 and 711 by reducing the image and replacing colors on even lines and odd lines in the vertical direction together is shown.
  • vertical reduction resizing & color rearrangement data processing 504, 606, and 608 in FIG. 9 are two systems of luminance signal processing and color difference signal processing. To carry out.
  • FIG. 9 exemplifies the case where the processing is performed with seven pixels at the same horizontal position in the vertical direction as one processing unit for the RAW image of seven lines as input data.
  • a color carrier removal filter processing unit (filter processing unit) 903 for extracting luminance data in the vertical direction from the seven lines of the RAW image;
  • a color carrier extraction filter processing unit (filter processing unit) 912 for extracting carrier data, and color carrier inversion for performing color inversion demodulation on color carrier data modulated in the vertical direction and outputting color difference data continuous in the vertical direction Demodulation processing unit (vertical color carrier inversion demodulation processing unit) 916 and luminance signal vertical reduction resizing processing unit for performing vertical reduction resizing independently on the obtained vertical direction line luminance data 909 and color difference data (Vertical direction reduction resize processing unit) 910 and color difference signal vertical direction reduction resize processing unit (Vertical direction reduction resize processing unit 918, a color difference data inversion modulation processing unit (vertical direction color difference data inversion modulation processing unit) 920 which performs gain level adjustment by reconverting color difference data after resizing to color carrier data,
  • the processing related to color rearrangement includes color difference data inversion modulation processing unit 920 for performing gain level adjustment by reconverting the resized color difference data into color carrier data, and first color arrangement reproduction processing unit 922; A sign inversion processing unit 926 and a second color arrangement reproduction processing unit 924 are included in the color rearrangement data generation processing unit 30 surrounded by a broken line in FIG.
  • the RAW image after horizontal resizing processing holds a mosaic-like array reflecting the pixel arrangement of the Bayer array, and as shown in FIG.
  • the data is cyclically written to the line memory 801, and the plural lines are cyclically read collectively.
  • data of seven lines are collectively output using the line memory 801 consisting of eight lines.
  • the first vertical processing unit for input data in units of 7 lines after horizontal resizing processing is blue (B) and green (G) in the vertical direction with respect to vertical attention data at the same position in the sensor readout direction on the line.
  • the GR vertical processing unit 902 in which information of green (G) and red (R) in the vertical direction is repeated for each pixel.
  • These two types of vertical processing units have color carrier information in the vicinity of the Nyquist frequency, which changes in two pixel cycles in the vertical direction, and the color carrier removal filter processing unit 903, which removes the color carriers, Three lines of processing are performed using the luminance data Y1 to Y3 for five lines in the line data, and three types of continuous luminance data shifted in position by one line in the vertical direction are generated.
  • the color carrier removal filter processing unit 903 outputs three types of line luminance data 909 using luminance data Y1 to Y3 of 5 pixels in the vertical direction.
  • Respective luminance data Y1 to Y3 are luminance data which is an average value of blue (B) and green (G) for the BG vertical processing unit 901 in the vertical direction, and green for the next GR vertical processing unit 902 in the vertical direction.
  • Brightness data which is an average value of G) and red (R), is alternately output in the horizontal direction.
  • the two vertical processing units 901 and 902 correspond to five lines in the seven lines of the color carrier extraction filter processing unit 912 that extracts color carriers near the Nyquist frequency that changes in two pixel cycles in the vertical direction.
  • the three-system processing is performed using the data of (1), and three types of continuous color carrier data C1 to C3 (913 to 915) shifted in position by one line in the vertical direction are generated.
  • BG vertical direction of the BG vertical processing unit 901 BG color carrier component data modulated at the Nyquist frequency is output
  • GR vertical direction of the GR vertical processing unit 902 GR color carrier component data modulated at the Nyquist frequency Is output.
  • Each of the three BG color carrier component data and the GR color carrier component data modulated at the Nyquist frequency in the vertical direction is converted by the color carrier modulation / demodulation processing unit 916 in which the sign is inverted for each pixel (every one line operation) in the vertical direction. It is output as R-G data and B-G data continuous in the vertical direction.
  • the color difference data C1 to C3 are output so that the pixel data position in the vertical direction becomes the same position as the luminance data Y1 to Y3.
  • luminance band limiting filter processing and chrominance band limiting filtering processing which have different characteristics for luminance data and chrominance data, which are not shown in FIG. It is possible to process three lines of luminance data Y1 to Y3 and color difference data C1 to C3, but as efficient processing, color carrier removal filter processing unit 903 and color carrier extraction filter processing unit 912 And the method of simultaneously applying and processing the limitation of the frequency characteristic is an efficient implementation method. At this time, it is preferable to set the bandwidth of the color difference data to half or less of the bandwidth limitation of the luminance data on the assumption that the final recording format is JPEG, TIFF or MPEG.
  • the luminance signal vertical reduction and resizing processing unit 910 performs linear interpolation in the vertical direction using the three line luminance data 909 of the luminance data Y1 to Y3 band-limited in the vertical direction, and adjusts the reduction ratio in line units. Line thinning out output.
  • the color difference signal vertical reduction and resizing processing unit 918 performs linear interpolation similar to that of the luminance data in the vertical direction using the three color difference line data, and performs line thinning out and output according to the vertical reduction ratio in units of lines. .
  • Color difference data inversion modulation in which the sign is inverted every effective line output as equivalent processing for modulating the color difference data reduced and resized by the line thinning in the vertical direction at the Nyquist frequency which changes in the pixel direction in the vertical direction.
  • Processing in the processing unit 920 is performed to generate first vertical color carrier data 921 in the vertical direction.
  • the sign inversion processing unit 926 inverts the first vertical color carrier data 921 to generate second vertical color carrier data 927.
  • the first color array reproduction processing unit 922 performs addition processing on the line luminance data 911 reduced and resized in the vertical direction by the line thinning in the vertical direction and the first vertical color carrier data 921, and the vertical direction is performed.
  • BG data 923 both horizontally and vertically resized by repeating information of blue (B) and green (G) for each pixel, and information of green (G) and red (R) in vertical direction not shown
  • the data is alternately output in the horizontal direction as the vertical direction GR data resized in both the horizontal and vertical directions which are repeated each time.
  • the line luminance data 911 and the second vertical color carrier data 927 subjected to the vertical reduction and resizing in the vertical direction are subjected to addition processing in the second color array reproduction processing unit 924 to be green (in the vertical direction).
  • G) information of blue (B) repeats for each pixel Vertically resized both vertically and vertically resized GB data 925, and information of red (R) and green (G) in the vertical direction (not shown) repeats for each pixel
  • the data is alternately output in the horizontal direction as vertical direction RG data resized in both the horizontal and vertical directions.
  • the processing relating to two types of color rearrangement in the vertical direction is performed by the first color array reproduction processing unit 922 and the second color array reproduction processing unit 924, and the two types of Bayer arrays shown in FIG.
  • the data 505, 506 are output as two types of Bayer array data 104a, 104b, 104c, 104d shown in FIG.
  • the color arrangement information of the 2 pixels ⁇ 2 pixels range reduced to the display size by combining the processing of FIG. 7 ⁇ the processing of FIG. 8 ⁇ parallel processing of FIG. Four different types of Bayer array data 104 can be generated.
  • the color re-arrangement display data generation processing unit 201, 203, 205 shown in FIG. 2 is used to select the red (R), green (G), and blue (B) colors of the original image. It is possible to generate display data of a color array according to the input specification of
  • the means for carrying out the present invention is not limited to a dedicated image processing apparatus (image reproduction apparatus or image processing apparatus), and may be a personal computer. Further, the image processing may be realized not only by hardware (signal processing circuit) but also by software.
  • the image processing program used for image processing may be configured as a single application software, or may be incorporated as part of an application such as image processing software or file management software.
  • the image processing program is not limited to application to a computer system such as a personal computer, but can also be applied as an operation program of a central processing unit (CPU) incorporated in an information device such as a digital camera or a mobile phone. It is.
  • CPU central processing unit
  • the image processing apparatus and the image processing method according to the present invention are an image data size conversion display processing apparatus particularly suitable for reduction processing of an original image obtained from a single-panel color imaging device and display, It is useful as a camera, an image data size conversion display processing program, and the like.

Abstract

　画像処理装置において、単板カラー撮像素子から得られた原画像から、表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部１０２と、この縮小された画像に基づいて、表示モニターの色画素配列に対応できる１種類以上の色配列画像を生成する色再配列表示データ生成処理部１０３とを有して、原画像の色情報で構成される１種類以上の表示用縮小画像を生成する。従って、撮像素子から出力される大サイズ原画像から表示用の小サイズ画像を生成処理して表示する際に、最小のフレーム遅延で高速に表示できる。

Description

画像処理装置及び画像処理方法並びにデジタルカメラ
　本発明は、単板カラー撮像素子から得られる原画像を縮小した画像を表示する際に、高速で省電力な動作を実現するのに好適な、画像処理装置及び画像処理方法並びにデジタルカメラに関する。
　近年、大判サイズの撮像素子を搭載した一眼デジタルカメラにおいて、光学ビューファインダーと可動ミラーとを搭載しないミラーレス一眼デジタルカメラが注目を浴びている。ミラーレスな一眼デジタルカメラの特徴は、撮影被写体を液晶モニターで確認しながら構図決めを実施して、静止画撮影や動画撮影ができることであり、普及型のデジタルカメラや携帯カメラにおいても標準的な撮影方法となっている。
　前述のように一般的なデジタルカメラは、専用の液晶モニターを搭載しており、撮影被写体を液晶モニターで確認しながら構図決めを実施し、同時に顔認識や動き認識などを実施して特定エリアの露出やフォーカスを自動で調整して、静止画撮影や動画撮影を行う。
　このようなデジタルカメラに代表される撮像装置では、カラー画像を撮像するために、撮像素子上に色分解フィルタが設けられている。例えば、ベイヤー方式の色分解フィルタでは、撮像素子の画素に対応して、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の原色フィルタが市松模様に配置されている。つまり、ベイヤー配列では、画素並びにおけるセンサー読み出し方向及び垂直方向の両方向に、同じ色成分のフィルタが１画素おきに並ぶ。このような色分解フィルタを通して撮像された撮像素子出力となる画像データは、画像処理により被写体の色を再現するため、入力前段処理においては、ベイヤー配列が保持されるように扱う必要がある。
　撮像素子から出力される大サイズ原画像から表示用の小サイズ画像を生成処理して表示する際は、原画像を基にダイナミックレンジ調整やホワイトバランスをとりながら、各画素についてＲ／Ｇ／Ｂの情報を得るような同時化処理を行った後、一般的に扱われるＹ／Ｃｒ／Ｃｂのデータ型に変換するカラー画像処理を経て、液晶モニターの表示サイズに合うように縮小リサイズ処理を実施し、モニター特性に合うような表示処理を実施して、専用モニターに表示する。
　図１０は、一般的なデジタルカメラの内部信号処理ブロックの概念図を示す。
　同図において、光学レンズ１１を通過した被写体の光学像は、撮像素子面で結像し、撮像素子から出力される。単板式撮像素子の原画像（１面）であるベイヤー配列のＲＡＷ画像データ１０１は、ＤＣレベル調整、ゲイン調整などを前処理部１０５で実施し、メモリー制御部１０７を介してメモリー部１０８に一旦書き込まれた後、次の処理にてメモリー制御部１０７を介してメモリー部１０８から読み出され、画像信号処理部１０９に入力される。画像信号処理部１０９では、ベイヤー配列のＲＡＷ画像からＹ／Ｃｒ／Ｃｂのデータ型に変換する画像信号処理が行われる。
　画像信号処理部１０９では、Ｙ／Ｃｒ／Ｃｂのデータ型の画像に変換すると共に、表示用画像サイズに縮小するために、縮小リサイズ処理を実施して、所望の表示サイズ画像を生成する。生成された表示サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、メモリー制御部１０７を介して再度メモリー部１０８に書き込まれる。
　また同時に、画像信号処理部１０９では、Ｙ／Ｃｒ／Ｃｂのデータ型の画像に変換した後、顔検出用画像サイズに縮小するために、輝度信号Ｙに対して縮小リサイズ処理を実施して、所望の顔検出用の輝度画像データを生成する。メモリー制御部１０７を介してメモリー部１０８に書き込まれた顔検出用サイズの輝度信号Ｙのデータ型画像は、顔検出処理部１０６から再度メモリー制御部１０７を介してメモリー部１０８から適宜読み出され、画像内の顔の位置、大きさなどの顔情報を抽出し、その抽出結果情報はメモリー制御部１０７を介してメモリー部１０８に書き込まれる。ＣＰＵ１１４は、メモリー制御部１０７を介してメモリー部１０８に書き込まれた顔検出情報を読み出し、顔検出情報より顔位置を示す表示情報に変換し、表示データを生成して、メモリー部１０８に書き込む。同時に、ＣＰＵ１１４は、顔認識情報を基に特定エリアの露出やフォーカスを自動で調整する。
　前記メモリー部１０８に書き込まれた表示サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、再度メモリー制御部１０７を介してメモリー部１０８から読み出されて、表示処理部１１７に入力される。このとき、前記の顔位置を示す表示情報も同時にメモリー部１０８から読み出され表示処理部１１７に入力される。
　表示処理部１１７に入力されたＹ／Ｃｒ／Ｃｂのデータ型画像と顔位置を示す表示情報とは、表示処理部１１７でモニター１１８のモニターの特性に合わせたデータ仕様に変換されて、モニター１１８に出力され、表示される。
　また、規格化されたサイズでの動画記録を行う場合は、前記と同様に、原画像１０１を画像信号処理部１０９でＹ／Ｃｒ／Ｃｂのデータ型の画像に変換した後、画像信号処理＆縮小リサイズ処理部１０９で縮小リサイズ処理を実施して、所望の動画記録サイズ画像を生成する。
　生成された動画記録サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、メモリー制御部１０７を介して再度メモリー部１０８に書き込まれる。メモリー部１０８に書き込まれた動画記録サイズのＹ／Ｃｒ／Ｃｂのデータ型画像は、再度メモリー制御部１０７を介してメモリー部１０８から読み出されて、圧縮伸張部１１０に入力される。圧縮伸張部１１０に入力されたＹ／Ｃｒ／Ｃｂのデータ型画像は、ＭＪＰＥＧやＭＰＥＧ、Ｈ２６４などの動画像コーデック方式を用いてデータ圧縮され、再度メモリー制御部１０７を介してメモリー部１０８に書き込まれる。圧縮された動画データは、再度メモリー制御部１０７を介してメモリー部１０８から読み出され、記録メディアインターフェース１１１を介して記録メディア１１２に書き込まれる。
　図１１は、記述した一般的なデジタルカメラの内部信号処理の流れを示す詳細図を示す。
　同図では、任意の２次元サイズのベイヤー配列のＲＡＷ画像データ１０１が入力される期間を第１フレーム期間として、入力されたＲＡＷ画像データ１０１はこの第１フレーム期間に前処理部１０５での処理が実施される。次の第２フレーム期間では、画像信号処理部１０９の処理が実施され、第３フレーム期間では、表示処理部１１７での処理が実施されて、モニター１１８に表示される。そして、この第３フレーム期間以降では、顔検出部１０６での検出処理が実施されると共に、圧縮伸張部１１０での処理が実施されて、記録メディアインターフェース１１１を介して記録メディア１１２に圧縮データが記録される。
　ここで、前記第１～第３フレーム期間での処理手続きの順番に着目した場合、入力されたＲＡＷ画像１０１は相対的に最短２フレーム期間遅れてモニター１１８に表示される。
　また、従来、例えば特許文献１～３には、ＲＧＢデータからなるＲＡＷ画像を前処理で縮小リサイズする技術として、原画像としてのＲＧＢのＲＡＷデータをリサイズするに際し、最初の処理において独立のＲ、Ｇ、Ｂデータに色分離し、又は、同色画素の混合により間引きする方法が開示されている。そして、これ等特許文献１～３では、デジタルカメラの撮影時に、撮影被写体を液晶モニターで確認しながら構図決めを実施する際には、前記の方法で縮小した１種類のＲＧＢベイヤー配列のＲＡＷデータを一旦メモリ部に取り込み、その後、Ｙ／Ｃｒ／Ｃｂのデータ型に変換するカラー現像画像処理を実施し、液晶モニターの仕様と特性に合うような表示処理を実施して、専用モニターに表示しながら、同時にＹ／Ｃｒ／Ｃｂのデータを圧縮して記録するという信号処理を行っている。
特開２００３－３４６１４３号公報 特開２００１－２４５１４１号公報 特開２００２－８４５４７号公報
　しかしながら、前記図９及び図１０に示した従来の信号処理では課題がある。即ち、任意の１種類のＲＡＷ画像をＹ／Ｃｒ／Ｃｂのデータ型に変換する信号処理を行った後、複数サイズの縮小画像処理を行っている点に起因して、次の２つの課題がある。
　（１）撮影被写体を確認しながら構図決めを実施するモニターモード及び動画記録モードでは、大サイズのＲＡＷ画像データをその大サイズのまま画像信号処理してＹ／Ｃｒ／Ｃｂデータ変換し、その後に縮小画像処理を実施するため、そのＹ／Ｃｒ／Ｃｂデータ型変換に伴う冗長処理に起因して、モニターモード表示にフレーム遅延が発生し、被写体の動きに対してリアルタイムな表示ができなくなり、静止画撮影時のシャッターチャンスを逃す場合が生じる。
　（２）縮小リサイズ処理は記録画像数を減らす処理であり、極力画像処理の前段で実施すれば、後段処理でのメモリーアクセス量を減らすことが可能であるが、従来のようにＹ／Ｃｒ／Ｃｂのデータ型に変換した後に縮小リサイズを実施する場合には、この際に間引かれて捨てられるデータはＹ／Ｃｒ／Ｃｂのデータ型への変換処理が冗長処理となる。また、このＹ／Ｃｒ／Ｃｂのデータ型への変換処理は、メモリーバッファを経由して処理されるため、画像サイズに対する処理量に比例してＩ／Ｏバッファの電力消費も伴い、省電力観点でも効率が悪い。
　同様に、特許文献１～３の開示技術では、撮像素子の高画素化と動画記録対応の高速読み出し処理技術が進む中、処理の前段階にてＲＡＷ画像を縮小しているが、デジタルカメラの撮影において、液晶モニター上で撮影被写体を確認しながら構図決めを実施しつつ、顔認識などの各種認識動作を同時に行いながら、リアルタイムのオートフォーカス（ＡＦ）やオートエクスポージャー（ＡＥ）等を実施するモニターモードの状態では、メモリーバッファを経由するＹ／Ｃｒ／Ｃｂのデータ型への変換処理を行っており、この変換処理がモニター表示及び画像認識などのフレーム遅延の主要因となる。
　本発明は、このような事情に鑑みてなされたものであり、その目的は、画像処理装置において、原画像が入力されるフレーム時間内で、撮像素子から出力される大サイズＲＡＷ原画像から表示用の小サイズのＲＡＷ画像を生成処理して、モニターに表示することを可能にすることにある。
　前記目的を達成するため、本発明では、原画像からＹ／Ｃｒ／Ｃｂのデータ型に変換するカラー現像画像処理を実施せず、ＲＡＷ原画像からモニター表示画像用の小サイズＲＡＷ画像を生成処理することとし、これにより、表示モニターへのフレーム遅延の発生しない表示動作を、高速で実現する画像処理装置及び画像処理方法を提供する。
　具体的に、請求項１記載の発明の画像処理装置は、色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理装置であって、単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部と、前記縮小リサイズ処理部により縮小された縮小画像に基づいて、前記原画像の色情報で構成される１種類以上の表示用縮小画像を生成する色再配列データ生成処理部とを有することを特徴とする。
　請求項２記載の発明の画像処理装置は、色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理装置であって、単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部と、前記縮小リサイズ処理部により縮小された縮小画像に基づいて、前記原画像の色情報で構成される１種類以上の表示用縮小画像を生成する色再配列データ生成処理部と、前記色再配列データ生成処理部により生成された表示用縮小画像に基づいて、前記表示モニターの色画素配列に対応できる１種類以上の色配列表示データを生成する色再配列表示データ生成処理部とを有することを特徴とする。
　請求項３記載の発明は、前記請求項１又は２記載の画像処理装置において、前記色再配列表示データ生成処理部から前記表示用縮小画像を、前記表示モニターの表示特性に応じた表示処理を行う表示処理部に直接入力するデータパスと、前記色再配列表示データ生成処理部から前記表示用縮小画像を、メモリー部を介して前記表示処理部に入力するデータパスとを更に有し、撮影時の動作モードに応じて、前記メモリー部を制御するメモリー制御部が、前記表示用縮小画像を、前記色再配列データ生成処理部から前記表示処理部に直接入力するか、前記メモリー部を介して前記表示処理部に入力するかの画像入力データパス制御を選択的に行うことを特徴とする。
　請求項４記載の発明は、前記請求項１～３の何れか１項に記載の画像処理装置において、前記縮小リサイズ処理部の縮小リサイズ処理と、前記色再配列データ生成処理部の色再配列データ生成処理とは、原画像に対する水平方向処理と垂直方向処理とでそれぞれ実施可能であることを特徴とする。
　請求項５記載の発明は、前記請求項１～４の何れか１項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位の第１の縮小リサイズ処理により片方向のみ縮小リサイズ処理を行うと共に、この片方向のみ縮小リサイズ処理された１つの複数色配列データに基づいて、前記第１の縮小リサイズ処理と直交する垂直方向の第２の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された２種類の複数色配列データを生成し、前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成することを特徴とする。
　請求項６記載の発明は、前記請求項５の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対して前記第１の縮小リサイズ処理により水平方向のみ縮小リサイズ処理された１種類の複数色配列データを記憶装置に書き込み、前記記憶装置から前記１種類の複数色配列ＲＡＷデータを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された２種類の色配列データを生成し、前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成することを特徴とする。
　請求項７記載の発明は、前記請求項６記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対して前記第１の縮小リサイズ処理により片方向のみ縮小リサイズ処理された１種類の複数色配列データを複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データから輝度データと色キャリアデータとを抽出して、再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は入力ライン数に対する出力ラインを減ずる処理を行うことにより、２次元的に縮小リサイズ処理された２種類の複数色配列データを生成し、前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の色配列データを生成することを特徴とする。
　請求項８記載の発明は、前記請求項１～４の何れか１項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位処理により片方向のみ縮小リサイズ処理を行うと共に色再配列データ生成処理を行い、前記片方向のみ縮小リサイズ処理された２種類の色配列データに基づいて、前記処理方向と直交する方向に再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする。
　請求項９記載の発明は、前記請求項８記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた２種類の複数色配列データを記憶装置に書き込み、前記記憶装置から前記２種類の色配列データを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする。
　請求項１０記載の発明は、前記請求項９記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた２種類の色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は、入力ライン数に対する出力ラインを減ずる処理を行うことにより、２次元的に縮小リサイズ処理された複数種類の色配列データを生成することを特徴とする。
　請求項１１記載の発明は、前記請求項５～１０の何れか１項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、水平方向縮小リサイズ処理及び色再配列データ生成処理について、前記原画像に対してセンサー読み出し方向のライン単位のライン単位処理により輝度データと色キャリアデータとを抽出するフィルタ処理部と、前記色キャリアデータを色差分データに変換する色キャリア反転復調処理部と、前記輝度データと色差分データとに対して独立して縮小リサイズを行う縮小リサイズ処理部と、前記縮小リサイズ処理部による縮小リサイズ後の色差分データを１画素毎に、符号の異なる第１の色キャリアデータと、この第１の色キャリアデータとは符号が異なる第２の色キャリアデータとを生成する色キャリア変調処理部と、前記縮小リサイズ後の輝度データと前記第１の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第２の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理部とを含むことを特徴とする。
　請求項１２記載の発明は、前記請求項５～１０の何れか１項に記載の画像処理装置において、前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、垂直方向縮小リサイズ処理及び色再配列データ生成処理について、前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみ縮小リサイズ処理と色再配列データ生成処理とが行われた色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して輝度データと色キャリアデータとを垂直方向にライン単位で抽出するフィルタ処理部と、前記抽出された垂直方向の色キャリアデータを垂直方向の色差分データに変換する垂直方向色キャリア反転復調処理部と、前記垂直方向の輝度データと色差分データとに対して独立して入力ライン数に対する出力ラインを減ずる処理を行って、縮小リサイズを行う垂直方向縮小リサイズ処理部と、前記垂直方向の縮小リサイズ後の垂直方向に連続な色差分データから１ライン毎に、符号の異なる第１の色キャリアデータと、この第１の色キャリアデータとは符号が異なる第２の色キャリアデータとを生成する垂直方向色差分データ反転変調処理部と、前記縮小リサイズ後の輝度データと前記第１の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第２の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理部とを含むことを特徴とする。
　請求項１３記載の発明は、前記請求項１～１２の何れか１項に記載の画像処理装置において、前記原画像は、原色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得された画像であることを特徴とする。
　以上により、本発明では、撮像素子から出力される大サイズ原画像から表示用の小サイズ画像を直接に生成処理してモニターに表示する際に、原画像からＹ／Ｃｒ／Ｃｂのデータ型に変換するカラー現像画像処理を実施せず、表示用の小サイズの画像に縮小リサイズ処理すると共に、このリサイズされた画像に基づいて、原画像の色情報で構成される表示用縮小画像を生成する。従って、メモリーアクセスを伴う後段処理量が減少すると共に、表示モニターへのフレーム遅延を最小フレーム遅延にできて、高速な被写体認識用のモニターモード動作を実現することが可能である。
　以上説明したように、本発明によれば、撮影被写体を確認しながら構図決めを実施するモニターモードの状態で、撮像素子から出力される大サイズ原画像から表示用の小サイズ画像を直接に生成処理してモニターに表示する際に、原画像からＹ／Ｃｒ／Ｃｂのデータ型に変換するカラー現像画像処理を実施せず、表示用の小サイズのＲＡＷ画像に縮小処理してモニタに表示するので、メモリーアクセスを伴う後段処理量が減少すると共に、表示モニターへのフレーム遅延を最小フレーム遅延にできて、高速な被写体認識用のモニターモード動作を実現することが可能である。
図１は本発明の実施形態に係る画像処理装置を搭載する撮像装置の全体構成図である。 図２は同実施形態に係る画像処理装置の概略構成を示す図である。 図３は同画像処理装置において前処理部から表示処理部へフレーム遅延なしで直接データ伝送する構成を示す図である。 図４は同画像処理装置において前処理部から表示処理部へメモリー部を介して１フレーム遅延で表示処理部へデータ伝送する構成を示す図である。 図５は同画像処理装置の前処理部の内部構成を示す図である。 図６は同画像処理装置の前処理部の他の内部構成を示す図である。 図７は同前処理部に備える水平方向の縮小リサイズ処理部及び色再配列データ生成処理部の内部構成を示す図である。 図８（ａ）はラインメモリの書き込み読み出し動作を示す図、同図（ｂ）は同図（ａ）の次のライン周期タイミングにおける同ラインメモリの書き込み読み出し動作を示す図である。 図９は同前処理部に備える垂直方向の縮小リサイズ処理部及び色再配列データ生成処理部の内部構成を示す図である。 図１０は従来の一般的なデジタルカメラの内部信号処理装置のブロック構成を示す図である。 図１１は同従来のデジタルカメラの内部信号処理の流れを示す図である。
　以下、本発明に係る画像処理装置及び画像処理方法の好ましい実施形態について図面に従って説明する。
　図１は、本発明の実施形態に係る画像処理装置を搭載する撮像装置の構成図を示す。
　同図において、この撮像装置１０は、前記背景技術で説明した図１０の構成と同様に、撮像部１２を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア１１２に記録する単板式のデジタルカメラである。
　図１中の基本構成部の動作は図１０で説明した内容と同様である。図１０と図１の構成において、本発明に関わる大きな相違点は２つある。即ち、
（１）前処理部１０５の内部で実施する画像処理機能と、
（２）前処理部１０５から表示処理部１１７へ直接データ伝送する機能とである。
　先ず、図１の構成図の各基本構成部の説明を行う。
　撮像部１２は、ＣＣＤ型又はＣＭＯＳ型等に代表される撮像素子（図示せず）を有しており、撮像素子の受光面には多数のフォトダイオード（感光画素）が２次元的に配列されており、図示しない光学レンズを通過した被写体情報を光電変換する。撮像素子は、各画素に対応する位置に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の何れかの色が存在するような所定の色配列のカラーフィルタを有し、受光素子たるフォトダイオードに入射する光の色選択を行う。本実施形態ではベイヤー配列で説明する。
　前記撮像部１２から出力される画像データはＲＡＷ画像と呼ばれ、Ａ／Ｄ変換処理によりデジタル信号に変換されたものである。ベイヤー配列のＲＡＷ画像データ１０１は、受光素子が行方向及び列方向にそれぞれ一定ピッチで正方行列的に配列されている。尚、実際の撮像素子の結像面では、ベイヤー配列のＲＡＷ画像データ１０１に示した画素配列の構造がセンサー読み出し方向及び垂直方向に周期的に繰り返される。勿論、本発明の実施上、カラーフィルタ配列構造は、ベイヤー配列に限定されず、Ｇストライプ等、様々な配列構造が可能である。また、本実施形態では、原色フィルタを用いているが、本発明の実施に際しては原色フィルタに限定されず、黄（Ｙ）、マゼンタ（Ｍ）、シアン（Ｃ）、緑（Ｇ）からなる補色フィルタを用いたり、原色と補色との任意の組み合わせや、白（Ｗ）を用いたりすることも可能である。
　前記Ａ／Ｄ変換されたＲＡＷ画像データ１０１は、撮像装置１０の動作モードに従った必要な信号処理を経て、又は信号処理を省略して、記録メディア１１２に記録される。
　撮影モードにおいては、モニター１１８に被写体画像が表示される。本実施形態の撮像装置１０は、撮影モードとして、ＪＰＥＧ形式による静止画像記録が可能であると共に、ＭＰＥＧ形式などの動画圧縮記録が可能である。また、Ａ／Ｄ変換した直後のＲＡＷ画像データ１０１をそのまま記録することもできる。
　撮影被写体を確認しながら構図決めを実施するモニターモードの状態から、ＪＰＥＧ形式で静止画記録する場合を説明する。
　先ず、Ａ／Ｄ変換されたベイヤー配列ＲＡＷ画像データ１０１は前処理部１０５でモニターサイズに縮小リサイズされると共に、モニター１１８の色画素配列に変換され、直接にデータパスＤＰｔｈ（１）から表示処理部１１７にリアルタイムに表示データＲＧＢ（２）として出力される。モニター特性に合わせた画質調整は、前処理部１０５又は表示処理部１１７で行われる。このフレーム遅延のないモニターモードの状態では、各種認識動作が同時に行われる。
　前記前処理部１０５では、ベイヤー配列ＲＡＷ画像データ１０１を表示サイズに縮小リサイズする際、顔検出用に輝度成分のみのデータＹが同時に生成されて、メモリー制御部１０７を介してメモリー部１０８に書き込まれる。
　顔検出処理部１０６は、メモリー制御部１０７を介してメモリー部１０８から検出用サイズのＹデータを適宜読み出す。表示サイズよりも小さいサイズのＹデータに対して顔検出処理を行う場合は、画像信号処理部１０９を用いて縮小リサイズ処理を実施して、再度メモリー部１０８に検出用サイズＹデータを書き込んだ後、そのＹデータを適宜読み出す。顔検出処理部１０６は、その読み出したＹデータから画像内の顔の位置・大きさなどの顔情報を検出し、メモリー制御部１０７を介して、その検出結果情報をメモリー部１０８に書き込む。
　ＣＰＵ１１４は、メモリー部１０８に書き込まれた顔検出情報をメモリー制御部１０７を介して読み出し、その検出結果より顔位置を示す情報を表示サイズに変換生成し、表示データとしてメモリー部１０８に書き込む。更に、顔検出情報は、前記のＡＥ（オートエクスポージャー）制御及び自動焦点調節（オートフォーカス＝ＡＦ）制御に必要な演算を行うオート演算部（図示せず）から得られる情報と合わせてＣＰＵ１１４で処理され、人物被写体の任意の位置に対する焦点評価値演算の結果に基づいてレンズ駆動用モータ（図示せず）を制御し、光学レンズ１１を合焦位置に移動させると共に、絞りや電子シャッタを制御して、露出制御を行う。前記顔位置情報を示す表示データは、メモリー制御部１０７を介してメモリー部１０８から読み出されて、表示処理部１１７に入力される。表示処理部１１７に入力された顔位置情報を示す表示データは、表示処理部１１７でモニター１１８のモニターの特性にあわせた入力データ仕様に変換され、前記表示データＲＧＢ（２）と重ねてモニター１１８に表示される。
　次に、前記モニターモードの状態から、ＪＰＥＧ形式で静止画記録動作へ移行する場合を説明する。
　静止画記録モードに移行すると、撮像部１２から撮像素子の全画素数となるＲＡＷ原画像１０１が出力される。ＲＡＷ原画像１０１は、前処理部１０５で前処理を実施され、メモリー制御部１０７を介してメモリー部１０８に書き込まれる。その後、ＲＡＷ原画像１０１はメモリー制御部１０７を介して画像信号処理部１０９に送られる。
　画像信号処理部１０９では、同時化処理（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ホワイトバランス（ＷＢ）調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍（拡大／縮小）処理、画素数の変換（リサイズ）処理等の各種処理を実施し、ＣＰＵ１１４からのコマンドに従って画像信号を処理する。これら各種処理の一部となるホワイトバランス（ＷＢ）調整、ガンマ補正等は前処理部１０５で実施する場合もある。前処理部１０５及び画像信号処理部１０９は、メモリー制御部１０７を介して処理途中の画像を一時記憶できるメモリー部１０８を利用しながら、画像信号の処理を行う。
　前記前処理部１０５と画像信号処理部１０９とにおいて所定の信号処理を経た画像データは、圧縮伸張部１１０に送られ、ＪＰＥＧ形式の圧縮フォーマットに従って圧縮される。
　圧縮された画像データは、記録メディアＩ／Ｆ（インターフェース）部１１１を介して記録メディア１１２に記録される。記録メディア１１２は、メモリカードに代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスク等の種々の媒体を用いることができる。また、リムーバブルメディアに限らず、撮像装置１０に内蔵された記録媒体（内部メモリ）であってもよい。
　前記ＣＰＵ１１４は、所定のプログラムに従って本撮像装置１０を統括制御する制御部であり、操作パネル１１３からの指示信号に基づいて撮像装置１０内の各回路の動作を制御する。ＲＯＭ１１５には、ＣＰＵ１１４が実行するプログラム及び制御に必要な各種データ等が格納され、ＲＡＭ１１６はＣＰＵ１１４の作業用領域として利用される。
　前記操作パネル１１３は、撮像装置１０に対してユーザが各種の指示を入力するための手段であり、例えば、撮像装置１０の動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目等の所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチ等各種の操作手段を含む。また各種スイッチは、タッチパネル上のエリアスイッチでも実現される。
　前記ＣＰＵ１１４は、操作パネル１１３から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モード等）に従い、撮像部１２を制御すると共に、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、記録メディア１１２の読み書き制御等を行う。
　例えば、フレーム遅延のないモニターモードから静止画取り込みの移行に際して、ＣＰＵ１１４は、レリーズスイッチの半押しを検知すると自動焦点調節（ＡＦ）制御を行い、レリーズスイッチの全押しを検知すると、記録用の画像を取り込むための露光及び読み出し制御を開始する。また、ＣＰＵ１１４は、必要に応じて図示せぬストロボ制御回路にコマンドを送り、キセノン管等の閃光発光管（発光部）の発光を制御する。
　前処理部１０５は、後に詳細説明する本発明の特徴となる画像処理機能を有すると共に、ＡＥ制御及びＡＦ制御に必要な演算を行うオート演算部（図示せず）を含み、静止画撮影の場合は、レリーズスイッチの半押しに応動して取り込まれた画像信号に基づいて焦点評価値演算やＡＥ演算等を行い、その演算結果をＣＰＵ１１４に伝える。レリーズスイッチの全押しが検知されると、ＣＰＵ１１４は焦点評価値演算の結果に基づいて図示せぬレンズ駆動用モータを制御し、光学レンズ１１を合焦位置に移動させると共に、絞りや電子シャッタを制御して、露出制御を行う。こうして取り込まれたＲＡＷ画像データ１０１は、記録モードに従って所定の画像処理を実施して記録メディア１１２に記録される。
　動画撮影の場合は前記一連の画像処理が動画記録の間連続的に処理される。尚、圧縮形式は、ＪＰＥＧ方式を用いたＭＰＥＧ、又はその他の方式を採用してもよく、使用される圧縮形式に対応したフレーム連続的に動作する圧縮処理が用いられる。
　（前処理部での画像処理の内容）
　次に、前記のように構成された図１中の撮像装置１０において、本発明の特徴となる前処理部１０５の内部で実施する画像処理機能ついて説明する。
　図２は、原画像となるＲＡＷ画像データの色情報で構成される１種類以上の表示用縮小画像を生成すると共に色再配列ＲＡＷデータ生成する本発明の画像処理の概略を示す図である。
　図２において、単板カラー撮像素子から得られたＲＡＷ画像データ１０１は、前処理部１０５の内部処理機能となるＲＡＷデータ縮小リサイズ処理部１０２でモニター表示サイズのＲＡＷ画像データに縮小リサイズされると共に、色再配列データ生成処理部１０３で基準画素位置を含む２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４ａ、１０４ｂ、１０４ｃ、１０４ｄを生成して、出力される。
　前記４種類のベイヤー配列データに注目すると、任意の画素位置に対してＲ、Ｇ、Ｂの全ての色が存在することになり、色再配列表示データ生成処理部２０１、２０３、２０５を用いて原画像のＲ、Ｇ、Ｂの色を選択処理することにより、例えば次の（１）～（３）の色再配列表示データを生成して、モニター１１８の入力仕様に合わせた色配列の表示データを生成することができる。
（１）独立したＲプレーンデータ、Ｇプレーンデータ、Ｂプレーンデータの３面で構成される色再配列表示データ２０２
（２）Ｇプレーンデータ、ＢとＲの市松配置データの２面で構成される色再配列表示データ２０４
（３）Ｇプレーンデータ、ＢとＲの縦ストライプ配置データの２面で構成される色再配列表示データ２０６
　前記色再配列表示データ生成処理部２０１、２０３、２０５を用いれば、前記（１）～（３）に示す色配列表示データ以外にも、任意の色配列構成の表示データの生成が可能である。尚、色再配列データ生成処理部１０３は４種類の色再配列データ１０４ａ～１０４ｄを生成したが、そのうち１つの色再配列データ（例えば１０４ａ）がそのままモニター１１８の入力仕様に合致した色配列の表示データである場合には、この１種類の色再配列表示データのみを生成して、直接モニター１１８に出力すればよい。
　そして、最小フレーム遅延で原画像をモニター表示するという本発明の特徴を具現化するために、前記生成した色再配列表示データを図１に示したデータパスＤＰｔｈ（１）を介して直接に表示処理部１１７に入力すると共に、データパスＤＰｔｈ（２）を介してメモリー部１０８に一旦記憶し再度読み出して表示処理部１１７に入力できる構成をとる。
　図３は、前処理部１０５から表示処理部１１７へフレーム遅延なしで直接データ伝送する構成を示す。
　図３に示す構成では、撮像素子から出力されるＲＡＷ原画像１０１が前処理部１０５に入力される期間を第１フレーム期間として、この同じ第１フレーム期間内でのパイプライン処理により、Ｇプレーンデータと、青（Ｂ）と赤（Ｒ）との縦ストライプ配置データとの２面で構成される表示データ２０６を図１に示したデータパスＤＰｔｈ（１）を介して表示処理部１１７に直接入力してモニター１１８で表示する。この場合は、フレーム遅延を発生させず、被写体原画像をモニターに表示することができる。
　図４は、前処理部１０５から表示処理部１１７へメモリー部１１８を介して１フレーム遅延で表示処理部１１７へデータ伝送する構成を示す。
　図４に示す構成では、撮像素子から出力されるＲＡＷ原画像１０１が前処理部１０５に入力される期間を第１フレーム期間として、この同じ第１フレーム期間内のパイプライン処理で生成した緑（Ｇ）プレーンデータと、青（Ｂ）と赤（Ｒ）との縦ストライプ配置データとの２面で構成される表示データ２０６をデータパスＤＰｔｈ（２）を介してメモリー制御部１０７を介してメモリー部１０８に書き込む。そして、次の第２フレーム期間でその表示データ２０６を表示処理部１１７に入力してモニター１１８で表示する。この場合のフレーム遅延は、１フレーム期間として、被写体原画像をモニター１１８に表示することができる。
　尚、表示データに関しては、Ｇプレーンデータと、青（Ｂ）と赤（Ｒ）との縦ストライプ配置データとの２面で構成される表示データ２０６として説明したが、図２で説明したように、任意の色配列構成と多面構成を持つ表示データに関しても、同様のフレーム遅延をもってモニター１１８で表示できる。
　（縮小リサイズ処理部及び色再配列データ生成処理部の第１の具体例）
　図５は、前処理部１０５の内部信号処理となるＲＡＷデータ縮小リサイズ部１０２と色再配列データ生成処理部１０３との具体的構成を示す図である。
　図５に示す構成において、表示用サイズに縮小された基準画素位置を含む２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４ａ～１０４ｄの生成に際し、本実施形態の画像処理では、単板カラー撮像素子から得られたＲＡＷ画像データ１０１に対して、入力ライン方向に任意サイズの画像に縮小する第１の水平縮小リサイズ処理部５０１と、その水平方向にリサイズされた画像データを一時的に格納するメモリー部（記憶装置）５０３と、メモリー部５０３から読み出された複数の縮小ラインデータから入力ライン方向と直交する垂直方向に縮小リサイズを行って２種類のベイヤー配列データ５０５、５０６を生成する垂直縮小リサイズ処理＆色再配列データ生成処理部５０４と、水平方向及び垂直方向で縮小リサイズ処理された２種類のベイヤー配列データのそれぞれに対して再度入力ライン方向に２種類のベイヤー配列データを生成する色再配列データ生成処理部５０７、５０８を有する。
　図５を用いて、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４ａ～１０４ｄを生成する場合について説明する。
　入力ライン方向に任意サイズの画像に縮小する第１の水平縮小リサイズ処理部５０１において表示サイズへの縮小リサイズを実施する際、水平方向に表示サイズの水平サイズとなる縮小比率Ｋ１で水平方向にのみ縮小した画像データ５０２を生成する。
　前記水平縮小リサイズされた画像データ５０２は、ラインデータ単位に一時的にメモリー部５０３に書き込まれる。同時にメモリー部５０３から複数ライン分のデータを読み出して、次工程となる垂直方向の縮小リサイズ処理を行う。垂直縮小リサイズ処理部＆色再配列データ生成処理部５０４を用いて垂直方向に表示サイズの垂直サイズとなる水平と同様の比率Ｋ１で縮小し、垂直方向に偶数ラインと奇数ラインとの色を置換することにより、色配列が異なる２種類の表示用サイズベイヤー配列データ５０５、５０６を得る。
　次いで、前記２種類のベイヤー配列データ５０５、５０８のそれぞれに対して、再度入力ライン方向に２種類のベイヤー配列データを生成する色再配列データ生成処理部５０７、５０８でそれぞれに水平方向に偶数画素と奇数画素との色を置換することにより、更に２種類のベイヤー配列データを生成する。これにより、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成することができる。
　（縮小リサイズ処理部及び色再配列データ生成処理部の第２の具体例）
　図６は、前処理部１０５の内部信号処理となるＲＡＷデータ縮小リサイズ部１０２及び色再配列データ生成処理部１０３の構成の第２の具体例を示す。
　図６に示す構成において、表示用サイズに縮小された基準画素位置を含む２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４の生成に際し、本実施形態の画像処理は、単板カラー撮像素子から得られたＲＡＷ画像データ１０１に対して、入力ライン方向に任意サイズの画像に縮小し且つ２種類のベイヤー配列データ６０２、６０３を生成する水平縮小リサイズ＆色再配列データ生成処理部６０１と、その水平リサイズされた２種類のベイヤー配列データをそれぞれに一時的に格納するメモリー部６０４、６０５と、それぞれのメモリー部６０４、６０５から読み出された複数の縮小ラインデータから入力ライン方向と直交する垂直方向に縮小リサイズを行って更にそれぞれに２種類のベイヤー配列データを生成して、合計４種類のベイヤー配列データ１０４ａ、１０４ｂ、１０４ｃ、１０４ｄを生成する垂直縮小リサイズ処理＆色再配列データ生成処理部６０６、６０７とを有する。
　以下、図６の構成の動作として、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成する場合について説明する。
　入力ライン方向に任意サイズの画像に縮小し且つ２種類のベイヤー配列データ６０２、６０３を生成する水平縮小リサイズ処理＆色再配列データ生成処理部６０１において表示サイズへの縮小リサイズを実施する際、先ず水平方向に表示サイズの水平サイズとなる縮小比率Ｋ１で水平方向にのみ縮小したベイヤー配列データ生成する。合わせて水平方向に偶数画素と奇数画素との色を置換することにより、２種類のベイヤー配列データ６０２、６０３を生成する。
　前記水平縮小リサイズされた２種類のベイヤー配列データ６０２、６０３は、ラインデータ単位に一時的にメモリー部６０４、６０５にそれぞれ独立に書き込まれる。同時に、前記メモリー部６０４、６０５からそれぞれに複数ライン分のデータを読み出して、次工程となる垂直方向の縮小リサイズ処理を行う。２つの垂直縮小リサイズ＆色再配列データ生成処理部６０６、６０７を用いて、垂直方向に表示サイズの垂直サイズとなる水平と同様の比率Ｋ１で縮小する。合わせてそれぞれ垂直方向に偶数ラインと奇数ラインとの色を置換することにより、色配列が異なる２種類の表示用サイズベイヤー配列データを生成して、合計４種類の表示用サイズベイヤー配列データ１０４ａ、１０４ｂ、１０４ｃ、１０４ｄを得る。
　以上の処理により、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成する。
　（縮小リサイズ処理及び色再配列データ生成処理の概略）
　図７は、ＲＡＷデータ縮小リサイズ処理部１０２と色再配列データ生成処理部１０３において、色配列情報が異なる４種類のベイヤー配列データ１０４を生成するに際し、入力ライン方向に任意サイズの画像に縮小すると共に、合わせて水平方向に偶数画素と奇数画素との色を置換することにより、２種類のベイヤー配列データ７１０、７１１を生成する内部処理構成の一例を示す。本内部処理構成では、図５に示したＲＡＷデータ水平方向縮小リサイズ処理部５０１、水平方向色再配列データ生成処理部５０７、５０８、及び図６のＲＡＷデータ水平方向縮小リサイズ＆水平方向色再配列データ生成処理部６０１を実現する。
　図８は、水平リサイズされた画像データをラインデータ単位で一時的に保持するメモリー部５０３、６０４、６０７を用いて、複数のラインメモリにラインデータを書き込む方法と、複数のラインメモリ８０１から同時に複数の水平方向ラインデータを読み出す一例を示す図である。
　図９は、複数の水平方向縮小ラインデータを用いて、入力ライン方向と直交する垂直方向に縮小リサイズを行うと共に、合わせて垂直方向に偶数ラインと奇数ラインとの色を置換することにより２種類のベイヤー配列データ９２３、９２５を生成する内部処理構成の一例である。本内部処理構成では、図５及び図６に示したＲＡＷデータ垂直方向縮小リサイズ＆色再配列データ生成処理部５０４、６０６、６０７を実現する
　図７でセンサー読み出し方向の水平縮小リサイズ処理と色再配列処理を選択的に実施し、その出力を図８に示すラインメモリに書き込み、同時にセンサー読み出し方向の水平縮小リサイズ処理画像のうちまとまった複数ライン分のデータをラインメモリから読み出し、図９に示すような複数ライン上のセンサー読み出し方向の同一位置のデータに対して縦方向の同時処理で複数の垂直方向縮小リサイズ処理と色再配列処理とを行う。
　このとき、垂直方向縮小リサイズ処理は、前記のセンサー読み出し方向の水平縮小リサイズ処理とは別の処理となり、複数のライン単位の動作出力をライン単位で利用するか否かの判定処理のもと、ライン間欠的な出力として垂直方向に比率の違う縮小リサイズ画像を得る。
　更に、図５に示す第１の具体例においては、任意の画像に対しては図７に示す内部処理のうち、センサー読み出し方向の色再配列処理のみを選択的に再度実施して、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成する。
　本実施形態の画像処理機能の主眼は画像処理の流れと、処理手続きとの組み合わせと順序にあり、図５に示す第１の具体例では、図７の処理→図８の処理→図９の処理→図７の処理の順に組み合わせて、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成する。一方、図６に示す第２の具体例では、図７の処理→図８の処理→図９の並列処理の順に組み合わせて、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成する。
　尚、図７、図８及び図９に示す処理は、ＲＡＷデータを縮小リサイズ処理し且つ複数の色再配列処理をするに際して、折り返しノイズの発生しない高画質で解像感のある縮小ＲＡＷデータを生成する一手法であり、本発明は高画質な縮小処理の基本となる内部アルゴリズムをこの一手法に一義的に規定するものでない。しかしながら、本内部処理アルゴリズムは、冗長処理を削減するという本発明の目的のもと、処理手続きが少なく且つ高画質な縮小処理を実現できる方法であり、本発明の画像処理を実現する上での好適な縮小処理かつ色再配列処理アルゴリズムとなる。
　（水平方向の縮小リサイズ処理及び色再配列データ生成処理の具体例）
　次に、図７を用いて、図５及び図６に示した水平方向縮小リサイズ処理及び水平方向色再配列データ生成処理部５０１、５０７、５０８、６０１の処理で適用する、センサー読み出し方向の水平縮小リサイズ処理と色再配列処理との詳細を説明する。
　センサー読み出し方向の水平縮小リサイズ処理部５０１は、１次元のパイプライン処理であって、図７に示すように、ＲＡＷ画像１０１からライン単位のＲＡＷライン画像７０１に対するフィルタ処理により輝度データを抽出する色キャリア除去フィルタ処理部（フィルタ処理部）７０２と、色キャリアデータを抽出する色キャリア抽出フィルタ処理部（フィルタ処理部）７０４と、変調された色キャリアデータに対して色反転復調して連続した色差分データを出力する色キャリア反転復調処理部７０５と、得られた輝度データと色差分データとに対してそれぞれ独立して縮小リサイズを行う輝度信号センサー読み出し方向縮小リサイズ処理部７０６及び色差分信号センサー読み出し方向縮小リサイズ処理部７０７と、リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理部（色キャリア変調処理部）７０８と、リサイズ後のレベル調整された輝度データと変調後の色キャリアデータとを再合成して、最終的な第１の色配列データ７１０を生成する第１の色配列再現処理部（色再配列データ生成処理部）７０９と、変調後の色キャリアデータの符号を反転する符号反転処理部７１１と、リサイズ後のレベル調整された輝度データと変調後の符号反転色キャリアデータとを再合成して、最終的な第２の色配列データ７１３を生成する第２の色配列再現処理部（色再配列データ生成処理部）７１２とにより、構成される。
　色再配列に関わる処理は、前記リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理部７０８と、第１の色配列再現処理部７０９と、符号反転処理部７１１と、第２の色配列再現処理部７１２とであり、これ等の処理は、図７中に破線で囲んだ色再配列データ生成処理部２０に含まれる。
　次に、図７に示したセンサー読み出し方向の水平縮小リサイズ処理機能を用いて、ベイヤー配列の画像を処理する場合を説明する。
　原画像であるＲＡＷ画像１０１は、ベイヤー配列の画素配置を反映したモザイク状の画像であり、通常、撮像部１２からライン単位で読み出される。この原画像のライン単位のＲＡＷライン画像データ７０１は、赤（Ｒ）と緑（Ｇ）との情報が画素毎に繰り返されるＲＧラインと、青（Ｂ）と緑（Ｇ）の情報が画素毎に繰り返されるＢＧラインとの２種類となる。図７中では、ＢＧラインに関わる信号情報のみを示す。
　これら２種類のラインデータは、２画素周期で変化するナイキスト周波数近傍の色キャリアを除去する色キャリア除去フィルタ処理部７０２を経て、ＲＧラインに関しては赤（Ｒ）と緑（Ｇ）の平均値となるライン輝度データ｛α（Ｒ＋Ｇ）｝が出力され、ＢＧラインに関しては青（Ｂ）と緑（Ｇ）の平均値となるライン輝度データ｛α（Ｂ＋Ｇ）｝が出力される。
　また、前記２種類のラインデータは、２画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理部７０４を経て、ＲＧラインに関してはナイキスト周波数で変調されたＲＧライン色キャリアデータが出力され、ＢＧラインに関してはナイキスト周波数で変調されたＢＧライン色キャリアデータが出力される。前記ナイキスト周波数で変調されたＲＧライン色キャリアデータ及びＢＧライン色キャリアデータは、１画素毎に符号反転する色キャリア反転復調処理部７０５により、連続したＲＧライン色差分データ、及びＢＧライン色差分データとして出力される。
　前記抽出された輝度データと色差分データとに対してそれぞれ同一縮小比率でセンサー読み出し方向の縮小リサイズを実施するに際しては、縮小後の折り返しノイズを抑えるために、図７中には図示しない、輝度データ用及び色差データ用にそれぞれ特性の異なる輝度用帯域制限フィルタ処理と、色差用帯域制限フィルタ処理とを実施するが、効率的な処理として、色キャリア除去フィルタ処理部７０２と色キャリア抽出フィルタ処理部７０４とにより、周波数特性の制限を同時に適用処理する方法がよく、この方法Ｇ実装方法として効率的である。この際、色差用帯域制限としては、最終記録フォーマットがＪＰＥＧやＴＩＦＦ、ＭＰＥＧとなることを想定し、輝度用帯域制限の２分の１以下に設定する。帯域制限された輝度データは、輝度信号センサー読み出し方向縮小リサイズ処理部７０６により、縮小比率に合わせて線形補間間引き処理が行われる。一方、帯域制限された色差分データは、色差分信号センサー読み出し方向の水平縮小リサイズ処理部５０７により、縮小比率に合わせて線形補間間引き処理が行われる。
　ライン毎にセンサー読み出し方向に水平縮小リサイズされた２種類の連続的な色差分データ｛β（Ｒ－Ｇ）、β（Ｂ－Ｇ）｝は、２画素周期で変化するナイキスト周波数で変調するための等価処理として、１画素毎に符号を反転する色差分データ反転変調処理部７０８での処理を実施する。その結果、それぞれのラインデータ上で画素毎に符号の異なる第１の｛β（Ｒ－Ｇ）、－β（Ｒ－Ｇ）｝、｛β（Ｂ－Ｇ）、－β（Ｂ－Ｇ）｝という２種類の縮小ＲＧライン色キャリアデータと縮小ＢＧライン色キャリアデータとなる。同時に、前記色キャリアデータの符号を反転する符号反転処理部７１１により、それぞれのラインデータ上で画素毎に符号の異なる第２の｛―β（Ｒ－Ｇ）、β（Ｒ－Ｇ）｝、｛―β（Ｂ－Ｇ）、β（Ｂ－Ｇ）｝という２種類の縮小ＲＧライン色キャリアデータと縮小ＢＧライン色キャリアデータとなる。
　リサイズされた縮小ライン輝度データは、リサイズされた色キャリアデータとの加算処理である色配列再現処理部７０９において、ライン毎に、前記第１及び第２の縮小ＲＧライン色キャリアデータと、前記第１及び第２の縮小ＢＧライン色キャリアデータとが再合成され、赤（Ｒ）と緑（Ｇ）の情報が画素毎に繰り返す縮小リサイズされたＲＧライン・ＧＲライン、及び青（Ｂ）と緑（Ｇ）の情報が画素毎に繰り返す縮小リサイズされたＢＧライン７１０・ＧＢライン７１３として出力される。
　前記ＲＧラインの再合成を数式で示す。先ず、輝度データ｛α（Ｒ＋Ｇ）｝、色キャリアデータ｛β（Ｒ－Ｇ）、－β（Ｒ－Ｇ）｝にて、α＝０．５、β＝０．５とすると、輝度データ｛０．５（Ｒ＋Ｇ）｝、色キャリアデータ｛０．５（Ｒ－Ｇ）、－０．５（Ｒ－Ｇ）｝となる。画素毎に輝度データと色キャリアデータとを加算して行くと、０．５｛（Ｒ＋Ｇ）＋（Ｒ－Ｇ）｝、０．５｛（Ｒ＋Ｇ）－（Ｒ－Ｇ）｝…が繰り返される。すなわち、Ｒ、Ｇ、Ｒ、Ｇ…としてＲＧラインデータが再生する。色キャリアデータの符号が反転すると、Ｇ、Ｒ、Ｇ、Ｒ…としてＧＲラインデータが再生する。
　ＢＧラインでも同様にして、輝度データ｛α（Ｂ＋Ｇ）｝、色キャリアデータ｛β（Ｂ－Ｇ）、－β（Ｂ－Ｇ）｝にて、α＝０．５、β＝０．５とすると、輝度データ｛０．５（Ｂ＋Ｇ）｝、色キャリアデータ｛０．５（Ｂ－Ｇ）、－０．５（Ｂ－Ｇ）｝となる。画素毎に輝度データと色キャアデータとを加算して行くと、０．５｛（Ｂ＋Ｇ）＋（Ｂ－Ｇ）｝、０．５｛（Ｂ＋Ｇ）－（Ｂ－Ｇ）｝…が繰り返される。すなわち、Ｂ、Ｇ、Ｂ、Ｇ…としてＢＧラインデータが再生する。色キャリアデータの符号が反転すると、Ｇ、Ｂ、Ｇ、Ｂ…としてＧＢラインデータが再生する。
　図７に示したセンサー読み出し方向の水平縮小リサイズ処理機能は、図５において示した処理部５０１、５０７、５０８や図６に示した処理部６０１を実施する際に使用できる。
　図５の水平方向縮小リサイズ処理部５０１では色配列が異なる２種類の縮小ラインデータのうち１つを次の処理へ出力する。また、色再配列データ生成処理部５０７、５０８では、水平方向の縮小処理は実施せず、色配列が異なる２種類の縮小ラインデータを出力する。更に、図６の水平方向縮小リサイズ＆色再配列データ生成処理部６０１では、水平方向の縮小処理された、色配列が異なる２種類の縮小ラインデータを出力する。
　次に、図８を用いて、前記水平縮小リサイズ処理部５０１、水平縮小リサイズ処理＆色再配列データ生成処理部６０１で処理された縮小ＲＡＷ画像データを一時的に、メモリー部５０３、６０４、６０５の一例としての複数のラインメモリに書き込むと同時に、それ等の複数のラインメモリから複数の水平方向縮小ラインＲＡＷデータを読み出す場合の詳細を説明する。
　図８（ａ）は、複数のラインメモリの書き込み読み出し動作を示す。同図（ｂ）は、同図（ａ）の次のライン周期タイミングにおける同ラインメモリの書き込み読み出し動作を示す。図８（ａ）及び図（ｂ）において、８０１は８ラインからなるラインメモリである。８０２は、前記ラインメモリ８０１に対してのデータ書き込みサイクルを示し、８ラインに対する書き込み制御として１ラインずつ順番にリング状に巡回させながら書き込んでいく。８０３は、ラインメモリ８０１に対してのデータ読み出しサイクルを示し、８ラインのうち７ライン分のメモリデータをまとめて選択しながら、書き込み制御と同様、順番にリング状に巡回させながら読み出して行く。
　図８（ａ）及び（ｂ）の例では、使用する複数のラインメモリ８０１の容量を最小限とするために、リング状の巡回書き込みに対する、７ライン同時巡回読み出しの先頭ラインの位置を書き込みラインよりも１ライン遅らせた位置としている。また、書き込みラインと読み出しラインとを分けることにより、書き込みと読み出しとを非同期に動作させることができる。
　こうして、水平方向のＲＡＷ縮小リサイズ画像５０２、６０２、６０３のうちまとまった複数ライン分のＲＡＷリサイズデータを図８（ａ）及び（ｂ）に示すラインメモリ８０１からまとめて読み出すことにより、複数ライン上のセンサー読み出し方向の同一位置データ８０４に対して、図５に示す第１の具体例では、垂直方向縮小リサイズ＆色再配列データ処理部５０４で縦方向に処理を行い、ＲＡＷリサイズ画像５０５、６０６得る。図６に示す第２の具体例では、垂直方向縮小リサイズ＆色再配列データ処理部６０６、６０７で縦方向に処理を行って、色配列の異なる４種類のＲＡＷリサイズ画像１０４を得る。
　このとき、垂直方向縮小リサイズ＆色再配列データ処理部５０４、６０６、６０８での処理は、センサー読み出し方向の水平縮小リサイズ処理部５０１とは異なる処理となり、複数のラインを入力とする任意の画像処理出力データに対して、ライン単位で有効データとして利用するか否かの判定処理のもと出力するか否かで出力ライン数を減らすことにより、垂直方向の縮小リサイズ処理を実施する。
　（垂直方向の縮小リサイズ処理及び色再配列データ処理の具体例）
　図９は、前記垂直方向縮小リサイズ＆色再配列データ処理５０４、６０６、６０８により、色配列情報が異なる２種類のベイヤー配列データを生成するに際し、入力ライン方向に対して垂直方向に任意サイズの画像に縮小すると共に、合わせて垂直方向に偶数ライン上と奇数ライン上との色を置換することにより、２種類のベイヤー配列データ７１０、７１１を生成する内部処理構成の一例を示す。
　図９の垂直方向縮小リサイズ＆色再配列データ処理５０４、６０６、６０８は、図７に示したセンサー読み出し方向の水平縮小リサイズ処理と同様に、輝度信号処理と色差分信号処理との２系統処理として実施する。
　詳細説明に際して、図９では、入力データとして７ライン分のＲＡＷ画像に対して垂直方向に同一水平位置となる７画素を１つの処理単位として処理を実施する場合を例示している。
　図９に示す垂直方向縮小リサイズ＆色再配列データ処理は、前記７ライン分のＲＡＷ画像から垂直方向に輝度データを抽出する色キャリア除去フィルタ処理部（フィルタ処理部）９０３と、垂直方向の色キャリアデータを抽出する色キャリア抽出フィルタ処理部（フィルタ処理部）９１２と、垂直方向に変調された色キャリアデータに対して色反転復調して垂直方向に連続した色差分データを出力する色キャリア反転復調処理部（垂直方向色キャリア反転復調処理部）９１６と、得られた垂直方向ライン輝度データ９０９と色差分データとに対して独立して垂直方向縮小リサイズを行う輝度信号垂直方向縮小リサイズ処理部（垂直方向縮小リサイズ処理部）９１０及び色差分信号垂直方向縮小リサイズ処理部（垂直方向縮小リサイズ処理部）９１８と、リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理部（垂直方向色差分データ反転変調処理部）９２０と、リサイズ後のレベル調整された輝度データと変調後の色キャリアデータとを再合成して、最終的な第１の色配列データ９２３を生成する第１の色配列再現処理部９２２と、変調後の色キャリアデータの符号を反転する符号反転処理部９２６と、リサイズ後のレベル調整された輝度データと変調後の符号反転された色キャリアデータとを再合成して、最終的な第２の色配列データ９２５を生成する第２の色配列再現処理部９２４とにより、構成される。
　色再配列に関わる処理は、前記リサイズ後の色差分データを色キャリアデータに再変換してゲインレベル調整を行う色差分データ反転変調処理部９２０と、第１の色配列再現処理部９２２と、符号反転処理部９２６と、第２の色配列再現処理部９２４とであり、これ等の処理は図９中に破線で囲んだ色再配列データ生成処理部３０に含まれる。
　前記図９に示した垂直方向縮小リサイズ＆色再配列データ処理機能を用いて、ベイヤー配列の画像を縮小リサイズ処理＆色再配列データ処理する場合について、詳細に説明する。
　図９の垂直方向の処理単位９０１に示すように、水平リサイズ処理後のＲＡＷ画像は、ベイヤー配列の画素配置を反映したモザイク状の配列を保持しており、図８に示すようにライン単位でラインメモリ８０１に巡回的に書き込まれ、複数ラインまとめて巡回的に読み出される。図８に示した本実施形態では、８ラインからなるラインメモリ８０１を利用し、７ライン分のデータがまとめて出力される。
　水平リサイズ処理後の７ライン単位の入力データに対する第１の垂直方向の処理単位は、ライン上のセンサー読み出し方向の同一位置の垂直方向注目データに対して垂直方向に青（Ｂ）と緑（Ｇ）との情報が画素毎に繰り返されるＢＧ垂直処理単位９０１と、垂直方向に緑（Ｇ）と赤（Ｒ）との情報が画素毎に繰り返されるＧＲ垂直処理単位９０２との２種類となる。
　これら２種類の垂直方向の処理単位となるデータは、垂直方向に２画素周期で変化するナイキスト周波数近傍の色キャリア情報を有し、前記色キャリアを除去する色キャリア除去フィルタ処理部９０３において、７ラインデータ中の５ライン分の輝度データＹ１～Ｙ３を用いて３系統処理され、垂直方向に１ライン分位置のずれた連続な輝度データが３種類生成される。本実施形態では、色キャリア除去フィルタ処理部９０３にて垂直方向にそれぞれ５画素の輝度データＹ１～Ｙ３を用いて、３種類のライン輝度データ９０９を出力している。それぞれの輝度データＹ１～Ｙ３は、垂直方向のＢＧ垂直処理単位９０１に関しては青（Ｂ）と緑（Ｇ）の平均値となる輝度データ、次の垂直方向のＧＲ垂直処理単位９０２に関しては緑（Ｇ）と赤（Ｒ）の平均値となる輝度データが水平方向に交互に出力される。
　また、前記２種類の垂直方向の処理単位９０１、９０２は、垂直方向に２画素周期で変化するナイキスト周波数近傍の色キャリアを抽出する色キャリア抽出フィルタ処理部９１２の７ラインデータ中の５ライン分のデータを用いて３系統処理され、垂直方向に１ライン分位置のずれた連続な色キャリアデータＣ１～Ｃ３（９１３～９１５）が３種類生成される。ＢＧ垂直処理単位９０１のＢＧ垂直方向に関しては、ナイキスト周波数で変調されたＢＧ色キャリア成分データが出力され、ＧＲ垂直処理単位９０２のＧＲ垂直方向に関しては、ナイキスト周波数で変調されたＧＲ色キャリア成分データが出力される。
　垂直方向にナイキスト周波数で変調されたそれぞれ３つのＢＧ色キャリア成分データ及びＧＲ色キャリア成分データは、垂直方向に１画素毎（１ライン動作毎）に符号反転する色キャリア変転復調処理部９１６により、垂直方向に連続したＲ－Ｇデータ、Ｂ－Ｇデータとして出力される。ここでは、垂直方向の画素データ位置を輝度データＹ１～Ｙ３と同一位置となるように色差分データＣ１～Ｃ３を出力する。
　垂直方向に抽出された前記３ラインデータからなる輝度データＹ１～Ｙ３と色差分データＣ１～Ｃ３とに対して、それぞれ同一比率の垂直方向の縮小リサイズを実施するに際して、縮小後の折り返しノイズを抑えるために、図９中には図示しない、輝度データ用及び色差データ用にそれぞれ特性の異なる輝度用帯域制限フィルタ処理と、色差用帯域制限フィルタ処理とを実施することが望ましい。輝度データＹ１～Ｙ３と色差分データＣ１～Ｃ３との３ラインに対して処理することも可能であるが、効率的な処理としては、色キャリア除去フィルタ処理部９０３と色キャリア抽出フィルタ処理部９１２とにより、周波数特性の制限を同時に適用処理する方法が実装方法として効率的である。この際、色差分データの帯域制限としては、最終記録フォーマットがＪＰＥＧやＴＩＦＦ、ＭＰＥＧとなることを想定して、輝度用データの帯域制限の２分の１以下に設定することが望ましい。
　輝度信号垂直方向縮小リサイズ処理部９１０は、前記垂直方向に帯域制限された輝度データＹ１～Ｙ３の３つのライン輝度データ９０９を用いて垂直方向での線形補間を行い、ライン単位で縮小比率に合わせてライン間引き出力する。一方、色差分信号垂直方向縮小リサイズ処理部９１８は、３つの色差分ラインデータを用いて垂直方向に前記輝度データと同様の線形補間を行い、ライン単位で垂直縮小比率に合わせてライン間引き出力する。
　前記垂直方向のライン間引きで縮小リサイズされた色差分データは、垂直方向に２画素周期で変化するナイキスト周波数で変調するための等価処理として、有効ライン出力毎に符号を反転する色差分データ反転変調処理部９２０での処理が実施されて、垂直方向に第１の垂直色キャリアデータ９２１が生成される。この第１の垂直色キャリアデータ９２１を符号反転処理部９２６で符号反転し、第２の垂直色キャリアデータ９２７を生成する。
　前記垂直方向のライン間引きで垂直方向に縮小リサイズされたライン輝度データ９１１と、前記第１の垂直色キャリアデータ９２１とは、第１の色配列再現処理部９２２で加算処理が実施され、垂直方向に青（Ｂ）と緑（Ｇ）との情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向ＢＧデータ９２３、及び図示しない垂直方向に緑（Ｇ）と赤（Ｒ）との情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向ＧＲデータとして、水平方向に交互に出力される。
　前記垂直方向のライン間引きで垂直縮小リサイズされたライン輝度データ９１１と、前記第２の垂直色キャリアデータ９２７とは、第２の色配列再現処理部９２４で加算処理されて、垂直方向に緑（Ｇ）と青（Ｂ）との情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向ＧＢデータ９２５、及び図示しない垂直方向に赤（Ｒ）と緑（Ｇ）との情報が画素毎に繰り返す水平垂直共にリサイズされた垂直方向ＲＧデータとして、水平方向に交互に出力される。
　垂直方向での２種類の色再配列に関わる処理は、前記第１の色配列再現処理部９２２と、第２の色配列再現処理部９２４とにより実施され、図５に示す２種類のベイヤー配列データ５０５、５０６、図６に示す２種類のベイヤー配列データ１０４ａ、１０４ｂ、１０４ｃ、１０４ｄとして出力される。
　以上説明したように、図５に示す第１の実施形態では、図７の処理→図８の処理→図９の処理→図７の処理の順に組み合わせて、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成することができる。
　また、図６に示す第２の実施形態では、図７の処理→図８の処理→図９の並列処理の順に組み合わせて、表示用サイズに縮小された２画素×２画素範囲の色配列情報が異なる４種類のベイヤー配列データ１０４を生成することができる。
　その後、図２に示した色再配列表示データ生成処理部２０１、２０３、２０５を用いて原画像の赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色を選択処理することにより、モニターの入力仕様に合わせた色配列の表示データを生成することができる。
　尚、本発明を実施する手段は、専用の画像処理装置（画像再生装置や画像加工装置）に限らず、パソコンであってもよい。また、画像処理は、その処理の一部又は全部をハードウェア（信号処理回路）に限らず、ソフトウェアで実現してもよい。
　また、画像処理に使用する画像処理プログラムは、単独のアプリケーションソフトウェアとして構成されてもよいし、画像加工ソフトウェアやファイル管理用ソフトウェア等のアプリケーションの一部として組み込まれてもよい。また、その画像処理プログラムは、パソコン等のコンピュータシステムに適用する場合に限定されず、デジタルカメラや携帯電話機等の情報機器に組み込まれる中央処理装置（ＣＰＵ）の動作プログラムとしても適用することが可能である。
　以上説明した通り、本発明に係る画像処理装置及び画像処理方法は、特に単板カラー撮像素子から得られる原画像を縮小処理して表示する際に好適な画像データサイズ変換表示処理装置、電子スチルカメラ、画像データサイズ変換表示処理プログラム等として有用である。
１０　撮像装置
１１　光学レンズ
１２　撮像部
１０１　ベイヤー配列のＲＡＷ画像データ
１０４　４種類のベイヤー配列データ
１０５　前処理部
１０７　メモリー制御部
１０８　メモリー部
１０９　画像信号処理部
１１０　圧縮伸張処理部
１１１　記録メディアＩ／Ｆ部
１１２　記録メディア
１１３　操作パネル
１１４　ＣＰＵ
１１５　ＲＯＭ
１１６　ＲＡＭ
１１７　表示処理部
１１８　モニター
ＤＰｔｈ（１）、ＤＰｔｈ（２）　データパス
１０２　縮小リサイズ処理部
１０３　色再配列データ生成処理部
１０４ａ～１０４ｄ　４種類のベイヤー配列データ
２０１、２０３、２０５　色再配列表示データ生成処理部
２０２、２０４、２０６　色再配列表示データ
５０１　ＲＡＷデータ水平方向縮小リサイズ処理部
５０２　水平方向にのみ縮小した画像データ
５０３、６０４、６０５　メモリー部（記憶装置）
５０４、６０６、６０７　ＲＡＷデータ垂直方向リサイズ処理＆色再配列処理部
５０５、５０６　２種類の表示用サイズベイヤー配列データ
５０７、５０８　水平方向色再配列データ生成処理部
６０１　ＲＡＷデータ水平方向縮小リサイズ＆色再配列データ生成処理部
６０２、６０３　水平方向にのみ縮小した２種類の画像データ
７０１　ＲＡＷライン画像データ
７０２　色キャリア除去フィルタ処理部（フィルタ処理部）
７０３　ライン輝度データ
７０４　色キャリア抽出フィルタ処理部（フィルタ処理部）
７０５　色差分データ復調処理部
７０６　輝度信号センサー読み出し方向縮小リサイズ処理部
７０７　色差分信号センサー読み出し方向縮小リサイズ処理部
７０８　色キャリア変調処理部（色キャリア変調処理部）
７０９　第１の色配列再現処理部（色再配列データ生成処理部）
７１０　第１の縮小色配列データ
７１１　符号反転処理部
７１２　第２の色配列再現処理部（色再配列データ生成処理部）
７１３　第２の縮小色配列データ
８０１　ラインメモリ
８０２　ラインメモリに対してのデータ書き込みサイクル
８０３　ラインメモリに対してのデータ読み出しサイクル
８０４　複数ライン上のセンサー読み出し方向の同一位置のデータ
９０１　第１の垂直方向の処理単位
９０２　第２の垂直方向の処理単位
９０３　色キャリア除去フィルタ処理部（フィルタ処理部）
９０４、９０５、９０６　ライン輝度データ
９０９　３種類のライン輝度データ
９１０　輝度信号垂直方向縮小リサイズ処理部（垂直方向縮小リサイズ処理部）
９１１　垂直方向縮小ライン輝度データ
９１２　色キャリア抽出フィルタ処理部（フィルタ処理部）
９１３、９１４、９１５　色キャリアデータ
９１６　色キャリア変転復調処理部（垂直方向色キャリア反転復調処理部）
９１８　色差分信号垂直方向縮小リサイズ処理部
　　　　　　 （垂直方向縮小リサイズ処理部）
９１９　垂直方向縮小色差分データ
９２０　色差分データ反転変調処理部（垂直方向色差分データ反転変調処理部）
３０　　色再配列データ生成処理部
９２１　第１の垂直色キャリアデータ
９２２　第１の垂直色配列再現処理部
９２３　第１の縮小色配列データ
９２４　第２の垂直色配列再現処理部
９２５　第２の縮小色配列データ
９２６　符号反転処理部
９２７　第２の垂直色キャリアデータ

Claims (27)

  1. 　色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理装置であって、
    　単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部と、
    　前記縮小リサイズ処理部により縮小された縮小画像に基づいて、前記原画像の色情報で構成される１種類以上の表示用縮小画像を生成する色再配列データ生成処理部とを有する
    　ことを特徴とする画像処理装置。
  2. 　色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理装置であって、
    　単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理部と、
    　前記縮小リサイズ処理部により縮小された縮小画像に基づいて、前記原画像の色情報で構成される１種類以上の表示用縮小画像を生成する色再配列データ生成処理部と、
    　前記色再配列データ生成処理部により生成された表示用縮小画像に基づいて、前記表示モニターの色画素配列に対応できる１種類以上の色配列表示データを生成する色再配列表示データ生成処理部とを有する
    　ことを特徴とする画像処理装置。
  3. 　前記請求項１又は２記載の画像処理装置において、
    　前記色再配列表示データ生成処理部から前記表示用縮小画像を、前記表示モニターの表示特性に応じた表示処理を行う表示処理部に直接入力するデータパスと、
    　前記色再配列表示データ生成処理部から前記表示用縮小画像を、メモリー部を介して前記表示処理部に入力するデータパスとを更に有し、
    　撮影時の動作モードに応じて、前記メモリー部を制御するメモリー制御部が、前記表示用縮小画像を、前記色再配列データ生成処理部から前記表示処理部に直接入力するか、前記メモリー部を介して前記表示処理部に入力するかの画像入力データパス制御を選択的に行う
    　ことを特徴とする画像処理装置。
  4. 　前記請求項１～３の何れか１項に記載の画像処理装置において、
    　前記縮小リサイズ処理部の縮小リサイズ処理と、前記色再配列データ生成処理部の色再配列データ生成処理とは、
    　原画像に対する水平方向処理と垂直方向処理とでそれぞれ実施可能である
    　ことを特徴とする画像処理装置。
  5. 　前記請求項１～４の何れか１項に記載の画像処理装置において、
    　前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、
    　前記原画像に対してセンサー読み出し方向のライン単位の第１の縮小リサイズ処理により片方向のみ縮小リサイズ処理を行うと共に、
    　この片方向のみ縮小リサイズ処理された１つの複数色配列データに基づいて、前記第１の縮小リサイズ処理と直交する垂直方向の第２の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された２種類の複数色配列データを生成し、
    　前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成する
    　ことを特徴とする画像処理装置。
  6. 　前記請求項５の画像処理装置において、
    　前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、
    　前記原画像に対して前記第１の縮小リサイズ処理により水平方向のみ縮小リサイズ処理された１種類の複数色配列データを記憶装置に書き込み、
    　前記記憶装置から前記１種類の複数色配列ＲＡＷデータを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された２種類の色配列データを生成し、
    　前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成する
    　ことを特徴とする画像処理装置。
  7. 　前記請求項６記載の画像処理装置において、
    　前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、
    　前記原画像に対して前記第１の縮小リサイズ処理により片方向のみ縮小リサイズ処理された１種類の複数色配列データを複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データから輝度データと色キャリアデータとを抽出して、再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は入力ライン数に対する出力ラインを減ずる処理を行うことにより、２次元的に縮小リサイズ処理された２種類の複数色配列データを生成し、
    　前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の色配列データを生成する
    　ことを特徴とする画像処理装置。
  8. 　前記請求項１～４の何れか１項に記載の画像処理装置において、
    　前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、
    　前記原画像に対してセンサー読み出し方向のライン単位処理により片方向のみ縮小リサイズ処理を行うと共に色再配列データ生成処理を行い、
    　前記片方向のみ縮小リサイズ処理された２種類の色配列データに基づいて、前記処理方向と直交する方向に再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された複数種類の色配列データを生成する
    　ことを特徴とする画像処理装置。
  9. 　前記請求項８記載の画像処理装置において、
    　前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、
    　前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた２種類の複数色配列データを記憶装置に書き込み、
    　前記記憶装置から前記２種類の色配列データを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された複数種類の色配列データを生成する
    　ことを特徴とする画像処理装置。
  10. 　前記請求項９記載の画像処理装置において、
    　前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、
    　前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた２種類の色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は、入力ライン数に対する出力ラインを減ずる処理を行うことにより、２次元的に縮小リサイズ処理された複数種類の色配列データを生成する
    　ことを特徴とする画像処理装置。
  11. 　前記請求項５～１０の何れか１項に記載の画像処理装置において、
    　前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、
    　水平方向縮小リサイズ処理及び色再配列データ生成処理について、
    　前記原画像に対してセンサー読み出し方向のライン単位のライン単位処理により輝度データと色キャリアデータとを抽出するフィルタ処理部と、
    　前記色キャリアデータを色差分データに変換する色キャリア反転復調処理部と、
    　前記輝度データと色差分データとに対して独立して縮小リサイズを行う縮小リサイズ処理部と、
    　前記縮小リサイズ処理部による縮小リサイズ後の色差分データを１画素毎に、符号の異なる第１の色キャリアデータと、この第１の色キャリアデータとは符号が異なる第２の色キャリアデータとを生成する色キャリア変調処理部と、
    　前記縮小リサイズ後の輝度データと前記第１の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第２の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理部とを含む
    　ことを特徴とする画像処理装置。
  12. 　前記請求項５～１０の何れか１項に記載の画像処理装置において、
    　前記縮小リサイズ処理部及び前記色再配列データ生成処理部は、
    　垂直方向縮小リサイズ処理及び色再配列データ生成処理について、
    　前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみ縮小リサイズ処理と色再配列データ生成処理とが行われた色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して輝度データと色キャリアデータとを垂直方向にライン単位で抽出するフィルタ処理部と、
    　前記抽出された垂直方向の色キャリアデータを垂直方向の色差分データに変換する垂直方向色キャリア反転復調処理部と、
    　前記垂直方向の輝度データと色差分データとに対して独立して入力ライン数に対する出力ラインを減ずる処理を行って、縮小リサイズを行う垂直方向縮小リサイズ処理部と、
    　前記垂直方向の縮小リサイズ後の垂直方向に連続な色差分データから１ライン毎に、符号の異なる第１の色キャリアデータと、この第１の色キャリアデータとは符号が異なる第２の色キャリアデータとを生成する垂直方向色差分データ反転変調処理部と、
    　前記縮小リサイズ後の輝度データと前記第１の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第２の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理部とを含む
    　ことを特徴とする画像処理装置。
  13. 　前記請求項１～１２の何れか１項に記載の画像処理装置において、
    　前記原画像は、
    　原色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得された画像である
    　ことを特徴とする画像処理装置。
  14. 　色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理方法であって、
    　単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理工程と、
    　前記縮小リサイズ処理工程により縮小された縮小画像に基づいて、前記原画像の色情報で構成される１種類以上の表示用縮小画像を生成する色再配列データ生成処理工程とを有する
    　ことを特徴とする画像処理方法。
  15. 　色配列の周期性を有する複数色の画素からなる原画像のデジタル画像信号から縮小画像を生成して表示可能な画像処理方法であって、
    　単板カラー撮像素子から得られた原画像を表示モニターの表示サイズに対応した画像に縮小する縮小リサイズ処理工程と、
    　前記縮小リサイズ処理工程により縮小された縮小画像に基づいて、前記原画像の色情報で構成される１種類以上の表示用縮小画像を生成する色再配列データ生成処理工程と、
    　前記色再配列データ生成処理工程により生成された表示用縮小画像に基づいて、前記表示モニターの色画素配列に対応できる１種類以上の色配列表示データを生成する色再配列表示データ生成処理工程とを有する
    　ことを特徴とする画像処理方法。
  16. 　前記請求項１４又は１５記載の画像処理方法において、
    　前記色再配列表示データ生成処理工程から前記表示用縮小画像を、前記表示モニターの表示特性に応じた表示処理を行う表示処理部に直接入力するか、
    　前記色再配列表示データ生成処理工程から前記表示用縮小画像をメモリー部を介して前記表示処理部に入力するかを、
    　撮影時の動作モードに応じて選択的に切り換える
    　ことを特徴とする画像処理方法。
  17. 　前記請求項１４～１６の何れか１項に記載の画像処理方法において、
    　前記縮小リサイズ処理工程の縮小リサイズ処理と、前記色再配列データ生成処理工程の色再配列データ生成処理とは、
    　原画像に対する水平方向処理と垂直方向処理とでそれぞれ実施可能である
    　ことを特徴とする画像処理方法。
  18. 　前記請求項１４～１７の何れか１項に記載の画像処理方法において、
    　前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、
    　前記原画像に対してセンサー読み出し方向のライン単位の第１の縮小リサイズ処理により片方向のみ縮小リサイズ処理を行うと共に、
    　この片方向のみ縮小リサイズ処理された１つの複数色配列データに基づいて、前記第１の縮小リサイズ処理と直交する垂直方向の第２の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された２種類の複数色配列データを生成し、
    　前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成する
    　ことを特徴とする画像処理方法。
  19. 　前記請求項１８の画像処理方法において、
    　前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、
    　前記原画像に対して前記第１の縮小リサイズ処理により水平方向のみ縮小リサイズ処理された１種類の複数色配列データを記憶装置に書き込み、
    　前記記憶装置から前記１種類の複数色配列ＲＡＷデータを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された２種類の色配列データを生成し、
    　前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の複数色配列データを生成する
    　ことを特徴とする画像処理方法。
  20. 　前記請求項１９記載の画像処理方法において、
    　前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、
    　前記原画像に対して前記第１の縮小リサイズ処理により片方向のみ縮小リサイズ処理された１種類の複数色配列データを複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データから輝度データと色キャリアデータとを抽出して、再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は入力ライン数に対する出力ラインを減ずる処理を行うことにより、２次元的に縮小リサイズ処理された２種類の複数色配列データを生成し、
    　前記２種類の複数色配列データに対してそれぞれ再度のライン単位処理となる色再配列データ生成処理を行って、複数種類の色配列データを生成する
    　ことを特徴とする画像処理方法。
  21. 　前記請求項１４～１７の何れか１項に記載の画像処理方法において、
    　前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、
    　前記原画像に対してセンサー読み出し方向のライン単位処理により片方向のみ縮小リサイズ処理を行うと共に色再配列データ生成処理を行い、
    　前記片方向のみ縮小リサイズ処理された２種類の色配列データに基づいて、前記処理方向と直交する方向に再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された複数種類の色配列データを生成する
    　ことを特徴とする画像処理方法。
  22. 　前記請求項２１記載の画像処理方法において、
    　前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、
    　前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた２種類の複数色配列データを記憶装置に書き込み、
    　前記記憶装置から前記２種類の色配列データを読み出す際に、書き込み時のライン方向と直交する方向にライン単位で読み出して再度の縮小リサイズ処理と色再配列データ生成処理とを行って、２次元的に縮小リサイズ処理された複数種類の色配列データを生成する
    　ことを特徴とする画像処理方法。
  23. 　前記請求項２２記載の画像処理方法において、
    　前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、
    　前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみの縮小リサイズ処理と色再配列データ生成処理とが行われた２種類の色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して再度の縮小リサイズ処理と色再配列データ生成処理とを行い、前記垂直方向の縮小リサイズ処理は、入力ライン数に対する出力ラインを減ずる処理を行うことにより、２次元的に縮小リサイズ処理された複数種類の色配列データを生成する
    　ことを特徴とする画像処理方法。
  24. 　前記請求項１８～２３の何れか１項に記載の画像処理方法において、
    　前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、
    　水平方向縮小リサイズ処理及び色再配列データ生成処理について、
    　前記原画像に対してセンサー読み出し方向のライン単位のライン単位処理により輝度データと色キャリアデータとを抽出するフィルタ処理工程と、
    　前記色キャリアデータを色差分データに変換する色キャリア反転復調処理工程と、
    　前記輝度データと色差分データとに対して独立して縮小リサイズを行う縮小リサイズ処理工程と、
    　前記縮小リサイズ処理工程による縮小リサイズ後の色差分データを１画素毎に、符号の異なる第１の色キャリアデータと、この第１の色キャリアデータとは符号が異なる第２の色キャリアデータとを生成する色キャリア変調処理工程と、
    　前記縮小リサイズ後の輝度データと前記第１の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第２の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理工程とを含む
    　ことを特徴とする画像処理方法。
  25. 　前記請求項１８～２３の何れか１項に記載の画像処理方法において、
    　前記縮小リサイズ処理工程及び前記色再配列データ生成処理工程は、
    　垂直方向縮小リサイズ処理及び色再配列データ生成処理について、
    　前記原画像に対してセンサー読み出し方向のライン単位処理により水平方向のみ縮小リサイズ処理と色再配列データ生成処理とが行われた色配列データを、複数ラインからなるラインメモリにライン毎に書き込みながら、同時に複数ラインのデータを読み出し、その読み出した複数ラインデータのセンサー読み出し方向が同一位置となる垂直方向の注目複数データに対して輝度データと色キャリアデータとを垂直方向にライン単位で抽出するフィルタ処理工程と、
    　前記抽出された垂直方向の色キャリアデータを垂直方向の色差分データに変換する垂直方向色キャリア反転復調処理工程と、
    　前記垂直方向の輝度データと色差分データとに対して独立して入力ライン数に対する出力ラインを減ずる処理を行って、縮小リサイズを行う垂直方向縮小リサイズ処理工程と、
    　前記垂直方向の縮小リサイズ後の垂直方向に連続な色差分データから１ライン毎に、符号の異なる第１の色キャリアデータと、この第１の色キャリアデータとは符号が異なる第２の色キャリアデータとを生成する垂直方向色差分データ反転変調処理工程と、
    　前記縮小リサイズ後の輝度データと前記第１の色キャリアデータとを再合成して、原画像の色配列データを有する画像を生成すると共に、前記縮小リサイズ後の輝度データと前記第２の色キャリアデータとを再合成して、原画像と異なる色配列データを有する画像を生成する色再配列データ生成処理工程とを含む
    　ことを特徴とする画像処理方法。
  26. 　前記請求項１４～２５の何れか１項に記載の画像処理方法において、
    　前記原画像は、
    　原色フィルタにより周期性をもって色配列された複数色の画素を有する単板カラー撮像素子を用いて取得された画像である
    　ことを特徴とする画像処理方法。
  27. 　前記請求項１～１３の何れか１項にの画像処理装置を搭載した
    　ことを特徴とするデジタルカメラ。
PCT/JP2012/003473 2011-06-08 2012-05-28 画像処理装置及び画像処理方法並びにデジタルカメラ WO2012169140A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201280026584.9A CN103563359B (zh) 2011-06-08 2012-05-28 图像处理装置及图像处理方法以及数码相机
JP2013519370A JP5853166B2 (ja) 2011-06-08 2012-05-28 画像処理装置及び画像処理方法並びにデジタルカメラ
US14/089,736 US9386287B2 (en) 2011-06-08 2013-11-25 Image processor which rearranges color information, image processing method, and digital camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-128122 2011-06-08
JP2011128122 2011-06-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/089,736 Continuation US9386287B2 (en) 2011-06-08 2013-11-25 Image processor which rearranges color information, image processing method, and digital camera

Publications (1)

Publication Number Publication Date
WO2012169140A1 true WO2012169140A1 (ja) 2012-12-13

Family

ID=47295732

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/003473 WO2012169140A1 (ja) 2011-06-08 2012-05-28 画像処理装置及び画像処理方法並びにデジタルカメラ

Country Status (4)

Country Link
US (1) US9386287B2 (ja)
JP (1) JP5853166B2 (ja)
CN (1) CN103563359B (ja)
WO (1) WO2012169140A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014160958A (ja) * 2013-02-20 2014-09-04 Canon Inc 信号処理装置、その制御方法、および制御プログラム
WO2015040892A1 (ja) * 2013-09-20 2015-03-26 シャープ株式会社 表示装置
JP2016046777A (ja) * 2014-08-26 2016-04-04 キヤノン株式会社 画像処理装置及び該装置の制御方法、並びにプログラム
WO2019239978A1 (ja) * 2018-06-12 2019-12-19 マクセルシステムテック株式会社 画像処理装置及び撮像装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5845464B2 (ja) * 2011-05-31 2016-01-20 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ
CN108650516A (zh) * 2012-07-09 2018-10-12 株式会社尼康 压缩装置、图像压缩装置及拍摄装置
US9432582B2 (en) * 2013-01-04 2016-08-30 Canon Kabushiki Kaisha Image signal processing apparatus and a control method thereof, and an image pickup apparatus and a control method thereof
KR20160032587A (ko) * 2014-09-16 2016-03-24 삼성전자주식회사 영상 촬영 장치 및 이의 촬영 방법
CN104243827A (zh) * 2014-09-23 2014-12-24 深圳市中兴移动通信有限公司 拍摄方法和装置
DE102016109179B4 (de) * 2015-05-29 2023-08-03 Canon Kabushiki Kaisha Bildaufnahmeeinrichtung und Bildgebungsvorrichtung
DE102015216115B4 (de) * 2015-08-24 2023-08-10 Siemens Healthcare Gmbh Verfahren und System zum Bestimmen eines Triggersignals
JP6702792B2 (ja) * 2016-05-02 2020-06-03 キヤノン株式会社 画像処理装置およびその制御方法
US10366674B1 (en) 2016-12-27 2019-07-30 Facebook Technologies, Llc Display calibration in electronic displays

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224604A (ja) * 1999-01-29 2000-08-11 Fuji Photo Film Co Ltd 画像処理装置
JP2000224490A (ja) * 1999-02-03 2000-08-11 Fuji Photo Film Co Ltd 撮像制御装置および撮像制御方法
JP2004023518A (ja) * 2002-06-18 2004-01-22 Olympus Corp 撮像装置
JP2006060449A (ja) * 2004-08-19 2006-03-02 Sony Corp 撮像装置および撮像方法、プログラム、並びに記録媒体

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4136255B2 (ja) 2000-02-29 2008-08-20 キヤノン株式会社 画像処理装置及びその方法
JP5108172B2 (ja) 2000-09-06 2012-12-26 株式会社ニコン 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
JP4096626B2 (ja) 2002-05-29 2008-06-04 富士フイルム株式会社 画像処理方法及び画像処理プログラム
JP4448027B2 (ja) * 2002-06-18 2010-04-07 ノキア コーポレイション 画像処理装置及び方法、画像出力装置、並びにこれらを用いたデジタルカメラ装置及び携帯情報端末
JP2004241813A (ja) 2003-02-03 2004-08-26 Fuji Photo Film Co Ltd 撮像装置およびデジタル画像処理方法
JP2004356974A (ja) 2003-05-29 2004-12-16 Matsushita Electric Ind Co Ltd 撮像信号処理装置
JP2005115598A (ja) 2003-10-07 2005-04-28 Konica Minolta Holdings Inc 画像処理方法及び画像処理装置
JP2006180108A (ja) * 2004-12-21 2006-07-06 Fuji Film Microdevices Co Ltd デジタルカメラ
US7920200B2 (en) 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP4596986B2 (ja) 2005-06-07 2010-12-15 オリンパス株式会社 画像撮像装置
JP2007096677A (ja) 2005-09-28 2007-04-12 Nikon Corp 画像処理装置、撮像装置および画像処理プログラム
JP4840967B2 (ja) 2005-12-01 2011-12-21 キヤノン株式会社 撮像装置及び画像処理方法及びプログラム及び記憶媒体
JP2008028956A (ja) 2006-07-25 2008-02-07 Fujifilm Corp 撮像装置、および、撮像装置における対象物検出用画像信号の生成方法
JP4925271B2 (ja) 2006-08-21 2012-04-25 株式会社メガチップス 一眼レフデジタルカメラにおける連続撮像方法
JP5084430B2 (ja) * 2006-11-02 2012-11-28 ペンタックスリコーイメージング株式会社 撮像ユニット
JP2008123086A (ja) 2006-11-09 2008-05-29 Matsushita Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP4881802B2 (ja) 2007-07-03 2012-02-22 キヤノン株式会社 画像再生装置及びその制御方法
JP5095434B2 (ja) 2008-02-08 2012-12-12 株式会社リコー 撮像装置および画像処理装置
JP2009225401A (ja) * 2008-03-19 2009-10-01 Casio Comput Co Ltd 撮像装置、画像処理装置および画像処理方法
US7995840B2 (en) * 2008-03-28 2011-08-09 Seiko Epson Corporation Image processing apparatus, image processing method, and program for attaining image processing
JP5525703B2 (ja) 2008-07-10 2014-06-18 オリンパス株式会社 画像再生表示装置
WO2010016166A1 (ja) * 2008-08-04 2010-02-11 パナソニック株式会社 撮像装置、画像処理方法、画像処理プログラム及び半導体集積回路
JP2010068331A (ja) 2008-09-11 2010-03-25 Ricoh Co Ltd 撮像装置および撮像方法
JP5108802B2 (ja) 2009-02-03 2012-12-26 富士フイルム株式会社 撮像装置及びそのスルー画像表示方法
JP5845464B2 (ja) * 2011-05-31 2016-01-20 パナソニックＩｐマネジメント株式会社 画像処理装置及び画像処理方法並びにデジタルカメラ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224604A (ja) * 1999-01-29 2000-08-11 Fuji Photo Film Co Ltd 画像処理装置
JP2000224490A (ja) * 1999-02-03 2000-08-11 Fuji Photo Film Co Ltd 撮像制御装置および撮像制御方法
JP2004023518A (ja) * 2002-06-18 2004-01-22 Olympus Corp 撮像装置
JP2006060449A (ja) * 2004-08-19 2006-03-02 Sony Corp 撮像装置および撮像方法、プログラム、並びに記録媒体

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014160958A (ja) * 2013-02-20 2014-09-04 Canon Inc 信号処理装置、その制御方法、および制御プログラム
WO2015040892A1 (ja) * 2013-09-20 2015-03-26 シャープ株式会社 表示装置
US9805665B2 (en) 2013-09-20 2017-10-31 Sharp Kabushiki Kaisha Display device
JP2016046777A (ja) * 2014-08-26 2016-04-04 キヤノン株式会社 画像処理装置及び該装置の制御方法、並びにプログラム
US10217196B2 (en) 2014-08-26 2019-02-26 Canon Kabushiki Kaisha Image processing apparatus having image refocusing function, control method for image processing apparatus, and storage medium
WO2019239978A1 (ja) * 2018-06-12 2019-12-19 マクセルシステムテック株式会社 画像処理装置及び撮像装置
JP2019216351A (ja) * 2018-06-12 2019-12-19 マクセルシステムテック株式会社 画像処理装置及び撮像装置

Also Published As

Publication number Publication date
CN103563359B (zh) 2016-11-09
US20140078338A1 (en) 2014-03-20
JPWO2012169140A1 (ja) 2015-02-23
JP5853166B2 (ja) 2016-02-09
US9386287B2 (en) 2016-07-05
CN103563359A (zh) 2014-02-05

Similar Documents

Publication Publication Date Title
JP5845464B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
WO2012169140A1 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
JP5280448B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び半導体集積回路
JP5108172B2 (ja) 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
JP4840967B2 (ja) 撮像装置及び画像処理方法及びプログラム及び記憶媒体
CN101521751B (zh) 摄像设备
US20060050956A1 (en) Signal processing apparatus, signal processing method, and signal processing program
JP4253634B2 (ja) デジタルカメラ
JP2010028722A (ja) 撮像装置及び画像処理装置
JP4905279B2 (ja) 撮像回路および撮像装置
JP2007243334A (ja) 撮像装置
US7826658B2 (en) Image processing system, image processing method, image processing recording medium, and program suitable for extraction processing
JP2009021985A (ja) 撮像装置及び撮像装置の駆動方法
JP2012129927A (ja) 撮像装置
JP6702792B2 (ja) 画像処理装置およびその制御方法
JP2006067390A (ja) 撮像装置および再生装置
JP2002209224A (ja) 画像処理装置、画像処理方法および記録媒体
JP2005159916A (ja) 撮像装置
JP2004126797A (ja) 画像信号処理装置
JP2010258757A (ja) 動画記録装置、撮像装置、動画記録方法、動画記録プログラム
JP2007089219A (ja) 撮像装置
JP2005167862A (ja) 撮像装置および点順次画像データ再生装置ならびにそれらの制御方法
JP2012227869A (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
JPH10229524A (ja) 固体撮像装置及び撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12797486

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013519370

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12797486

Country of ref document: EP

Kind code of ref document: A1