WO2013183379A1 - 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム - Google Patents

画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2013183379A1
WO2013183379A1 PCT/JP2013/061870 JP2013061870W WO2013183379A1 WO 2013183379 A1 WO2013183379 A1 WO 2013183379A1 JP 2013061870 W JP2013061870 W JP 2013061870W WO 2013183379 A1 WO2013183379 A1 WO 2013183379A1
Authority
WO
WIPO (PCT)
Prior art keywords
processing
reduction
data
image
unit
Prior art date
Application number
PCT/JP2013/061870
Other languages
English (en)
French (fr)
Inventor
朗義 土田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2014519878A priority Critical patent/JP5702891B2/ja
Priority to CN201380029864.XA priority patent/CN104335571B/zh
Publication of WO2013183379A1 publication Critical patent/WO2013183379A1/ja
Priority to US14/560,586 priority patent/US9363435B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Definitions

  • the present invention relates to an image processing apparatus, an imaging apparatus, an image processing method, and a program, and more particularly to an image reduction process for generating a reduced image from a captured image.
  • Japanese Patent Laid-Open No. 2004-228561 changes the amount of moire and blur by switching the low-pass filter according to the detection result of the edge region, the scaling factor, and user designation information and performing the smoothing process according to the image type and scaling factor.
  • a technique for generating a double image is disclosed.
  • the configuration and functions of the imaging apparatus are diversified, such as the presence / absence of an optical low-pass filter and the use of color filters with various arrangement patterns.
  • Patent Document 1 and Patent Document 2 Therefore, it is difficult to perform appropriate image reduction processing corresponding to the diversification.
  • the type of the low-pass filter is switched depending on the scaling factor, the type of image, and the like. It is neither disclosed nor suggested in Document 1.
  • the present invention has been made in view of the above-described circumstances, and enables image reduction processing appropriately according to the presence / absence of an optical low-pass filter and color filters of various arrangement patterns, and reduction that does not cause noticeable image deterioration such as moire.
  • An object is to provide a technique that enables generation of an image.
  • Another aspect of the present invention is an image processing apparatus to which image shooting data including imaging data is input, and determines whether or not shooting condition data is included in the input image shooting data.
  • Data acquisition means for acquiring the contents of the shooting condition data when it is determined that the shooting condition data is included in the captured image shooting data, and from the imaging data based on the acquisition result of the shooting condition data by the data acquisition means
  • Reduction processing determining means for determining at least one of the presence / absence of execution of reduction-related processing related to the reduction processing for generating reduced image data, the processing parameter of reduction-related processing, and the processing parameter of reduction processing;
  • the shooting condition data relates to an image processing apparatus including information related to the arrangement of the color filters of the image pickup unit used when the image pickup data is picked up.
  • the reduction-related processing and the reduction processing can be optimized according to the array pattern characteristics of the color filter.
  • the processing parameter of the reduction processing is a processing parameter of interpolation processing in the reduction processing.
  • the interpolation processing is not particularly limited, and any interpolation processing that can obtain desired reduced image data can be employed.
  • the spline interpolation processing method is a known method, but the interpolation method is not particularly limited. Therefore, for example, reduction processing can be performed using a spline interpolation processing method described in Japanese Patent Application Laid-Open No. 09-0505515.
  • the image processing apparatus receives image shooting data including imaging data created by imaging by a plurality of imaging units including at least a first imaging unit and a second imaging unit, and the reduction processing determining unit includes the first imaging unit.
  • Reduction is performed so that the image quality of the reduced image data after reduction processing is included in a predetermined allowable range between the image shooting data imaged and created by the imaging unit and the image shooting data imaged and created by the second imaging unit. At least one of presence / absence of execution of related processing, processing parameter of reduction related processing, and processing parameter of reduction processing is determined.
  • the “imaging unit” is a concept that can include various devices that contribute to the generation of imaging data, and the so-called imaging device itself can be regarded as an imaging unit, and lenses that guide light to the imaging device can be used. It is also possible to capture the entire configuration including the image capturing unit. Therefore, the present aspect is applied to an image processing apparatus to which image shooting data including imaging data created by imaging with different imaging devices, different lenses, or imaging devices having different configurations between lenses and imaging devices is input. Is possible.
  • the image processing apparatus includes a reduction-related processing unit that performs a reduction-related process in accordance with a determination result of the reduction processing determination unit.
  • imaging is performed by the reduction-related processing unit based on whether or not the reduction-related processing related to the reduction processing of the imaging data determined according to the shooting condition data is performed and the processing parameter determination result of the reduction-related processing.
  • Data reduction related processing can be performed. Therefore, when it is determined from the shooting condition data that the reduction-related processing is unnecessary, the reduction-related processing is not performed, and the reduction-related processing can be performed with a processing parameter that matches the shooting condition data.
  • the image processing apparatus includes a reduction processing unit that performs a reduction process according to a determination result of the reduction processing determination unit.
  • it further comprises display means for displaying the determination result by the reduction processing determining means.
  • the display means displays the determination result determined by the reduction process determination means as to whether or not the reduction related process is executed in a selectable manner
  • the image processing apparatus displays the determination result by the reduction process determination means.
  • the image processing apparatus further includes selection means for accepting a user's selection regarding confirmation, and the reduction process determination means confirms whether or not the reduction-related process is executed according to the selection result received via the selection means.
  • the user can confirm and select the determination result (whether or not the reduction-related process is executed) by the reduction process determination unit displayed on the display unit, and the reduction-related process according to the user selection result. Whether or not to execute is determined.
  • the processing parameter for the reduction-related processing and the processing parameter for the reduction processing determined by the reduction processing determination unit include a plurality of selection candidates
  • the display unit includes the processing parameter for the reduction-related processing and the reduction processing.
  • a processing parameter of processing is displayed so as to be selectable from the plurality of selection candidates
  • the image processing apparatus further includes a selection unit that accepts a user's selection from the plurality of selection candidates, and the reduction processing determination unit Determines a processing parameter for the reduction-related processing and a processing parameter for the reduction processing according to the selection result received through the selection unit.
  • the user can select a processing parameter for reduction-related processing and a processing parameter for reduction processing from among a plurality of selection candidates displayed on the display unit, and reduction is performed according to the selection result of the user.
  • Processing parameters for related processing and processing parameters for reduction processing are determined. Therefore, by optimizing the selection candidate range according to the shooting condition data, it becomes easy for the user to select the optimum processing parameter.
  • the reduction-related processing means it is possible to perform reduction-related processing of imaging data by the reduction-related processing means based on whether or not execution of the confirmed reduction-related processing is performed and the determination result of the processing parameter of the reduction-related processing. Therefore, when the user determines that the reduction-related processing is unnecessary from the shooting condition data, the reduction-related processing is not performed, and the reduction-related processing based on the processing parameter that matches the shooting condition data is performed according to the user's intention. Is possible.
  • the image processing apparatus includes a reduction processing unit that performs a reduction process in accordance with the determined processing parameter of the reduction process.
  • the reduction processing by the reduction processing means can be performed based on the confirmed processing parameter of the reduction processing. Therefore, it is possible to perform a reduction process based on a processing parameter that matches the photographing condition data according to the user's intention.
  • Another aspect of the present invention relates to an image pickup apparatus including an image pickup unit having an image pickup unit that picks up and creates image shooting data including image pickup data, and the image processing apparatus.
  • the imaging apparatus of this aspect is not particularly limited, and mobile devices including functions other than imaging (call function, communication function, and other computer functions) in addition to a digital camera whose main function is imaging are also referred to herein. It can be included in an imaging device.
  • Another aspect of the present invention is an imaging unit having an imaging unit that captures and creates image capturing data including imaging data, wherein the imaging unit includes at least a first imaging unit and a second imaging unit.
  • the present invention relates to an imaging apparatus including an imaging unit that can be selected and exchanged from the above and the image processing apparatus.
  • FIG. 1 It is a functional block diagram which illustrates the equipment which can apply the present invention, (a) shows an example of an image pick-up device provided with one image sensor, and (b) is an image pick-up provided with two (plural) image sensors. An example of a device is shown, and (c) an example in which an imaging unit and an image reduction processing unit are provided separately. It is a figure which shows the outline of the input-output image photography data of an image reduction process part, (a) shows the data structure before and behind the process in an image reduction process part, (b) shows an example of incidental information (imaging condition data). . It is a block diagram which shows one Embodiment of an imaging device (digital camera).
  • FIG. 4 shows a color filter array in which two color filters having the basic array pattern shown in FIG. 4B are arranged side by side in the horizontal direction and in the vertical direction.
  • 2 is a flowchart illustrating a flow of a reduction process according to the first embodiment, (a) is a flowchart regarding a process A (reduction related process), and (b) is a case where a low pass filter (LPF) process is adopted as the process A. It is a flowchart.
  • FIG. 10 is a flowchart showing a flow of reduction processing according to the third embodiment, where (a) is a flowchart relating to processing B (reduction processing), and (b) is a case where reduction processing based on the spline interpolation processing method is adopted as processing B. It is a flowchart of. It is a flowchart which shows the flow of the reduction process of 4th Embodiment.
  • the present invention relates to a reduction processing technique for a captured image, and can be applied to all devices capable of image processing of a captured image. Therefore, for example, the present invention can be realized by an imaging device such as a camera that can capture a captured image, or a computer to which the imaging device is connected.
  • an imaging device such as a camera that can capture a captured image
  • a computer to which the imaging device is connected.
  • FIG. 1A is a functional block diagram illustrating an example of an imaging device including one imaging element
  • FIG. 1B is a functional block illustrating an example of an imaging device including two (plural) imaging elements
  • FIG. 1C is a functional block diagram illustrating an example of an imaging device and a computer to which the imaging device is connected.
  • An imaging unit 10 shown in FIG. 1A includes an imaging unit 12, a digital image processing unit 14, an image reduction processing unit 16, a user I / F (user interface) 17, an input / output control unit 18, and a storage connected to each other.
  • the imaging unit 12 includes, for example, an imaging element (CCD, CMOS, etc.) provided with a lens, a diaphragm, a shutter, and a color filter as necessary, and performs imaging to generate imaging data.
  • an optical low-pass filter OLPF
  • OLPF optical low-pass filter
  • the digital image processing unit 14 performs digital image processing on the imaging data generated by the imaging unit 12, and for example, offset correction processing, WB (white balance) correction processing, overexposure pixel detection correction processing, exposure correction processing, ⁇ (gamma) ) Correction processing, synchronization processing, etc. are performed as necessary.
  • shooting condition data (shooting condition data (shooting date, number of pixels, F value (aperture value), etc.) when the imaging data is acquired by the imaging unit 12 may be added to the imaging data. May be added to the imaging data at the imaging unit 12 at the time of imaging, or may be added to the imaging data after the imaging at the digital image processing unit 14 etc. If the imaging condition data is not added to the imaging data, the imaging is performed. Image shooting data that does not include the condition data but includes the imaging data is generated, and the image shooting data generated in this way is sent to the subsequent image reduction processing unit 16.
  • the image shooting data 36 including “reduced image data 38 generated by the image reduction processing unit 16” and “the same shooting data (main image) 32 as the image shooting data 30” is an input / output control unit shown in FIG.
  • the output is controlled by 18 and stored in a storage unit (memory or the like) 20, a reduced image is displayed on a display unit (liquid crystal display or the like) 22, or output to the outside via a signal input / output I / F 24.
  • information of various processes in the imaging unit 12, the digital image processing unit 14, the image reduction processing unit 16, and the input / output control unit 18 can be provided to the user via the display unit 22. While confirming the information displayed on the display unit 22, the user sends a control instruction signal to the imaging unit 12, the digital image processing unit 14, the image reduction processing unit 16, and the input / output control unit 18 via the user I / F 17. You can also send it.
  • the reduced image generation process described above can be similarly performed in the imaging unit 10 ′ including a plurality of imaging units (the first imaging unit 12A and the second imaging unit 12B) as illustrated in FIG. It is. That is, the imaging data generated by each of the first imaging unit 12A and the second imaging unit 12B is a digital image processing unit as in the imaging unit 10 (FIG. 1A) having one imaging unit. 14, digital image processing is performed, a reduced image is generated in the image reduction processing unit 16, and the image shooting data 36 including the reduced image is input / output controlled by the input / output control unit 18, and the image shooting data 36 is stored in the storage unit 20. Is stored, a reduced image is displayed on the display unit 22, or is output to the outside via the signal input / output I / F 24.
  • an imaging unit that can be selectively exchanged from among a plurality of imaging units including at least the first imaging unit and the second imaging unit as a configuration in which the imaging unit can be replaced.
  • the first imaging unit 12A and the second imaging unit 12B illustrated in FIG. 1B are regarded as a configuration that can be attached and detached, and either the first imaging unit 12A or the second imaging unit 12B is selected.
  • It is also possible to use a configuration that can be used. Examples of equipment that employs such a configuration include a camera (lens interchangeable camera or the like) that can replace a lens unit (imaging unit) including a lens to an imaging element.
  • FIG. 1A and 1B show an example in which the imaging units 12, 12A, 12B and the image reduction processing unit 16 are provided as a single unit, but the imaging unit and the image reduction processing unit are It may be provided separately as shown in FIG.
  • the present invention is applied to a system in which an imaging unit 10 ′′ including the imaging unit 12 and a computer 11 including the image reduction processing unit 16 can be connected to each other via the signal input / output I / Fs 24A and 24B. Is possible.
  • the digital image processing unit may be provided on the imaging unit 10 side (see reference numeral “14A” in FIG. 1C), or may be provided on the computer 11 side (FIG. 1C). ) (Refer to reference sign “14B”).
  • the digital image processing unit 14A is provided on the imaging unit 10 ′′ side, the image shooting data after the digital image processing is output from the imaging unit 10 ′′ via the signal input / output I / F 24A, and the signal input / output I / F The data is input to the computer 11 via F24B.
  • a reduced image is generated in the image reduction processing unit 16 and the image shooting data 36 including the reduced image is controlled by the input / output control unit 18 and stored in the image shooting data 30 input to the computer 11.
  • the unit 20, the display unit 22, and the signal input / output I / F 24 ⁇ / b> B are appropriately output.
  • image shooting data 30 including shooting data (such as raw data) before digital image processing is captured via the signal input / output I / F 24A. And is input to the computer 11 through the signal input / output I / F 24B The image data 30 input to the computer 11 is subjected to digital image processing in the digital image processing unit 14B, as described above.
  • a reduced image is generated in the image reduction processing unit 16, and the image capturing data 36 including the reduced image is controlled by the input / output control unit 18 and is appropriately output to the storage unit 20, the display unit 22, and the signal input / output I / F 24 ⁇ / b> B. It has become so.
  • FIG. 3 is a block diagram showing an embodiment of an imaging apparatus (digital camera).
  • the imaging device 40 is a digital camera that records captured images in an internal memory (memory unit 56) or an external recording medium (not shown), and the overall operation of the device is controlled by a CPU (central processing unit) 42. Be controlled.
  • the imaging device 40 is provided with an operation unit 44 including a shutter button (shutter switch), a mode dial, a playback button, a MENU / OK key, a cross key, a zoom button, a BACK key, and the like.
  • a signal from the operation unit 44 is input to the CPU 42, and the CPU 42 controls each circuit of the imaging device 40 based on the input signal.
  • the functioning image sensor 52 is controlled, and shooting operation control, image processing control, image data recording / reproduction control, display control of the display unit 55, and the like are performed.
  • the lens unit 48 includes a focus lens, a zoom lens, a diaphragm, and the like, and the light flux that has passed through the lens unit 48 and the shutter 50 is imaged on the light receiving surface of the image sensor 52.
  • the image pickup element 52 is a color image sensor such as a CMOS (Complementary Metal-Oxide Semiconductor) type, an XY address type, or a CCD (Charge Coupled Device) type.
  • the image sensor 52 receives a large number of color filters and light that has passed through the color filters. It has a structure in which light receiving elements (photodiodes) are two-dimensionally arranged. The subject image formed on the light receiving surface of each photodiode is converted into a signal voltage (or charge) of an amount corresponding to the amount of incident light.
  • FIG. 4A and 4B are diagrams showing examples of basic arrangement patterns of color filters.
  • FIG. 4A shows a color filter having a so-called Bayer arrangement
  • FIG. 4B shows a color filter having another type of arrangement. Show.
  • R indicates a red filter
  • G indicates a green filter
  • B indicates a blue filter.
  • the color filter of the image sensor 52 of this example is configured by repeatedly arranging a basic array pattern P composed of a square array pattern corresponding to M ⁇ N (6 ⁇ 6) pixels in the horizontal direction and the vertical direction. Therefore, when image processing of RGB RAW data (mosaic image) read from the image sensor 52 is performed, the processing can be performed according to a repetitive pattern.
  • red (R), green (G), and blue (B) color filters (R filter, G filter, and B filter) are arranged with a predetermined periodicity.
  • G filters and R filters are alternately arranged (aligned in the horizontal direction) and rows in which G filters and R filters are alternately arranged.
  • the G filters are alternately arranged in the vertical direction, and the G filters are arranged at the upper, lower, left and right positions of the R filters and the B filters.
  • a B filter is disposed at an oblique position of each R filter
  • an R filter is disposed at an oblique position of each B filter
  • a G filter is disposed at an oblique position of each G filter. .
  • a 3 ⁇ 3 pixel A array surrounded by a solid line frame and a 3 ⁇ 3 pixel B array surrounded by a broken line frame are horizontally aligned.
  • the arrangement is alternately arranged in the vertical direction.
  • the G filters are arranged at the four corners and the center, respectively, and the G filters are arranged on both diagonal lines.
  • the R filters are arranged in the horizontal direction with the central G filter interposed therebetween, and the B filters are arranged in the vertical direction with the central G filter interposed therebetween.
  • the B filters are arranged in the horizontal direction with the central G filter interposed therebetween, and the R filters are arranged in the vertical direction with the central G filter interposed therebetween. That is, in the A array and the B array, the positional relationship between the R filter and the B filter is reversed, but the other arrangements are the same.
  • the G filters at the four corners of the A array and the B array become a square array G filter corresponding to 2 ⁇ 2 pixels by alternately arranging the A array and the B array in the horizontal and vertical directions.
  • FIG. 5 shows a color filter array in which two color filters having the basic array pattern shown in FIG. 4B are arranged side by side in the horizontal direction and in the vertical direction.
  • the G filter corresponding to the color (G color in this embodiment) that generally contributes most to obtain the luminance signal is horizontal and vertical in the color filter array.
  • One or more are arranged in each line in the diagonal upper right (NE) and diagonal upper left (NW) directions.
  • NE means diagonally upper right direction
  • NW means diagonally lower right direction.
  • the diagonally upper right and diagonally lower right directions are directions of 45 ° with respect to the horizontal direction, but in the case of an array of rectangular pixels, the diagonal diagonal direction is long. The angle can vary depending on the length of the side or short side.
  • the G filter corresponding to the luminance system pixel is arranged in each line in the horizontal, vertical, and diagonal (NE, NW) directions of the color filter array, and thus the direction of high frequency. Regardless of this, it is possible to improve the reproduction accuracy of the synchronization processing in the high frequency region.
  • the color filter array shown in FIG. 5 has an R filter and a B filter corresponding to two or more other colors (in this embodiment, R and B colors) other than the G color.
  • One or more horizontal and vertical lines are arranged.
  • the R filter and the B filter are arranged in the horizontal and vertical lines of the color filter array, the occurrence of false colors (color moire) can be reduced. Thereby, an optical low-pass filter for reducing (suppressing) the occurrence of false colors can be omitted. Even when an optical low-pass filter is applied, it is possible to apply a filter having a weak function of cutting a high-frequency component for preventing the occurrence of false colors, so that the resolution is not impaired.
  • the ratio between the number of G pixels and the number of R and B pixels is different, and in particular, the ratio of the number of G pixels that contributes most to obtain a luminance signal. Is made larger than the ratio of the number of R and B pixels, so that aliasing at the time of synchronization processing can be suppressed and high-frequency reproducibility can be improved.
  • the signal charges accumulated in the image sensor 52 having the color filter having the basic arrangement shown in FIG. 4A and FIG. 4B are converted into signal charges based on the readout signal applied from the device control unit 46. It is read as a corresponding voltage signal.
  • the voltage signal read from the image sensor 52 is applied to an A / D converter (analog / digital converter) 54, where it is sequentially converted into digital R, G, B signals corresponding to the color filter array. Once stored in the memory unit 56.
  • the memory unit 56 includes an SDRAM that is a volatile memory, an EEPROM (storage means) that is a rewritable nonvolatile memory, and the SDRAM is captured and acquired as a work area when the CPU 42 executes a program. It is used as a storage area for temporarily holding the digital image signal.
  • the EEPROM stores a camera control program including an image processing program, pixel defect information of the image sensor 52, various parameters and tables used for image processing including color mixture correction, and the like.
  • the image processing unit 58 performs predetermined signals such as color mixture correction, white balance correction, gamma correction processing, synchronization processing (demosaic processing), and RGB / YC conversion on the digital image signal once stored in the memory unit 56. Process.
  • the image data processed by the image processing unit 58 is encoded into image display data by the encoder 60 and output to the display unit 55 provided on the back of the camera via the driver 62. As a result, the subject image is continuously displayed on the display screen of the display unit 55.
  • the CPU 42 starts an AF operation (auto focus) and an AE operation (auto exposure), and the lens unit 48 via the device control unit 46.
  • the focus lens is moved in the direction of the optical axis, and control is performed so that the focus lens comes to the in-focus position.
  • the CPU 42 calculates the brightness of the subject (shooting Ev value) based on the image data output from the A / D converter 54 when the shutter button is half-pressed, and the exposure condition (F value, shutter speed) based on this shooting Ev value. ).
  • Image data of RGB mosaic images (images corresponding to the color filter arrays shown in FIGS. 4 and 5) read from the image sensor 52 during the main imaging and A / D converted by the A / D converter 54 are as follows: It is temporarily stored in the memory unit 56.
  • the image data temporarily stored in the memory unit 56 is appropriately read out by the image processing unit 58, where predetermined data including color mixture correction, white balance correction, gamma correction, synchronization processing, RGB / YC conversion, and the like are stored. Signal processing is performed.
  • the RGB / YC converted image data (YC data) is compressed according to a predetermined compression format (for example, JPEG method), and the compressed image data is stored in an internal memory or a predetermined image file (for example, Exif file) format. Recorded in external memory.
  • an optical low-pass filter (OLPF) 64 that optically cuts a high-frequency component of light irradiated on the imaging element 52 may be provided.
  • OLPF optical low-pass filter
  • the high-frequency component of the obtained image tends to cause image deterioration such as moire. Therefore, when image data is acquired using a Bayer-type color filter in which high-frequency components tend to contribute to image degradation, image degradation can be suppressed by arranging the optical low-pass filter 64.
  • image degradation such as moire can be further reduced as described above. It is possible to obtain high-resolution image data that retains.
  • optical low-pass filter 64 is provided is appropriately determined according to the device configuration such as the type of the image pickup element (color filter) used in the image pickup device 40 and the specific image processing content. .
  • the image shooting data 30 not including the reduced image data is input to the image reduction processing unit 16, and the reduced image data 38 is input to the image reduction processing unit 16.
  • the imaging condition data 34 including the reduced image data 38 is generated and output from the image reduction processing unit 16.
  • FIG. 6 is a functional block diagram related to the image reduction processing mainly using the image reduction processing unit 16.
  • the image reduction processing unit 16 includes a data acquisition unit (data acquisition unit) 70, a reduction processing determination unit (reduction processing determination unit) 72, a reduction related processing unit (reduction processing related processing unit) 74, and a reduction processing unit (reduction processing unit). 76.
  • the data acquisition unit 70 acquires whether or not the imaging condition data 34 is included in the input image capturing data 30 (see FIG. 2), and the contents of the imaging condition data 34.
  • the imaging condition data 34 acquired by the data acquisition unit 70 can include general data relating to information that can affect the reduced image data generated in the subsequent stage.
  • the reduction processing determination unit 72 determines whether or not to execute reduction related processing related to the reduction processing of the image shooting data 30, processing parameters of the reduction related processing, and reduction At least one of the processing parameters of the processing is determined.
  • “reduction related processing” can include all processing related to subsequent image reduction processing, and includes, for example, pre-reduction processing that performs processing of the image data 30 prior to image reduction processing.
  • pre-reduction processing for example, processing for preventing image degradation such as moire in a reduced image can be mentioned.
  • processing for removing high-frequency components from the image data 30 by a low-pass filter (LPF) or the like is referred to as reduction-related processing. can do. Therefore, when the reduction-related process is the low-pass filter process, the reduction process determination unit 72 determines whether to perform the low-pass filter process based on the acquisition result of the shooting condition data 34 in the data acquisition unit 70 and / or the low-pass filter process. Determine the processing parameters.
  • such a determination in the reduction processing determination unit 72 may be performed in an interactive format that prompts the user to make a selection determination (confirmation), or the user may make a selection determination based on the determination result in the data acquisition unit 70. Processing may proceed without prompting.
  • the reduction processing determination unit 72 can display the determination result on the display unit 22 in a selectable manner. In this case, the user can select whether or not to confirm the determination result of the reduction process determination unit 72 displayed on the display unit 22 via the selection instruction unit 78.
  • indication part 78 can have arbitrary structures, may be provided integrally with the display part 22, and may be provided separately from the display part 22. FIG. By providing the selection instructing unit 78 and the display unit 22 integrally like a touch panel or the like, the user can intuitively make a selection decision or a final selection presented on the display unit 22.
  • the selection instruction unit 78 is configured by buttons or the like provided separately from the display unit 22, the user causes the selection instruction unit 78 to correspond the display of a cursor or the like displayed on the display unit 22 to a desired selection candidate. Can be selected and confirmed.
  • the reduction process determination unit 72 determines the presence / absence of execution of the reduction-related process, the process parameter of the reduction-related process, and the process parameter of the reduction process according to the selection result of the user regarding the determination of the determination result. Therefore, for example, when the determination result in the reduction processing determination unit 72 “execution of reduction-related processing” is displayed on the display unit 22, if the user selects to confirm “execution of reduction-related processing”, the subsequent stage If the user does not select to confirm that “Reduction related processing is executed” (If “Reduction related processing is executed” is selected, “Reduction related processing is executed.” When “No execution” is selected), the reduction-related processing is not executed later.
  • the processing parameter for the reduction-related process and the processing parameter for the reduction process determined by the reduction process determining unit 72 may include a plurality of selection candidates.
  • the display unit 22 includes a plurality of processing parameters for the reduction process. Can be selected from among the selection candidates. The user can select a candidate to be adopted as a processing parameter from among a plurality of selection candidates displayed on the display unit 22, and the reduction processing determination unit 72 selects a processing parameter for reduction related processing according to the user's selection.
  • the processing parameters of the reduction process can be determined.
  • the reduction process determining unit 72 determines whether or not to execute the reduction related process, the processing parameter of the reduction related process, and the processing parameter of the reduction process, the reduction related processing unit 74 and the reduction processing unit 76 determine in the reduction process determining unit 72. Based on (determined), reduction-related processing and reduction processing are performed.
  • the reduction-related processing unit 74 performs reduction-related processing of the photographic data 32 according to the determination result of the reduction processing determining unit 72. In particular, when the user confirms whether or not reduction-related processing is executed and the processing parameters of the reduction-related processing are selected and confirmed by the user via the display unit 22 and the selection instruction unit 78, The reduction-related processing unit 74 performs reduction-related processing of the photographic data 32 in accordance with the processing parameters of the reduction-related processing.
  • the reduction-related processing does not necessarily have to be executed. For example, when “no execution of reduction related processing” is determined by the reduction processing determining unit 72, the reduction related processing in the reduction related processing unit 74 is skipped, and the reduction processing in the subsequent reduction processing unit 76 is performed. Further, the reduction-related processing unit 74 may not be provided, and in this case, the reduction process determining unit 72 does not determine whether or not the reduction-related process is executed and the processing parameter of the reduction-related process.
  • the GPS receiving unit 170 receives GPS signals transmitted from the GPS satellites ST1 to STn according to instructions from the main control unit 100, executes positioning calculation processing based on the received plurality of GPS signals, and calculates the latitude of the smartphone 101 Detect the position consisting of longitude and altitude.
  • the GPS receiving unit 170 can acquire position information from the wireless communication unit 110 or the external input / output unit 160 (for example, a wireless LAN), the GPS receiving unit 170 can also detect the position using the position information.
  • the main control unit 100 By executing display control, the main control unit 100 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar, or a window for creating an e-mail.
  • the scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 121.
  • the main control unit 100 causes the operation position with respect to the operation panel 122 to overlap with the display panel 121 (a display area) or an outer edge part (a non-display area) that does not overlap with the other display panel 121.
  • a touch panel control function for controlling the sensitive area of the operation panel 122 and the display position of the software key.
  • the camera unit 141 can be used for various functions of the smartphone 101.
  • an image acquired by the camera unit 141 can be displayed on the display panel 121, and the image of the camera unit 141 can be used as one of operation inputs of the operation panel 122.
  • the GPS receiving unit 170 detects the position
  • the position can also be detected with reference to an image from the camera unit 141.
  • the optical axis direction of the camera unit 141 of the smartphone 101 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 141 can also be used in the application software.
  • Memory part 58 ... Image processing part 60 ... Encoder, 62 ... driver, 64 ... optical low-pass filter, 70 ... data acquisition unit, 72 ... reduction processing determination unit, 74 ... reduction processing related processing unit, 76 ... reduction processing unit, 78 ... selection instruction unit, 100 ... main control , 101 ... Smartphone, 102 ... Housing, 110 ... Wireless communication part, 120 ... Display input part, 121 ... Display panel, 122 ... Operation panel, 130 ... Call part, 131 ... Speaker, 132 ... Microphone, 140 ... Operation part 141 ... Camera unit 150 ... Storage unit 151 ... Internal storage unit 152 ... External storage unit 160 ... External input / output unit 170 ... GPS reception unit 180 ... Motion sensor unit 190 ... Power supply unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

　光学ローパスフィルタの有無や各種配列パターンのカラーフィルタに対して適切に応じた画像縮小処理を可能にし、モアレ等の画像劣化が目立たない縮小画像の生成を可能にする画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラムを提供する。画像縮小処理部１６は、画像撮影データ（撮像データを含む）３０に撮影条件データが含まれているか否か及び撮影条件データの内容を取得するデータ取得部７０と、撮影条件データの取得結果に基づいて、撮像データから縮小画像データを生成する縮小処理に関連した縮小関連処理（ローパスフィルタ処理等）の実行の有無、縮小関連処理の処理パラメータ（ローパスフィルタ処理のカットオフ周波数等）、及び縮小処理の処理パラメータ（縮小率等）のうちの少なくともいずれかを判別する縮小処理判別手段と、を備える。撮影条件データは、光学ローパスフィルタの有無に関する情報やカラーフィルタの配列に関する情報を含む。

Description

画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
　本発明は画像処理装置、撮像装置、画像処理方法及びプログラムに係り、特に、撮影画像から縮小画像を生成する画像縮小処理に関する。
　カメラ等の撮像デバイスの分野では、ＲＧＢ等のカラーフィルタが配設された撮像素子（ＣＣＤ、ＣＭＯＳ等）によってデジタル撮影画像が取得されている。このようにして取得される撮影画像には、所謂モアレ、ボケ、テキスチャ乱れ、偽色、折り返し歪み等の画質劣化が目立つことがあり、特に撮影画像から生成される縮小画像においてこれらの画質劣化が顕著に表れることがある。そのため、モアレ等の画像劣化を抑制する様々な技術が提案されている。
　例えば特許文献１は、エッジ領域の検出結果、変倍率、利用者の指定情報に応じてローパスフィルタを切り替えて画像種と変倍率に応じた平滑化処理を施すことにより、モアレやボケの少ない変倍画像を生成する技術を開示する。
　また特許文献２は、複数の画素データからなる処理対象の画像を取り込んで、これらの複数の画素データの位置を各画素データの近傍領域内で画素データ毎にランダムに移動させることにより、パターンや網点などの繰り返し模様の周期に拘わらずモアレを低減する技術を開示する。
特開平０５－３２８１０６号公報 特開２００５－０５６００６号公報
　特許文献１に開示される技術のように、モアレ等の画像劣化を抑えるためには空間周波数の高い成分（高周波成分）を取り除くことが有効であり、一般にローパスフィルタ（ＬＰＦ）が使用されている。このローパスフィルタとして、信号処理によるローパスフィルタの他に、撮像素子に照射される光のうち高周波成分を光学的にカットする光学ローパスフィルタ（ＯＬＰＦ）の活用も進んでいる。
　その一方で、カラーフィルタの配列パターンを工夫すること等によって、ローパスフィルタを使用しなくても、モアレ等の画像劣化が十分に抑制された撮影画像を取得することができるようになってきている。そのため、カラーフィルタの配列パターン次第では、光学ローパスフィルタを積極的に使用せずに、高周波成分を失うことなく、解像度感をより高めた撮影画像を取得することも可能となっている。
　しかしながら、撮影画像が高周波成分を含む場合、撮影画像においてはモアレや画像折り返し等の画像劣化が目立たなくても、撮影画像を縮小加工して得られる縮小画像では、その高周波成分のためにモアレや画像折り返し等の画像劣化が目立ってしまうケースもある。
　このように、光学ローパスフィルタの有無や各種配列パターンのカラーフィルタの使用など、撮像装置の構成及び機能も多様化しているが、特許文献１や特許文献２に開示されるような従来の技術では、上記多様化に対応した適切な画像縮小加工が難しい。
　例えば特許文献１に開示される技術では、変倍率、画像の種類等によってローパスフィルタの種類が切り替えられるが、光学ローパスフィルタの有無やカラーフィルタの配列パターンが変更された場合についての処理は、特許文献１に開示も示唆もされていない。
　また、特許文献２においても、モアレ低減処理技術は開示されているが、光学ローパスフィルタの有無やカラーフィルタの配列パターンによってモアレ低減処理が最適化されていない。したがって、特許文献２のモアレ低減処理技術によって、例えばベイヤー配列カラーフィルタを介して得られる撮影画像と、モアレ等を防ぐ工夫がなされた他のパターン配列を有するカラーフィルタを介して得られる撮影画像とに対し、同じ画像縮小処理を施した場合、一方の縮小画像ではモアレ等の画像劣化が目立ってしまう可能性もある。
　本発明は上述の事情に鑑みてなされたものであり、光学ローパスフィルタの有無や各種配列パターンのカラーフィルタに対して適切に応じた画像縮小処理を可能にし、モアレ等の画像劣化が目立たない縮小画像の生成を可能にする技術を提供することを目的とする。
　本発明の一態様は、撮像データを含む画像撮影データが入力される画像処理装置であって、入力される画像撮影データに撮影条件データが含まれているか否かを判別し、かつ、入力される画像撮影データに撮影条件データが含まれていると判別された場合に撮影条件データの内容を取得するデータ取得手段と、データ取得手段による撮影条件データの取得結果に基づいて、撮像データから縮小画像データを生成する縮小処理に関連した縮小関連処理の実行の有無、縮小関連処理の処理パラメータ、及び縮小処理の処理パラメータのうちの少なくともいずれかを決定する縮小処理決定手段と、を備え、撮影条件データは、撮像データの撮像作成時における光学ローパスフィルタの有無に関する情報を含む画像処理装置に関する。
　本態様によれば、光学ローパスフィルタの有無に関する情報に基づいて、縮小関連処理の実行の有無、縮小関連処理の処理パラメータ、及び縮小処理の処理パラメータのうちの少なくともいずれかを決定することができる。これにより、光学ローパスフィルタの有無に応じた縮小関連処理及び縮小処理の最適化が可能である。
　なお、ここでいう「縮小関連処理」とは、撮像データの縮小処理に関連する処理全般を含みうる概念であり、縮小処理によって得られる縮小画像の画質を向上させることができる処理が含まれる。具体的には、撮像データに含まれる高周波成分を取り除くローパスフィルタ処理や他の処理が縮小関連処理に含まれる。したがって「縮小関連処理の処理パラメータ」として、例えばローパスフィルタによって除去可能な高周波成分の範囲（カットオフ周波数範囲）が挙げられる。
　また「縮小処理」とは、撮像データの画像サイズを縮小する処理全般を含みうる概念であり、撮像データによって再現される画像の横方向ピクセル数／縦方向ピクセル数を低減させた縮小画像を取得する画像処理が含まれる。例えば、ＶＧＡ、ＳＶＧＡ、ＸＧＡ、ＳＸＧＡ、ＵＸＧＡ、ＱＸＧＡ、フルサイズ画像（撮像素子の撮影可能最大サイズの画像）、或いは他のサイズの画像を再現可能な撮像データに基づいて、縮小画像（サムネイル画像等）のための画像データを生成する画像処理が、縮小処理に含まれる。したがって「縮小処理の処理パラメータ」として、例えば縮小処理における縮小率や縮小補間処理の処理パラメータが挙げられる。なお、縮小画像においてモアレ等の画像劣化が目立ちやすいサイズへの縮小処理に対して本態様は特に有効ではあるが、撮像データのサイズや縮小画像のサイズは特に限定されない。
　また「光学ローパスフィルタ」は、光の高周波成分を光学的にカットするフィルター要素であり、撮像素子に照射される前の光から高周波成分をカットすることができる位置に適宜配置可能である。なお光学ローパスフィルタの有無に関する情報は、撮影条件データに直接的に含まれていてもよいし、例えば撮像デバイスの機種毎に光学ローパスフィルタの有無が決められている場合のように、光学ローパスフィルタの有無に関する情報を間接的に取得可能な機種名等の他の情報が撮影条件データに含まれていてもよい。
　本発明の別の態様は、撮像データを含む画像撮影データが入力される画像処理装置であって、入力される画像撮影データに撮影条件データが含まれているか否かを判別し、かつ、入力される画像撮影データに撮影条件データが含まれていると判別された場合に撮影条件データの内容を取得するデータ取得手段と、データ取得手段による撮影条件データの取得結果に基づいて、撮像データから縮小画像データを生成する縮小処理に関連した縮小関連処理の実行の有無、縮小関連処理の処理パラメータ、及び縮小処理の処理パラメータのうちの少なくともいずれかを決定する縮小処理決定手段と、を備え、撮影条件データは、撮像データの撮像作成時に用いられた撮像部のカラーフィルタの配列に関する情報を含む画像処理装置に関する。
　本態様によれば、カラーフィルタの配列に関する情報に基づいて、縮小関連処理の実行の有無、縮小関連処理の処理パラメータ、及び縮小処理の処理パラメータのうちの少なくともいずれかを決定することができる。これにより、カラーフィルタの配列パターン特性に応じた縮小関連処理及び縮小処理の最適化が可能である。
　なお「カラーフィルタ」は、撮像素子に照射する時に通過させることで色毎の光の強さを判断するためのフィルター要素であり、原色フィルター（赤、緑、青等）や補色フィルター（シアン、マゼンタイエロー、グリーン等）をカラーフィルタとして使用することができる。なお、カラーフィルタの配列パターンや構成色要素は、特に限定されるものではない。なおカラーフィルタの配列に関する情報は、撮影条件データに直接的に含まれていてもよいし、例えば撮像デバイスの機種毎にカラーフィルタの配列が決められている場合のように、カラーフィルタの配列に関する情報を間接的に取得可能な機種名等の他の情報が撮影条件データに含まれていてもよい。
　望ましくは、縮小関連処理は、撮像データに対するローパスフィルタ処理である。
　本態様によれば、ローパスフィルタ処理により撮像データから高周波成分を除去した後に縮小処理を行うことが可能となる。これにより、縮小処理により得られる縮小画像において、モアレ等の画像劣化が生じることをより防ぐことができる。
　望ましくは、縮小処理の処理パラメータは、縮小処理における縮小率である。
　本態様によれば、撮影条件データ（光学ローパスフィルタの有無やカラーフィルタの配列に関する情報）に応じた縮小率によって、撮像データの縮小処理を実施することが可能である。これにより、縮小処理により得られる縮小画像において、モアレ等の画像劣化が生じることをより防ぐことができる。
　望ましくは、縮小処理の処理パラメータは、縮小処理における補間処理の処理パラメータである。
　本態様によれば、撮影条件データ（光学ローパスフィルタの有無やカラーフィルタの配列に関する情報）に応じた処理パラメータによって、縮小処理の補間処理を行うことが可能である。これにより、縮小処理により得られる縮小画像において、モアレ等の画像劣化が生じることをより防ぐことができる。なお、ここでいう補間処理は特に限定されるものではなく、所望の縮小画像データを得ることができる任意の補間処理を採用することができる。
　このような補間処理として、例えばニアレストネイバー（Ｎｅａｒｅｓｔ　Ｎｅｉｇｈｂｏｒ）法、バイリニア補間（Ｂｉ－ｌｉｎｅａｒ　Ｉｎｔｅｒｐｏｌａｔｉｏｎ）法、バイキュービック補間（Ｂｉ－ｃｕｂｉｃ　Ｃｏｎｖｏｌｕｔｉｏｎ　Ｉｎｔｅｒｐｏｌａｔｉｏｎ）法、スプライン補間（Ｓｐｌｉｎｅ　Ｉｎｔｅｒｐｏｌａｔｉｏｎ）法、或いは他の補間処理方法が挙げられる。
　望ましくは、補間処理は、スプライン補間処理法に基づいており、補間処理の処理パラメータは、スプライン補間係数である。
　本態様のように、補間再現性に優れるスプライン補間処理法に基づく補間処理によって縮小処理を実施することで、モアレ等の画像劣化が非常に発生し難い、優れた画質の縮小画像の画像データを生成することができる。
　スプライン補間処理法は、既に公知の手法ではあるが、その補間方法については特に限定されるものではない。したがって、例えば特開平０９－０５０５１５に記載されているスプライン補間処理法を用いて、縮小処理を行うこともできる。
　望ましくは、画像処理装置は、少なくとも第１の撮像部及び第２の撮像部を含む複数の撮像部によって撮像作成された撮像データを含む画像撮影データが入力され、縮小処理決定手段は、第１の撮像部によって撮像作成された画像撮影データと第２の撮像部によって撮像作成された画像撮影データとの間で縮小処理後の縮小画像データによる画質が所定の許容範囲に含まれるように、縮小関連処理の実行の有無、縮小関連処理の処理パラメータ、及び縮小処理の処理パラメータのうちの少なくともいずれかを決定する。
　本態様によれば、複数の撮像部によって撮像作成された画像撮影データが画像処理装置に入力される場合において、第１の撮像部によって撮像作成された画像撮影データと第２の撮像部によって撮像作成された画像撮影データとの間で縮小処理後の画質が所定の許容範囲に含まれるように、縮小関連処理の実行の有無、縮小関連処理の処理パラメータ、及び縮小処理の処理パラメータのうちの少なくともいずれかが決定される。したがって、複数の撮像部間の撮像能力が異なる場合であっても、均一な画質の縮小画像を生成することが可能である。
　なお、ここでいう「縮小処理後の縮小画像の画質が所定の許容範囲に含まれる」とは、縮小処理によって得られる縮小画像の画質が所定の許容範囲に収まる範囲を指し、例えば、縮小画像の画像劣化（モアレ等）の要因となる各種パラメータが所定の許容範囲内にあることをいう。このような「縮小画像の画質」として、例えば、空間周波数や彩度量等が挙げられる。
　また「撮像部」とは、撮像データの生成に寄与する各種機器類を含みうる概念であり、いわゆる撮像素子自体を撮像部として捉えることも可能であるし、光を撮像素子に導くレンズ類を含む全体の構成を撮像部として捉えることも可能である。したがって、異なる撮像素子、異なるレンズ、或いはレンズ～撮像素子間の構成が異なる撮像デバイスによって撮像作成された撮像データを含む画像撮影データが入力される画像処理装置に対して、本態様を適用することが可能である。
　望ましくは、画像処理装置は、縮小処理決定手段の決定結果に応じて、縮小関連処理を行う縮小関連処理手段を備える。
　本態様によれば、撮影条件データに応じて決定された撮像データの縮小処理に関連した縮小関連処理の実行の有無や縮小関連処理の処理パラメータの決定結果に基づいて、縮小関連処理手段により撮像データの縮小関連処理を行うことが可能となる。したがって、撮影条件データから縮小関連処理が不要であると判断される場合には縮小関連処理が行われず、また撮影条件データに適合する処理パラメータによって縮小関連処理を実施することが可能である。
　望ましくは、画像処理装置は、縮小処理決定手段の決定結果に応じて、縮小処理を行う縮小処理手段を備える。
　本態様によれば、撮影条件データに応じて決定された縮小処理の処理パラメータに基づいて、縮小処理手段による縮小処理が可能となる。したがって、撮影条件データに適合する処理パラメータによって縮小処理を実施することが可能である。
　望ましくは、縮小処理決定手段による決定結果を表示する表示手段を更に備える。
　本態様によれば、ユーザーは、表示手段による表示を介して、縮小処理決定手段による決定結果を確認することができる。ここで表示手段による表示方法は特に限定されるものではなく、ユーザーに対して縮小処理決定手段の決定結果を警告通知するものであってもよいし、ユーザーが縮小処理決定手段の決定結果を了承（確定）／非了承（非確定）可能なように選択表示するものであってもよい。
　望ましくは、前記表示手段は、前記縮小関連処理の実行の有無についての前記縮小処理決定手段による決定結果の確定を選択可能に表示し、前記画像処理装置は、前記縮小処理決定手段による決定結果の確定に関するユーザーの選択を受け付ける選択手段を更に備え、前記縮小処理決定手段は、前記選択手段を介して受け付けた選択結果に応じて、前記縮小関連処理の実行の有無を確定する。
　本態様によれば、ユーザーは、表示手段に表示される縮小処理決定手段による決定結果（縮小関連処理の実行の有無）を確定選択することができ、このユーザーの選択結果に応じて縮小関連処理の実行の有無が決められる。
　望ましくは、前記縮小処理決定手段によって決定される前記縮小関連処理の処理パラメータ及び前記縮小処理の処理パラメータは、複数の選択候補を含み、前記表示手段は、前記縮小関連処理の処理パラメータ及び前記縮小処理の処理パラメータを前記複数の選択候補の中から選択可能に表示し、前記画像処理装置は、前記複数の選択候補の中からのユーザーの選択を受け付ける選択手段を更に備え、前記縮小処理決定手段は、前記選択手段を介して受け付けた選択結果に応じて、前記縮小関連処理の処理パラメータ及び前記縮小処理の処理パラメータを確定する。
　本態様によれば、ユーザーは、縮小関連処理の処理パラメータ及び縮小処理の処理パラメータを表示手段に表示される複数の選択候補の中から選択することができ、このユーザーの選択結果に応じて縮小関連処理の処理パラメータ及び縮小処理の処理パラメータが決められる。したがって、撮影条件データに応じて選択候補の範囲を適正化することで、ユーザーによる最適な処理パラメータの選択が容易になる。
　望ましくは、画像処理装置は、確定された縮小関連処理の実行の有無及び縮小関連処理の処理パラメータに応じて、縮小関連処理を行う縮小関連処理手段を備える。
　本態様によれば、確定された縮小関連処理の実行の有無や縮小関連処理の処理パラメータの決定結果に基づいて、縮小関連処理手段により撮像データの縮小関連処理を行うことが可能となる。したがって、撮影条件データから縮小関連処理が不要であるとユーザーが判断する場合には縮小関連処理が行われず、また撮影条件データに適合する処理パラメータに基づく縮小関連処理をユーザーの意思に応じて実施することが可能である。
　望ましくは、画像処理装置は、確定された縮小処理の処理パラメータに応じて、縮小処理を行う縮小処理手段を備える。
　本態様によれば、確定された縮小処理の処理パラメータに基づいて、縮小処理手段による縮小処理が可能となる。したがって、撮影条件データに適合する処理パラメータに基づく縮小処理をユーザーの意思に応じて実施することが可能である。
　本発明の別の態様は、撮像データを含む画像撮影データを撮像作成する撮像部を有する撮像ユニットと、上記の画像処理装置と、を備える撮像装置に関する。
　本態様の撮像装置は特に限定されず、撮像を主たる機能とするデジタルカメラの他に、撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類もここでいう撮像装置に含まれうる。
　本発明の別の態様は、少なくとも第１の撮像部及び第２の撮像部を含む複数の撮像部を有する撮像ユニットと、上記の画像処理装置と、を備える撮像装置に関する。
　本態様の撮像装置は特に限定されず、複数の撮像部を備え撮像を主たる機能とするデジタルカメラ（例えば３Ｄ対応可能カメラ等）の他に、撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類もここでいう撮像装置に含まれうる。
　本発明の別の態様は、撮像データを含む画像撮影データを撮像作成する撮像部を有する撮像ユニットであって、撮像部が少なくとも第１の撮像部及び第２の撮像部を含む複数の撮像部の中から選択交換可能である撮像ユニットと、上記の画像処理装置と、を備える撮像装置に関する。
　本態様の撮像装置は特に限定されず、例えば、レンズや撮像素子（ＣＣＤ、ＣＭＯＳ等）がユーザーによって交換可能なデジタルカメラ等がここでいう撮像装置に含まれうる。
　本発明の別の態様は、上記の画像処理装置を備えるコンピュータに関する。
　本発明の別の態様は、撮像データを含む画像撮影データに撮影条件データが含まれているか否かを判別し、かつ、入力される画像撮影データに撮影条件データが含まれていると判別された場合に撮影条件データの内容を取得するデータ取得ステップと、撮影条件データの取得結果に基づいて、撮像データから縮小画像データを生成する縮小処理に関連した縮小関連処理の実行の有無、縮小関連処理の処理パラメータ、及び縮小処理の処理パラメータのうちの少なくともいずれかを決定する縮小処理決定ステップと、を備え、撮影条件データは、撮像データの撮像作成時における光学ローパスフィルタの有無に関する情報を含む画像処理方法に関する。
　本発明の別の態様は、撮像データを含む画像撮影データに撮影条件データが含まれているか否かを判別し、かつ、入力される画像撮影データに撮影条件データが含まれていると判別された場合に撮影条件データの内容を取得するデータ取得ステップと、撮影条件データの取得結果に基づいて、撮像データから縮小画像データを生成する縮小処理に関連した縮小関連処理の実行の有無、縮小関連処理の処理パラメータ、及び縮小処理の処理パラメータのうちの少なくともいずれかを決定する縮小処理決定ステップと、を備え、撮影条件データは、撮像データの撮像作成時に用いられた撮像部のカラーフィルタの配列に関する情報を含む画像処理方法に関する。
　本発明の別の態様は、撮像データを含む画像撮影データに撮影条件データが含まれているか否かを判別し、かつ、入力される画像撮影データに撮影条件データが含まれていると判別された場合に撮影条件データの内容を取得する手順と、撮影条件データの取得結果に基づいて、撮像データから縮小画像データを生成する縮小処理に関連した縮小関連処理の実行の有無、縮小関連処理の処理パラメータ、及び縮小処理の処理パラメータのうちの少なくともいずれかを決定する手順と、をコンピュータに実行させるためのプログラムであって、撮影条件データは、撮像データの撮像作成時における光学ローパスフィルタの有無に関する情報を含むプログラムに関する。
　本発明の別の態様は、撮像データを含む画像撮影データに撮影条件データが含まれているか否かを判別し、かつ、入力される画像撮影データに撮影条件データが含まれていると判別された場合に撮影条件データの内容を取得する手順と、撮影条件データの取得結果に基づいて、撮像データから縮小画像データを生成する縮小処理に関連した縮小関連処理の実行の有無、縮小関連処理の処理パラメータ、及び縮小処理の処理パラメータのうちの少なくともいずれかを決定する手順と、をコンピュータに実行させるためのプログラムであって、撮影条件データは、撮像データの撮像作成時に用いられた撮像部のカラーフィルタの配列に関する情報を含むプログラムに関する。
　本発明によれば、撮像データ作成時における光学ローパスフィルタの有無に関する情報或いは撮像部のカラーフィルタの配列に関する情報に基づいて、縮小関連処理の実行の有無、縮小関連処理の処理パラメータ、及び縮小処理の処理パラメータのうちの少なくともいずれかを決定することができる。したがって、光学ローパスフィルタの有無や撮像部のカラーフィルタの配列に応じた縮小関連処理及び縮小処理の最適化が可能となり、モアレ等の画像劣化が目立たない縮小画像の生成が可能になる。
本発明を適用可能な機器類を例示する機能ブロック図であり、（ａ）は一つの撮像素子を備える撮像デバイスの一例を示し、（ｂ）は、二つ（複数）の撮像素子を備える撮像デバイスの一例を示し、（ｃ）撮像部と画像縮小処理部とが別体に設けられる例を示す。 画像縮小処理部の入出力画像撮影データの概略を示す図であり、（ａ）は画像縮小処理部における処理前後のデータ構造を示し、（ｂ）は付帯情報（撮影条件データ）の一例を示す。 撮像装置（デジタルカメラ）の一実施形態を示すブロック図である。 カラーフィルタの基本配列パターン例を示す図であり、（ａ）はベイヤー配列のカラーフィルタを示し、（ｂ）は別タイプの配列を有するカラーフィルタを示す。 図４（ｂ）に示す基本配列パターンのカラーフィルタを水平方向及び垂直方向に２つずつ並べて配置したカラーフィルタ配列を示す。 画像縮小処理部を主体とした画像縮小処理に関連する機能ブロック図である。 第１の実施形態の縮小処理の流れを示すフローチャートであり、（ａ）は処理Ａ（縮小関連処理）に関するフローチャートであり、（ｂ）は処理Ａとしてローパスフィルタ（ＬＰＦ）処理を採用した場合のフローチャートである。 第２の実施形態の縮小処理の流れを示すフローチャートであり、（ａ）は処理Ａ（縮小関連処理）に関するフローチャートであり、（ｂ）は処理Ａとしてローパスフィルタ（ＬＰＦ）処理を採用した場合のフローチャートである。 第３の実施形態の縮小処理の流れを示すフローチャートであり、（ａ）は処理Ｂ（縮小処理）に関するフローチャートであり、（ｂ）は処理Ｂとしてスプライン補間処理法に基づく縮小処理を採用した場合のフローチャートである。 第４の実施形態の縮小処理の流れを示すフローチャートである。 第５の実施形態の縮小処理の流れを示すフローチャートである。 第６の実施形態の縮小処理の流れを示すフローチャートである。 第７の実施形態の縮小処理の流れを示すフローチャートである。 第８の実施形態の縮小処理の流れを示すフローチャートである。 本発明の撮影装置の一例であるスマートフォンの外観図である。 図１５に示すスマートフォンの構成を示すブロック図である。
　以下、添付図面を参照して本発明の実施形態について説明する。まず、本発明の概略について説明し、その後、具体的な適用例について説明する。なお、下記の構成は例示に過ぎず、他の構成に対しても本発明を適用することが可能である。また各構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。
　本願発明は、撮影画像の縮小処理技術に関するものであって、撮影画像の画像処理が可能な機器類全般に適用可能である。したがって、例えば撮影画像を撮影可能なカメラ等の撮像デバイスや、撮像デバイスが接続されるコンピュータによっても本発明は実現可能である。
　図１（ａ）は、一つの撮像素子を備える撮像デバイスの一例を示す機能ブロック図であり、図１（ｂ）は、二つ（複数）の撮像素子を備える撮像デバイスの一例を示す機能ブロック図である。また図１（ｃ）は、撮像デバイス及び当該撮像デバイスが接続されるコンピュータの一例を示す機能ブロック図である。
　図１（ａ）に示す撮像ユニット１０は、相互に接続された撮像部１２、デジタル画像処理部１４、画像縮小処理部１６、ユーザーＩ／Ｆ（ユーザーインターフェース）１７、入出力制御部１８、記憶部２０、表示部２２及び信号入出力Ｉ／Ｆ（信号入出力インターフェース）２４を備える。
　撮像部１２は、例えばレンズ、絞り、シャッター、カラーフィルタが配設された撮像素子（ＣＣＤ、ＣＭＯＳ等）等を必要に応じて備え、撮影を行って撮像データを生成する。なお、後述の光学ローパスフィルタ（ＯＬＰＦ）は、撮像部１２に設けられていてもよいし、設けられていなくてもよい。
　デジタル画像処理部１４は、撮像部１２によって生成された撮像データにデジタル画像処理を施し、例えばオフセット補正処理、ＷＢ（ホワイトバランス）補正処理、白とび画素検出補正処理、露出補正処理、γ（ガンマ）補正処理、同時化処理、等が必要に応じて行われる。
　なお、撮像部１２によって撮像データを取得した際の撮影条件のデータ（撮影条件データ（撮影日、画素数、Ｆ値（絞り値）等）が、撮像データに付加されてもよい。撮影条件データは、撮像時に撮像部１２において撮像データに付加されてもよいし、撮像後にデジタル画像処理部１４等において撮像データに付加されてもよい。撮影条件データが撮像データに付加されない場合には、撮影条件データを含まないが撮像データを含む画像撮影データが生成される。このようにして生成される画像撮影データは、後段の画像縮小処理部１６に送られる。
　画像縮小処理部１６は、入力される画像撮影データに基づいて、撮影画像の縮小画像を生成する。詳細については後述するが、図２（ａ）に示すように、撮影データ（主画像）３２及び撮影条件データ（付帯情報）３４を含む画像撮影データ３０は、画像縮小処理部１６において縮小画像が生成され、縮小画像データ（サムネイル画像等）３８を更に含む画像撮影データ３６が画像縮小処理部１６から出力される。特に以下の実施形態では、撮影条件データ３４が「光学ローパスフィルタの有無に関する情報」及び／又は「カラーフィルタの配列パターンに関する情報」を含む場合、画像縮小処理部１６は、「光学ローパスフィルタの有無に関する情報」及び／又は「カラーフィルタの配列パターンに関する情報」に最適化された縮小処理を実施して、優れた画質の縮小画像を生成することができる。
　なお、画像縮小処理部１６に入力される画像撮影データ３０は図２（ｂ）に示すような撮影条件データ（特に「光学ローパスフィルタの有無に関する情報」及び／又は「カラーフィルタの配列パターンに関する情報」）３４を含んでいなくてもよい。この場合、画像縮小処理部１６は、撮影条件データが付加されていない撮影データ３２に適合する縮小処理を行って縮小画像を生成する。
　この画像縮小処理部１６における画像縮小処理の詳細は後述する（図６～図１４参照）。
　「画像縮小処理部１６で生成される縮小画像データ３８」及び「画像撮影データ３０と同じ撮影データ（主画像）３２」を含む画像撮影データ３６は、図１（ａ）に示す入出力制御部１８によって出力制御され、記憶部（メモリ等）２０に記憶されたり、表示部（液晶ディスプレー等）２２に縮小画像が表示されたり、信号入出力Ｉ／Ｆ２４を介して外部に出力されたりする。
　なお、撮像部１２、デジタル画像処理部１４、画像縮小処理部１６及び入出力制御部１８における各種処理の情報は、表示部２２を介してユーザーに提供可能である。ユーザーは、表示部２２に示される情報を確認しながら、ユーザーＩ／Ｆ１７を介し、撮像部１２、デジタル画像処理部１４、画像縮小処理部１６及び入出力制御部１８に対して制御指示信号を送ることもできる。
　上述の縮小画像の生成処理は、図１（ｂ）に示されるような複数の撮像部（第１の撮像部１２Ａ、第２の撮像部１２Ｂ）を備える撮像ユニット１０’においても同様に実施可能である。すなわち、第１の撮像部１２Ａ及び第２の撮像部１２Ｂの各々で生成された撮像データは、撮像部が一つである撮像ユニット１０（図１（ａ））と同様に、デジタル画像処理部１４においてデジタル画像処理が施され、画像縮小処理部１６において縮小画像が生成され、縮小画像を含む画像撮影データ３６は入出力制御部１８により入出力制御されて、記憶部２０に画像撮影データ３６が記憶されたり、表示部２２に縮小画像が表示されたり、信号入出力Ｉ／Ｆ２４を介して外部に出力されたりする。なおユーザーが、ユーザーＩ／Ｆ１７を介して、撮像部（第１の撮像部１２Ａ、第２の撮像部１２Ｂ）、デジタル画像処理部１４、画像縮小処理部１６及び入出力制御部１８に対して制御指示信号を送ることができる点も同様である。
　なお、撮像部を交換可能な構成として、少なくとも第１の撮像部及び第２の撮像部を含む複数の撮像部の中から選択交換可能である撮像ユニットを採用することも可能である。例えば、図１（ｂ）に示す第１の撮像部１２Ａ及び第２の撮像部１２Ｂを取り付け及び取り外し可能な構成として捉え、第１の撮像部１２Ａ及び第２の撮像部１２Ｂのいずれかを選択して使用可能とする構成も可能である。このような構成を採用する機器類として、例えば、レンズ～撮像素子を含むレンズユニット（撮像部）を付け替え可能なカメラ（レンズ交換カメラ等）が挙げられる。
　図１（ａ）及び図１（ｂ）には、撮像部１２、１２Ａ、１２Ｂと画像縮小処理部１６とが単体に設けられる例が示されているが、撮像部と画像縮小処理部とは図１（ｃ）に示されるように別体に設けられてもよい。
　例えば、撮像部１２を備える撮像ユニット１０”と、画像縮小処理部１６を備えるコンピュータ１１とが、お互いの信号入出力Ｉ／Ｆ２４Ａ、２４Ｂを介して接続可能なシステムに対しても本願発明は適用可能である。
　この場合、デジタル画像処理部は、撮像ユニット１０側に設けられていてもよいし（図１（ｃ）の符号「１４Ａ」参照）、コンピュータ１１側に設けられていてもよい（図１（ｃ）の符号「１４Ｂ」参照）。撮像ユニット１０”側にデジタル画像処理部１４Ａが設けられる場合には、デジタル画像処理後の画像撮影データが、信号入出力Ｉ／Ｆ２４Ａを介して撮像ユニット１０”から出力され、信号入出力Ｉ／Ｆ２４Ｂを介してコンピュータ１１に入力される。コンピュータ１１に入力された画像撮影データ３０は、上述と同様に、画像縮小処理部１６において縮小画像が生成され、縮小画像を含む画像撮影データ３６は、入出力制御部１８に制御されて、記憶部２０、表示部２２及び信号入出力Ｉ／Ｆ２４Ｂに適宜出力されるようになっている。また、コンピュータ１１側にデジタル画像処理部１４Ｂが設けられる場合には、デジタル画像処理前の撮影データ（Ｒａｗデータ等）含む画像撮影データ３０が、信号入出力Ｉ／Ｆ２４Ａを介して撮像ユニット１０”から出力され、信号入出力Ｉ／Ｆ２４Ｂを介してコンピュータ１１に入力される。コンピュータ１１に入力された画像撮影データ３０は、上述と同様に、デジタル画像処理部１４Ｂにおいてデジタル画像処理が施され、画像縮小処理部１６において縮小画像が生成され、縮小画像を含む画像撮影データ３６は、入出力制御部１８に制御されて、記憶部２０、表示部２２及び信号入出力Ｉ／Ｆ２４Ｂに適宜出力されるようになっている。
　なお、この機能構成は、図１（ｃ）に示す「撮影データ３２を含む画像撮影データ３０を撮像作成する撮像部１２を有する撮像ユニットと、画像縮小処理部（画像処理装置）１６を有するコンピュータとを備える撮像装置（システム）」だけではなく、図１（ｂ）に示す撮像ユニット１０’がコンピュータ１１に接続されるケースのような「少なくとも第１の撮像部１２Ａ及び第２の撮像部１２Ｂを含む複数の撮像部を有する撮像ユニットと、画像縮小処理部（画像処理装置）１６を有するコンピュータとを備える撮像装置（システム）」に対しても適用可能である。
　次に、上記の図１（ａ）に示されるタイプの撮像ユニット１０をデジタルカメラに適用した場合の、より詳細な具体例について説明する。
　図３は撮像装置（デジタルカメラ）の一実施形態を示すブロック図である。
　この撮像装置４０は、撮像した画像を内部メモリ（メモリ部５６）又は外部の記録メディア（図示せず）に記録するデジタルカメラであり、装置全体の動作は、ＣＰＵ（中央処理装置）４２によって統括制御される。
　撮像装置４０には、シャッターボタン（シャッタースイッチ）、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ズームボタン、ＢＡＣＫキー等を含む操作部４４が設けられている。この操作部４４からの信号はＣＰＵ４２に入力され、ＣＰＵ４２は入力信号に基づいて撮像装置４０の各回路を制御し、例えば、デバイス制御部４６を介してレンズ部４８、シャッター５０、画像取得手段として機能する撮像素子５２を制御し、また撮影動作制御、画像処理制御、画像データの記録／再生制御、表示部５５の表示制御などを行う。
　レンズ部４８は、フォーカスレンズ、ズームレンズ、絞り等を含み、レンズ部４８及びシャッター５０を通過した光束は、撮像素子５２の受光面に結像される。
　撮像素子５２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型、ＸＹアドレス型、又はＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）型等のカラーイメージセンサであり、カラーフィルタと、カラーフィルタを通過した光を受光する多数の受光素子（フォトダイオード）が２次元配列された構造を有する。各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。
　図４は、カラーフィルタの基本配列パターン例を示す図であり、図４（ａ）は所謂ベイヤー（Ｂａｙｅｒ）配列のカラーフィルタを示し、図４（ｂ）は別タイプの配列を有するカラーフィルタを示す。なお図４において、「Ｒ」はレッド（赤）のフィルターを示し、「Ｇ」はグリーン（緑）のフィルターを示し、「Ｂ」はブルー（青）のフィルターを示す。
　本例の撮像素子５２のカラーフィルタは、Ｍ×Ｎ（６×６）画素に対応する正方配列パターンからなる基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されて構成される。したがって、撮像素子５２から読み出されるＲＧＢのＲＡＷデータ（モザイク画像）の画像処理等を行う際には、繰り返しパターンに従って処理を行うことができる。このようなカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。
　例えば図４（ａ）に示すベイヤー配列のカラーフィルタでは、ＧフィルターとＲフィルターとが交互に配置される行（水平方向並び）と、ＧフィルターとＲフィルターとが交互に配置される行とが、垂直方向に関して交互に配置され、各Ｒフィルター及び各Ｂフィルターの上下左右の位置にＧフィルターが配置される。そして各Ｒフィルターの斜め方向の位置にはＢフィルターが配置され、各Ｂフィルターの斜め方向の位置にはＲフィルターが配置され、各Ｇフィルターの斜め方向の位置にはＧフィルターが配置されている。
　一方、図４（ｂ）に示す別の配列のカラーフィルタでは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平方向及び垂直方向に交互に並べられた配列となっている。
　Ａ配列及びＢ配列は、それぞれＧフィルターが４隅と中央に配置されており、両対角線上にＧフィルターが配置されている。Ａ配列では、Ｒフィルターが中央のＧフィルターを挟んで水平方向に配列され、Ｂフィルターが中央のＧフィルターを挟んで垂直方向に配列されている。一方、Ｂ配列では、Ｂフィルターが中央のＧフィルターを挟んで水平方向に配列され、Ｒフィルターが中央のＧフィルターを挟んで垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルターとＢフィルターとの位置関係が逆転しているが、その他の配置は同様になっている。
　また、Ａ配列とＢ配列の４隅のＧフィルターは、Ａ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルターとなる。
　図５は、図４（ｂ）に示す基本配列パターンのカラーフィルタを水平方向及び垂直方向に２つずつ並べて配置したカラーフィルタ配列を示す。このカラーフィルタ配列では、図５からも明らかなように、一般に輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧフィルターが、カラーフィルタ配列の水平、垂直、斜め右上（ＮＥ）、及び斜め左上（ＮＷ）方向の各ライン内に１以上配置されている。
　ＮＥは斜め右上方向を意味し、ＮＷは斜め右下方向を意味する。例えば、正方形の画素の配列の場合は、斜め右上及び斜め右下方向とは水平方向に対しそれぞれ４５°の方向となるが、長方形の画素の配列であれば、長方形の対角線の方向であり長辺・短辺の長さに応じてその角度は変わりうる。
　このようなカラーフィルタ配列によれば、輝度系画素に対応するＧフィルターが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ、ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理の再現精度を向上させることができる。
　また、図５に示すカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ、Ｂの色）に対応するＲフィルター、Ｂフィルターが、それぞれ基本配列パターンの水平、及び垂直方向の各ライン内に１つ以上配置されている。
　Ｒフィルター、Ｂフィルターが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、偽色（色モワレ）の発生を低減することができる。これにより、偽色の発生を低減（抑制）するための光学ローパスフィルタを省略することができる。なお、光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。
　更に、図５に示すカラーフィルタ配列の基本配列パターンＰは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルターに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。
　上記のように、図５に示すカラーフィルタ配列では、Ｇ画素の画素数とＲ、Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ、Ｂ画素の画素数の比率よりも大きくするようにしたため、同時化処理時におけるエリアシングを抑制することができ、また高周波再現性も改善することができる。
　上記の図４（ａ）や図４（ｂ）に示される基本配列を有するカラーフィルタを備える撮像素子５２に蓄積された信号電荷は、デバイス制御部４６から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子５２から読み出された電圧信号は、Ａ／Ｄ変換器（アナログ／デジタル変換器）５４に加えられ、ここで、順次カラーフィルタ配列に対応するデジタルのＲ、Ｇ、Ｂ信号に変換され、一旦、メモリ部５６に保存される。
　メモリ部５６は、揮発性メモリであるＳＤＲＡＭや、書き換え可能な不揮発性メモリであるＥＥＰＲＯＭ（記憶手段）等を含み、ＳＤＲＡＭは、ＣＰＵ４２によるプログラムの実行時におけるワークエリアとして、また、撮像され取得されたデジタル画像信号を一時保持する記憶エリアとして使用される。一方、ＥＥＰＲＯＭには、画像処理プログラムを含むカメラ制御プログラム、撮像素子５２の画素の欠陥情報、混色補正を含む画像処理等に使用する各種のパラメータやテーブル等が記憶されている。
　画像処理部５８は、メモリ部５６に一旦格納されたデジタルの画像信号に対して、混色補正、ホワイトバランス補正、ガンマ補正処理、同時化処理（デモザイク処理）、ＲＧＢ／ＹＣ変換等の所定の信号処理を行う。
　画像処理部５８で処理された画像データは、エンコーダ６０において画像表示用のデータにエンコーディングされ、ドライバ６２を介してカメラ背面に設けられている表示部５５に出力される。これにより、被写体像が連続的に表示部５５の表示画面上に表示される。
　操作部４４のシャッターボタンの第１段階の押下（半押し）があると、ＣＰＵ４２は、ＡＦ動作（自動焦点）及びＡＥ動作（自動露出）を開始させ、デバイス制御部４６を介してレンズ部４８のフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。
　ＣＰＵ４２は、シャッターボタンの半押し時にＡ／Ｄ変換器５４から出力される画像データに基づいて被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値により露出条件（Ｆ値、シャッタ速度）を決定する。
　ＡＥ動作及びＡＦ動作が終了し、シャッターボタンの第２段階の押下（全押し）があると、決定した露出条件により絞り、シャッター５０及び撮像素子５２での電荷蓄積時間を制御して本撮像が行われる。本撮像時に撮像素子５２から読み出され、Ａ／Ｄ変換器５４によりＡ／Ｄ変換されたＲＧＢのモザイク画像（図４及び図５に示したカラーフィルタ配列に対応する画像）の画像データは、メモリ部５６に一時的に記憶される。
　メモリ部５６に一時的に記憶された画像データは、画像処理部５８により適宜読み出され、ここで、混色補正、ホワイトバランス補正、ガンマ補正、同時化処理、ＲＧＢ／ＹＣ変換等を含む所定の信号処理が行われる。ＲＧＢ／ＹＣ変換された画像データ（ＹＣデータ）は、所定の圧縮フォーマット（例えば、ＪＰＥＧ方式）に従って圧縮され、圧縮された画像データは、所定の画像ファイル（例えば、Ｅｘｉｆファイル）形式で内部メモリや外部メモリに記録される。
　このような撮像装置４０では、撮像素子５２に照射される光の高周波成分を光学的にカットする光学ローパスフィルタ（ＯＬＰＦ）６４が配設されることがある。例えば図４（ａ）に示すベイヤー型の基本配列を有するカラーフィルタを用いる場合には、得られる画像の高周波成分がモアレ等の画像劣化の要因になり易い。したがって、高周波成分が画像劣化に寄与しやすいベイヤー型のようなカラーフィルタを使用して画像データを取得する場合には、光学ローパスフィルタ６４を配置することで画像劣化を抑制することができる。一方、図４（ｂ）に示す基本配列を有するカラーフィルタを用いる場合には、上述のようにモアレ等の画像劣化をより低減することができるため、光学ローパスフィルタを設けないことで、高周波成分を残した解像度の高い画像データを得ることができる。
　このように、光学ローパスフィルタ６４を配設するか否かは、撮像装置４０において使用される撮像素子（カラーフィルタ）の種類、具体的な画像処理内容、等の装置構成に応じて適宜決められる。
　次に、このような装置構成を有する撮像装置４０における、画像縮小処理に関連する具体的な処理内容について説明する。
　図２（ａ）を参照して説明したように、画像縮小処理では、縮小画像データを含まない画像撮影データ３０が画像縮小処理部１６に入力され、画像縮小処理部１６において縮小画像データ３８が生成されて、縮小画像データ３８を含む撮影条件データ３４が画像縮小処理部１６から出力されるようになっている。
　図６は、画像縮小処理部１６を主体とした画像縮小処理に関連する機能ブロック図である。画像縮小処理部１６は、データ取得部（データ取得手段）７０、縮小処理決定部（縮小処理決定手段）７２、縮小関連処理部（縮小処理関連処理手段）７４及び縮小処理部（縮小処理手段）７６を有する。
　データ取得部７０は、入力される画像撮影データ３０（図２参照）に撮影条件データ３４が含まれているか否か、及び撮影条件データ３４の内容を取得する。データ取得部７０で取得される撮影条件データ３４には、後段で生成される縮小画像データに影響を及ぼし得る情報に関するデータ全般が含まれうる。特に本例では、縮小画像におけるモアレ等の画像劣化の要因となる高周波成分の有無や多少の判断基準となる「撮影データ３２の撮像作成時における光学ローパスフィルタ６４（図３参照）の有無に関する情報」や、「撮像データの撮像作成時に用いられた撮像素子のカラーフィルタの配列（図４及び図５参照）に関する情報」等が、撮影条件データ３４に含まれうる。
　縮小処理決定部７２は、データ取得部７０による撮影条件データ３４の取得結果に基づいて、画像撮影データ３０の縮小処理に関連した縮小関連処理の実行の有無、縮小関連処理の処理パラメータ、及び縮小処理の処理パラメータのうちの少なくともいずれかを決定する。
　ここでいう「縮小関連処理」は、後段の画像縮小処理に関連する処理全般を含みうるものであって、例えば画像縮小処理に先立って画像撮影データ３０の加工処理を行う縮小前処理がある。縮小前処理としては、例えば縮小画像におけるモアレ等の画像劣化を防ぐための処理が挙げられ、具体的にはローパスフィルタ（ＬＰＦ）等によって画像撮影データ３０から高周波成分を取り除く処理を縮小関連処理とすることができる。したがって、縮小関連処理がローパスフィルタ処理の場合、縮小処理決定部７２は、データ取得部７０における撮影条件データ３４の取得結果に基づいて、ローパスフィルタ処理を実行するか否か及び／又はローパスフィルタ処理の処理パラ－メータを決定する。
　なお、このような縮小処理決定部７２における決定は、ユーザーに選択決定（確定）を促す対話形式で処理を進めてもよいし、データ取得部７０における決定結果に基づいて、ユーザーに選択決定を促すことなく処理を進めてもよい。ユーザーとの対話形式の場合、例えば縮小処理決定部７２は決定結果を表示部２２に選択可能に表示することができる。この場合、ユーザーは、表示部２２に表示される縮小処理決定部７２の決定結果を確定するか否かを、選択指示部７８を介して選択することができる。
　なお、選択指示部７８は任意の構成を有することができ、表示部２２と一体的に設けられてもよいし、表示部２２と別体として設けられてもよい。タッチパネル等のように選択指示部７８と表示部２２とを一体的に設けることによって、ユーザーは、表示部２２に提示される選択決定や確定選択を直感的に行うことができる。また、表示部２２と別体に設けられるボタン等によって選択指示部７８を構成する場合、ユーザーは、表示部２２に表示されるカーソル等の表示を選択指示部７８によって所望の選択候補に対応させて選択決定や確定選択を行うことができる。
　縮小処理決定部７２は、決定結果の確定に関するユーザーの選択結果に応じて、縮小関連処理の実行の有無、縮小関連処理の処理パラメータ、及び縮小処理の処理パラメータを確定する。したがって、例えば「縮小関連処理の実行有り」という縮小処理決定部７２における決定結果が表示部２２に表示される場合、ユーザーが「縮小関連処理の実行有り」を確定する選択をした場合には後段で縮小関連処理が実行されるが、ユーザーが「縮小関連処理の実行有り」を確定する選択をしなかった場合（「縮小関連処理の実行有り」を拒否する選択をした場合、「縮小関連処理の実行無し」を選択した場合）には後段で縮小関連処理が実行されないこととなる。
　また、縮小処理決定部７２によって決定される縮小関連処理の処理パラメータ及び縮小処理の処理パラメータは、複数の選択候補を含んでいてもよく、その場合、表示部２２は縮小処理の処理パラメータを複数の選択候補の中から選択可能に表示することができる。ユーザーは、表示部２２に表示される複数の選択候補の中から処理パラメータとして採用する候補を選択することができ、縮小処理決定部７２は、ユーザーの選択に応じて、縮小関連処理の処理パラメータ及び縮小処理の処理パラメータを確定することができる。
　縮小処理決定部７２において縮小関連処理の実行の有無、縮小関連処理の処理パラメータ、及び縮小処理の処理パラメータが決められると、縮小関連処理部７４及び縮小処理部７６は縮小処理決定部７２における決定（確定）に基づいて縮小関連処理及び縮小処理を行う。
　縮小関連処理部７４は、縮小処理決定部７２の決定結果に応じて撮影データ３２の縮小関連処理を行う。特に、表示部２２及び選択指示部７８を介して縮小関連処理の実行の有無及び縮小関連処理の処理パラメータがユーザーによって選択確定される場合には、その確定された縮小関連処理の実行の有無及び縮小関連処理の処理パラメータに応じて、縮小関連処理部７４は撮影データ３２の縮小関連処理を行う。
　なお、縮小関連処理は必ずしも実行されなくてもよい。例えば縮小処理決定部７２において「縮小関連処理の実行無し」が決められた場合には、縮小関連処理部７４における縮小関連処理はスキップされ、後段の縮小処理部７６における縮小処理が行われる。また、縮小関連処理部７４が設けられていなくてもよく、その場合には、縮小処理決定部７２では縮小関連処理の実行の有無や縮小関連処理の処理パラメータの決定は行われない。
　そして、縮小処理部７６は、縮小処理決定部７２の決定結果に応じて撮影データ３２の縮小処理を行う。表示部２２及び選択指示部７８を介して縮小処理の処理パラメータがユーザーによって選択確定される場合には、その確定された縮小処理の処理パラメータに応じて、縮小処理部７６は撮影データ３２の縮小処理を行う。
　このように、撮影条件データ３４に基づいて定められる処理パラメータによって縮小処理を行うことにより、当該縮小処理によって得られる縮小画像の画質を適正化することができ、モアレ等の画像劣化をより防ぐことができる。特に、縮小処理部７６における画像縮小処理に先立ってローパスフィルタ処理等の縮小関連処理を撮影条件データ３４に基づく処理パラメータに応じて行う場合には、モアレ等の画像劣化をより防ぐことが可能である。
　なお、上述の撮像装置４０（図３参照）において、レンズ部４８、光学ローパスフィルタ６４、シャッター５０、撮像素子５２が図１の撮像部１２、１２Ａ、１２Ｂとして機能し、画像処理部５８が図１のデジタル画像処理部１４、１４Ａ、１４Ｂ及び画像縮小処理部１６として機能し、操作部４４が図１のユーザーＩ／Ｆ１７として機能し、ＣＰＵ４２が図１の入出力制御部１８として機能し、エンコーダ６０及びドライバ６２が図１の入出力制御部１８として機能し、メモリ部５６が図１の記憶部２０として機能し、表示部５５が図１の表示部２２として機能する。また、図６の選択指示部（選択手段）７８は、図１のユーザーＩ／Ｆ１７や図３の操作部４４に対応する。
　次に、具体的な縮小処理例について説明する。
＜第１の実施形態＞
　第１の実施形態に係る縮小処理例について、図６及び図７を参照して説明する。図７（ａ）は、第１の実施形態の縮小処理の流れを示すフローチャートである。
　本実施形態は、例えば撮像ユニットが接続されるコンピュータにおいて画像縮小処理が行われる場合に適用可能であり（図１（ｃ）参照）、コンピュータに下記の一連の縮小処理（縮小関連処理を含む）を実行させるためのプログラム（ソフトウエア）がインストールされる場合等が想定される。
　本実施形態では、撮影条件データの有無、光学ローパスフィルタの有無及びカラーフィルタ配列によって、縮小関連処理（処理Ａ、ローパスフィルタ処理）の実行に関する選択表示の有無がコントロールされる。
　すなわち、画像撮影データ（縮小画像データ無し）３０が画像縮小処理部１６に入力されると、データ取得部７０において撮影条件データ３４の取得が行われる（図７（ａ）のステップＳ１１）。データ取得部７０は、画像撮影データ３０に撮影条件データ３４が含まれているか否か、及び撮影条件データ３４の内容を取得する（データ取得ステップ）。本実施形態では、撮影条件データとして「光学ローパスフィルタの有無に関する情報」及び「カラーフィルタの配列情報」が用いられる。
　そして縮小処理決定部７２は、データ取得部７０における撮影条件データの取得結果に基づいて、撮像データの縮小処理に関連した縮小関連処理の実行の有無、縮小関連処理の処理パラメータ、及び縮小処理の処理パラメータのうちの少なくともいずれかを決定する（縮小処理決定ステップ）。
　画像撮影データ３０に撮影条件データ３４が含まれているか否かの判別において（Ｓ１２）、画像撮影データ３０に撮影条件データ３４が含まれていないと判別された場合（Ｓ１２のＮＯ）、縮小処理決定部７２は、表示部２２において処理Ａ（縮小関連処理）の選択表示をしない（Ｓ１６）。
　一方、画像撮影データ３０に撮影条件データ３４が含まれていると判別された場合（Ｓ１２のＹＥＳ）、縮小処理決定部７２は、光学ローパスフィルタ（ＯＬＰＦ）６４（図３参照）の有無を判別する（Ｓ１３）。光学ローパスフィルタ６４が用いられていないと判別された場合（Ｓ１３のＮＯ）、縮小処理決定部７２は、表示部２２において処理Ａの選択表示をしない（Ｓ１６）。
　一方、光学ローパスフィルタ６４が有ると判別された場合（Ｓ１３のＹＥＳ）、縮小処理決定部７２は、使用されたカラーフィルタ（ＣＦ）がベイヤー配列か否かを判別する（Ｓ１４）。カラーフィルタがベイヤー配列ではないと判別された場合（Ｓ１４のＮＯ）、縮小処理決定部７２は、表示部２２において処理Ａの選択表示をしない（Ｓ１６）。
　一方、カラーフィルタがベイヤー配列であると判別された場合（Ｓ１４のＹＥＳ）、縮小処理決定部７２は、表示部２２において処理Ａの選択表示をする（Ｓ１５）。ユーザーは、この表示部２２における処理Ａの選択表示に基づいて選択指示部７８を操作することにより、処理Ａ実行の確定選択を行うことができる。
　なお、表示部２２における選択表示の方法は特に限定されるものではなく、例えばユーザーに対する警告として通知する形式のものであってもよいし、縮小処理決定部７２の決定結果を示して当該判断結果を了承するか否かをユーザーに問い合わせる形式のものであってもよいし、縮小処理決定部７２の決定結果及び当該決定結果とは反対の選択肢も示して、ユーザーにいずれかを選択させる形式のものであってもよい。
　そして縮小処理決定部７２は、ユーザーによって処理Ａ実行の選択確定が行われたか否かを判断する（Ｓ１７）。処理Ａの実行がユーザーによって選択され確定されたと判断された場合（Ｓ１７のＹＥＳ）、縮小関連処理部７４において処理Ａが実行され（Ｓ１８）、その後、縮小処理部７６において画像縮小処理が行われる（Ｓ１９）。
　一方、処理Ａの実行がユーザーによって非選択であった場合（処理Ａの非実行が選択され確定された場合）（Ｓ１７のＮＯ）、処理Ａはスキップされ、処理Ａが行われない状態で縮小処理部７６において画像縮小処理が行われる（Ｓ１９）。
　また、撮影条件データ３４が無いと判別された場合（Ｓ１２のＮＯ）、光学ローパスフィルタが無いと判別された場合（Ｓ１３のＮＯ）及びカラーフィルタがベイヤー配列ではないと判別された場合（Ｓ１４のＮＯ）のように、表示部２２に処理Ａの選択表示がされない場合（Ｓ１６）には、ユーザーによる処理Ａの選択確定は行われず、縮小関連処理部７４において強制的に処理Ａが実行される（Ｓ１８）。
　図７（ｂ）は、図７（ａ）の処理フローにおいてローパスフィルタ（ＬＰＦ）処理を処理Ａ（縮小関連処理）として採用した場合のフローチャートである。図７（ｂ）のステップＳ１１１～Ｓ１１９は、「処理Ａ」が「ローパスフィルタ処理」に置き換えられている点を除けば、図７（ａ）のステップＳ１１～Ｓ１９と同じであるため、図７（ｂ）に示す処理フローの詳細な説明は省略する。
　図７（ａ）及び図７（ｂ）に示される処理フローによれば、撮影条件データ３４が不明な場合（Ｓ１２及びＳ１１２のＮＯ）、光学ローパスフィルタが無い状態で撮影されて撮影データ３２が高周波成分を多く含む蓋然性が高い場合（Ｓ１３及びＳ１１３のＮＯ）、或いはカラーフィルタ配列がベイヤー配列以外の特有の配列を有する場合（Ｓ１４及びＳ１１４のＮＯ）には、ユーザーに表示されることなく（Ｓ１６及びＳ１１６）、縮小関連処理（処理Ａ、ローパスフィルタ処理）が縮小処理（Ｓ１９）の前に強制的に実行される（Ｓ１８及びＳ１１８）。
　したがって、高周波成分を多く含む撮影データ３２の取得を可能とするベイヤー配列以外の基本配列を有するカラーフィルタ（例えば図４（ｂ）及び図５参照）が用いられる場合であっても、画像縮小処理前に縮小関連処理（処理Ａ、ローパスフィルタ処理）が実施され、縮小画像におけるモアレ等の画像劣化をより低減させることが可能である。
　一方、光学ローパスフィルタが有る状態で撮影データ３２が撮影生成されて高周波成分を含まない（或いは、撮影データ３２に含まれる高周波成分が非常に少ない）蓋然性が高く（Ｓ１３及びＳ１１３のＹＥＳ）、カラーフィルタ配列が一般的なベイヤー配列の場合（Ｓ１４及びＳ１１４のＹＥＳ）には、縮小関連処理（処理Ａ、ローパスフィルタ処理）の実行の有無が表示部２２を介しユーザーに問い合わされ、ユーザーの選択指示部７８を介した選択確定結果に応じて、縮小関連処理が実行され（Ｓ１７及びＳ１１７のＹＥＳ）或いは実行されない（Ｓ１７及びＳ１１７のＮＯ）。
　以上説明したように本実施形態によれば、光学ローパスフィルタの有無及びカラーフィルタの配列パターンに応じて、表示部２２及び選択指示部７８による設定可能範囲及び／又は処理選択内容を最適化することができ、ユーザーは撮影データ３２に基づく縮小画像データ３８の生成に関して最適な処理を任意に選択可能となっている。したがって、縮小画像におけるモアレ等の画像劣化の回避とユーザーのニーズに応じた柔軟な縮小関連処理及び縮小処理を、非常に高いレベルで実現することができる。
　なお上述の実施形態では、光学ローパスフィルタの有無の判別（Ｓ１３及びＳ１１３）及びカラーフィルタの配列パターンの判別（Ｓ１４及びＳ１１４）の両者が行われる例について説明したが、いずれか一方の判別のみが行われるようにしてもよい。例えば、光学ローパスフィルタの有無のみが判別される場合には「使用されたカラーフィルタ（ＣＦ）がベイヤー配列か否かの判別（Ｓ１４及びＳ１１４）」は行われず、したがって光学ローパスフィルタが使用されたと判別された場合、縮小処理決定部７２は、表示部２２において処理Ａ／ローパスフィルタ処理の選択表示をする（Ｓ１５及びＳ１１５）。一方、カラーフィルタの配列パターンのみが判別される場合には「光学ローパスフィルタの有無の判別（Ｓ１３及びＳ１１３）」は行われず、したがって画像撮影データ３０に撮影条件データ３４が含まれていると判別された場合（Ｓ１２のＹＥＳ）、縮小処理決定部７２は、使用されたカラーフィルタ（ＣＦ）がベイヤー配列か否かの判別をする（Ｓ１４及びＳ１１４）。
　また上述の実施形態では、撮影条件データ３４が無いと判別された場合（Ｓ１２のＮＯ）、光学ローパスフィルタが無いと判別された場合（Ｓ１３のＮＯ）及びカラーフィルタがベイヤー配列ではないと判別された場合（Ｓ１４のＮＯ）のように、表示部２２に処理Ａの選択表示がされない場合（Ｓ１６）には、縮小関連処理部７４において縮小関連処理（処理Ａ、ローパスフィルタ処理）が強制的に実行される（Ｓ１８）例について説明したが、このような場合に縮小関連処理を強制的に非実行としてもよい。
　＜第２の実施形態＞
　第２の実施形態に係る縮小処理例について、図６及び図８を参照して説明する。図８（ａ）は、第２の実施形態の縮小処理の流れを示すフローチャートである。
　本実施形態において、上述の第１の実施形態と同一又は類似の処理については、詳細な説明は省略する。
　本実施形態においても、撮影条件データの有無、光学ローパスフィルタの有無及びカラーフィルタ配列によって、縮小関連処理（処理Ａ、ローパスフィルタ処理）の実行の選択表示の有無がコントロールされる。
　すなわち、第１の実施形態と同様に、画像撮影データ（縮小画像データ無し）３０が画像縮小処理部１６に入力されると、データ取得部７０において撮影条件データ３４の取得が行われる（図８（ａ）のステップＳ２１）。また、縮小処理決定部７２において画像撮影データ３０に撮影条件データが含まれているか否かの判別が行われ（Ｓ２２）、光学ローパスフィルタ（ＯＬＰＦ）６４の有無の判別が行われ（Ｓ２３）、及び使用されたカラーフィルタ（ＣＦ）がベイヤー配列か否かの判別が行われる（Ｓ２４）点も、第１の実施形態（図７（ａ）のＳ１２～Ｓ１４参照）と同様である。
　ただし、本実施形態では、画像撮影データ３０に撮影条件データ３４が含まれており（Ｓ２２のＹＥＳ）、光学ローパスフィルタ６４が用いられ（Ｓ２３のＹＥＳ）、使用されたカラーフィルタがベイヤー配列である（Ｓ２４のＹＥＳ）と判別された場合、縮小処理決定部７２は、表示部２２における処理Ａの選択表示をせず（Ｓ２５）、処理Ａが強制的にスキップされ、処理Ａが行われない状態で縮小処理部７６において画像縮小処理が行われる（Ｓ２９）。
　一方、画像撮影データ３０に撮影条件データが含まれていなかったり（Ｓ２２のＮＯ）、光学ローパスフィルタ６４が用いられなかったり（Ｓ２３のＮＯ）、使用されたカラーフィルタがベイヤー配列ではない（Ｓ２４のＮＯ）と判別された場合、縮小処理決定部７２は、表示部２２における処理Ａの選択表示をする（Ｓ２６）。ユーザーは、この表示部２２における処理Ａの選択表示に基づいて選択指示部７８を操作することにより、処理Ａ実行の確定選択を行うことができる。
　そして縮小処理決定部７２は、ユーザーによって処理Ａ実行の選択確定が行われたか否かを判断する（Ｓ２７）。処理Ａの実行がユーザーによって選択され確定されたと判断された場合（Ｓ２７のＹＥＳ）、縮小関連処理部７４において処理Ａが実行され（Ｓ２８）、その後、縮小処理部７６において画像縮小処理が行われる（Ｓ２９）。
　一方、処理Ａの実行がユーザーによって非選択であった場合（処理Ａの非実行が選択され確定された場合）（Ｓ２７のＮＯ）、処理Ａはスキップされ、処理Ａが行われない状態で縮小処理部７６において画像縮小処理が行われる（Ｓ２９）。
　図８（ｂ）は、図８（ａ）の処理フローにおいてローパスフィルタ処理を処理Ａ（縮小関連処理）として採用した場合のフローチャートである。図８（ｂ）のステップＳ１２１～Ｓ１２９は、「処理Ａ」が「ローパスフィルタ処理」に置き換えられている点を除けば、図８（ａ）のステップＳ２１～Ｓ２９と同じであるため、図８（ｂ）に示す処理フローの詳細な説明は省略する。
　このように本実施形態においても、縮小画像におけるモアレ等の画像劣化の回避とユーザーのニーズに応じた柔軟な縮小関連処理及び縮小処理を、非常に高いレベルで実現することができる。
　＜第３の実施形態＞
　第３の実施形態に係る縮小処理例について、図６及び図９を参照して説明する。図９（ａ）は、第３の実施形態の縮小処理の流れを示すフローチャートである。
　本実施形態において、上述の第１の実施形態と同一又は類似の処理については、詳細な説明は省略する。
　本実施形態では、撮影条件データの有無、光学ローパスフィルタの有無及びカラーフィルタ配列によって、縮小処理における処理（処理Ｂ、補間処理）のパラメータ範囲がコントロールされる。
　本実施形態においても、第１の実施形態と同様に、画像撮影データ（縮小画像データ無し）３０が画像縮小処理部１６に入力されると、データ取得部７０において撮影条件データ３４の取得が行われる（図９（ａ）のステップＳ３１）。また、縮小処理決定部７２において画像撮影データ３０に撮影条件データが含まれているか否かの判別が行われ（Ｓ３２）、光学ローパスフィルタ（ＯＬＰＦ）６４の有無の判別が行われ（Ｓ３３）、及び使用されたカラーフィルタ（ＣＦ）がベイヤー配列か否かの判別が行われる（Ｓ３４）点も、第１の実施形態（図７（ａ）のＳ１２～Ｓ１４参照）と同様である。
　ただし、本実施形態では、縮小処理における処理Ｂ（補間処理）のパラメータの選択可能範囲（複数の選択候補を含む範囲）が、撮影条件データ３４の有無、光学ローパスフィルタ６４の有無、及び使用カラーフィルタがベイヤー配列か否かに応じて決められる。
　例えば、画像撮影データ３０に撮影条件データが含まれていないと判別された場合（Ｓ３２のＮＯ）、縮小処理決定部７２は、処理Ｂの処理パラメータの選択可能範囲として「範囲σ」を表示部２２に表示する（Ｓ３５ｄ）。また、画像撮影データ３０に撮影条件データが含まれており（Ｓ３２のＹＥＳ）、光学ローパスフィルタ６４が用いられていない（Ｓ３３のＮＯ）と判別された場合、縮小処理決定部７２は、処理Ｂの処理パラメータの選択可能範囲として「範囲γ」を表示部２２に表示する（Ｓ３５ｃ）。また、光学ローパスフィルタ６４が用いられ（Ｓ３３のＹＥＳ）、カラーフィルタの配列がベイヤー配列ではない（Ｓ３４のＮＯ）と判別された場合、縮小処理決定部７２は、処理Ｂの処理パラメータの選択可能範囲として「範囲β」を表示部２２に表示する（Ｓ３５ｂ）。一方、カラーフィルタの配列がベイヤー配列である（Ｓ３４のＹＥＳ）と判別された場合、縮小処理決定部７２は、処理Ｂの処理パラメータの選択可能範囲として「範囲α」を表示部２２に表示する（Ｓ３５ａ）。
　ユーザーは、このようにして決定された選択可能範囲α、β、γ、σに含まれる選択候補の中から任意のパラメータを、選択指示部７８を介して選択することができる。選択指示部７８を介したユーザーによる処理Ｂのパラメータの選択入力がされると（Ｓ３６）、縮小処理部７６は、このユーザーによって選択入力されたパラメータに基づいて処理Ｂを行う（Ｓ３７）。
　図９（ｂ）は、図９（ａ）の処理フローにおいて「縮小処理におけるスプライン補間処理」を処理Ｂとして採用した場合のフローチャートである。図９（ｂ）のステップＳ１３１～Ｓ１３７は、「処理Ｂ」が「縮小処理におけるスプライン補間処理」に置き換えられている点を除けば、図９（ａ）のステップＳ３１～Ｓ３７とほぼ同じであるが、図９（ａ）における処理Ｂの範囲「α」、「β」、「γ」及び「σ」は、それぞれ図９（ｂ）では「スプライン補間係数設定可能範囲０～０．９」、「スプライン補間係数設定可能範囲０～０．８」、「スプライン補間係数設定可能範囲０～０．７」及び「スプライン補間係数設定可能範囲０～１．０」となっている。
　すなわち、画像撮影データ３０に撮影条件データが含まれていないと判別された場合（図９（ｂ）のステップＳ１３２のＮＯ）、縮小処理決定部７２は、スプライン補間係数の最大範囲である０～１．０を設定可能範囲とする（Ｓ１３５ｄ）。また、撮影時に「光学ローパスフィルタ無し」の情報があった場合（Ｓ１３３のＮＯ）、そのまま縮小するとモワレ等の画像劣化が生じる可能性が高い。また、スプライン補間はスプライン補間係数値が大きいほど鮮鋭度が高くなるが、スプライン補間係数が大き過ぎるとモアレ等の画像劣化が発生する可能性がある。したがって、この場合、縮小処理決定部７２はスプライン補間係数設定可能範囲を狭め、スプライン補間係数の設定可能範囲を０～０．７と設定する（Ｓ１３５ｃ）。また、図４（ｂ）及び図５に示すような配列パターンを有するカラーフィルタを持つ撮像素子にて撮影されたものである場合は、ベイヤー配列のものと比べて高周波成分のデータが取得できるが、そのまま縮小処理した場合には、モアレ等の画像劣化が縮小画像に生じる可能性が高い。したがって、カラーフィルタの配列パターンがベイヤー配列以外のパターン（図４（ｂ）及び図５に示す配列パターン等）の場合、縮小処理決定部７２はスプライン補間係数設定可能範囲を狭め、スプライン補間係数の設定可能範囲を０～０．８と設定する（Ｓ１３５ｂ）。一方、カラーフィルタの配列パターンが「ベイヤー配列」の場合は、図４（ｂ）及び図５に示す配列パターンに比べ、高周波成分が落ちたデータが取得され、モアレ等の画像劣化は発生しにくいため、縮小処理決定部７２はスプライン補間係数の設定可能範囲を０～０．９とする（Ｓ１３５ａ）。
　なお、図９（ｂ）に示すようなスプライン補間係数設定可能範囲の数値は一例に過ぎず、適宜他の数値によってスプライン補間係数設定可能範囲が定められてもよく、例えば数値の大小関係が変わらない他の値によって、それぞれの場合のスプライン補間係数設定可能範囲を定めることもできる。
　また、縮小処理時に使用可能な補間処理はスプライン補間法には限定されず、任意の補間処理を利用することができる。例えば下記の表に示される特性を有するニアレストネイバー（最近傍）法、バイリニア補間法、バイキュービック補間法等を、スプライン補間法の代わりに利用してもよく、各補間法の処理パラメータの設定範囲を上記スプライン補間係数設定可能範囲の代わりに表示選択可能としてもよい。
Figure JPOXMLDOC01-appb-T000001
　以上説明したように本実施形態によれば、光学ローパスフィルタの有無及びカラーフィルタの配列パターンに応じて、処理Ｂの処理パラメータ（スプライン補間処理のスプライン補間係数）の設定可能範囲を切り替えることができ、ユーザーは撮影データ３２に基づく縮小画像データ３８の生成に関して最適な処理を任意に選択可能となっている。
　＜第４の実施形態＞
　第４の実施形態に係る縮小処理例について、図６及び図１０を参照して説明する。図１０は、第４の実施形態の縮小処理の流れを示すフローチャートである。
　本実施形態において、上述の第３の実施形態と同一又は類似の処理については、詳細な説明は省略する。
　本実施形態では、撮影条件データの有無、光学ローパスフィルタの有無及びカラーフィルタ配列によって、縮小処理における縮小率のパラメータ設定可能範囲がコントロールされる。
　本実施形態においても、第３の実施形態と同様に、画像撮影データ（縮小画像データ無し）３０が画像縮小処理部１６に入力されると、データ取得部７０において撮影条件データ３４の取得が行われる（図１０のステップＳ４１）。また縮小処理決定部７２において、画像撮影データ３０に撮影条件データが含まれているか否かの判別が行われ（Ｓ４２）、光学ローパスフィルタ（ＯＬＰＦ）６４の有無の判別が行われ（Ｓ４３）、及び使用されたカラーフィルタ（ＣＦ）がベイヤー配列か否かの判別が行われる（Ｓ４４）点も、第３の実施形態（図９（ａ）のＳ３２～Ｓ３４参照）と同様である。
　ただし、本実施形態では、縮小処理における縮小率のパラメータの選択可能範囲（複数の選択候補を含む範囲）が、撮影条件データ３４の有無、光学ローパスフィルタ６４の有無、及び使用カラーフィルタがベイヤー配列か否かに応じて決められる。
　例えば、画像撮影データ３０に撮影条件データが含まれていないと判別された場合（Ｓ４２のＮＯ）、縮小処理決定部７２は、縮小率の選択可能範囲として縮小率の最大範囲である「０～１．０」を表示部２２に表示する（Ｓ４５ｄ）。また、画像撮影データ３０に撮影条件データが含まれており（Ｓ４２のＹＥＳ）、光学ローパスフィルタ６４が用いられていない（Ｓ４３のＮＯ）と判別された場合、そのまま縮小するとモワレ等の画像劣化が縮小画像に生じる可能性が高いため、縮小処理決定部７２は、縮小率の選択可能範囲として「範囲０．５～１．０」を表示部２２に表示する（Ｓ４５ｃ）。また、図４（ｂ）及び図５に示すような配列パターンを有するカラーフィルタを持つ撮像素子にて撮影されたものである場合は、ベイヤー配列のものと比べて高周波成分のデータが取得できるが、そのまま縮小処理した場合には、モアレ等の画像劣化が縮小画像に生じる可能性が高い。したがって、光学ローパスフィルタ６４が用いられ（Ｓ４３のＹＥＳ）、カラーフィルタの配列がベイヤー配列ではない（Ｓ４４のＮＯ）と判別された場合、縮小処理決定部７２は、縮小率の選択可能範囲として「範囲０．３～１．０」を表示部２２に表示する（Ｓ４５ｂ）。一方、カラーフィルタの配列がベイヤー配列である（Ｓ４４のＹＥＳ）と判別された場合、縮小処理決定部７２は、縮小率の選択可能範囲として「０．２～０．９」を表示部２２に表示する（Ｓ４５ａ）。
　ユーザーは、このようにして決定された選択可能範囲に含まれる選択候補の中から任意の縮小率を、選択指示部７８を介して選択することができる。選択指示部７８を介して縮小率の選択入力がされると（Ｓ４６）、縮小処理部７６は、このユーザーによって選択入力された縮小率に基づいて縮小処理を行う（Ｓ４７）。
　なお、図１０に示すような縮小率設定可能範囲の数値は一例に過ぎず、適宜他の数値によってスプライン補間係数設定可能範囲が定められてもよく、例えば数値の大小関係が変わらない他の値によって、それぞれの場合の縮小率設定可能範囲を定めることもできる。
　以上説明したように本実施形態によれば、光学ローパスフィルタの有無及びカラーフィルタの配列パターンに応じて、縮小処理における縮小率の設定可能範囲を切り替えることができ、ユーザーは撮影データ３２に基づく縮小画像データ３８の生成に関して最適な処理を任意に選択可能となっている。
　＜第５の実施形態＞
　第５の実施形態に係る縮小処理例について、図６及び図１１を参照して説明する。図１１は、第５の実施形態の縮小処理の流れを示すフローチャートである。
　本実施形態において、上述の第２の実施形態と同一又は類似の処理については、詳細な説明は省略する。
　本実施形態は、例えばセンサー交換型カメラにおいて画像縮小処理が行われる場合に適用可能であり、例えば図３におけるレンズ部４８～撮像素子５２を含むレンズユニット（撮像部）を、少なくとも第１のレンズユニット（第１の撮像部）及び第２のレンズユニット（第２の撮像部）の中から選択交換可能である撮像ユニット等が想定される。
　上述の第２の実施形態（図８（ａ）参照）では、縮小関連処理（処理Ａ、ローパスフィルタ処理）の実行の有無を表示部２２に一旦表示した後、ユーザーによる選択確定（図８（ａ））に基づいて、処理Ａの実行の有無が決められていた。これに対して、本実施形態では、縮小関連処理（処理Ａ、ローパスフィルタ処理）の実行の有無を表示部２２に表示せず、ユーザーによる選択確定によらずに、縮小関連処理（処理Ａ、ローパスフィルタ処理）が強制的に実行される。
　すなわち、画像撮影データ（縮小画像データ無し）３０が画像縮小処理部１６に入力されると、データ取得部７０において撮影条件データ３４の取得が行われ（図１１のステップＳ５１）、画像撮影データ３０に撮影条件データが含まれており（Ｓ５２のＹＥＳ）、光学ローパスフィルタ６４が用いられ（Ｓ５３のＹＥＳ）、使用されたカラーフィルタがベイヤー配列である（Ｓ５４のＹＥＳ）と縮小処理決定部７２において判別された場合、処理Ａが行われない状態で縮小処理部７６において画像縮小処理が行われる（Ｓ５６）。
　一方、画像撮影データ３０に撮影条件データが含まれていなかったり（Ｓ５２のＮＯ）、光学ローパスフィルタ６４が無かったり（Ｓ５３のＮＯ）、使用されたカラーフィルタがベイヤー配列ではない（Ｓ５４のＮＯ）と判別された場合、縮小関連処理部７４は強制的に処理Ａ（ローパスフィルタ処理等）を実行し（Ｓ５５）、その後、縮小処理部７６において縮小処理が実行される（Ｓ５６）。
　＜第６の実施形態＞
　第６の実施形態に係る縮小処理例について、図６及び図１２を参照して説明する。図１２は、第６の実施形態の縮小処理の流れを示すフローチャートである。
　本実施形態において、上述の第３の実施形態と同一又は類似の処理については、詳細な説明は省略する。
　上述の第３の実施形態（図９（ａ）参照）では、縮小処理の処理（処理Ｂ、スプライン補間処理）のパラメータ範囲を表示部２２に一旦表示した後、ユーザーによる選択確定（図９（ａ）のＳ３６）に基づいて、処理Ｂが実行されていた。これに対して、本実施形態では、縮小処理の処理（処理Ｂ、スプライン補間処理）のパラメータを表示部２２に表示せず、ユーザーによる選択確定によらずに、縮小処理の処理（処理Ｂ、スプライン補間処理）のパラメータが強制的に定められて、処理Ｂ（縮小処理）が実行される。
　すなわち、画像撮影データ（縮小画像データ無し）３０が画像縮小処理部１６に入力されると、データ取得部７０において撮影条件データ３４の取得が行われ（図１２のステップＳ６１）、画像撮影データ３０に撮影条件データが含まれていないと判別された場合（Ｓ６２のＮＯ）、縮小処理決定部７２は、処理Ｂの処理パラメータとして「σ’」を採用決定する（Ｓ６５ｄ）。また、画像撮影データ３０に撮影条件データが含まれており（Ｓ６２のＹＥＳ）、光学ローパスフィルタ６４が用いられていない（Ｓ６３のＮＯ）と判別された場合、縮小処理決定部７２は、処理Ｂの処理パラメータとして「γ’」を採用決定する（Ｓ６５ｃ）。また、光学ローパスフィルタ６４が用いられ（Ｓ６３のＹＥＳ）、カラーフィルタの配列がベイヤー配列ではない（Ｓ６４のＮＯ）と判別された場合、縮小処理決定部７２は、処理Ｂの処理パラメータとして「β’」を採用決定する（Ｓ６５ｂ）。一方、カラーフィルタの配列がベイヤー配列ではない（Ｓ６４のＮＯ）と判別された場合、縮小処理決定部７２は、処理Ｂの処理パラメータとして「α’」を採用決定する（Ｓ６５ａ）。
　このようにして採用決定された処理パラメータα’、β’、γ’、σ’に基づいて、縮小処理部７６は処理Ｂ（縮小処理）を行う（Ｓ６６）。
　＜第７の実施形態＞
　第７の実施形態に係る縮小処理例について、図６及び図１３を参照して説明する。図１３は、第７の実施形態の縮小処理の流れを示すフローチャートである。
　本実施形態において、上述の第６の実施形態と同一又は類似の処理については、詳細な説明は省略する。
　本実施形態では、使用するカラーフィルタの配列パターンが３種類以上想定される場合の縮小処理に関する。
　すなわち、画像撮影データ（縮小画像データ無し）３０が画像縮小処理部１６に入力されると、データ取得部７０において撮影条件データ３４の取得が行われ（図１３のステップＳ７１）、画像撮影データ３０に撮影条件データが含まれていないと判別された場合（Ｓ７２のＮＯ）、縮小処理決定部７２は、処理Ｄの実行を決定する（Ｓ７５ｄ）。また、画像撮影データ３０に撮影条件データが含まれており（Ｓ７２のＹＥＳ）、光学ローパスフィルタ６４が用いられていない（Ｓ７３のＮＯ）と判別された場合、縮小処理決定部７２は、処理Ｄの実行を決定する（Ｓ７５ｃ）。
　そして、光学ローパスフィルタ６４が用いられ（Ｓ７３のＹＥＳ）、カラーフィルタの配列パターンがＡパターンである（Ｓ７４ａのＹＥＳ）と判別された場合、縮小処理決定部７２は、処理Ａの実行を決定する（Ｓ７５ａ）。一方、カラーフィルタの配列パターンがＡパターンではなく（Ｓ７４ａのＮＯ）、Ｂパターンである（Ｓ７４ｂのＹＥＳ）と判別された場合、縮小処理決定部７２は、処理Ｂの実行を決定する（Ｓ７５ｂ）。また、カラーフィルタの配列パターンがＢパターンではなく（Ｓ７４ｂのＮＯ）、Ｃパターンである（Ｓ７４ｃのＹＥＳ）と判別された場合、縮小処理決定部７２は、処理Ｃの実行を決定する（Ｓ７５ｃ）。そして、カラーフィルタの配列パターンがＣパターンでもない（Ｓ７４ｃのＮＯ）と判別された場合、縮小処理決定部７２は、処理Ｄの実行を決定する（Ｓ７５ｄ）。
　このようにして決定された処理Ａ、処理Ｂ、処理Ｃ、処理Ｄに基づいて、縮小関連処理部７４及び縮小処理部７６では処理が行われる（Ｓ７６）。なお、これらの処理Ａ、処理Ｂ、処理Ｃ、処理Ｄは、縮小関連処理部７４における縮小関連処理であってもよいし、縮小処理部７６における縮小処理であってもよい。処理Ａ、処理Ｂ、処理Ｃ、処理Ｄが縮小関連処理部７４における縮小関連処理の場合には、縮小処理の前処理を適宜切り替えることができ、例えばローパスフィルタ処理のカットオフ周波数が、処理Ａ、処理Ｂ、処理Ｃ及び処理Ｄの各々に対して定められていてもよい。また処理Ａ、処理Ｂ、処理Ｃ及び処理Ｄは、縮小処理部７６における縮小処理の補間係数（スプライン補間係数等）や縮小率を各々定める処理であってもよい。
　＜第８の実施形態＞
　第８の実施形態に係る縮小処理例について、図６及び図１４を参照して説明する。図１４は、第８の実施形態の縮小処理の流れを示すフローチャートである。
　本実施形態において、上述の第１の実施形態と同一又は類似の処理については、詳細な説明は省略する。
　本実施形態では、複数の撮像デバイス（本例では撮像デバイス１及び撮像デバイス２）によって生成された画像撮影データ３０が画像縮小処理部１６に入力される場合の縮小処理に関する。
　すなわち、本実施形態においても、第１の実施形態と同様に、画像撮影データ（縮小画像データ無し）３０が画像縮小処理部１６に入力されるが、撮像デバイス１及び撮像デバイス２の各々から画像縮小処理部１６に画像撮影データ３０が送られてくる。
　データ取得部７０は、撮像デバイス１の画像撮影データ３０から撮影条件データ３４を取得し（図１４のステップＳ８１）、また撮像デバイス２の画像撮影データ３０から撮影条件データ３４を取得する（Ｓ８２）。縮小処理決定部７２において、画像撮影データ３０に撮影条件データが含まれているか否かの判別、光学ローパスフィルタ（ＯＬＰＦ）６４の有無の判別、及び使用されたカラーフィルタ（ＣＦ）がベイヤー配列か否かの判別が行われる点は上述の第１の実施形態と同様である（図７（ａ）のＳ１２～Ｓ１４）。
　そして、縮小処理決定部７２は、撮像デバイス１によって撮像作成された画像撮影データと撮像デバイス２によって撮像作成された画像撮影データとの間で縮小処理後の画質が所定の許容範囲に含まれるように、処理Ｃ（縮小関連処理の実行の有無、縮小関連処理の処理パラメータ、及び縮小処理の処理パラメータのうちの少なくともいずれか）を判別する。
　ここでいう「縮小処理後の縮小画像の画質が所定の許容範囲に含まれる」とは、縮小処理によって得られる画像の画質が所定の許容範囲に収まる範囲を指し、例えば、縮小画像の画像劣化（モアレ等）の要因となる各種パラメータが所定の許容範囲内にあることをいう。このような「縮小画像の画質」として、空間周波数や彩度量等が挙げられる。例えば、本来グレーの色を有する被写体の画像に対して色がついてしまう現象である色モアレをより防ぐため、縮小画像の画質として彩度量を採用し、彩度量が所定の許容範囲内に収まるように、各撮像部（撮像デバイス）毎に縮小関連処理の有無、縮小関連処理のパラメータ、縮小処理のパラメータが決められる。具体的には、予め複数の撮像部毎に解像度チャートを撮影取得しておき、その縮小画像について画質を評価し、その評価結果が所定の許容範囲に含まれるように、予め撮像部ごとに縮小率、処理パラメータ等を決めておくことができる。なお、ここでいう「所定の許容範囲」は特に限定されるものではなく、各種の要求に応じた適切な範囲を「所定の許容範囲」として採用することができ、例えば撮像素子やレンズの特性、画像処理特性等に応じて「所定の許容範囲」を定めうる。
　すなわち、本実施形態の縮小処理決定部７２は、データ取得部７０の撮影条件データの取得結果に基づいて撮像デバイス１により生成された画像（撮影データ３２）に対する処理Ｃの処理パラメータα’を判別設定（決定）し、縮小関連処理部７４は撮像デバイス１により生成された画像に対して処理パラメータα’にて処理Ｃを実行する（Ｓ８３）。
　また縮小処理決定部７２は、データ取得部７０の取得結果に基づいて撮像デバイス２により生成された画像（撮影データ３２）の撮影条件データ３４が撮像デバイス１により生成された画像（撮影データ３２）の撮影条件データ３４と同じか否かを判別する（Ｓ８４）。より具体的には、撮影条件データ３４として採用される光学ローパスフィルタの有無及びカラーフィルタの配列が同じか否かに関して、撮像デバイス１により生成された画像と撮像デバイス２により生成された画像とが同じか否か、を縮小処理決定部７２は判別する。
　撮像デバイス１により生成された画像と撮像デバイス２により生成された画像の撮影条件データが同じであると判別された場合（Ｓ８４のＹＥＳ）、縮小処理決定部７２は、撮像デバイス２により生成された画像に対する処理Ｃの処理パラメータを撮像デバイス１により生成された画像と同じ「α’」に設定し、縮小関連処理部７４は撮像デバイス２により生成された画像に対して処理パラメータα’にて処理Ｃを実行する（Ｓ８５ａ）。
　一方、撮像デバイス１により生成された画像と撮像デバイス２により生成された画像の撮影条件データが同じではないと判別された場合（Ｓ８４のＮＯ）、縮小処理決定部７２は、撮像デバイス２により生成された画像に対する処理Ｃの処理パラメータを撮像デバイス１により生成された画像とは異なる「β’」に判別設定し、縮小関連処理部７４は撮像デバイス２により生成された画像に対して処理パラメータβ’にて処理Ｃを実行する（Ｓ８５ｂ）。なお処理パラメータβ’の設定については、上述の処理パラメータα’と同様の基準及び手順によって行われる。
　このようにして処理Ｃが施された撮像デバイス１により生成された画像と撮像デバイス２により生成された画像の各々は、その後、縮小処理部７６において画像縮小処理が行われる（Ｓ８６、Ｓ８７）。
　なお、ここでいう処理Ｃは、縮小関連処理（ローパスフィルタ処理等）であってもよいし、縮小処理部７６における縮小処理のための処理パラメータ（補間係数、縮小率等）の単なる設定処理であってもよい。
　以上説明したように本実施形態によれば、複数の異なる撮像デバイスによって撮影作成された撮影データ３２から縮小画像データを生成する場合に、いずれの撮像デバイスから画像撮影データ３０を取得しても、光学ローパスフィルタの有無及びカラーフィルタの配列パターンに応じて、縮小画像の画質を同等にすることができる。
　なお、複数の撮像デバイス（撮像デバイス１、撮像デバイス２）は、同一装置に組み込まれていてもよいし、別装置に組み込まれていてもよい。
　同一装置に複数の撮像デバイスが組み込まれる場合には、例えば図１（ｂ）の第１の撮像部１２Ａ及び第２の撮像部１２Ｂのような構成を有することができる。一方、別装置に複数の撮像デバイスが組み込まれる場合には、例えば図１（ｃ）のコンピュータ１１に接続される撮像ユニット１０”が複数台あるような構成とすることも可能であり、異なる撮像ユニット１０”がコンピュータ１１に接続された場合においても、縮小画像の画質を同程度に保つことができるため、ユーザーが感じる違和感等の不具合を軽減させることができる。
　以上、本発明の好ましい実施形態について説明したが、本発明は上述の実施形態に限定されるものではなく、他の形態に対しても適宜応用可能である。
　例えば、上記実施形態ではデジタルカメラについて説明したが（図３参照）、撮影装置の構成はこれに限定されない。本発明を適用可能な他の撮影装置（撮像装置）としては、例えば、内蔵型又は外付け型のＰＣ用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。また、上述の各処理ステップをコンピュータに実行させるプログラムに対しても、本発明を適用することが可能である。
　本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
　図１５は、本発明の撮影装置の一実施形態であるスマートフォン１０１の外観を示すものである。図１５に示すスマートフォン１０１は、平板状の筐体１０２を有し、筐体１０２の一方の面に表示部としての表示パネル１２１と、入力部としての操作パネル１２２とが一体となった表示入力部１２０を備えている。また、係る筐体１０２は、スピーカ１３１と、マイクロホン１３２、操作部１４０と、カメラ部１４１とを備えている。なお、筐体１０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
　図１６は、図１５に示すスマートフォン１０１の構成を示すブロック図である。図１６に示すように、スマートフォンの主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１００とを備える。また、スマートフォン１０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
　無線通信部１１０は、主制御部１００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部１２０は、主制御部１００の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザーに情報を伝達し、表示した情報に対するユーザー操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。
　表示パネル１２１は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル１２２は、表示パネル１２１の表示面上に表示される画像を視認可能に載置され、ユーザーの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザーの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１００に出力する。次いで、主制御部１００は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。
　図１５に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン１０１の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザー操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　なお、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザーの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり、無線通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図１５に示すように、例えば、スピーカ１３１を表示入力部１２０が設けられた面と同じ面に搭載し、マイクロホン１３２を筐体１０２の側面に搭載することができる。
　操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザーからの指示を受け付けるものである。例えば、図１５に示すように、操作部１４０は、スマートフォン１０１の筐体１０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部１５０は、主制御部１００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。なお、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（ｆｌａｓｈ　ｍｅｍｏｒｙ　ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ　ｄｉｓｋ　ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ　ｃａｒｄ　ｍｉｃｒｏ　ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。
　外部入出力部１６０は、スマートフォン１０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥースＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ　Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。
　スマートフォン１０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ　ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１０１の内部の各構成要素に伝達することや、スマートフォン１０１の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部１７０は、主制御部１００の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン１０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部１８０は、例えば、３軸の加速度センサーなどを備え、主制御部１００の指示にしたがって、スマートフォン１０１の物理的な動きを検出する。スマートフォン１０１の物理的な動きを検出することにより、スマートフォン１０１の動く方向や加速度が検出される。係る検出結果は、主制御部１００に出力されるものである。　
　電源部１９０は、主制御部１００の指示にしたがって、スマートフォン１０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部１００は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン１０１の各部を統括して制御するものである。また、主制御部１００は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアにしたがって主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
　また、主制御部１００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。
　更に、主制御部１００は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザー操作を検出する操作検出制御を実行する。
　表示制御の実行により、主制御部１００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部１００は、操作部１４０を通じたユーザー操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に、操作検出制御の実行により主制御部１００は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部１００は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部１４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部１５０に記録したり、入出力部１６０や無線通信部１１０を通じて出力することができる。図１５に示すにスマートフォン１０１において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、あるいは、複数のカメラ部１４１が搭載されてもよい。なお、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部１４１を同時に使用して撮影することもできる。
　また、カメラ部１４１はスマートフォン１０１の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力のひとつとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサーを用いずに、或いは、３軸の加速度センサーと併用して、スマートフォン１０１のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。
　その他、静止画又は動画の画像データにＧＰＳ受信部１７０により取得した位置情報、マイクロホン１３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部１８０により取得した姿勢情報等などを付加して記憶部１５０に記録したり、入出力部１６０や無線通信部１１０を通じて出力することもできる。
　なお、上述のスマートフォン１０１において、カメラ部１４１が図１の撮像部（１２、１２Ａ、１２Ｂ）として機能し、主制御部１００が図１のデジタル画像処理部（１４、１４Ａ、１４Ｂ）及び画像縮小処理部１６として機能し、操作部１４０及び操作パネル１２２がユーザーＩ／Ｆ１７として機能し、主制御部１００及び外部入出力部１６０が図１の入出力制御部１８として機能し、記憶部１５０が図１の記憶部２０として機能し、表示パネル１２１が図１の表示部２２として機能する。
　１０…撮像ユニット、１１…コンピュータ、１２…撮像部、１４…デジタル画像処理部、１６…画像縮小処理部、１７…ユーザーＩ／Ｆ、１８…入出力制御部、２０…記憶部、２２…表示部、２４…信号入出力Ｉ／Ｆ、３０…画像撮影データ、３２…撮影データ、３４…撮影条件データ、３６…画像撮影データ、３８…縮小画像データ、４０…撮像装置、４２…ＣＰＵ、４４…操作部、４６…デバイス制御部、４８…レンズ部、５０…シャッター、５２…撮像素子、５４…Ａ／Ｄ変換器、５５…表示部、５６…メモリ部、５８…画像処理部、６０…エンコーダ、６２…ドライバ、６４…光学ローパスフィルタ、７０…データ取得部、７２…縮小処理決定部、７４…縮小処理関連処理部、７６…縮小処理部、７８…選択指示部、１００…主制御部、１０１…スマートフォン、１０２…筐体、１１０…無線通信部、１２０…表示入力部、１２１…表示パネル、１２２…操作パネル、１３０…通話部、１３１…スピーカ、１３２…マイクロホン、１４０…操作部、１４１…カメラ部、１５０…記憶部、１５１…内部記憶部、１５２…外部記憶部、１６０…外部入出力部、１７０…ＧＰＳ受信部、１８０…モーションセンサ部、１９０…電源部

Claims (22)

  1. 　撮像データを含む画像撮影データが入力される画像処理装置であって、
    　入力される前記画像撮影データに撮影条件データが含まれているか否かを判別し、かつ、入力される前記画像撮影データに撮影条件データが含まれていると判別された場合に撮影条件データの内容を取得するデータ取得手段と、
    　前記データ取得手段による撮影条件データの取得結果に基づいて、前記撮像データから縮小画像データを生成する縮小処理に関連した縮小関連処理の実行の有無、前記縮小関連処理の処理パラメータ、及び前記縮小処理の処理パラメータのうちの少なくともいずれかを決定する縮小処理決定手段と、を備え、
    　前記撮影条件データは、前記撮像データの撮像作成時における光学ローパスフィルタの有無に関する情報を含む画像処理装置。
  2. 　撮像データを含む画像撮影データが入力される画像処理装置であって、
    　入力される前記画像撮影データに撮影条件データが含まれているか否かを判別し、かつ、入力される前記画像撮影データに撮影条件データが含まれていると判別された場合に撮影条件データの内容を取得するデータ取得手段と、
    　前記データ取得手段による撮影条件データの取得結果に基づいて、前記撮像データから縮小画像データを生成する縮小処理に関連した縮小関連処理の実行の有無、前記縮小関連処理の処理パラメータ、及び前記縮小処理の処理パラメータのうちの少なくともいずれかを決定する縮小処理決定手段と、を備え、
    　前記撮影条件データは、前記撮像データの撮像作成時に用いられた撮像部のカラーフィルタの配列に関する情報を含む画像処理装置。
  3. 　前記縮小関連処理は、前記撮像データに対するローパスフィルタ処理である請求項１又は２に記載の画像処理装置。
  4. 　前記縮小処理の処理パラメータは、前記縮小処理における縮小率である請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記縮小処理の処理パラメータは、前記縮小処理における補間処理の処理パラメータである請求項１から４のいずれか１項に記載の画像処理装置。
  6. 　前記補間処理は、スプライン補間処理法に基づいており、
    　前記補間処理の処理パラメータは、スプライン補間係数である請求項５に記載の画像処理装置。
  7. 　少なくとも第１の撮像部及び第２の撮像部を含む複数の撮像部によって撮像作成された前記撮像データを含む前記画像撮影データが入力され、
    　前記縮小処理決定手段は、前記第１の撮像部によって撮像作成された前記画像撮影データと前記第２の撮像部によって撮像作成された前記画像撮影データとの間で前記縮小処理後の前記縮小画像データによる画質が所定の許容範囲に含まれるように、前記縮小関連処理の実行の有無、前記縮小関連処理の処理パラメータ、及び前記縮小処理の処理パラメータのうちの少なくともいずれかを決定する請求項１から６のいずれか１項に記載の画像処理装置。
  8. 　前記縮小処理決定手段の決定結果に応じて、前記縮小関連処理を行う縮小関連処理手段を備える請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　前記縮小処理決定手段の決定結果に応じて、前記縮小処理を行う縮小処理手段を備える請求項１から８のいずれか１項に記載の画像処理装置。
  10. 前記縮小処理決定手段による決定結果を表示する表示手段を更に備える請求項１から７のいずれか１項に記載の画像処理装置。
  11. 　前記表示手段は、前記縮小関連処理の実行の有無についての前記縮小処理決定手段による決定結果の確定を選択可能に表示し、
    　前記画像処理装置は、前記縮小処理決定手段による決定結果の確定に関するユーザーの選択を受け付ける選択手段を更に備え、
    　前記縮小処理決定手段は、前記選択手段を介して受け付けた選択結果に応じて、前記縮小関連処理の実行の有無を確定する請求項１０に記載の画像処理装置。
  12. 　前記縮小処理決定手段によって決定される前記縮小関連処理の処理パラメータ及び前記縮小処理の処理パラメータは、複数の選択候補を含み、
    　前記表示手段は、前記縮小関連処理の処理パラメータ及び前記縮小処理の処理パラメータを前記複数の選択候補の中から選択可能に表示し、
    　前記画像処理装置は、前記複数の選択候補の中からのユーザーの選択を受け付ける選択手段を更に備え、
    　前記縮小処理決定手段は、前記選択手段を介して受け付けた選択結果に応じて、前記縮小関連処理の処理パラメータ及び前記縮小処理の処理パラメータを確定する請求項１０に記載の画像処理装置。
  13. 　確定された前記縮小関連処理の実行の有無及び前記縮小関連処理の処理パラメータに応じて、前記縮小関連処理を行う縮小関連処理手段を備える請求項１０から１２のいずれか１項に記載の画像処理装置。
  14. 　確定された前記縮小処理の処理パラメータに応じて、前記縮小処理を行う縮小処理手段を備える請求項１０から１３のいずれか１項に記載の画像処理装置。
  15. 　撮像データを含む画像撮影データを撮像作成する撮像部を有する撮像ユニットと、
    　請求項１から１４のいずれか１項に記載の画像処理装置と、を備える撮像装置。
  16. 　少なくとも第１の撮像部及び第２の撮像部を含む複数の撮像部を有する撮像ユニットと、
    　請求項７に記載の画像処理装置と、を備える撮像装置。
  17. 　撮像データを含む画像撮影データを撮像作成する撮像部を有する撮像ユニットであって、撮像部が少なくとも第１の撮像部及び第２の撮像部を含む複数の撮像部の中から選択交換可能である撮像ユニットと、
    　請求項７に記載の画像処理装置と、を備える撮像装置。
  18. 　請求項１から１４のいずれか１項に記載の画像処理装置を備えるコンピュータ。
  19. 　撮像データを含む画像撮影データに撮影条件データが含まれているか否かを判別し、かつ、入力される前記画像撮影データに撮影条件データが含まれていると判別された場合に撮影条件データの内容を取得するデータ取得ステップと、
    　前記撮影条件データの取得結果に基づいて、前記撮像データから縮小画像データを生成する縮小処理に関連した縮小関連処理の実行の有無、前記縮小関連処理の処理パラメータ、及び前記縮小処理の処理パラメータのうちの少なくともいずれかを決定する縮小処理決定ステップと、を備え、
    　前記撮影条件データは、前記撮像データの撮像作成時における光学ローパスフィルタの有無に関する情報を含む画像処理方法。
  20. 撮像データを含む画像撮影データに撮影条件データが含まれているか否かを判別し、かつ、入力される前記画像撮影データに撮影条件データが含まれていると判別された場合に撮影条件データの内容を取得するデータ取得ステップと、
    　前記撮影条件データの取得結果に基づいて、前記撮像データから縮小画像データを生成する縮小処理に関連した縮小関連処理の実行の有無、前記縮小関連処理の処理パラメータ、及び前記縮小処理の処理パラメータのうちの少なくともいずれかを決定する縮小処理決定ステップと、を備え、
    　前記撮影条件データは、前記撮像データの撮像作成時に用いられた撮像部のカラーフィルタの配列に関する情報を含む画像処理方法。
  21. 　撮像データを含む画像撮影データに撮影条件データが含まれているか否かを判別し、かつ、入力される前記画像撮影データに撮影条件データが含まれていると判別された場合に撮影条件データの内容を取得する手順と、
    　前記撮影条件データの取得結果に基づいて、前記撮像データから縮小画像データを生成する縮小処理に関連した縮小関連処理の実行の有無、前記縮小関連処理の処理パラメータ、及び前記縮小処理の処理パラメータのうちの少なくともいずれかを決定する手順と、をコンピュータに実行させるためのプログラムであって、
    　前記撮影条件データは、前記撮像データの撮像作成時における光学ローパスフィルタの有無に関する情報を含むプログラム。
  22. 　撮像データを含む画像撮影データに撮影条件データが含まれているか否かを判別し、かつ、入力される前記画像撮影データに撮影条件データが含まれていると判別された場合に撮影条件データの内容を取得する手順と、
    　前記撮影条件データの取得結果に基づいて、前記撮像データから縮小画像データを生成する縮小処理に関連した縮小関連処理の実行の有無、前記縮小関連処理の処理パラメータ、及び前記縮小処理の処理パラメータのうちの少なくともいずれかを決定する手順と、をコンピュータに実行させるためのプログラムであって、
    　前記撮影条件データは、前記撮像データの撮像作成時に用いられた撮像部のカラーフィルタの配列に関する情報を含むプログラム。
PCT/JP2013/061870 2012-06-08 2013-04-23 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム WO2013183379A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014519878A JP5702891B2 (ja) 2012-06-08 2013-04-23 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
CN201380029864.XA CN104335571B (zh) 2012-06-08 2013-04-23 图像处理装置、摄像装置、计算机及图像处理方法
US14/560,586 US9363435B2 (en) 2012-06-08 2014-12-04 Apparatus and method of determining how to perform low-pass filter processing as a reduction association processing when moire is suppressed in a captured image represented by image capture data according to an array of color filters and when the moire appears in the reduced image after processing the reduction processing on the image pickup data, on the basis of an acquisition result of the shooting condition data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012130968 2012-06-08
JP2012-130968 2012-06-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/560,586 Continuation US9363435B2 (en) 2012-06-08 2014-12-04 Apparatus and method of determining how to perform low-pass filter processing as a reduction association processing when moire is suppressed in a captured image represented by image capture data according to an array of color filters and when the moire appears in the reduced image after processing the reduction processing on the image pickup data, on the basis of an acquisition result of the shooting condition data

Publications (1)

Publication Number Publication Date
WO2013183379A1 true WO2013183379A1 (ja) 2013-12-12

Family

ID=49711780

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/061870 WO2013183379A1 (ja) 2012-06-08 2013-04-23 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム

Country Status (4)

Country Link
US (1) US9363435B2 (ja)
JP (1) JP5702891B2 (ja)
CN (1) CN104335571B (ja)
WO (1) WO2013183379A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11436700B2 (en) * 2018-01-31 2022-09-06 Interdigital Ce Patent Holdings Filter array for demosaicing

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104584532B (zh) * 2012-08-23 2017-07-28 富士胶片株式会社 图像处理装置、摄像装置、计算机、图像处理方法及程序
JP2016151893A (ja) * 2015-02-17 2016-08-22 株式会社東芝 画像処理装置、物品処理装置、及び、画像処理方法
CN112351172B (zh) * 2020-10-26 2021-09-17 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000268168A (ja) * 1999-03-19 2000-09-29 Fuji Photo Film Co Ltd 画像変換方法および装置並びに記録媒体
JP2002262094A (ja) * 2001-02-27 2002-09-13 Konica Corp 画像処理方法及び画像処理装置
JP2002369036A (ja) * 2001-06-07 2002-12-20 Fuji Photo Film Co Ltd 画像処理方法
JP2003061034A (ja) * 2001-08-10 2003-02-28 Canon Inc 画像データ処理方法およびプリントシステム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3143209B2 (ja) 1992-05-25 2001-03-07 株式会社リコー 画像変倍装置
JP2005056006A (ja) 2003-08-07 2005-03-03 Nikon Corp モアレ低減装置およびプログラム
JP2008011467A (ja) * 2006-06-30 2008-01-17 Toshiba Corp 表示パネルの撮像方法及び表示パネルの撮像装置
US8049797B2 (en) * 2007-05-08 2011-11-01 Canon Kabushiki Kaisha Image sensor and color imaging apparatus
WO2012117584A1 (ja) * 2011-02-28 2012-09-07 富士フイルム株式会社 カラー撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000268168A (ja) * 1999-03-19 2000-09-29 Fuji Photo Film Co Ltd 画像変換方法および装置並びに記録媒体
JP2002262094A (ja) * 2001-02-27 2002-09-13 Konica Corp 画像処理方法及び画像処理装置
JP2002369036A (ja) * 2001-06-07 2002-12-20 Fuji Photo Film Co Ltd 画像処理方法
JP2003061034A (ja) * 2001-08-10 2003-02-28 Canon Inc 画像データ処理方法およびプリントシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11436700B2 (en) * 2018-01-31 2022-09-06 Interdigital Ce Patent Holdings Filter array for demosaicing

Also Published As

Publication number Publication date
US20150146049A1 (en) 2015-05-28
JP5702891B2 (ja) 2015-04-15
JPWO2013183379A1 (ja) 2016-01-28
US9363435B2 (en) 2016-06-07
CN104335571A (zh) 2015-02-04
CN104335571B (zh) 2016-05-18

Similar Documents

Publication Publication Date Title
JP5777825B2 (ja) 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
JP5802858B2 (ja) 撮像装置、画像処理装置、画像処理方法及びプログラム
JP5740054B2 (ja) 撮像装置及び画像処理方法
JP5775977B2 (ja) 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
JP5830186B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5833794B2 (ja) 撮像装置
JP5749401B2 (ja) 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
WO2013190899A1 (ja) 撮像装置及び自動焦点調節方法
WO2014006783A1 (ja) 撮像装置及び画像処理方法
JP5749406B2 (ja) 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
US9479689B2 (en) Imaging device and focusing-verification display method
JP5702891B2 (ja) 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
JP5768193B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JP5897769B2 (ja) 撮像装置、キャリブレーションシステム、及びプログラム
JP6580801B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5680803B2 (ja) 画像処理装置および方法ならびに撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13800314

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2014519878

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13800314

Country of ref document: EP

Kind code of ref document: A1